WO2023200271A1 - 심전도 및 청각 측면의 의료 정보를 획득하는 스마트 단말기 - Google Patents

심전도 및 청각 측면의 의료 정보를 획득하는 스마트 단말기 Download PDF

Info

Publication number
WO2023200271A1
WO2023200271A1 PCT/KR2023/005020 KR2023005020W WO2023200271A1 WO 2023200271 A1 WO2023200271 A1 WO 2023200271A1 KR 2023005020 W KR2023005020 W KR 2023005020W WO 2023200271 A1 WO2023200271 A1 WO 2023200271A1
Authority
WO
WIPO (PCT)
Prior art keywords
smart terminal
unit
processors
sound
electrocardiogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/005020
Other languages
English (en)
French (fr)
Inventor
김중희
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seoul National University Hospital
Original Assignee
Seoul National University Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seoul National University Hospital filed Critical Seoul National University Hospital
Priority to US18/856,562 priority Critical patent/US20250325215A1/en
Publication of WO2023200271A1 publication Critical patent/WO2023200271A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/02—Stethoscopes
    • A61B7/04—Electric stethoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/332—Portable devices specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6823—Trunk, e.g., chest, back, abdomen, hip
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/003—Detecting lung or respiration noise
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427—Device being portable or laptop-like
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204—Acoustic sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0883—Clinical applications for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals

Definitions

  • This application relates to technology for acquiring medical information in real time, and more specifically, to a smart terminal that acquires medical information in terms of electrocardiogram and hearing in real time in a format that can be used for clinical treatment just by using it during the treatment process. do.
  • these devices are designed to be unsuitable for the medical information format for clinical care, so they are unsuitable for the recent automation trend of clinical care.
  • a variety of diagnostic programs are used in clinical care, and recently, attempts to incorporate artificial intelligence algorithms into these diagnostic programs are increasing.
  • this application may provide a smart terminal capable of obtaining medical information in terms of electrocardiogram, hearing, and/or vision.
  • the present application may provide a smart terminal capable of obtaining medical information in terms of hearing and/or vision.
  • a smart terminal for obtaining medical information in terms of electrocardiogram and hearing is provided with one or more processors and a memory for storing instructions executed by one or more processors, and provides medical information in terms of electrocardiogram and hearing.
  • a plurality of electrocardiogram units included in the smart terminal acquire a body electrocardiogram of the subject, and some of the electrocardiogram units among the plurality of electrocardiogram units and the at least one sound unit form a unit array directed to a body part of the subject.
  • the command when executed by the one or more processors, causes the one or more processors to: a data processing module included in the smart terminal pre-register at least one of the acquired body sound and body electrocardiogram raw body information; It may be characterized in that the subject's medical information is generated by processing it in a set data format.
  • the instructions when executed by the one or more processors, cause the one or more processors to: cause the acoustic unit to listen in response to an electrical signal generated by switching a pressure switch included in the smart terminal when pressure is applied; It may be characterized as initiating an operation.
  • the unit array is connected to a first coupling portion of the body, and the first coupling portion may be characterized as protruding from a surface of another portion of the body.
  • the pressure switch is disposed between the first engaging portion and the unit array, and pressure is applied to the pressure switch as the protruding unit array contacts the surface of the body part from which body sounds are to be acquired.
  • the electrical signal may be generated.
  • it may further include a 2D cross-sectional ultrasonic sensor or an ultrasonic sensor using the Doppler effect.
  • the instruction when executed by the one or more processors, causes the one or more processors to: cause a plurality of acoustic units included in the unit array to listen to body sounds in different frequency bands, and cause the plurality of acoustic units included in the unit array to listen to body sounds in different frequency bands;
  • the first sound unit included in the sound unit makes body sounds of relatively high pitch in the audible frequency band
  • the second sound unit included in the plurality of sound units makes body sounds of relatively low pitch in the audible frequency band. It may be characterized by including a second sound unit for listening.
  • the instruction when executed by the one or more processors, causes the one or more processors to: cause the operation unit included in the smart terminal to mix the heard high and low sounds, or adjust the mixing ratio; It may be characterized as being controlled.
  • the instruction when executed by the one or more processors, causes the one or more processors to: cause an audio output unit included in the smart terminal to output the obtained body sound as an audio signal, and the smart terminal
  • the display unit included in may display raw body information including acquired body sounds or body electrocardiogram, or medical information of the subject.
  • the electrodes of some of the ECG units may be configured to form a higher level difference than the contact surface of the unit array and surrounding acoustic units.
  • the electrodes of some ECG units of the unit array may contact the subject's chest region, and the electrodes of the remaining ECG units may contact areas other than the chest to obtain a body electrocardiogram.
  • the ECG unit may be configured to initiate an ECG measurement operation by the ECG unit when electrodes of the plurality of ECG units each contact surfaces of different body regions.
  • the remaining ECG unit may be configured to be extendable from the body of the smart terminal.
  • the command when executed by the one or more processors, causes the one or more processors to:
  • a data transmission and reception unit included in the smart terminal transmit medical information of the subject to an external device installed with a diagnostic program or artificial intelligence program. It may be characterized as being transmitted to .
  • the instructions when executed by the one or more processors, cause the one or more processors to: cause the data processing module to process raw body information of one or more of body electrocardiogram and body acoustics into a preset data format, Medical information may be generated, and the preset data format may be a data format acceptable to an application installed on an external device that communicates with the data transmission/reception unit.
  • the instructions when executed by the one or more processors, cause the one or more processors to: cause the data processing module to extract a one-dimensional acoustic vector x of a preset length N from the body acoustics, the 1 It may be characterized by generating the subject's medical information using the dimensional sound vector x itself, or converting the one-dimensional sound vector x into an image format to generate the subject's medical information.
  • the instructions when executed by the one or more processors, cause the one or more processors to: the data processing module convert the one-dimensional acoustic vector x into a spectrum format, a power spectrum format, or a spectrogram; (spectrogram) format to generate sound data in image format, expressed as a C may be characterized as indicating the time of the body sound.
  • the instructions when executed by the one or more processors, cause the one or more processors to: cause the data processing module to extract electrocardiogram measurement data from the electrocardiogram signal, wherein the electrocardiogram data is an L ⁇ T matrix.
  • ECG data in the L It may be characterized in that it represents the ECG channel, and T represents the ECG time.
  • the instructions when executed by the one or more processors, cause the one or more processors to: cause the data processing module to: generate medical information of the subject in terms of acoustics and electrocardiograms; It may be characterized by synchronizing the sound in the time domain.
  • the data processing module includes at least one pre-trained artificial neural network, and each artificial neural network is configured to receive data from an input channel matching the ECG channel L, and is used to classify a specific sound section. trained to produce a one-channel vector, wherein the instructions, when executed by the one or more processors, cause the one or more processors to: cause the data processing module to generate medical information of the subject based on body electrocardiogram and body acoustics; C It may be characterized as being configured to generate ECG data in a matrix format, and to stack the ECG data converted into a C ⁇ M matrix format onto the acoustic data in the C ⁇ M matrix format.
  • the instruction when executed by the one or more processors, causes the one or more processors to: cause the smart terminal to further acquire visual aspect medical information, at least one imaging unit included in the smart terminal; photographing a body, and causing the data processing module to process the body image acquired by the at least one photographing unit in a preset data format so that the medical information of the subject further includes a processing result of the body image. It can be characterized.
  • the command when executed by the one or more processors, causes the one or more processors to: cause an operation unit included in the smart terminal to select a photographing unit or control specifications of the photographing unit. can do.
  • the at least one photographing unit includes at least one visible light photographing unit; at least one infrared imaging unit; and at least one illuminance sensor.
  • the smart terminal when the smart terminal includes at least one visible light imaging unit, the smart terminal may further include one or more of a white light source and a fluorescent light source.
  • the instruction when executed by the one or more processors, causes the one or more processors to: determine whether the data processing module has an inflammatory reaction in a specific area; It may be characterized by generating a temperature image of the shooting area for confirmation.
  • the smart terminal can acquire various body sounds, various body images, and body electrocardiograms to generate medical information of the subject of fusion data that will be usefully applied to an artificial intelligence algorithm using sensor fusion.
  • the smart terminal (1) supports the easy and effective performance of various tasks related to clinical care (photography, auscultation, recording, etc.) while interacting with patients during clinical care, thereby improving the clinical quality obtained by medical personnel. It allows you to record information easily and effectively in real time.
  • the medical information of the subject of this fusion data has a specific data format that can be used more effectively by artificial intelligence programs, such as multimodal input data.
  • the smart terminal improves the efficiency of artificial intelligence-based treatment by generating and providing the subject's medical information from raw body information to multimodal fusion data that can be directly used by various artificial intelligence algorithms. give.
  • FIG. 1 is a schematic diagram of a smart terminal, according to an embodiment of the present application.
  • FIGS. 2A and 2B illustrate a unit array for performing a sound listening operation and an electrocardiogram measurement operation, according to an embodiment of the present application.
  • Figure 3 shows a unit array in which the arrangement of acoustic units is modified, according to another embodiment of the present application.
  • Figure 4 shows a process of measuring a subject's electrocardiogram through a plurality of electrocardiogram units, according to an embodiment of the present application.
  • FIG. 5 is a diagram illustrating a unit array consisting of a plurality of imaging units according to an embodiment of the present application.
  • Figure 6 shows an acoustic section divided using a measured body electrocardiogram, according to an embodiment of the present application.
  • Figure 7 shows the results of synchronizing the body electrocardiogram and body acoustics based on the segmentation of the cardiac cycle, according to an embodiment of the present application.
  • the smart terminal 1 includes an auditory input module for acquiring medical information in terms of hearing; An electrocardiogram input module that acquires medical information in terms of electrocardiogram; and/or a visual input module that acquires visual medical information.
  • the smart terminal 1 may obtain medical information in terms of hearing and medical information in terms of electrocardiogram. Additionally, in alternative embodiments, the smart terminal 1 may be further configured to obtain medical information in terms of vision.
  • FIG. 1 is a schematic diagram of a smart terminal, according to an embodiment of the present application.
  • the smart terminal 1 includes at least one sound unit 10; A plurality of electrocardiogram units (20); data processing module 100; and a body 1000.
  • the body 1000 includes a pressure switch 40 in contact with the ECG unit 20. Additionally, in the alternative embodiments, the smart terminal 1 may further include at least one photographing unit 30.
  • one sound unit 10 a plurality of electrocardiogram units 20, an imaging unit 30, a pressure switch 40, a data processing module 100, and a body 1000 are included in the smart terminal (1). It may be implemented or realized by one or more processors.
  • the smart terminal 1 may further include an auxiliary sound unit 50, an auxiliary sensor 60, a display unit 200, a sound output unit 300, and/or an operation unit 400. It may be possible.
  • auxiliary sound unit 50 auxiliary sensor 60, display unit 200, sound output unit 300, and operation unit 400 are implemented or realized by one or more processors included in the smart terminal (1). It can be.
  • the sound unit 10, the electrocardiogram unit 20, and the imaging unit 30 are input units that interact with the subject's body to obtain the subject's raw body information.
  • the auxiliary sound unit 50, auxiliary sensor 60, display unit 200, sound output unit 300, and manipulation unit 400 are input/output units that interact with the user to generate medical information of the subject. am.
  • the smart terminal 1 may be entirely hardware, entirely software, or may have aspects that are partly hardware and partly software.
  • an apparatus or device may collectively refer to hardware equipped with data processing capabilities and operating software for running it.
  • terms such as “unit,” “unit,” “module,” “device,” or “system” refer to a combination of hardware and software driven by the hardware. It is intended to be.
  • the hardware may be a data processing device that includes a Central Processing Unit (CPU), Graphics Processing Unit (GPU), or other processor.
  • software may refer to a running process, object, executable, thread of execution, program, etc.
  • the body 1000 includes one or more components (eg, data processing module 100) therein. Then, some other components included inside are protected from external substances and impacts by the body 1000.
  • components eg, data processing module 100
  • the body 1000 has a structure in which the above-described units 10, 20, and 30 are installed so that they can contact the body.
  • the body 1000 may include a first coupling portion 1100.
  • the first coupling portion 1100 may be a portion of the body 1000 that is connected to the acoustic unit 10 and/or at least one electrocardiogram unit 20.
  • the body 1000 may further include a second coupling portion 1300.
  • the second coupling portion 1300 may be a portion connected to the photographing unit 30.
  • the first coupling portion 1100 may be a single piece of the body 1000, and the second coupling portion 1300 may be a single piece of the body 1000.
  • the first coupling portion 1100 may be a single piece formed at the lower portion of the body 1000.
  • the second coupling portion 1300 may be a single unit formed on the upper part of the body 1000.
  • the first coupling portion 1100 and/or the second coupling portion 1300 may protrude more than other parts of the body 1000 so as to contact the body relatively first compared to other parts of the body 1000. It may be possible. Then, the body 1000 may have a shape in which the thickness of the middle portion between the upper and lower parts is relatively narrow.
  • the protrusion degrees of the first coupling part 1100 and the second coupling part 1300 may be the same or different from each other. For example, the first coupling portion 1100 and the second coupling portion 1300 protrude compared to other portions of the body 1000, and the degree of protrusion may be similar as shown in FIG. 1 .
  • the body 1000 may have a shape suitable for being held by a user's hand. In this case, the user may hold the relatively narrow portion between the first coupling portion 1100 and the second coupling portion 1300. In this way, the body 1000 provides a shape that is convenient to use.
  • some components coupled to the body 1000 may include components coupled such that the distance from the body 1000 is temporarily changed. This will be described in more detail with reference to Figure 2 below.
  • the acoustic unit 10 is an input component that acquires body sounds.
  • the acoustic unit 10 may directly obtain an acoustic signal inside the body from outside the skin, or may acquire an acoustic signal by detecting vibration inside the body by contacting the skin.
  • the sound unit 10 may be, for example, a microphone or a vibration sensor.
  • the smart terminal 1 may include multiple types of sound units 10. In the plurality of types of sound units 10, some types of sound units 10 and some other types of sound units 10 are configured to listen to sounds in different frequency bands.
  • the plurality of types of sound units 10 may include a first type of sound unit 11 and/or a second type of sound unit 13 that listens to sounds in the audible frequency band.
  • the first sound unit 11 is an input element that listens to relatively high-pitched body sounds in the audible frequency band.
  • the second sound unit 13 is an input element that listens to relatively low-pitched body sounds in the audible frequency band.
  • first sound unit 11 and the second sound unit 13 may be implemented or executed by one or more processors included in the smart terminal 1.
  • the smart terminal 1 may generate auditory medical information including information related to the heard low-pitched body sound and/or high-pitched body sound.
  • the first type of acoustic unit 11 and the second type of acoustic unit 13 may be contact microphones.
  • the portion of the contact microphones 11 and 13 that contacts the surface of the body may be made of an elastic material, such as silicone rubber.
  • first type of sound unit 11 and the second type of sound unit 13 may further include an amplification unit.
  • the amplification unit may be a component that amplifies physical energy input through a part in contact with the surface of the body.
  • the amplification unit may be a piezoelectric microphone unit.
  • the plurality of types of acoustic units 10 may further include an ultrasonic sensor 16.
  • the smart terminal 1 may include one or more ultrasonic sensors 16. Then, the smart terminal 1 may generate auditory medical information including information related to the heard ultrasonic sound.
  • the ultrasonic sensor 16 listens for body sounds with ultrasonic waves outside of audible frequencies.
  • the ultrasonic sensor 16 may include, for example, a 2D cross-sectional ultrasonic sensor and/or a Doppler sensor.
  • the ultrasonic sensor 16 may be implemented or executed by one or more processors included in the smart terminal 1.
  • the 2D cross-sectional ultrasonic sensor 16 has a probe and transmits ultrasound waves from a two-dimensional cross section of the skin. It is an ultrasonic sensor that listens.
  • the Doppler sensor 16 is an ultrasonic sensor that uses the Doppler effect.
  • the Doppler sensor listens to changes in the frequency of ultrasonic waves that are partially reflected and return upon impacting organ tissue or blood flow toward or away from the transducer.
  • the ultrasonic sensor 16 may be used to perform lung ultrasound examination.
  • the smart terminal 1 can function as a small echocardiography device during clinical treatment.
  • the electrocardiogram unit 20 is an input component that acquires body electrocardiogram signals.
  • the ECG unit 20 may be implemented with electrodes made of conductive material in order to receive electrical signals such as ECG signals.
  • One or more electrodes (eg, 20A, 20B) of the plurality of electrocardiogram units 20 contact the heart region of the body.
  • the heart area refers to a skin area where electrical signals of the heart can be measured.
  • Some other electrodes (eg, 20C) of the plurality of ECG units 20 may contact a region other than the heart region of the body. Then, the smart terminal 1 acquires a weak electrical (i.e., potential difference) signal that can be measured from the body surface through a plurality of electrocardiogram units 20 (e.g., electrodes) as a body electrocardiogram.
  • the smart terminal 1 is configured to more conveniently listen to the subject's body sounds.
  • the smart terminal 1 may be configured to measure the body's electrocardiogram more accurately and conveniently while listening to the body's sound.
  • FIGS. 2A and 2B illustrate a unit array for performing a sound listening operation and an electrocardiogram measurement operation, according to an embodiment of the present application.
  • FIG. 2A is a diagram of the unit array viewed as arrow a in FIG. 1
  • FIG. 3B is a diagram of the unit array viewed as arrow b in FIG. 1.
  • the at least one acoustic unit 10 and some ECG units 20 form a unit array 1020.
  • the unit array 1020 may be formed by arranging the acoustic units 11, 13, and 16 and the electrocardiogram units 20a and 20b on the same contact surface.
  • the interfaces of the acoustic units 11, 13, and 16 that receive acoustic signals and electrocardiogram signals from the outside and the electrocardiogram unit 20 are arranged on the same plane.
  • the unit array 1020 may include a board 1021. At least one sound unit 10 and some electrocardiogram units 20 are installed on the board 1021.
  • the unit array 1020 is configured so that the units 10 and 20 are arranged on the contact surface so that a sound listening operation for obtaining body sound and an electrocardiogram measurement operation for measuring the body electrocardiogram are simultaneously performed through the contact surface facing the body.
  • the ECG unit 20 may be configured so that the surface of the electrode in contact with the body forms a higher level difference than the contact surface of the unit array 1020 and the surface of the surrounding acoustic unit 10.
  • the ECG unit 20 contacts the body before the contact surface of the unit array 1020 or the surrounding acoustic unit 10. .
  • ECG signals must propagate through a conductive medium to be accurately measured. Therefore, in order to measure the body electrocardiogram more accurately, the electrocardiogram unit 20 must be in stable contact with the surface of the body (eg, the skin of the target patient).
  • the smart terminal 1 can acquire both the body ECG and the body sound with relatively small errors.
  • the smart terminal 1 when the smart terminal 1 includes a plurality of types of sound units 10, the plurality of types of sound units 10 and some ECG units 20a and 20b may be arranged to cross each other. there is.
  • low-pitched sound unit 11 high-pitched sound unit (13); and electrocardiogram units 20a and 20b may be arranged between the ultrasonic sensors 16, respectively.
  • the first type of acoustic unit 11 and the second type of acoustic unit 13 may be installed in the same arrangement area.
  • the first type of acoustic unit 11 and the second type of acoustic unit 13 may be installed in a single arrangement area on the left or right side of FIG. 2A, which is partitioned by the electrocardiogram unit 20a or 20b. there is.
  • Figure 3 shows a unit array in which the arrangement of acoustic units is modified, according to another embodiment of the present application.
  • an ultrasonic sensor 16 may be arranged between the electrocardiogram units 20a and 20b.
  • the smart terminal 1 listens to lung sounds through the first type of acoustic unit 11 and the second type of acoustic unit 13, simultaneously with the lung sound auscultation operation and ultrasonic waves.
  • a lung ultrasound examination in which lung ultrasound is listened to through the sensor 16, may also be performed. Since the heart is adjacent to the lungs, when the unit array 1020 is touched to the heart area, lung sounds and/or lung ultrasound can be simultaneously heard through the acoustic unit 10 of the unit array 1020.
  • the surface of the unit array 1020 that is in contact with the body may be partially or entirely made of a conductive material. Then, the area of the conductive region that can receive the ECG signal increases, thereby improving signal reception performance.
  • the ECG unit 20 extending through the connecting member 1200 of FIG. 1 may include a sidewall that is at least partially made of a non-conductive material.
  • the side wall is the part that the user's finger touches. This side wall portion is treated with a non-conductive material to further suppress the influence of external noise when acquiring ECG signals.
  • the unit array 1020 is connected to a protruding portion of the body 1000 of FIG. 1. In one embodiment, the unit array 1020 may be connected to the first coupling portion 1100.
  • the unit array 1020 When the unit array 1020 is connected to a protruding portion of the body 1000, only the electrocardiogram units 20a, 20b and the acoustic unit 10 of the unit array 1020 are used instead of other parts of the body 1000. You may come into contact with . As a result, the user may obtain body sound and body electrocardiogram by minimally moving the smart terminal 1 toward the subject. Additionally, by minimizing the portion of the smart terminal 1 in contact with the body, discomfort felt by subjects such as patients is minimized.
  • the smart terminal 1 may be configured to more easily initiate sound listening operations and electrocardiogram measurement operations.
  • the smart terminal 1 includes a pressure switch 40 disposed between the unit array 1020 and the body 1000.
  • the unit array 1020 is coupled to the body 1000 (eg, the first coupling portion 1100) through the pressure switch 40.
  • the pressure switch 40 is a switching element that generates an electrical signal when pressure is applied and is turned on.
  • the electrical signal generated by the pressure switch 40 may be transmitted to the data processing module 100.
  • the data processing module 100 may transmit a control signal to another component (eg, unit 10 or 20) in response to this activation signal.
  • the acoustic unit 10 may initiate a listening operation in response to the electrical signal of the pressure switch 40 being generated.
  • the electrical signal of the pressure switch 40 is a signal generated when the switch is in the on-state, and is generated when the combined unit array 1020 is in contact with the body and pressure is applied.
  • the electrical signal of the pressure switch 40 is a trigger signal for starting the sound listening operation of the sound unit 10.
  • this trigger signal is passed to the data processing module 100, the data processing module 100 receives and processes the acoustic signal through the unit 10 to provide raw body acoustic information (e.g., including measurement values) or medical treatment based thereon. Information can also be generated.
  • the pressure switch 40 is in the off state (eg, because the unit array 1020 is not in contact with the body), body sounds are not acquired through the acoustic unit 10.
  • the unit array 1020 is connected to the first coupling portion 1100. Since the first coupling portion 1100 is a relatively protruding portion, when the smart terminal 1 is moved toward the body until it comes into contact with the body, the electrodes of the unit array 1020, especially the ECG unit 20, are relatively is contacted first. Then, the force by which the user moves the smart terminal 1 in the direction of the body and/or the repulsive force generated by the unit array 1020 contacting the surface of the body applies pressure to the pressure switch 40, and eventually the pressure switch 40 ) may be switched to the on-state generating a trigger signal. When an electrical signal according to switching is generated, the listening operation of the sound unit 10 is initiated.
  • the pressure switch is activated, and the input mode of the smart terminal 1 is automatically changed. Changes to auscultation mode and electrocardiogram mode.
  • the smart terminal 1 automatically starts the sound listening operation and the electrocardiogram measurement operation simply by touching the sound unit 10 to the body.
  • the smart terminal 1 may not need to input a separate user command to an input device such as the operation unit 400 to start the sound listening operation or the electrocardiogram measurement operation.
  • This smart terminal (1) acquires raw body information in terms of hearing (i.e., body sound) and raw body information in terms of electrocardiogram (i.e., body electrocardiogram) just by being used by the user for clinical treatment of the target patient. , It is configured to automatically perform the operation of processing this and generating medical information of the subject in real time.
  • the user does not need to wear a short stethoscope on the ear and bend down to auscultate the patient. In other words, clinical care can be performed more easily.
  • the smart terminal 1 is configured to measure the body's electrocardiogram more accurately or conveniently.
  • Figure 4 shows a process of measuring a subject's electrocardiogram through a plurality of electrocardiogram units, according to an embodiment of the present application.
  • the plurality of ECG units 20 may include some electrodes (eg, 20c) configured to extend from the body 1000.
  • the remaining electrodes 20c other than the electrodes 20a and 20b of the unit array 1020 may be exposed to the lower surface of the body 1000.
  • the electrodes 20c and the body 1000 are connected by a connecting member 1200 configured to reduce or increase the relative distance between them.
  • the connecting member may be a probe or wire.
  • the unit array 1020 in which the remaining ECG units 20a and 20b are installed, is configured so that the relative distance from the body 1000 changes less than the change in the relative distance between the electrodes 20c and the body 1000. 1000).
  • the unit array 1020 may be coupled so that the relative distance from the body 1000 changes as the pressure switch 40 changes.
  • the connecting member 1200 may be a retractable probe that can be folded into the body 1000.
  • the connecting member 1200 may be a probe that can be rolled on a central axis coupled to the body 1000.
  • the connecting member 1200 may include part or all of a portion made of a flexible material so that the connecting member 1200 has elasticity.
  • the connecting member 1200 may include a combination of a foldable or rollable probe and/or a portion made of a flexible material.
  • the smart terminal 1 can more easily contact the part of the electrode 20c to the heart part and other specific parts, while minimizing the volume or size of the smart terminal 1. there is.
  • the plurality of ECG units 20a, 20b, and 20c may initiate an ECG measurement operation when each electrode contacts the surface of the body.
  • the plurality of ECG units 20a, 20b, and 20c may contact the surface of the body and initiate an ECG measurement operation in response to receiving a weak electrical signal from the body surface.
  • the smart terminal 1 may further respond to the generation of an electrical signal from the pressure switch 40 and the ECG unit 20 may initiate an ECG measurement operation.
  • the smart terminal 1 may start the ECG measurement operation only when the ECG units 20a and 20b of the unit array 1020 come into contact with the skin and at the same time, pressure is applied to the pressure switch 40 and switched to the on-state. That is, the smart terminal 1 may initiate the ECG measurement operation when both the conditions for opening the ECG signal flow and the conditions for the pressure switch 40 to be turned on are achieved.
  • the electrical signal of the pressure switch 40 is a trigger signal for starting the sound listening operation of the acoustic unit 10 and the electrocardiogram measuring operation of the electrocardiogram unit 20.
  • this trigger signal is delivered to the data processing module 100, the data processing module 100 may receive and process the signal through the units 10 and 20 to generate raw body sound and raw body electrocardiogram information.
  • the smart terminal (1) is a single-lead ECG, it is very useful because it can immediately check the ECG during treatment. Additionally, it has the advantage of being able to extract various types of body electrocardiograms measured by adjusting the contact position of each lead.
  • the body sound acquired by the acoustic unit 10 and/or the body electrocardiogram obtained by the electrocardiogram unit 20 are supplied to the data processing module 100 to generate medical information of the subject.
  • the photographing unit 30 is an input component that acquires a body image by photographing the body.
  • the smart terminal 1 may obtain raw information of the visual aspect of the body part of the clinical treatment subject by the imaging unit 30. This raw information of the visual aspect of the body part is used to generate visual medical information.
  • the at least one photographing unit 30 includes at least one main photographing unit 31.
  • the smart terminal 1 may include a white light source 32 and/or a fluorescent light source 34.
  • the main photographing unit 31, the white light source 32, and the fluorescent light source 34 may be implemented or executed by one or more processors included in the smart terminal 1.
  • the main photographing unit 31 may be an input element that captures images in response to visible light and/or ultraviolet rays.
  • the main photographing unit 31 may be configured to photograph images having a plurality of color channels (eg, RGB channels).
  • the main photographing unit 31 may be, for example, a camera, a digital camera, or a multispectral image sensor.
  • the white light source 32 is a light source that outputs light having a wavelength of at least part of the visible light band.
  • the white light source 32 may be, for example, a visible light LED output lamp (LED light lamp) or other light source generally used as lighting for camera shooting.
  • the fluorescent light source 34 is a light source that emits energy excited by excitation light as light.
  • the fluorescent light source 34 is used as a fluorescent light to obtain a fluorescence image.
  • the fluorescent light source 34 may be, for example, a UV output lamp (Ultraviolet light lamp), but is not limited thereto.
  • the main photographing unit 31 reacts to the reflected light to generate a general body image or a fluorescent body image. Then, the smart terminal 1 can obtain a general body image or a fluorescent body image.
  • the main photographing unit 31 and the light sources 32 and 34 may be combined with the second coupling portion 1300.
  • the at least one photographing unit 30 may further include an infrared unit 35 and/or an illumination sensor 37.
  • the infrared unit 35 is a component that generates an infrared image in response to reflected light in the infrared band.
  • the infrared unit 35 may include, for example, an infrared camera and/or an infrared sensor.
  • the smart terminal 1 may acquire two-dimensional images of a single color channel, such as infrared images according to infrared intensity, by an infrared camera.
  • the smart terminal 1 may generate a temperature image of the patient in the imaging area.
  • the inflamed part has a relatively high temperature compared to the non-inflamed part.
  • the patient's temperature image may be used by the application to determine whether inflammation has occurred in a specific area of the patient's body.
  • the illuminance sensor 37 is an input component configured to measure the illuminance value around the smart terminal 1 or detect a change in illuminance. This illuminance sensor 37 may be combined with the second coupling portion 1300.
  • the illuminance sensor 37 may collect the illuminance value of the subject photographed by the main photographing unit 30 or the illuminance value around the second coupling portion 1300.
  • the illuminance sensor 37 may be, for example, an ambient light sensor, but is not limited thereto.
  • imaging units 31, 35, 37 and light sources 32, 34 may form a unit array 1030 separately from the unit array 1020.
  • Figure 5 shows a plurality of photographing units according to an embodiment of the present application. This is a diagram showing a unit array.
  • the imaging units 31, 35, and 37 and the light sources 32 and 34 are arranged on the board 1031 to form a unit array 1030.
  • the remaining photographing units 35 and 37 and/or light sources 32 and 34 may be arranged around the main photographing unit 31 in the unit array 1030.
  • the main photographing unit 31 may be located in the center of the unit array 1030 and the remaining components 32, 34, 35, and 37 may be arranged in a circle along the main photographing unit 31.
  • the unit array 1030 is coupled to the second coupling portion 1300 that relatively protrudes from the body 1000.
  • the smart terminal 1 can be relatively easily inserted at least partially into an internal structure of the body, such as the inside of the mouth. You can take pictures easily.
  • the body image acquired by the imaging unit 30 is supplied to the data processing module 100 to generate medical information.
  • the smart terminal 1 acquires raw body information including body sound and body electrocardiogram by the sound unit 10, the electrocardiogram unit 20, and the imaging unit 30.
  • the acquired raw body information is supplied to the data processing module 100.
  • the data processing module 100 includes at least one processor and controls the overall driving and operation of the smart terminal 1 for generating medical information.
  • the data processing module 100 may activate or switch a mode for acquiring raw body information.
  • the data processing module 100 may operate as a measurement module that processes ECG signals and acoustic signals to measure ECG and acoustic values. These measurement results may also be included in raw body information.
  • the data processing module 100 may generate medical information of the subject based on the raw body information.
  • the data processing module 100 includes a data processing unit 110; and a data transmission/reception unit 150.
  • a data processing unit 110; And the data transmitting and receiving unit 150 may be implemented or executed by one or more processors included in the smart terminal 1.
  • the data processing unit 110 processes the raw body information to generate medical information of the subject.
  • the raw body information includes body acoustics and/or body electrocardiogram. Additionally, the raw body information may further include a captured body image. Medical information generated by the data processing unit 110 will be described in more detail with reference to FIGS. 6 and 7 below.
  • the communication method may include: wired/wireless communication, 3G, 4G, 5G wired/wireless Internet, etc.
  • the communication methods include: the Internet, such as the World Wide Web (WWW), networks such as intranets and/or cellular telephone networks, wireless networks, and Global System for Mobile Network (GSM), Code Division (CDMA) Includes, but is limited to, wireless communication standards using communication protocols including Multiple Access, W-CDMA (Wideband Code Division Multiple Access), TDMA (Time Division Multiple Access), Bluetooth, Wi-Fi, and LTE (long term evolution) methods. It won't work.
  • the data processing module 100 may transmit the raw physical information received from the data processing unit 110 or the generated medical information of the subject to an external device through the data transmission/reception unit 150.
  • the data processing unit 110 may independently process the heard body sound or the measured body electrocardiogram to generate medical information of the subject based on a single aspect.
  • the data processing module 100 provides medical information of the subject based on the plurality of aspects. You can also create .
  • the subject's medical information based on the plurality of aspects may be implemented as fusion data generated by integrating the raw body information of the plurality of aspects into a single format.
  • data processing unit 110 processes the raw physical information into a preset data format to generate medical information of the subject.
  • the preset data format is a data format acceptable to an application installed in an external device that communicates with the data transmission/reception unit 150. When data in this format is transmitted to the external device, it can be used immediately in the installed application program.
  • the application program of the external device may be an application program for clinical care.
  • the application includes artificial intelligence algorithms for clinical care, for example, artificial intelligence algorithms that predict the patient's disease name.
  • the external device on which the application program is installed may be a personal computer on which an electronic medical record is installed or a server on which an artificial intelligence algorithm for clinical care is installed.
  • raw body sounds such as lung sounds, heart sounds, etc. are input to the data processing unit 110 through the acoustic unit 30.
  • the data processing unit 110 may normalize the one-dimensional acoustic vector x.
  • the normalization may be, for example, a min-max scaling method, z-transformation, etc., but is not limited thereto.
  • the data processing unit 110 may be configured to generate medical information of the subject using this one-dimensional acoustic vector x itself, and/or convert the one-dimensional acoustic vector x into an image format to generate medical information of the subject. It may be possible.
  • the medical information of the aforementioned subject may be based only on acoustic information.
  • the medical information of the subject described later may be based on acoustic information as well as other aspects of raw physical information.
  • the data processing unit 110 may convert the one-dimensional acoustic vector x into a spectrum format, a power spectrum format, or a spectrogram format.
  • Image data in spectral format, power spectrum format or spectrogram format is generated based on local Fourier transform (STFT).
  • STFT local Fourier transform
  • the spectrum format, power spectrum format, or spectrogram format is expressed by the following equation.
  • the one-dimensional acoustic vector x is converted into acoustic data in image format, expressed as a C ⁇ M matrix.
  • C represents the channel of the image (e.g., the number of channels on the channel axis in the specgram)
  • M represents the time of the image (e.g., the length of the time axis in the specgram).
  • the data processing unit 110 may normalize sound data in converted image format.
  • the normalization may be performed through, for example, min-max scaling, z-transformation, etc., but is not limited thereto.
  • the data processing unit 110 may perform normalization over part or the entire range of the one-dimensional acoustic vector x in the process of generating C ⁇ M format acoustic data.
  • the data processing unit 110 may apply the normalization process over the entire range.
  • the full range here applies to both the channel axis and the time axis.
  • the data processing unit 110 may apply the normalization process over a partial range.
  • some ranges apply on a channel-wise basis.
  • the data processing unit 110 may process an input raw ECG signal and extract ECG measurement data from the raw ECG signal. Since the raw ECG signal is input through the unit array 1020 of FIG. 2, the raw ECG signal is measured simultaneously in the time range in which the above-described one-dimensional acoustic vector x is extracted, and is synchronized data.
  • the ECG data may be expressed in an L ⁇ T matrix format.
  • L represents the ECG channel and depends on the number of leads.
  • L may have any value from 1 to 12.
  • T represents time (eg, the number of time axes) and may vary depending on the sampling rate.
  • the data processing unit 110 may normalize the ECG data for each channel.
  • the normalization may be performed through, for example, min-max scaling, z-transformation, etc., but is not limited thereto.
  • the data processing unit 110 generates medical information of the subject using the electrocardiogram data itself in an L ⁇ T matrix format (normalized or not), and/or processes the electrocardiogram data to obtain raw physical information of multiple aspects. It is also possible to generate medical information of the subject based on .
  • the medical information of the subject described above may be based only on electrocardiogram information.
  • the medical information of the subject described later may be based on electrocardiogram information as well as other aspects of raw body information, such as based on body electrocardiogram and body acoustics.
  • the data processing unit 110 processes the ECG data for each ECG channel L to enhance acoustic data in a C ⁇ M matrix format.
  • the data processing unit 110 may generate medical information of a subject by synchronizing the body electrocardiogram and the body sound in the time domain. During this synchronization process, the acoustic data is augmented with electrocardiogram data.
  • the data processing unit 110 may be configured to process ECG data in an L there is. This subject's medical information is based on body acoustics and body electrocardiogram.
  • the data processing unit 110 may generate medical information of the subject by converting the sound data into a matrix format matching the matrix size of the L ⁇ T matrix format.
  • the converted ECG data may have a C ⁇ M matrix format.
  • the data processing module 100 may include at least one pre-trained artificial neural network.
  • Each artificial neural network is configured to receive data from an input channel matching the ECG channel L, and is trained to calculate a 1-channel vector for classifying a specific sound section.
  • Figure 6 shows an acoustic section divided using a measured body electrocardiogram, according to an embodiment of the present application.
  • the specific sound section may include one or more sub-sections of the cardiac cycle.
  • the smart terminal 1 may include a plurality of artificial neural networks corresponding to each section in order to classify a plurality of sound sections.
  • the smart terminal 1 may have atrial diastole, atrial systole, atrial diastole, ventricular diastole, ventricular systole, and/or ventricular systole. It may also include multiple artificial neural networks to classify ventricular diastole.
  • Each artificial neural network is configured to produce output data consisting of a first label value at the time corresponding to its specific sound section learned to classify from the input data and a second label value at the remaining time points.
  • the specific acoustic section may be an atrial systole section.
  • the output vector of the artificial neural network for classifying the atrial systole may be a vector with a value of 1 at the time of atrial systole and 0 at other times.
  • the data processing unit 110 resizes the one-channel vector of the artificial neural network to the same value as the M axis in the matrix of the acoustic data in order to generate medical information of the subject based on the body electrocardiogram and body sound. ), and generate ECG data in a C You can also stack acoustic data in matrix format.
  • the section information of the body sound may be related to the body electrocardiogram (eg, signal measurement value).
  • the data processing unit 110 may stack ECG data on or below the acoustic data.
  • the data processing unit 110 may stack ECG data for each section. For example, when ECG data for each section is generated for Z specific sound sections, the Z ECG data may be stacked above or below the sound data. Then, the data processing unit 110 may generate medical information of the subject in the format C ⁇ M ⁇ (Z+1).
  • the data processing module 100 may generate medical information of a subject consisting of multi-modal input data obtained from multiple input modes.
  • Figure 7 shows the results of synchronizing the body electrocardiogram and body acoustics based on the segmentation of the cardiac cycle, according to an embodiment of the present application.
  • medical information based on the body electrocardiogram and body sound synchronized in the time domain may be generated in the smart terminal 1. If this medical information is transmitted to the external device and used as training data, the artificial intelligence performance of applications including artificial intelligence algorithms can be improved.
  • the data transmission/reception unit 150 transmits the subject's medical information, including synchronized information, to an external device. Synchronized information within a subject's medical information allows the application to more accurately distinguish between a patient's systole or diastole than non-synchronized information (eg, a body electrocardiogram alone).
  • the data processing unit 110 may generate medical information of the subject based on the acoustic information, electrocardiogram information, and imaging information.
  • the raw body image information includes image data of the main image capture unit 31; It includes image data from the infrared unit 35 and image data from the illuminance sensor 37. Additionally, the raw body imaging information may include driving data of the fluorescent light source 34.
  • the image data of the main photographing unit 31 may be three-channel data, such as RGB channels.
  • the image data of the infrared unit 35 may be one-channel data.
  • the illuminance sensor 37 may provide 3-channel data.
  • the driving data of the fluorescent light source 34 indicates the presence or absence of output of the fluorescent light source 34 (eg, UV lamp) and may be one-channel data.
  • the data processing unit 110 may generate medical information based on 2D image input of up to 8 channels.
  • This medical information may be in the form of input data for an artificial intelligence algorithm of an external device.
  • the input data type may be 3-tensor data.
  • the data processing unit 110 processes 8 channels of 2D image input, and the channel of the illuminance sensor 37 among the 8 channels in the 2D image input determines the measured value of the illuminance sensor 37.
  • the indicated scalar value can also be expanded (broadcasted) into a w ⁇ h matrix.
  • w and h may be the data width and data height in the input data form of the artificial intelligence algorithm of the external device.
  • the measured value of the illuminance sensor 37 may correspond to three scalar values.
  • the data processing unit 110 may define the driving data of the light source 34 as a binary scalar value (e.g., 1 for on and 0 for off). Then, the data processing unit 110 processes the 8-channel 2D image input and broadcasts a scalar value indicating whether the light source 34 among the 8 channels in the 2D image input is driven into a w ⁇ h matrix. It may be possible.
  • the data processing unit 110 converts the 8-channel 2D image input to construct 3-tensor data.
  • the data processing unit 110 may normalize the converted image input.
  • the capturing time of the captured information may be synchronized with the electrocardiogram time or audio time.
  • the data transmission/reception unit 150 transmits the subject's medical information in the format to an external device. Send to device.
  • the external device receives the subject's medical information, it applies the subject's medical information to the application for clinical treatment and performs clinical treatment operations on the subject patient who provided the subject's medical information.
  • the application's artificial intelligence algorithm analysis performance is improved. Applying fusion data based on body sounds from the lung sound/lung ultrasound sensor to the application improves the application's artificial intelligence algorithm analysis performance.
  • auxiliary sound unit 50 is a component that listens to body sounds and other sounds to be used in clinical care.
  • the auxiliary sound unit 50 may also listen to non-body sounds, such as conversations occurring during clinical treatment.
  • the auxiliary sound unit 50 may be, for example, a microphone.
  • the auxiliary sound unit 50 may have different listening specifications from the sound unit 10.
  • the auxiliary sensor 60 is a sensor that assists in obtaining a clearer body image by photographing the subject more accurately and without shaking.
  • the auxiliary sensor 60 may include an acceleration sensor and/or a rotation sensor.
  • the smart terminal 1 obtains movement information of the smart terminal 1 based on acceleration information obtained by an acceleration sensor.
  • the motion information includes motion direction and/or motion intensity.
  • the smart terminal 1 obtains rotation information of the smart terminal 1 based on rotation information obtained by the rotation sensor.
  • the rotation information includes rotation direction and/or rotation intensity.
  • the data processing module 100 may generate a body image by aligning and correcting the captured image using movement information and/or rotation information. Additionally, the data processing module 100 may generate medical information of a subject by processing movement information and/or rotation information in the preset data format. Then, in addition to the processing results of the raw body information, the subject's medical information, including information on which direction the smart terminal 1 moves when moving the imaging unit 30 to a specific affected part of the patient, may be supplied to an external device. . For this reason, the subject's medical information provides additional information for an application program on an external device to analyze which part the smart terminal 1 moves to.
  • the display unit 200 displays information for interaction with a user for the purpose of generating medical information, or displays generated medical information.
  • the display unit 200 may display an operation description/guide for generating medical information of the smart terminal 1. Additionally, the display unit 200 may display instructions for manipulating the capturing position of the body image to be input and instructions for manipulating the focus position of the body image to be input.
  • the display unit 200 displays a visual result of the input raw body information (eg, body electrocardiogram).
  • the data processing unit 110 may visualize body sounds (eg, auscultation sounds or ultrasound) in the form of a graph and display it on the display unit 200.
  • the data processing unit 110 may visualize the body electrocardiogram or impedance information used to measure the body electrocardiogram and display it on the display unit 200.
  • the display unit 200 displays medical information generated by the data processing unit 110.
  • the display unit 200 may display the results of analyzing raw body information.
  • the sound output unit 300 is a component that receives electrical signals and converts them into sound signals, and includes a speaker, etc.
  • the sound output unit 300 may output body sounds such as auscultation sounds or Doppler sounds.
  • a beep sound that distinguishes systole/diastole is generated by the sound output unit 300. and/or information visualizing the beep sound may be output to the display unit 200.
  • the sound output unit 300 may output device operation sound effects for each operation to indicate the performance of a specific operation.
  • the sound output unit 300 may output instructions leading to obtaining raw body information. For example, the sound output unit 300 may output the sound “Take a breath.”
  • the manipulation unit 400 receives information required for generating medical information or obtains a user command to control a process required for generating medical information.
  • the manipulation unit 400 may further include a first manipulation unit 420 and/or a second manipulation unit 430.
  • Either the first manipulation unit 420 or the second manipulation unit 430 inputs a trigger command to initiate a specific operation.
  • the first manipulation unit 420 may input a trigger command.
  • the first manipulation unit 420 and the second manipulation unit 430 are installed in opposite directions in the body 1000.
  • the first manipulation unit 420 is installed on the part of the body 1000 in the direction in which the smart terminal 1 faces the target's body, that is, on the front part of the body 1000.
  • the second manipulation unit 430 may be installed on a portion of the body 1000 facing the front manipulation unit 420, that is, on the rear portion of the body 1000.
  • the manipulation units 420 and 430 may be implemented in the form of buttons, dials, joysticks, and switches.
  • the first manipulation unit 420 may be implemented in the form of a switch that turns on the trigger function.
  • the second manipulation unit 430 may be implemented in the form of a stick or button.
  • the smart terminal 1 may select a light source, adjust the intensity of the selected light source, adjust focus, or initiate a photographing operation using the first manipulation unit 420 or the second manipulation unit 430.
  • the user can also manually adjust the shooting focus and exposure time through the operation unit 400.
  • the smart terminal 1 may adjust the intensity of the output sound by the first operation unit 420 or the second operation unit 430.
  • the smart terminal 1 performs an operation of mixing sounds in different frequency bands among body sounds by the first operation unit 420 or the second operation unit 430. You can also start or adjust the mixing ratio.
  • the smart terminal 1 may select the type of body image by the operation unit 400.
  • the manipulation unit 400 may generate a visible light or infrared body image by inputting a capture mode command to select a body image type.
  • These shooting modes include visible light shooting mode; Infrared shooting mode; It may also include a fiber optic imaging mode.
  • the manipulation unit 400 may input a command to activate the white light source 32 or the fluorescent light source 34 in visible light imaging mode.
  • the smart terminal (1) can assist in clinical treatment in ophthalmology or dermatology by commanding light source selection.
  • the manipulation unit 400 may be further configured to input a recording command to record the heard body sound.
  • the smart terminal 1 may include other components not described herein.
  • the smart terminal 1 may be capable of performing the operations described herein, including a network interface, an input device for data entry, a memory for storing data, and an output device for display, printing or other data presentation. It may also include other hardware elements as needed.
  • Operations by the smart terminal 1 according to the embodiments described above may be at least partially implemented as a computer program and recorded on a computer-readable recording medium.
  • a program product comprised of a computer-readable medium containing program code, which can be executed by a processor to perform any or all steps, operations, or processes described.
  • the computer-readable recording medium includes all types of recording and identification devices that store data that can be read by a computer. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage and identification devices. Additionally, computer-readable recording media may be distributed across computer systems connected to a network, and computer-readable codes may be stored and executed in a distributed manner. Additionally, functional programs, codes, and code segments for implementing this embodiment can be easily understood by those skilled in the art to which this embodiment belongs.
  • a smart terminal that acquires medical information in terms of electrocardiogram and hearing according to one embodiment can be used in the clinical care industry that utilizes medical information by acquiring medical information in an appropriate format.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Acoustics & Sound (AREA)
  • Epidemiology (AREA)
  • Cardiology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Pulmonology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

실시예들은 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행되는 명령어를 저장하는 메모리를 구비한, 심전도 및 청각 측면의 의료 정보를 획득하는 스마트 단말기로서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 스마트 단말기의 몸체에 연결되는 적어도 하나의 음향 유닛이, 대상자의 신체 음향을 획득하게 하고, 상기 스마트 단말기에 포함되는 복수의 심전도 유닛이 상기 대상자의 신체 심전도를 획득하게 하고, 상기 복수의 심전도 유닛 중 일부 심전도 유닛과 상기 적어도 하나의 음향 유닛은 상기 대상자의 신체 부위로 향하는 유닛 어레이를 형성하는 것을 특징으로 하는 스마트 단말기와 관련된다.

Description

심전도 및 청각 측면의 의료 정보를 획득하는 스마트 단말기
본 출원은 의료 정보를 실시간으로 획득하는 기술에 관한 것으로서, 보다 상세하게는 진료 과정에서 사용하는 것만으로 임상 진료를 위해 활용 가능한 포맷으로 심전도 및 청각 측면의 의료 정보를 실시간으로 획득하는 스마트 단말기에 관련된다.
성공적인 진료를 위해서는 의사의 빠르고 정확한 정보 처리 능력이 요구된다. 일반적인 임상진료에서 시진 및 청진 진료가 큰 비중을 차지한다. 따라서, 시진, 청진 진료 과정에서 얻어지는 의료 정보가 신속하게 사용 가능한 형태(또는 포맷)로 기록되는 것이 중요하다.
그러나 대부분의 시진 및 청진 진료에서 현재 광범위하게 사용되는 종래의 장비들은 스마트 폰이나 디지털 카메라, 녹음기 등과 같은 것으로서, 청진 진료 과정에서 아예 기록을 남기지 못할 가능성도 있다.
특히, 이러한 장비들은 임상진료를 위한 의료 정보 포맷에 비-적합하게 디자인되었기 때문에, 최근 임상진료의 자동화 기조에 부적합하다. 임상진료에 다양한 진단 프로그램이 활용되고 있으며 최근에는 인공지능 알고리즘을 이들 진단 프로그램에 접목시키려는 시도가 늘고 있다.
종래의 장비들은 설령 청진, 시진 과정의 기록을 남기더라도 진단 프로그램 또는 인공지능 프로그램에서 즉시 활용할 수 없는, 비-적합한 형태의 원시 신체 정보를 저장하는 한계가 있다.
본 출원은, 일 측면에서, 심전도 측면의 의료 정보, 청각 측면 및/또는 시각 측면의 의료 정보를 획득 가능한 스마트 단말기를 제공할 수도 있다.
또한, 본 출원은, 다른 일 측면에서, 청각 측면 및/또는 시각 측면의 의료 정보를 획득 가능한 스마트 단말기를 제공할 수도 있다.
본 출원의 일 측면에 따른, 심전도 및 청각 측면의 의료 정보를 획득하는 스마트 단말기는, 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행되는 명령어를 저장하는 메모리를 구비한, 심전도 및 청각 측면의 의료 정보를 획득하는 스마트 단말기로서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 스마트 단말기의 몸체에 연결되는 적어도 하나의 음향 유닛이, 대상자의 신체 음향을 획득하게 하고, 상기 스마트 단말기에 포함되는 복수의 심전도 유닛이 상기 대상자의 신체 심전도를 획득하게 하고, 상기 복수의 심전도 유닛 중 일부 심전도 유닛과 상기 적어도 하나의 음향 유닛은 상기 대상자의 신체 부위로 향하는 유닛 어레이를 형성한다.
일 실시예에서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 스마트 단말기에 포함되는 데이터 처리 모듈이 획득된 신체 음향 및 신체 심전도 중 적어도 하나의 원시 신체 정보를 미리 설정된 데이터 양식으로 처리하여 대상자의 의료 정보를 생성하게 하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 스마트 단말기에 포함된 압력 스위치가 압력이 가해져 스위칭되어 발생시킨 전기 신호에 응답하여 상기 음향 유닛이 청취 동작을 개시하게 하는(initiating) 것을 특징으로 할 수 있다.
일 실시예에서, 상기 유닛 어레이는 상기 몸체의 제1 결합 부분에 연결되며, 상기 제1 결합 부분은 상기 몸체의 다른 부분의 표면 보다 돌출된 것을 특징으로 할 수 있다.
일 실시예에서, 상기 압력 스위치는 상기 제1 결합 부분과 상기 유닛 어레이에 사이에 배치되며, 돌출된 유닛 어레이가 신체 음향을 획득할 신체 부위의 표면에 접촉하는 것에 따라서 상기 압력 스위치에 압력이 가해져 상기 전기 신호가 발생하는 것을 특징으로 할 수 있다.
일 실시예에서, 2D 단면 초음파 센서 또는 도플러 효과를 사용하는 초음파 센서를 더 포함하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 유닛 어레이에 포함되는 복수의 음향 유닛이 서로 다른 주파수 대역의 신체 음향을 청취하게 하고, 상기 복수의 음향 유닛에 포함되는 제1 음향 유닛이 가청 주파수 대역에서 상대적으로 고음의 신체 음향을 청취하게 하고, 상기 복수의 음향 유닛에 포함되는 제2 음향 유닛이 상기 가청 주파수 대역에서 상대적으로 저음의 신체 음향을 청취하게 하는 제2 음향 유닛을 포함하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 스마트 단말기에 포함되는 조작 유닛이, 청취한 고음 및 저음을 믹싱하거나, 믹싱 비율(mixing ratio)을 제어하게 하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 스마트 단말기에 포함되는 음향 출력 유닛이, 획득한 신체 음향을 음향 신호로 출력하게 하고, 상기 스마트 단말기에 포함되는 디스플레이 유닛이, 획득한 신체 음향 또는 신체 심전도를 포함한 원시 신체 정보, 또는 대상자의 의료 정보를 표시하게 하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 일부 심전도 유닛의 전극은 상기 유닛 어레이의 접촉면 및 주변의 음향 유닛 보다 높은 단차를 형성하도록 구성된 것을 특징으로 할 수 있다.
일 실시예에서, 상기 유닛 어레이의 일부 심전도 유닛의 전극은 대상자의 흉부 지역에 접촉하고, 나머지 심전도 유닛의 전극은 상기 흉부와 다른 지역에 접촉하여 신체 심전도가 획득되는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 심전도 유닛은 상기 복수의 심전도 유닛의 전극이 서로 다른 신체 지역의 표면에 각각 접촉하는 경우 상기 심전도 유닛에 의한 심전도 측정 동작을 개시하도록 구성된 것을 특징으로 할 수 있다.
일 실시예에서, 상기 나머지 심전도 유닛은 상기 스마트 단말기의 몸체로부터 연장 가능하도록 구성된 것을 특징으로 할 수 있다.
일 실시예에서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 스마트 단말기에 포함되는 데이터 송수신 유닛이 상기 대상자의 의료 정보를 진단 프로그램 또는 인공지능 프로그램이 설치된 외부기기로 전송하게 하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 데이터 처리 모듈이 신체 심전도 및 신체 음향 중 하나 이상의 원시 신체 정보를 미리 설정된 데이터 양식으로 처리하여 대상자의 의료 정보를 생성하게 하고, 상기 미리 설정된 데이터 양식은, 데이터 송수신 유닛과 통신하는 외부기기에 설치된 응용 프로그램에서 허용 가능한 데이터 포맷인 것을 특징으로 할 수 있다.
일 실시예에서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 데이터 처리 모듈이 상기 신체 음향에서 미리 설정된 길이 N의 1차원 음향 벡터 x를 추출하게 하고, 상기 1차원 음향 벡터 x 그 자체를 사용해 대상자의 의료 정보를 생성하거나 또는 상기 1차원 음향 벡터 x를 이미지 형식으로 변환하여 대상자의 의료 정보를 생성하게 하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 데이터 처리 모듈이, 상기 1차원 음향 벡터 x를 스펙트럼(Spectrum) 형식, 파워 스펙트럼 형식 또는 스팩트로그램(spectrogram) 형식으로 변환하여 C × M 행렬로 표현되는, 이미지 형식의 음향 데이터를 생성하게 하고, 상기 대상자의 의료 정보는 상기 이미지 형식의 음향 데이터를 포함하며, 상기 C는 신체 음향의 채널, M은 신체 음향의 시간을 나타내는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 데이터 처리 모듈이, 상기 심전도 신호로부터 심전도 측정 데이터를 추출하게 하고 - 상기 심전도 데이터는 L×T 행렬 형식으로 표현됨, L×T 행렬 형식의 심전도 데이터를 사용해 심전도 측면만의 대상자의 의료 정보를 생성하거나, 또는 상기 심전도 데이터를 처리하여 음향 및 심전도 측면의 대상자의 의료 정보를 생성하게 하고, 상기 L은 심전도 채널을 나타내고, T는 심전도 시간을 나타내는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 데이터 처리 모듈이, 음향 및 심전도 측면의 대상자의 의료 정보를 생성하기 위해, 상기 신체 심전도와 상기 신체 음향을 시간 도메인 상에서 동기화하게 하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 데이터 처리 모듈은 미리 학습된 적어도 하나의 인공신경망을 포함하고, 각 인공신경망은 상기 심전도 채널 L에 매칭한 입력 채널의 데이터를 입력 받도록 구성된 것으로서, 특정 음향 구간을 분류하기 위한 1-채널 벡터를 산출하도록 학습되고, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 데이터 처리 모듈이 신체 심전도 및 신체 음향에 기초한 대상자의 의료 정보를 생성하기 위해, 상기 인공신경망의 1채널 벡터를 상기 음향 데이터의 행렬에서 M 축과 동일한 값으로 사이즈를 조정(resize)하게 하고, 조정된 1채널 벡터를 상기 음향 데이터의 행렬에서 C의 값만큼 복제함으로써 C×M 행렬 형식의 심전도 데이터를 생성하게 하며, 그리고 C×M 행렬 형식으로 변환된 심전도 데이터를 상기 C×M 행렬 형식의 음향 데이터에 스택하게 하도록 구성된 것을 특징으로 할 수 있다.
일 실시예에서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 스마트 단말기가 시각 측면의 의료 정보를 더 획득하도록, 상기 스마트 단말기에 포함되는 적어도 하나의 촬영 유닛이 신체를 촬영하게 하고, 상기 데이터 처리 모듈이, 상기 대상자의 의료 정보가 신체 이미지의 처리 결과를 더 포함하도록, 상기 적어도 하나의 촬영 유닛에 의해 획득된 신체 이미지를 미리 설정된 데이터 양식으로 처리하게 하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 스마트 단말기에 포함되는 조작 유닛이 촬영 유닛을 선택하게 하거나 촬영 유닛의 사양을 제어하게 하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 적어도 하나의 촬영 유닛은 적어도 하나의 가시광선 촬영 유닛; 적어도 하나의 적외선 촬영 유닛; 및 적어도 하나의 조도 센서 중 하나 이상을 포함하는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 스마트 단말기가 적어도 하나의 가시광선 촬영 유닛을 포함할 경우, 상기 스마트 단말기는 백색 광원 및 형광성 광원(fluorescent light source) 중 하나 이상을 더 포함하는 것을 특징으로 할 수 있다.
일 실시예에서, 스마트 단말기가 적어도 하나의 적외선 촬영 유닛을 포함할 경우, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금: 상기 데이터 처리 모듈이 특정 부위의 염증 반응 여부를 확인하기 위한 촬영 영역의 온도 이미지를 생성하게 하는 것을 특징으로 할 수 있다.
본 발명의 실시예들에 따른 스마트 단말기는 다양한 신체 음향, 다양한 신체 이미지, 신체 심전도를 획득하여 센서 퓨전을 이용하는 인공지능 알고리즘에게 유용하게 적용될 퓨전 데이터의 대상자의 의료 정보를 생성할 수 있다.
특히, 상기 스마트 단말기는 스마트 단말기(1)는 임상 진료 시에 환자와 상호작용하는 동안 임상 진료와 관련된 여러 작업(사진 촬영, 청진, 녹음 등)을 쉽고 효과적으로 진행할 수 있게 지원함으로써, 의료인들이 얻는 임상정보를 실시간으로 간편하고 효과적으로 기록할 수 있게 해준다.
나아가, 이 퓨전 데이터의 대상자의 의료 정보는 다모드 입력 데이터(multimodal input data)와 같이 인공지능 프로그램이 보다 효과적으로 사용할 수 있는 특정 데이터 포맷을 가진다. 즉, 상기 스마트 단말기는 원시 신체 정보로부터, 여러 인공지능 알고리즘들에서 곧바로 활용 가능한 다모드 퓨전 데이터(multimodal fusion data)의 대상자의 의료 정보를 생성 및 제공함으로써, 인공지능에 기반 한 진료 효율을 향상시켜준다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 출원의 일 실시예에 따른, 스마트 단말기의 개략도이다.
도 2a 및 도 2b는, 본 출원의 일 실시예에 따른, 음향 청취 동작과 심전도 측정 동작을 수행하기 위한 유닛 어레이를 도시한다.
도 3은, 본 출원의 다른 일 실시예에 따른, 음향 유닛의 배열이 변형된 유닛 어레이를 도시한다.
도 4는, 본 출원의 일 실시예에 따른, 복수의 심전도 유닛을 통해 대상자의 심전도를 측정하는 과정을 도시한다.
도 5는, 본 출원의 일 실시예에 따른, 복수의 촬영 유닛으로 이루어진 유닛 어레이를 도시한 도면이다.
도 6은, 본 출원의 일 실시예에 따른, 측정된 신체 심전도를 이용하여 구획되는 음향 구간을 도시한다.
도 7은, 본 출원의 일 실시예에 따른, 상기 심장 주기의 구획화에 기초하여 신체 심전도와 신체 음향을 동기화한 결과를 도시한다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
본 출원의 실시예들에 따른 스마트 단말기(1)는 청각 측면의 의료 정보를 획득하는 청각 입력 모듈; 심전도 측면의 의료 정보를 획득하는 심전도 입력 모듈; 및/또는 시각 측면의 의료 정보를 획득하는 시각 입력 모듈을 포함한다.
본 출원의 일 측면에 따른 특정 실시예들에서, 스마트 단말기(1)는 청각 측면의 의료 정보 및 심전도 측면의 의료 정보를 획득할 수도 있다. 또한, 대안적인 실시예들에서, 이 스마트 단말기(1)는 시각 측면의 의료 정보를 획득하도록 더 구성될 수도 있다.
도 1은, 본 출원의 일 실시예에 따른, 스마트 단말기의 개략도이다.
도 1을 참조하면, 스마트 단말기(1)는 적어도 하나의 음향 유닛(10); 복수의 심전도 유닛(20); 데이터 처리 모듈(100); 및 몸체(1000)를 포함한다. 상기 몸체(1000)는 상기 심전도 유닛(20)과 접촉하는 압력 스위치(40)를 포함한다. 또한, 상기 대안적인 실시예들에서, 상기 스마트 단말기(1)는 적어도 하나의 촬영 유닛(30)을 더 포함할 수도 있다.
여기서, 하나의 음향 유닛(10), 복수의 심전도 유닛(20), 촬영 유닛(30), 압력 스위치(40), 데이터 처리 모듈(100) 및 몸체(1000)는 스마트 단말기(1)에 포함되는 하나 이상의 프로세서에 의해 구현 또는 실현될 수 있다.
일부 실시예들에서, 상기 스마트 단말기(1)는 보조 음향 유닛(50), 보조 센서(60), 디스플레이 유닛(200), 음향 출력 유닛(300) 및/또는 조작 유닛(400)을 더 포함할 수도 있다.
여기서, 보조 음향 유닛(50), 보조 센서(60), 디스플레이 유닛(200), 음향 출력 유닛(300) 및 조작 유닛(400)은 스마트 단말기(1)에 포함되는 하나 이상의 프로세서에 의해 구현 또는 실현될 수 있다.
상기 음향 유닛(10), 심전도 유닛(20), 촬영 유닛(30)은 대상자의 원시 신체 정보를 획득하기 위해 상기 대상자의 신체와 상호작용하는 입력 유닛이다.
상기 보조 음향 유닛(50), 보조 센서(60), 디스플레이 유닛(200), 음향 출력 유닛(300), 조작 유닛(400)은 대상자의 의료 정보를 생성하기 위해 사용자와 상호작용하는 입/출력 유닛이다.
실시예들에 따른 스마트 단말기(1)는 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 기기(apparatus) 또는 장치(device)는 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 “유닛(unit)”, "부(unit)", “모듈(module)”, “장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
상기 몸체(1000)는 하나 이상의 구성요소(예컨대, 데이터 처리 모듈(100))을 내부에 포함한다. 그러면, 내부에 포함된 다른 일부 구성요소는 몸체(1000)에 의해 외부의 물질, 충격으로부터 보호된다.
또한, 몸체(1000)는 전술한 유닛(10, 20, 30)이 신체에 접촉 가능하도록 설치되는 구조를 가진다.
특정 실시예들에서, 상기 몸체(1000)는 제1 결합 부분(1100)을 포함할 수도 있다. 상기 제1 결합 부분(1100)은 몸체(1000) 중에서 음향 유닛(10) 및/또는 적어도 하나의 심전도 유닛(20) 과 연결되는 부분일 수도 있다.
또한, 상기 몸체(1000)는 제2 결합 부분(1300)을 더 포함할 수도 있다. 상기 제2 결합 부분(1300)은 촬영 유닛(30)과 연결되는 부분일 수도 있다. 상기 제1 결합 부분(1100)은 몸체(1000)의 일 단일 수도 있고, 상기 제2 결합 부분(1300)은 몸체(1000)의 타 단일 수도 있다. 예를 들어, 도 1에 도시된 것처럼, 상기 제1 결합 부분(1100)은 몸체(1000)의 하부에 형성된 일 단일 수도 있다. 상기 제2 결합 부분(1300)은 몸체(1000)의 상부에 형성된 타 단일 수도 있다.
일 실시예에서, 상기 제1 결합 부분(1100) 및/또는 제2 결합 부분(1300)은 몸체(1000)의 다른 부분에 비해 상대적으로 신체에 우선 접촉하도록 몸체(1000)의 다른 부분 보다 돌출될 수도 있다. 그러면, 상기 몸체(1000)는 상부와 하부 사이의 중간 부분의 두께가 상대적으로 좁은 형상을 가질 수도 있다. 상기 제1 결합 부분(1100), 제2 결합 부분(1300)의 돌출 정도는 동일하거나 서로 상이할 수도 있다. 예를 들어, 제1 결합 부분(1100), 제2 결합 부분(1300)은 몸체(1000)의 다른 부분과 비교하여 돌출되며, 이 돌출 정도는 도 1에 도시된 바와 같이 유사할 수도 있다.
제1 결합 부분(1100), 제2 결합 부분(1300)이 상대적으로 돌출됨으로써, 상기 몸체(1000)는 사용자의 손으로 파지하는데 적합한 형상을 가질 수도 있다. 이 경우, 사용자는 제1 결합 부분(1100), 제2 결합 부분(1300) 사이의 상대적으로 좁은 부분을 파지할 수도 있다. 이와 같이 몸체(1000)는 사용이 편리한 형상을 제공한다. 일 실시예에서, 상기 몸체(1000)에 결합된 일부 구성요소는 몸체(1000)와의 거리가 일시적으로 변경되도록 결합된 구성요소를 포함할 수도 있다. 이에 대해서는 아래의 도 2를 참조하여 보다 상세하게 서술한다.
음향 유닛(10)은 신체 음향을 획득하는 입력 구성요소이다. 상기 음향 유닛(10)은 피부 외부에서 저체 내부의 음향 신호를 곧바로 획득하거나, 피부에 접촉하여 신체 내부의 진동을 감지하여 음향 신호를 획득할 수도 있다. 상기 음향 유닛(10)은, 예를 들어, 마이크 또는 진동 센서일 수도 있다.
상기 스마트 단말기(1)는 복수의 유형의 음향 유닛(10)을 포함할 수도 있다. 복수의 유형의 음향 유닛(10)에서 일부 유형의 음향 유닛(10)과 다른 일부 유형의 음향 유닛(10)은 서로 다른 주파수 대역의 음향을 청취하도록 구성된다.
상기 복수의 유형의 음향 유닛(10)은 가청 주파수 대역의 음향을 청취하는 제1 유형의 음향 유닛(11) 및/또는 제2 유형의 음향 유닛(13)을 포함할 수도 있다.
상기 제1 음향 유닛(11)은 가청 주파수 대역에서 상대적으로 고음의 신체 음향을 청취하는 입력 구성요소이다.
상기 제2 음향 유닛(13)은 가청 주파수 대역에서 상대적으로 저음의 신체 음향을 청취하는 입력 구성요소이다.
여기서, 제1 음향 유닛(11)과 제2 음향 유닛(13)은 스마트 단말기(1)에 포함되는 하나 이상의 프로세서로부터 구현 또는 실행될 수 있다.
그러면, 스마트 단말기(1)는 청취한 저음의 신체 음향 및/또는 고음의 신체 음향과 관련된 정보를 포함한 청각 의료 정보를 생성할 수도 있다.
상기 제1 유형의 음향 유닛(11), 제2 유형의 음향 유닛(13)은 접촉 마이크일 수도 있다. 상기 접촉 마이크(11, 13)에서 신체의 표면과 접촉하는 부분은 실리콘 고무와 같은, 탄성을 갖는 물질로 이루어질 수도 있다.
또한, 상기 제1 유형의 음향 유닛(11), 제2 유형의 음향 유닛(13)은 증폭 유닛을 더 포함할 수도 있다. 상기 증폭 유닛은 상기 신체의 표면과 접촉하는 부분을 경유하여 입력된 물리 에너지를 증폭하는 구성요소일 수도 있다. 상기 증폭 유닛은 압전 마이크 유닛(piezoelectric microphone unit)일 수도 있다.
또한, 상기 복수의 유형의 음향 유닛(10)은 초음파 센서(16)를 더 포함할 수도 있다. 상기 스마트 단말기(1)는 하나 이상의 초음파 센서(16)를 포함할 수도 있다. 그러면, 스마트 단말기(1)는 청취한 초음파 음향과 관련된 정보를 포함한 청각 의료 정보를 생성할 수도 있다.
상기 초음파 센서(16)는 가청 주파수 밖의 초음파를 갖는 신체 음향을 청취한다. 상기 초음파 센서(16)는 예를 들어 2D 단면 초음파 센서 및/또는 도플러 센서를 포함할 수도 있다.
여기서, 초음파 센서(16)는 스마트 단말기(1)에 포함되는 하나 이상의 프로세서로부터 구현 또는 실행될 수 있다.상기 2D 단면 초음파 센서(16)는 프로브(proble)를 가지며, 피부의 2차원 단면에서 초음파를 청취하는 초음파 센서다.
상기 도플러 센서(16)는 도플러 효과를 사용하는 초음파 센서다. 상기 도플러 센서는 탐촉자로 향하거나 탐촉자로부터 멀어지는 장기 조직이나 혈류에 충돌하여 일부 반사되어 돌아오는 초음파의 주파수 변화를 청취한다.
또한, 상기 초음파 센서(16)는 폐 초음파 검사를 진행하기 위해 활용될 수도 있다. 또한, 상기 초음파 센서(16)를 심초음파 계층 위치에 접촉시키면, 상기 스마트 단말기(1)는 임상 진료 시 소형 심초음파 기기의 역할을 수행할 수도 있다. 심전도 유닛(20)은 신체 심전도 신호를 획득하는 입력 구성요소이다. 상기 심전도 유닛(20)은 심전도 신호와 같은 전기 신호를 수신하기 위해, 전도성 물질로 이루어진 전극으로 구현될 수도 있다.
상기 복수의 심전도 유닛(20) 중 하나 이상의 전극(예컨대, 20A, 20B)은 상기 신체의 심장 영역에 접촉한다. 상기 심장 영역은 심장의 전기 신호를 측정 가능한 피부 영역을 지칭한다.
상기 복수의 심전도 유닛(20) 중 다른 일부 전극(예컨대, 20C)은 상기 신체의 심장 영역과 다른 영역에 접촉할 수도 있다. 그러면, 상기 스마트 단말기(1)는 복수의 심전도 유닛(20)(예컨대, 전극)을 통해 신체 표면에서 측정 가능한 미약한 전기(즉, 전위차) 신호를 신체 심전도로 획득한다. 상기 스마트 단말기(1)는 대상자의 신체 음향을 보다 편리하게 청취하도록 구성된다. 또한, 상기 스마트 단말기(1)는 신체의 음향 청취와 동시에 신체 심전도를 보다 정확하고 편리하게 측정 가능하도록 구성될 수도 있다.
도 2a 및 도 2b는, 본 출원의 일 실시예에 따른, 음향 청취 동작과 심전도 측정 동작을 수행하기 위한 유닛 어레이를 도시한다.
도 2a는 도 1에서 화살표 a로 바라본 유닛 어레이의 도면이고, 도 3b는 도 1에서 화살표 b로 바라본 유닛 어레이의 도면이다.
도 2a 및 도 2b를 참조하면, 상기 적어도 하나의 음향 유닛(10)과 일부 심전도 유닛(20)은 유닛 어레이(1020)를 형성한다. 예를 들어, 도 2a 및 도 2b에 도시된 것처럼, 유닛 어레이(1020)는 동일한 접촉면 상에 음향 유닛(11, 13, 16)과 심전도 유닛(20a, 20b)이 배열되어 형성될 수도 있다. 외부로부터 음향 신호 및 심전도 신호를 수신하는 음향 유닛(11, 13, 16)과 심전도 유닛(20)의 인터페이스가 동일한 평면 상에 배열된다.
일 실시예에서, 상기 유닛 어레이(1020)는 보드(1021)를 포함할 수도 있다. 상기 보드(1021) 상에 적어도 하나의 음향 유닛(10)과 일부 심전도 유닛(20)이 설치된다.
상기 유닛 어레이(1020)는 신체 음향을 획득하는 음향 청취 동작 및 신체 심전도를 측정하는 심전도 측정 동작이 신체에 대향하는 접촉면을 통해 동시에 수행되도록 접촉면 상에 유닛(10, 20)이 배열되도록 구성된다.
일 실시예에서, 상기 심전도 유닛(20)은, 상기 신체에 접촉하는 전극의 표면이 유닛 어레이(1020)의 접촉면 및 주변의 음향 유닛(10)의 표면 보다 높은 단차를 형성하도록 구성될 수도 있다. 도 2b의 단차를 갖는 단면 구조로 구성된 유닛 어레이(1020)가 신체에 접촉할 경우, 상기 심전도 유닛(20)은 유닛 어레이(1020)의 접촉면 또는 주변의 음향 유닛(10) 보다 먼저 신체에 접촉한다. 심전도 신호는 전도성 매질을 통해 전파되어야 정확하게 측정 가능하다. 따라서, 신체 심전도를 보다 정확하게 측정하기 위해서는 심전도 유닛(20)이 신체의 표면(예컨대, 대상 환자의 피부)에 안정적으로 접촉해야 한다. 심전도 유닛(20)의 전극이 신체의 표면에 접촉되지 않고 떨어질 경우 부정확한 신체 심전도가 획득될 수도 있다. 반면, 음향 유닛(10)은 공기와 같은 매질을 통해 전파 가능하므로, 신체와 반드시 직접 접촉할 필요는 없다. 결국, 도 2b의 단면 구조로 음향 유닛(10)과 심전도 유닛(20)이 배열되면 상기 스마트 단말기(1)는 신체 심전도 및 신체 음향 모두 상대적으로 적은 오차로 획득할 수도 있다.
일 실시예에서, 상기 스마트 단말기(1)가 복수의 유형의 음향 유닛(10)을 포함할 경우, 복수의 유형의 음향 유닛(10)과 일부 심전도 유닛(20a, 20b)은 서로 교차 배열될 수도 있다.
예를 들어, 저음 음향 유닛(11); 고음 음향 유닛(13); 및 초음파 센서(16) 사이에 심전도 유닛(20a, 20b)이 각각 배열될 수도 있다.
일 실시예에서, 상기 제1 유형의 음향 유닛(11) 및 제2 유형의 음향 유닛(13)은 동일한 배열 영역에 설치될 수도 있다. 예를 들어, 심전도 유닛(20a 또는 20b)로 구획되는, 도 2a의 좌측 또는 우측의 단일 배열 영역에 상기 제1 유형의 음향 유닛(11) 및 제2 유형의 음향 유닛(13)이 설치될 수도 있다.
도 3은, 본 출원의 다른 일 실시예에 따른, 음향 유닛의 배열이 변형된 유닛 어레이를 도시한다.
도 3을 참조하면, 도 2의 복수의 유형의 음향 유닛(11, 13, 16)의 배열 순서는 다양하게 변형될 수도 있다. 도 3에 도시된 것처럼 초음파 센서(16)가 심전도 유닛(20a, 20b) 사이에 배열될 수도 있다.
아울러, 이러한 유닛 어레이(1020) 구조 하에서, 스마트 단말기(1)는 제1 유형의 음향 유닛(11), 제2 유형의 음향 유닛(13)을 통해 폐음을 청취하는, 폐음 청진 동작과 동시에, 초음파 센서(16)를 통해 폐 초음파를 청취하는, 폐 초음파 검사를 함께 수행할 수도 있다. 심장은 폐와 인접하므로, 심장 영역에 상기 유닛 어레이(1020)를 접촉 시 유닛 어레이(1020)의 음향 유닛(10)을 통해 폐음 및/또는 폐 초음파를 동시에 청취 가능하기 때문이다.
일부 실시예들에서, 상기 유닛 어레이(1020)에서 신체와 접촉하는 표면은 일부 또는 전부는 전도성 물질로 이루어질 수도 있다. 그러면, 심전도 신호를 수신 가능한 전도성 영역의 면적이 증가하여, 신호 수신 성능이 보다 높아진다.
일부 실시예들에서, 도 1의 연결 부재(1200)를 통해 연장되는 심전도 유닛(20)은 적어도 부분적으로 비전도 물질로 이루어진 측벽을 포함할 수도 있다. 상기 측벽은 사용자의 손가락이 닿는 부분이다. 이 측벽 부분은 비전도 물질로 처리하여 심전도 신호 획득 시 외부 노이즈 영향이 미치는 것을 보다 억제한다.
또한, 상기 유닛 어레이(1020)는 도 1의 몸체(1000)에서 돌출된 부분과 연결된다. 일 실시예에서, 상기 유닛 어레이(1020)는 제1 결합 부분(1100)과 연결될 수도 있다.
상기 유닛 어레이(1020)가 몸체(1000)에서 돌출된 부분과 연결되면, 몸체(1000)의 다른 부분 대신에 유닛 어레이(1020)의 심전도 유닛(20a, 20b), 음향 유닛(10) 만이 보다 신체에 접촉할 수도 있다. 그 결과, 사용자는 대상자를 향해 최소한으로 스마트 단말기(1)를 이동시킴으로써 신체 음향 및 신체 심전도를 획득할 수도 있다. 또한, 스마트 단말기(1)가 신체와 접촉하는 부분이 최소화됨으로써 환자와 같은 대상자가 느끼는 불편함이 최소화된다.
또한, 상기 스마트 단말기(1)는 음향 청취 동작 및 심전도 측정 동작의 개시(initiating)가 보다 간편하게 구성될 수도 있다.
다시 도 1을 참조하면, 스마트 단말기(1)는 유닛 어레이(1020)와 몸체(1000) 사이에 배치된 압력 스위치(40)를 포함한다. 유닛 어레이(1020)는 압력 스위치(40)를 통해 몸체(1000)(예컨대, 제1 결합 부분(1100))와 결합된다.
상기 압력 스위치(40)는 압력이 가해져 온-상태가 되면 전기 신호를 발생시키는 스위칭 소자이다. 상기 압력 스위치(40)에 의해 발생된 전기 신호는 데이터 처리 모듈(100)로 전송될 수도 있다. 상기 데이터 처리 모듈(100)은 이 활성화 신호에 응답하여 제어 신호를 다른 구성요소(예컨대, 유닛(10 또는 20))로 전송할 수도 있다.
일 실시예에서, 상기 압력 스위치(40)의 전기 신호가 발생하는 것에 응답하여 상기 음향 유닛(10)은 청취 동작을 개시할 수도 있다. 상기 압력 스위치(40)의 전기 신호는 스위치가 온-상태가 될 때 발생되는 신호로서, 결합된 유닛 어레이(1020)가 신체에 접촉하여 압력이 가해지면 발생된다.
상기 압력 스위치(40)의 전기 신호는 음향 유닛(10)의 음향 청취 동작을 개시하기 위한 트리거 신호이다. 이 트리거 신호가 데이터 처리 모듈(100)로 전달되면, 데이터 처리 모듈(100)은 유닛(10)을 통해 음향 신호를 수신하고 처리하여 (예컨대, 측정 값을 포함한) 원시 신체 음향 정보 또는 이에 기초한 의료 정보를 생성할 수도 있다. (예컨대, 유닛 어레이(1020)가 신체와 비-접촉하여) 압력 스위치(40)가 오프-상태일 경우 음향 유닛(10)을 통해 신체 음향이 획득되지 않는다.
도 1에 도시된 바와 같이, 유닛 어레이(1020)는 제1 결합 부분(1100)과 연결되어 있다. 상기 제1 결합 부분(1100)은 상대적으로 돌출된 부분이기 때문에, 신체와 접촉할 때까지 스마트 단말기(1)를 신체 방향으로 이동시키면 유닛 어레이(1020), 특히 심전도 유닛(20)의 전극이 상대적으로 우선 접촉된다. 그러면, 사용자가 스마트 단말기(1)를 신체 방향으로 이동시키는 힘 및/또는 유닛 어레이(1020)가 신체의 표면에 접촉하여 발생하는 반발력이 압력 스위치(40)에 압력을 가하고, 결국 압력 스위치(40)가 트리거 신호를 발생시키는 온-상태로 스위칭될 수도 있다. 스위칭에 따른 전기 신호가 발생하면, 음향 유닛(10)의 청취 동작이 개시된다.
이와 같이, 몸체(1000)로부터 돌출된 부분과 연결된 음향 유닛(10)을 대상 환자의 청취 부위(예컨대, 흉부)에 접촉하면 압력 스위치가 작동하여, 상기 스마트 단말기(1)의 입력 모드가 자동으로 청진 모드, 심전도 모드로 변경된다.
결국, 스마트 단말기(1)는 음향 유닛(10)을 신체에 접촉하는 것만으로 자동으로 음향 청취 동작, 심전도 측정 동작을 개시한다. 스마트 단말기(1)는 음향 청취 동작, 심전도 측정 동작을 개시하기 위해 조작 유닛(400) 등의 입력 기기에 별도의 사용자 명령을 입력할 필요가 없을 수도 있다.
이러한 스마트 단말기(1)는 사용자에 의해 대상 환자의 임상 진료를 위해 사용되는 것만으로도 청각 측면의 원시 신체 정보(즉, 신체 음향), 심전도 측면의 원시 신체 정보(즉, 신체 심전도)를 획득하고, 이를 처리하여 대상자의 의료 정보를 생성하는 동작을 실시간으로 자동으로 수행하도록 구성된다.
또한, 사용자는 짧은 청진기를 굳이 귀에 쓰고 환자에게 숙여 청진을 할 필요가 없다. 즉, 보다 간편하게 임상 진료를 할 수 있다.
또한, 스마트 단말기(1)는 신체 심전도를 보다 정확하거나 편리하게 측정하도록 구성된다.
도 4는, 본 출원의 일 실시예에 따른, 복수의 심전도 유닛을 통해 대상자의 심전도를 측정하는 과정을 도시한다.
도 4를 참조하면, 상기 복수의 심전도 유닛(20)은 상기 몸체(1000)로부터 연장 가능하도록 구성된 일부 전극(예컨대, 20c)을 포함할 수도 있다.
상기 유닛 어레이(1020)의 전극(20a, 20b) 이외의 나머지 전극(20c)은 몸체(1000)의 하부면에 노출될 수도 있다.
상기 일부 전극(20c)과 몸체(1000)는 이들 사이의 상대적 거리가 축소 또는 증가하도록 구성된 연결 부재(member, 1200)로 결합된다. 상기 연결 부재는 프로브 또는 와이어일 수도 있다. 반면 나머지 심전도 유닛(20a, 20b)가 설치된 상기 유닛 어레이(1020)는 몸체(1000)로부터의 상대적 거리가 전극(20c)과 몸체(1000)로부터의 상대적 거리의 변화 보다 적은 변화를 갖도록 상기 몸체(1000)에 결합된다. 예를 들어, 유닛 어레이(1020)는 압력 스위치(40)의 변화만큼 몸체(1000)로부터의 상대적 거리가 변하도록 결합될 수도 있다.
일 실시예예서, 상기 연결 부재(1200)는 상기 몸체(1000)에 접어 넣을 수 있는 프로브(retractable probe)일 수도 있다.
다른 일 실시예예서, 상기 연결 부재(1200)는 상기 몸체(1000)에 결합된 중심 축에 롤링 가능한 프로브일 수도 있다.
또 다른 일 실시예에서, 상기 연결 부재(1200)는 상기 연결 부재(1200)가 탄성을 갖도록, 플렉서블한 물질로 이루어진 부분을 일부 또는 전부 포함할 수도 있다.
또 다른 일 실시예에서, 상기 연결 부재(1200)는 접어 넣을 수 있는 형태 또는 롤링 가능한 형태의 프로브, 및/또는 플렉서블 물질로 이루어진 부분의 조합을 포함할 수도 있다.
이러한 연결 부재(1200)를 가짐으로써, 상기 스마트 단말기(1)는 상기 일부 전극(20c)을 심장 부분과 다른 특정 부분에 보다 손쉽게 접촉시키면서, 상기 스마트 단말기(1)의 부피 또는 크기를 최소화할 수도 있다. 일 실시예에서, 상기 복수의 심전도 유닛(20a, 20b, 20c)은 각 전극이 신체의 표면에 각각 접촉할 경우에 심전도 측정 동작을 개시할 수도 있다. 상기 복수의 심전도 유닛(20a, 20b, 20c)이 신체의 표면에 접촉하여 신체 표면에서 미약한 전기 신호를 수신하는 것에 반응하여 심전도 측정 동작을 개시할 수도 있다.
일 실시예에서, 상기 스마트 단말기(1)는 압력 스위치(40)의 전기 신호가 발생하는 것에 추가로 응답하여 심전도 유닛(20)은 심전도 측정 동작을 개시할 수도 있다. 스마트 단말기(1)는 유닛 어레이(1020)의 심전도 유닛(20a, 20b)가 피부에 접촉하는 것과 동시에 압력 스위치(40)에 압력이 가해져 온-상태로 스위칭되어야 심전도 측정 동작을 개시할 수도 있다. 즉, 스마트 단말기(1)는 심전도 신호 흐름이 개통하는 조건 및 압력 스위치(40)가 온 상태가 되는 조건을 모두 달성할 경우에 상기 심전도 측정 동작을 개시할 수도 있다. 이 경우, 압력 스위치(40)의 전기 신호는 음향 유닛(10)의 음향 청취 동작 및 심전도 유닛(20)의 심전도 측정 동작을 개시하기 위한 트리거 신호이다. 이 트리거 신호가 데이터 처리 모듈(100)로 전달되면, 데이터 처리 모듈(100)은 유닛(10, 20)을 통해 신호를 수신하고 처리하여 원시 신체 음향 및 원시 신체 심전도 정보를 생성할 수도 있다.
상기 스마트 단말기(1)는 단일 리드 심전도이지만 진료 도중에 즉각적으로 심전도를 확인할 수 있어 상당히 유용하다. 또한 각 리드를 접촉시키는 위치를 조정함으로써 측정된 여러 종류의 신체 심전도를 추출해 낼 수 있는 장점이 있다.
상기 음향 유닛(10)에 의해 획득된 신체 음향 및/또는 심전도 유닛(20)에 의해 획득된 신체 심전도는, 대상자의 대상자의 의료 정보를 생성하기 위해 데이터 처리 모듈(100)로 공급된다.
다시 도 1을 참조하면, 상기 촬영 유닛(30)은 신체를 촬영하여 신체 이미지를 획득하는 입력 구성요소이다. 상기 대안적인 실시예들에서, 상기 스마트 단말기(1)는 상기 촬영 유닛(30)에 의해 임상 진료 대상의 신체 부분에 대한 시각적 측면의 원시 정보를 획득할 수 있다. 이 신체 부분에 대한 시각적 측면의 원시 정보는 시각 의료 정보를 생성하는데 사용된다. 상기 적어도 하나의 촬영 유닛(30)은 적어도 하나의 메인 촬영 유닛(31)을 포함한다.
이 경우, 상기 스마트 단말기(1)는 백색 광원(32) 및/또는 형광성 광원(fluorescent light source, 34)을 포함할 수도 있다.
여기서, 메인 촬영 유닛(31), 백색 광원(32), 형광성 광원(fluorescent light source, 34)은 스마트 단말기(1)에 포함되는 하나 이상의 프로세서로부터 구현 또는 실행될 수 있다.
상기 메인 촬영 유닛(31)은 가시광선 및/또는 자외선에 반응하여 이미지를 촬영하는 입력 구성요소일 수도 있다. 상기 메인 촬영 유닛(31)은 복수의 색상 채널(예컨대, RGB 채널)을 갖는 이미지를 촬영하도록 구성될 수도 있다. 상기 메인 촬영 유닛(31)은, 예를 들어 카메라, 디지털 카메라, 또는 멀티스펙트럼 이미지 센서일 수도 있다.
상기 백색 광원(32)은 가시광선 대역 중 적어도 일부의 파장을 갖는 빛을 출력하는 광원이다. 상기 백색 광원(32)은, 예를 들어 가시광선 LED 출력 램프(LED light lamp) 또는 카메라 촬영에 조명으로서 일반적으로 활용되는 기타 광원일 수도 있다.
형광성 광원(34)은 여기광(Excitaion light)에 의해 여기된 에너지를 빛으로 방출하는 광원이다. 상기 형광성 광원34은 형광 이미지를 얻기 위한 형광 조명으로 사용된다. 상기 형광성 광원(34)은, 예를 들어 UV 출력 램프(Ultraviolet light lamp)일 수도 있으나, 이에 제한되진 않는다.
백색 광원(32) 및/또는 형광성 광원34에서 방출된 빛이 조사되어 신체로부터 반사되면 메인 촬영 유닛(31)이 반사된 빛에 반응하여 일반 신체 이미지 또는 형광 신체 이미지를 생성한다. 그러면, 스마트 단말기(1)는 일반 신체 이미지 또는 형광 신체 이미지를 얻을 수 있다.
상기 메인 촬영 유닛(31), 광원(32, 34)은 제2 결합 부분(1300)과 결합될 수도 있다.
일부 실시예들에서, 상기 적어도 하나의 촬영 유닛(30)은 적외선 유닛(35) 및/또는 조도 센서(37)를 더 포함할 수도 있다. 적외선 유닛(35)은 적외선 대역의 반사광에 반응하여 적외선 이미지를 생성하는 구성요소이다. 상기 적외선 유닛(35)은, 예를 들어, 적외선 카메라 및/또는 적외선 센서를 포함할 수도 있다.
스마트 단말기(1)는 적외선 카메라에 의해 적외선 강도에 따른 적외선 이미지와 같은, 단일 색상 채널의 2차원 이미지를 획득할 수도 있다.
상기 스마트 단말기(1)가 적외선 유닛(35)을 포함할 경우, 촬영 영역에 대해서 환자의 온도 이미지를 생성할 수도 있다. 신체에 염증이 발생하면, 염증 발생 부분은 염증 비-발생 부분 대비 상대적으로 높은 온도를 가진다. 상기 환자의 온도 이미지는 상기 응용 프로그램이 환자의 신체에서 특정 부위의 염증 발생 여부를 확인하는데 사용될 수도 있다.
조도 센서(37)는 스마트 단말기(1) 주변의 조도 값을 측정하거나 조도 변화를 감지하도록 구성된 입력 구성요소이다. 이러한 조도 센서(37)는 제2 결합 부분(1300)과 결합될 수도 있다.
상기 조도 센서(37)는 메인 촬영 유닛(30)이 촬영하는 피사체의 조도 값 또는 상기 제2 결합 부분(1300) 주변의 조도 값을 수집할 수도 있다. 상기 조도 센서(37)는, 예를 들어 Ambient light sensor일 수도 있으나, 이에 제한되진 않는다.
이러한 촬영 유닛(31, 35, 37) 및 광원(32, 34)은 상기 유닛 어레이(1020)와 별도로, 유닛 어레이(1030)를 형성할 수도 있다.
여기서, 적외선 유닛(35) 및 조도 센서(37)는 스마트 단말기(1)에 포함되는 하나 이상의 프로세서로부터 구현 또는 실행될 수 있다.도 5는, 본 출원의 일 실시예에 따른, 복수의 촬영 유닛으로 이루어진 유닛 어레이를 도시한 도면이다.
도 5를 참조하면, 상기 촬영 유닛(31, 35, 37) 및 광원(32, 34)은 보드(1031) 상에 배열되어 유닛 어레이(1030)를 형성한다.
일 실시예에서, 상기 유닛 어레이(1030)에서 메인 촬영 유닛(31) 주변으로 나머지 촬영 유닛(35, 37) 및/또는 광원(32, 34)이 배열될 수도 있다. 예를 들어, 메인 촬영 유닛(31)은 유닛 어레이(1030)의 중심부에 위치하고 나머지 구성요소(32, 34, 35, 37)가 메인 촬영 유닛(31)을 따라 원형으로 배열될 수도 있다. 상기 유닛 어레이(1030)는 몸체(1000)에서 상대적으로 돌출된 제2 결합 부분(1300)에 결합된다.
이와 같이 촬영 유닛(30)이 상대적으로 돌출된 구조를 가짐으로써, 스마트 단말기(1)는 입 속과 같은, 신체 내부 구조에 적어도 부분적으로 상대적으로 쉽게 삽입게 삽입 가능하여, 이러한 신체 내부 구조를 상대적으로 쉽게 촬영할 수 있다.
상기 촬영 유닛(30)에 의해 획득된 신체 이미지는, 의료 정보를 생성하기 위해 데이터 처리 모듈(100)로 공급된다.
스마트 단말기(1)는 음향 유닛(10), 심전도 유닛(20), 촬영 유닛(30)에 의해 신체 음향, 신체 심전도를 포함한 원시 신체 정보를 획득한다. 획득된 원시 신체 정보는 데이터 처리 모듈(100)로 공급된다.
데이터 처리 모듈(100)은 적어도 하나의 프로세서를 포함하며, 의료 정보를 생성하기 위한 스마트 단말기(1)의 전반적인 구동, 동작을 제어한다. 데이터 처리 모듈(100)은 원시 신체 정보를 획득하기 위한 모드를 활성화 또는 전환할 수도 있다.
또한, 상기 데이터 처리 모듈(100)은 심전도 신호, 음향 신호를 처리하여 심전도, 음향 값을 측정하는 측정 모듈로 동작할 수도 있다. 이러한 측정 결과는 원시 신체 정보에 포함될 수도 있다.
또한, 상기 데이터 처리 모듈(100)은 상기 원시 신체 정보에 기초한 대상자의 의료 정보를 생성할 수도 있다.
데이터 처리 모듈(100)은 데이터 처리 유닛(110); 및 데이터 송수신 유닛(150)을 포함한다.
여기서, 데이터 처리 유닛(110); 및 데이터 송수신 유닛(150)은 스마트 단말기(1)에 포함되는 하나 이상의 프로세서에 의해 구현 또는 실행될 수 있다.
데이터 처리 유닛(110)은 원시 신체 정보를 처리하여 대상자의 의료 정보를 생성한다. 상기 원시 신체 정보는 신체 음향 및/또는 신체 심전도를 포함한다. 또한, 상기 원시 신체 정보는 촬영된 신체 이미지를 더 포함할 수도 있다. 상기 데이터 처리 유닛(110)에 의해 생성되는 의료 정보에 대해서는 아래의 도 6, 도 7 등을 참조해서 보다 상세히 서술한다.
한편, 데이터 송수신 유닛(150)은 객체와 객체가 네트워킹할 수 있는 다양한 통신 방법에 의해 외부기기와 통신할 수도 있다. 상기 통신 방법은: 유/무선 통신, 3G, 4G, 5G 유/무선 인터넷 등을 포함할 수도 있다. 예를 들어, 상기 통신 방법은: 월드 와이드 웹(WWW, World Wide Web)과 같은 인터넷, 인트라넷과 같은 네트워크 및/또는 셀룰러 전화 네트워크, 무선 네트워크, 그리고 GSM(Global System for Mobile Network, CDMA(Code Division Multiple Access, W-CDMA(Wideband Code Division Multiple Access), TDMA(Time Division Multiple Access), Bluetooth, Wi-Fi, LTE(long term evolution) 방식을 포함한 통신 프로토콜을 이용한 무선 통신 표준을 포함하나, 이에 제한되진 않는다.
상기 데이터 처리 모듈(100)은 상기 데이터 처리 유닛(110)에서 수신한 원시 신체 정보 또는 생성된 대상자의 의료 정보를 상기 데이터 송수신 유닛(150)을 통해 외부기기로 전송할 수도 있다.
다시 도 1을 참조하면, 상기 데이터 처리 유닛(110)은 청취된 신체 음향 또는 측정된 신체 심전도를 독립적으로 처리하여 단일 측면에 기초한 대상자의 의료 정보를 생성할 수도 있다.
또는, 상기 데이터 처리 유닛(110)은 청각 측면, 심전도 측면 및/또는 시각 측면을 포함한 다양한 측면의 원시 신체 정보를 획득하면, 상기 데이터 처리 모듈(100)은 상기 복수의 측면에 기초한 대상자의 의료 정보를 생성할 수도 있다. 상기 복수의 측면에 기초한 대상자의 의료 정보는 복수의 측면의 원시 신체 정보를 단일 포맷으로 통합하여 생성된 혼합 데이터(fusion data)로 구현될 수도 있다.
특정 실시예들에서, 데이터 처리 유닛(110)은 원시 신체 정보를 미리 설정된 데이터 양식으로 처리하여 대상자의 의료 정보를 생성한다. 여기서, 미리 설정된 데이터 양식은, 데이터 송수신 유닛(150)과 통신하는 외부기기에 설치된 응용 프로그램에서 허용 가능한 데이터 포맷이다. 이 포맷을 갖는 데이터는 상기 외부기기로 전송될 경우 설치된 응용 프로그램에서 곧바로 활용 가능하다.
상기 외부기기의 응용 프로그램은 임상 진료를 위한 응용 프로그램일 수도 있다. 상기 응용 프로그램은, 예를 들어 환자의 병명을 예측하는 인공지능 알고리즘과 같은, 임상 진료를 위한 인공지능 알고리즘을 포함한다.
상기 응용 프로그램이 설치된 외부기기는 전자의무기록이 설치되어 있는 개인용 컴퓨터나, 임상 진료를 위한 인공지능 알고리즘이 설치된 서버일 수도 있다.
우선, 상기 스마트 단말기(1)가 음향 정보를 입력 받는 예시적인 경우에 상기 데이터 처리 유닛(110)의 동작에 대해서 서술한다.
일 예에서, 폐음, 심음 등의 원시 신체 음향이 음향 유닛(30)을 통해 데이터 처리 유닛(110)으로 입력된다. 상기 데이터 처리 유닛(110)은 입력된 원시 신체 음향으로부터 미리 설정된 길이 N(=주파수(예컨대, Hz)*시간(예컨대, 초))의 1차원 음향 벡터 x를 추출한다.
또한, 상기 데이터 처리 유닛(110)은 상기 1차원 음향 벡터 x를 정규화(normalize)할 수도 있다. 상기 정규화는 예를 들어, min-max scaling 방식, z-변환(transformation) 등일 수도 있으나, 이에 제한되진 않는다.
상기 데이터 처리 유닛(110)은 이러한 1차원 음향 벡터 x 그 자체를 사용해 대상자의 의료 정보를 생성하거나, 및/또는 상기 1차원 음향 벡터 x를 이미지 형식으로 변환하여 대상자의 의료 정보를 생성하도록 구성될 수도 있다. 전술한 대상자의 의료 정보는 음향 정보에만 기초한 것일 수도 있다. 반면 후술한 대상자의 의료 정보는 음향 정보는 물론 다른 측면의 원시 신체 정보에 기초한 것일 수도 있다.
일 실시예에서, 상기 데이터 처리 유닛(110)은 상기 1차원 음향 벡터 x를 스펙트럼(Spectrum) 형식, 파워 스펙트럼 형식 또는 스팩트로그램(spectrogram) 형식으로 변환할 수도 있다. 스펙트럼 형식, 파워 스펙트럼 형식 또는 스팩트로그램(spectrogram) 형식의 이미지 데이터는 국소 푸리에 변환(STFT)에 기초하여 생성된다. 예를 들어, 스펙트럼 형식, 파워 스펙트럼 형식 또는 스팩트로그램(spectrogram) 형식은 다음의 수학식으로 표현된다.
[수학식 1]
Spectrum = STFT(x)
[수학식 2]
Power_spectrum = |STFT(x)|2
[수학식 3]
Spectrogram = log(|STFT(x)|2)
전술한 수학식 1, 2 또는 3을 통해 1차원 음향 벡터 x는 C × M 행렬로 표현되는, 이미지 형식의 음향 데이터로 변환된다. 여기서, C는 이미지의 채널 (예컨대, 스펙트그램에서 채널 축의 채널 수)를 나타내고, M은 이미지의 시간(예컨대, 스펙트그램에서 시간 축의 길이)을 나타낸다.
또한, 상기 데이터 처리 유닛(110)은 변환된 이미지 형식의 음향 데이터를 정규화(normalize)할 수도 있다. 상기 정규화는 예를 들어, min-max scaling 방식, z-변환(transformation) 등을 통해 수행될 수도 있으나, 이에 제한되진 않는다.
상기 데이터 처리 유닛(110)은 C×M 형식의 음향 데이터를 생성하는 과정에서 1차원 음향 벡터 x의 일부 또는 전체 범위에 걸쳐 정규화를 진행할 수도 있다.
일 실시예에서, 상기 데이터 처리 유닛(110)은 상기 정규화 처리를 전체 범위에 걸쳐 적용할 수도 있다. 여기서 전체 범위는 채널 축 및 시간 축 모두에 대해 적용되는 것이다.
다른 일 실시예에서, 상기 데이터 처리 유닛(110)은 상기 정규화 처리를 일부 범위에 걸쳐 적용할 수도 있다. 여기서 일부 범위는 채널 별(channel-wise)로 적용되는 것이다.
이어서, 상기 스마트 단말기(1)가 신체 심전도를 입력 받는 예시적인 경우에 상기 데이터 처리 유닛(110)의 동작에 대해서 서술한다.
일 예시에서, 상기 데이터 처리 유닛(110)은 입력된 원시 심전도 신호를 처리하여 상기 원시 심전도 신호로부터 심전도 측정 데이터를 추출할 수도 있다. 도 2의 유닛 어레이(1020)를 통해 원시 심전도 신호가 입력되므로, 상기 원시 심전도는 전술한 1차원 음향 벡터 x가 추출되는 시간 범위에 동시에 측정되어, 서로 동기화된 데이터이다.
상기 심전도 데이터는 L×T 행렬 형식으로 표현될 수도 있다. 여기서, L은 심전도 채널을 나타내는 것으로서, 리드의 개수에 의존한다. 예를 들어, 상기 L은 1 내지 12 중 어느 하나의 값을 가질 수도 있다. T는 시간(예컨대, 시간 축의 수)을 나타내는 것으로서, 샘플링 레이트(sampling rate)에 따라 가변적일 수도 있다.
또한, 상기 데이터 처리 유닛(110)은 상기 심전도 데이터를 채널별로 정규화할 수도 있다. 상기 정규화는 예를 들어, min-max scaling 방식, z-변환(transformation) 등을 통해 수행될 수도 있으나, 이에 제한되진 않는다.
상기 데이터 처리 유닛(110)은 (정규화되었거나 되지 않은) L×T 행렬 형식의 심전도 데이터 그 자체를 사용해 대상자의 의료 정보를 생성하거나, 및/또는 상기 심전도 데이터를 처리하여 복수의 측면의 원시 신체 정보에 기초한 대상자의 의료 정보를 생성할 수도 있다. 전술한 대상자의 의료 정보는 심전도 정보에만 기초한 것일 수도 있다. 반면 후술한 대상자의 의료 정보는 신체 심전도 및 신체 음향에 기초한 것과 같이, 심전도 정보는 물론 다른 측면의 원시 신체 정보에 기초한 것일 수도 있다. 상기 데이터 처리 유닛(110)은 은 C×M 행렬 형식의 음향 데이터를 보강하기 위해 상기 심전도 채널 L별로 상기 심전도 데이터를 처리한다.
일 실시예에서, 상기 데이터 처리 유닛(110)은 상기 신체 심전도와 상기 신체 음향을 시간 도메인 상에서 동기화한 대상자의 의료 정보를 생성할 수도 있다. 이러한 동기화 과정에서 음향 데이터가 심전도 데이터로 인해 보강된다.
상기 데이터 처리 유닛(110)은 음향 데이터를 보강하기 위해, L×T 행렬 형식의 심전도 데이터를 처리하여 음향 시간 구간(예컨대, 청진음 시간 구간)을 구획화한 대상자의 의료 정보를 생성하도록 구성될 수도 있다. 이 대상자의 의료 정보는 신체 음향 및 신체 심전도에 기초한 것이다.
상기 데이터 처리 유닛(110)은 L×T 행렬 형식의 상기 음향 데이터의 행렬 사이즈에 매칭한 행렬 형식을 갖도록 변환하여 상기 대상자의 의료 정보를 생성할 수도 있다. 예를 들어 상기 변환된 심전도 데이터는 C×M 행렬 형식을 가질 수도 있다.
상기 데이터 처리 모듈(100)은 미리 학습된 적어도 하나의 인공신경망을 포함할 수도 있다. 각 인공신경망은 상기 심전도 채널 L에 매칭한 입력 채널의 데이터를 입력 받도록 구성된 것으로서, 특정 음향 구간을 분류하기 위한 1-채널 벡터를 산출하도록 학습된다.
도 6은, 본 출원의 일 실시예에 따른, 측정된 신체 심전도를 이용하여 구획되는 음향 구간을 도시한다.
도 6을 참조하면, 상기 특정 음향 구간은 심장 주기(cardiac cycle)의 하나 이상의 서브 구간을 포함할 수도 있다. 상기 스마트 단말기(1)는 복수의 음향 구간을 분류하기 위해 각 구간에 대응하는 복수의 인공신경망을 포함할 수도 있다. 예를 들어, 상기 스마트 단말기(1)는 심방 확장기(Atrial diastole), 심방 수축기(Atrial systole), 심방 확장기(Atrial diastole), 심실 확장기(ventricular diastole), 심실 수축기(ventricular systole), 및/또는 심실 확장기(ventricular diastole)를 분류하기 위한 다수의 인공신경망을 포함할 수도 있다.
각 인공신경망은 입력 데이터에서 분류하도록 학습된 자신의 특정 음향 구간에 해당하는 시점에서는 제1 레이블 값, 나머지 시점에서는 제2 레이블 값으로 이루어진 출력 데이터를 산출하도록 구성된다. 일 예에서, 상기 특정 음향 구간은 심방 수축기 구간일 수도 있다. 그러면, 상기 심방 수축기를 분류하기 위한 인공신경망의 출력 벡터는 심방 수축기 시점에는 1, 나머지 시점에는 0의 값을 갖는 벡터일 수도 있다.
상기 데이터 처리 유닛(110)은, 신체 심전도 및 신체 음향에 기초한 대상자의 의료 정보를 생성하기 위해, 상기 인공신경망의 1채널 벡터를 상기 음향 데이터의 행렬에서 M 축과 동일한 값으로 사이즈를 조정(resize)하고, 그리고 조정된 1채널 벡터를 상기 음향 데이터의 행렬에서 C의 값만큼 복제함으로써 C×M 행렬 형식의 심전도 데이터를 생성하며, 그리고 C×M 행렬 형식으로 변환된 심전도 데이터를 상기 C×M 행렬 형식의 음향 데이터에 스택할 수도 있다.
C×M 행렬 형식의 음향 데이터와 C×M 행렬 형식의 심전도 데이터는 행렬 구조만 매칭할 뿐, 각 행렬 내 데이터 성분은 서로 개별적이다.
생성된 대상자의 의료 정보에서 신체 음향의 구간 정보는 신체 심전도(예컨대, 신호 측정 값)에 연관될 수도 있다.
상기 데이터 처리 유닛(110)은 심전도 데이터를 음향 데이터 상에 스택하거나 또는 그 아래에 스택할 수도 있다.
상기 데이터 처리 유닛(110)은 각 구간별 심전도 데이터를 스택할 수도 있다. 예를 들어, Z개의 특정 음향 구간에 대해 구간별 심전도 데이터가 생성된 경우, Z개의 심전도 데이터가 음향 데이터에 대해 위 또는 아래로 스택될 수도 있다. 그러면, 상기 데이터 처리 유닛(110)은 C × M × (Z+1) 형식의 대상자의 의료 정보를 생성할 수도 있다.
이와 같이, 데이터 처리 모듈(100)은 다수의 입력 모드에서 획득된, 다모드 입력 데이터(multi-modal input data)로 이루어진 대상자의 의료 정보를 생성할 수도 있다.
도 7은, 본 출원의 일 실시예에 따른, 상기 심장 주기의 구획화에 기초하여 신체 심전도와 신체 음향을 동기화한 결과를 도시한다.
도 7를 참조하면, 시간 도메인 상에서 동기화된 상기 신체 심전도 및 신체 음향에 기초한 의료 정보가 스마트 단말기(1)에서 생성될 수도 있다. 이러한 의료 정보가 상기 외부기기로 전송되어 트래이닝 데이터로 활용되면, 인공지능 알고리즘을 포함한 응용 프로그램의 인공지능 성능을 개선할 수도 있다.
예를 들어, 상기 외부기기의 응용 프로그램은 인공지능 알고리즘을 사용하여 신체 심전도에서 수축기 또는 이완기를 구별하도록 프로그래밍된 경우를 가정해보자. 상기 데이터 송수신 유닛(150)은 동기화된 정보를 포함한 대상자의 의료 정보를 외부기기로 전송한다. 대상자의 의료 정보 내 동기화된 정보는 (예컨대, 신체 심전도 단독과 같은) 비-동기화된 정보 대비 상기 응용 프로그램이 환자의 수축기 또는 이완기를 보다 정확하게 구별하게 한다.
상기 대안적인 실시예들에서, 상기 데이터 처리 유닛(110)은 상기 음향 정보, 심전도 정보 및 촬영 정보에 기초한 대상자의 의료 정보를 생성할 수도 있다.
상기 도 5의 유닛 어레이1030를 통해 신체 영상이 촬영될 경우, 원시 신체 촬영 정보는 메인 촬영 유닛 31의 영상 데이터; 적외선 유닛(35)의 영상 데이터, 조도 센서(37)의 영상 데이터를 포함한다. 또한, 상기 원시 신체 촬영 정보는 형광성 광원(34)의 구동 데이터를 포함할 수도 있다.
상기 메인 촬영 유닛 31의 영상 데이터는 RGB 채널과 같이, 3채널 데이터일 수도 있다. 상기 적외선 유닛(35)의 영상 데이터는 1채널 데이터일 수도 있다. 상기 조도 센서(37)는 3채널 데이터일 수도 있다.
상기 형광성 광원 34의 구동 데이터는 형광성 광원(34)(예컨대, UV 램프)의 출력 유무를 나타낸 것으로서, 1채널 데이터일 수도 있다.
상기 데이터 처리 유닛(110)은 최대 8채널의 2차원 영상 입력에 기초한 의료 정보를 생성할 수도 있다. 이 의료 정보는 외부기기의 인공지능 알고리즘의 입력 데이터 형태를 가질 수도 있다. 예를 들어, 상기 입력 데이터 형태는 3-텐서(tensor) 데이터일 수도 있다.
상기 일 예시에서, 상기 데이터 처리 유닛(110)은 8채널의 2차원 영상 입력을 처리하여, 2차원 영상 입력에서 8채널 중 조도 센서(37)의 채널이 상기 조도 센서(37)의 측정 값을 나타낸 스칼라 값을 w × h 행렬로 확장(broadcasting)할 수도 있다. 여기서, w, h는 외부기기의 인공지능 알고리즘의 입력 데이터 형태에서 데이터 너비(data width), 데이터 높이(data height)일 수도 있다. 상기 조도 센서(37)의 측정 값은 3개의 스칼라 값에 대응할 수도 있다.
또한, 상기 데이터 처리 유닛(110)은 (예컨대, 온(on)은 1, 오프(off)는 0와 같이) 광원(34)의 구동 데이터를 이진 스칼라 값으로 정의할 수도 있다. 그러면 상기 데이터 처리 유닛(110)은 8채널의 2차원 영상 입력을 처리하여, 2차원 영상 입력에서 8채널 중 광원(34)의 구동 여부를 나타낸 스칼라 값을 w × h 행렬로 확장(broadcasting)할 수도 있다.
상기 데이터 처리 유닛(110)은 3-텐서 데이터를 구축하도록 8채널 2차원 영상 입력을 변환한다.
또한, 상기 데이터 처리 유닛(110)은 변환된 영상 입력을 정규화 처리할 수도 있다.
상기 의료 정보에서 촬영 정보(예컨대, 촬영 영상)의 촬영 시간은 심전도 시간 또는 음향 시간과 동기화될 수도 있다.
이와 같이, 데이터 처리 유닛(110)에 의해 신체 음향, 신체 심전도, 신체 이미지로부터 미리 설정된 데이터 양식을 갖는 대상자의 의료 정보가 생성되면, 데이터 송수신 유닛(150)은 상기 포맷의 대상자의 의료 정보를 외부기기로 전송한다. 상기 외부기기는 상기 대상자의 의료 정보를 수신하면, 상기 대상자의 의료 정보를 상기 임상 진료를 위한 응용 프로그램에 적용하여 대상자의 의료 정보를 제공한 대상 환자에 대한 임상 진료 동작을 수행한다.
상기 대상자의 의료 정보는 여러 종류의 센서를 통해 획득된 다양한 입력 신호에 기반하기 때문에, 응용 프로그램의 인공지능 알고리즘 분석 성능이 향상된다. 폐음/폐초음파 센서의 신체 음향에 기초한 퓨전 데이터를 응용 프로그램에 적용하면, 응용 프로그램의 인공지능 알고리즘 분석 성능이 향상된다.
또한, 신체 음향과 신체 심전도를 시간 도메인에서 동기화하여 함께 외부기기로 전송하면, 인공지능 알고리즘 분석 성능이 보다 정확해진다.
추가적으로, 상기 보조 음향 유닛(50)은 임상 진료에 사용될 신체 음향과 다른 음향을 청취하는 구성요소이다. 상기 보조 음향 유닛(50)은 임상 진료 도중에 발생하는 대화와 같은 비-신체 음향을 청취할 수도 있다.
상기 보조 음향 유닛(50)은, 예를 들어 마이크일 수도 있다. 상기 보조 음향 유닛(50)은 음향 유닛(10)과 서로 다른 청취 사양을 가질 수도 있다.
보조 센서(60)는 피사체를 보다 정확하고 흔들림 없이 촬영하여 보다 선명한 신체 이미지를 획득하는 것을 보조하는 센서이다.
상기 보조 센서(60)는 가속도 센서 및/또는 회전 센서를 포함할 수도 있다. 스마트 단말기(1)는 가속도 센서에 의해 획득되는 가속도 정보에 기초하여 상기 스마트 단말기(1)의 움직임 정보를 획득한다. 상기 움직임 정보는 움직임 방향 및/또는 움직임 세기를 포함한다.
스마트 단말기(1)는 회전 센서에 의해 획득되는 회전 정보에 기초하여 상기 스마트 단말기(1)의 회전 정보를 획득한다. 상기 회전 정보는 회전 방향 및/또는 회전 세기를 포함한다.
상기 스마트 단말기(1)가 보조 센서(60)를 포함할 경우, 보조 센서(60)의 감지 결과를 사용하여 사진 촬영 시 손떨림 보정을 수행할 수도 있다. 상기 데이터 처리 모듈(100)은 움직임 정보 및/또는 회전 정보를 사용하여 촬영 이미지를 얼라인 보정한 신체 이미지를 생성할 수도 있다. 또한, 상기 데이터 처리 모듈(100)은 움직임 정보 및/또는 회전 정보를 상기 미리 설정된 데이터 양식으로 처리한 대상자의 의료 정보를 생성할 수도 있다. 그러면, 원시 신체 정보의 처리 결과와 더불어, 환자의 특정 환부로 촬영 유닛(30)을 이동할 때 스마트 단말기(1)가 어느 방향으로 움직이는지에 대한 정보를 포함한 대상자의 의료 정보를 외부기기로 공급할 수도 있다. 이로 인해, 상기 대상자의 의료 정보는 외부기기의 응용 프로그램이 스마트 단말기(1)가 어느 부위로 움직이는지 분석하는데 부가적인 정보를 제공한다.
디스플레이 유닛(200)은 의료 정보 생성을 목적으로 사용자와 상호작용하기 위한 정보를 표시하거나, 생성된 의료 정보를 표시한다.
디스플레이 유닛(200)은 스마트 단말기(1)의 의료 정보 생성을 위한 조작 설명/가이드를 표시할 수도 있다. 또한, 디스플레이 유닛(200)은 입력될 신체 이미지의 촬영 위치를 조작하는 지시, 입력될 신체 이미지의 초점 위치를 조작하는 지시를 표시할 수도 있다.
또한, 디스플레이 유닛(200)은 입력된 원시 신체 정보(예컨대, 신체 심전도)를 시각한 결과를 표시한다. 데이터 처리 유닛(110)은 신체 음향(예컨대, 청진음 또는 초음파)를 그래프 형태로 시각화하여 디스플레이 유닛(200)에서 표시할 수도 있다. 데이터 처리 유닛(110)은 신체 심전도 또는 상기 신체 심전도의 측정에 사용된 임피던스 정보를 시각화하여 디스플레이 유닛(200)에서 표시할 수도 있다.
또한, 디스플레이 유닛(200)은 데이터 처리 유닛(110)에서 생성된 의료 정보를 표시한다. 디스플레이 유닛(200)은 원시 신체 정보를 분석한 결과를 표시할 수도 있다.
음향 출력 유닛(300)은 전기 신호를 수신하여 음향 신호로 변환하는 구성요소로서, 스피커 등을 포함한다.
음향 출력 유닛(300)은 청진음 또는 도플러음과 같은 신체 음향을 출력할 수도 있다.
스마트 단말기의 하단에 결합된, 연장 가능한 전극(20c)을 환자의 흉부와 다른 부위에 접촉시킨 상태에서 청진을 할 경우, 수축기/이완기를 구별하는 비프 음향(beep sound)를 음향 출력 유닛(300)으로 출력하거나 및/또는 비프 음향을 시각화한 정보를 디스플레이 유닛(200)으로 출력할 수도 있다.
음향 출력 유닛(300)은 특정 동작의 수행을 알리는 기기 작동 효과음을 동작별로 출력할 수도 있다.
음향 출력 유닛(300)은 원시 신체 정보를 획득하는 것을 유도하는 지시를 출력할 수도 있다. 예를 들어, 음향 출력 유닛(300)은 “숨을 들이쉬세요”의 음향을 출력할 수도 있다.
조작 유닛(400)은 의료 정보 생성을 위해 요구되는 정보를 입력 받거나, 의료 정보 생성을 위해 요구되는 과정을 제어하는 사용자 명령을 획득한다.
상기 조작 유닛(400)은 제1 조작 유닛(420) 및/또는 제2 조작 유닛(430)을 더 포함할 수도 있다.
제1 조작 유닛(420), 제2 조작 유닛(430) 중 어느 하나는 특정 동작을 개시하는, 트리거 명령을 입력한다. 예를 들어, 제1 조작 유닛(420)이 트리거 명령을 입력할 수도 있다.
제1 조작 유닛(420) 및 제2 조작 유닛(430)은 몸체(1000)에서 서로 대향하는 방향에 설치된다. 예를 들어, 제1 조작 유닛(420)은 스마트 단말기(1)가 대상의 신체를 향하는 방향의 몸체(1000) 부분, 즉 몸체(1000)의 전면 부분에 설치된다. 제2 조작 유닛(430)은 상기 전면 조작 유닛(420)에 대향하는 방향의 몸체(1000) 부분, 즉 몸체(1000)의 후면 부분에 설치될 수도 있다.
상기 조작 유닛(420, 430)은 버튼, 다이얼, 조이스틱, 스위치 형태로 구현될 수도 있다. 예를 들어, 제1 조작 유닛(420)은 트리거 기능을 온하는 스위치 형태로 구현될 수도 있다. 제2 조작 유닛(430)은 스틱 또는 버튼 형태로 구현될 수도 있다.
상기 스마트 단말기(1)는 제1 조작 유닛(420) 또는 제2 조작 유닛(430)에 의해 광원을 선택하거나, 선택된 광원의 세기를 조절하거나, 초점을 조절하거나, 촬영 동작을 개시할 수도 있다. 사용자는 조작 유닛(400)을 통해 촬영 초점, 노출 시간을 수동으로 조절할 수도 있다.
또한, 상기 스마트 단말기(1)는 제1 조작 유닛(420) 또는 제2 조작 유닛(430)에 의해 출력 음향의 세기를 조절할 수도 있다.
일 실시예예서, 상기 스마트 단말기(1)는 상기 조작 유닛(400)은 제1 조작 유닛(420) 또는 제2 조작 유닛(430)에 의해 신체 음향 중 서로 다른 주파수 대역의 음향을 믹싱하는 동작을 개시하거나, 믹싱 비율(mixing ratio)을 조절할 수도 있다.
스마트 단말기(1)는 조작 유닛(400)에 의해 신체 이미지의 종류를 선택할 수도 있다. 예를 들어, 조작 유닛(400)은 신체 이미지 종류를 선택하는 촬영 모드 명령을 입력하여 가시광선 또는 적외선 신체 이미지를 생성할 수도 있다. 이러한 촬영 모드는 가시광선 촬영 모드; 적외선 촬영 모드; 광섬유 촬영 모드를 포함할 수도 있다.
또한, 조작 유닛(400)은 가시광선 촬영 모드에서 백색 광원(32) 또는 형광성 광원(34)을 활성화하는 명령을 입력할 수도 있다. 광원 선택 명령에 의해 스마트 단말기(1)는 안과 또는 피부과의 임상 진료에 도움을 줄수 있다.
또한, 상기 조작 유닛(400)은 청취한 신체 음향을 녹음하는 녹음 명령을 입력하도록 더 구성될 수도 있다. 상기 스마트 단말기(1)가 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 스마트 단말기(1) 은 네트워크 인터페이스, 데이터 엔트리를 위한 입력 장치, 데이터를 저장하는 메모리, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.
이상에서 설명한 실시예들에 따른 스마트 단말기(1)에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
일 실시예에 따른 심전도 및 청각 측면의 의료 정보를 획득하는 스마트 단말기는 적합한 포맷의 의료 정보를 획득함으로써, 의료 정보를 활용하는 임상 진료 산업에 이용 가능하다.

Claims (25)

  1. 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행되는 명령어를 저장하는 메모리를 구비한, 심전도 및 청각 측면의 의료 정보를 획득하는 스마트 단말기로서,
    상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 스마트 단말기의 몸체에 연결되는 적어도 하나의 음향 유닛이, 대상자의 신체 음향을 획득하게 하고,
    상기 스마트 단말기에 포함되는 복수의 심전도 유닛이 상기 대상자의 신체 심전도를 획득하게 하고,
    상기 복수의 심전도 유닛 중 일부 심전도 유닛과 상기 적어도 하나의 음향 유닛은 상기 대상자의 신체 부위로 향하는 유닛 어레이를 형성하는 것을 특징으로 하는 스마트 단말기.
  2. 제1항에 있어서,
    상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 스마트 단말기에 포함되는 데이터 처리 모듈이, 획득된 신체 음향 및 신체 심전도 중 적어도 하나의 원시 신체 정보를 미리 설정된 데이터 양식으로 처리하여 대상자의 의료 정보를 생성하게 하는 것을 특징으로 하는 스마트 단말기.
  3. 제1항에 있어서,
    상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 스마트 단말기에 포함되는 압력 스위치가 압력이 가해져 스위칭되어 발생시킨 전기 신호에 응답하여 상기 음향 유닛이 청취 동작을 개시하게 하는(initiating) 것을 특징으로 하는 스마트 단말기.
  4. 제3항에 있어서,
    상기 유닛 어레이는 상기 몸체의 제1 결합 부분에 연결되며, 상기 제1 결합 부분은 상기 몸체의 다른 부분의 표면 보다 돌출된 것을 특징으로 하는 스마트 단말기.
  5. 제4항에 있어서,
    상기 압력 스위치는 상기 제1 결합 부분과 상기 유닛 어레이에 사이에 배치되며,
    돌출된 유닛 어레이가 신체 음향을 획득할 신체 부위의 표면에 접촉하는 것에 따라서 상기 압력 스위치에 압력이 가해져 상기 전기 신호가 발생하는 것을 특징으로 하는 스마트 단말기.
  6. 제1항에 있어서,
    2D 단면 초음파 센서 또는 도플러 효과를 사용하는 초음파 센서를 더 포함하는 것을 특징으로 하는 스마트 단말기.
  7. 제1항에 있어서,
    상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 유닛 어레이에 포함되는 복수의 음향 유닛이 서로 다른 주파수 대역의 신체 음향을 청취하게 하고,
    상기 복수의 음향 유닛에 포함되는 제1 음향 유닛이 가청 주파수 대역에서 상대적으로 고음의 신체 음향을 청취하게 하고, 상기 복수의 음향 유닛에 포함되는 제2 음향 유닛이 상기 가청 주파수 대역에서 상대적으로 저음의 신체 음향을 청취하게 하는 제2 음향 유닛을 포함하는 것을 특징으로 하는 스마트 단말기.
  8. 제7항에 있어서,
    상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 스마트 단말기에 포함되는 조작 유닛이, 청취한 고음 및 저음을 믹싱하거나, 믹싱 비율(mixing ratio)을 제어하게 하는 것을 특징으로 하는 스마트 단말기.
  9. 제1항에 있어서,
    상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 스마트 단말기에 포함되는 음향 출력 유닛이, 획득한 신체 음향을 음향 신호로 출력하게 하고,
    상기 스마트 단말기에 포함되는 디스플레이 유닛이, 획득한 신체 음향 또는 신체 심전도를 포함한 원시 신체 정보, 또는 대상자의 의료 정보를 표시하게 하는 것을 특징으로 하는 스마트 단말기.
  10. 제1항에 있어서,
    상기 일부 심전도 유닛의 전극은 상기 유닛 어레이의 접촉면 및 주변의 음향 유닛 보다 높은 단차를 형성하도록 구성된 것을 특징으로 하는 스마트 단말기.
  11. 제10항에 있어서,
    상기 유닛 어레이의 일부 심전도 유닛의 전극은 대상자의 흉부 지역에 접촉하고, 나머지 심전도 유닛의 전극은 상기 흉부와 다른 지역에 접촉하여 신체 심전도가 획득되는 것을 특징으로 하는 스마트 단말기.
  12. 제11항에 있어서,
    상기 심전도 유닛은 상기 복수의 심전도 유닛의 전극이 서로 다른 신체 지역의 표면에 각각 접촉하는 경우 상기 심전도 유닛에 의한 심전도 측정 동작을 개시하도록 구성된 것을 특징으로 하는 스마트 단말기.
  13. 제11항에 있어서,
    상기 나머지 심전도 유닛은 상기 스마트 단말기의 몸체로부터 연장 가능하도록 구성된 것을 특징으로 하는 스마트 단말기.
  14. 제2항에 있어서,
    상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 스마트 단말기에 포함되는 데이터 송수신 유닛이 상기 대상자의 의료 정보를 진단 프로그램 또는 인공지능 프로그램이 설치된 외부기기로 전송하게 하는 것을 특징으로 하는 스마트 단말기.
  15. 제14항에 있어서,
    상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 데이터 처리 모듈이 신체 심전도 및 신체 음향 중 하나 이상의 원시 신체 정보를 미리 설정된 데이터 양식으로 처리하여 대상자의 의료 정보를 생성하게 하고,
    상기 미리 설정된 데이터 양식은, 데이터 송수신 유닛과 통신하는 외부기기에 설치된 응용 프로그램에서 허용 가능한 데이터 포맷인 것을 특징으로 하는 스마트 단말기.
  16. 제14항에 있어서,
    상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 데이터 처리 모듈이 상기 신체 음향에서 미리 설정된 길이 N의 1차원 음향 벡터 x를 추출하게 하고,
    상기 1차원 음향 벡터 x 그 자체를 사용해 대상자의 의료 정보를 생성하거나 또는 상기 1차원 음향 벡터 x를 이미지 형식으로 변환하여 대상자의 의료 정보를 생성하게 하는 것을 특징으로 하는 스마트 단말기.
  17. 제16항에 있어서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 데이터 처리 모듈이,
    상기 1차원 음향 벡터 x를 스펙트럼(Spectrum) 형식, 파워 스펙트럼 형식 또는 스팩트로그램(spectrogram) 형식으로 변환하여 C × M 행렬로 표현되는, 이미지 형식의 음향 데이터를 생성하게 하고,
    상기 대상자의 의료 정보는 상기 이미지 형식의 음향 데이터를 포함하며,
    상기 C는 신체 음향의 채널, M은 신체 음향의 시간을 나타내는 것을 특징으로 하는 스마트 단말기.
  18. 제17항에 있어서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 데이터 처리 모듈이,
    상기 심전도 신호로부터 심전도 측정 데이터를 추출하게 하고 - 상기 심전도 데이터는 L×T 행렬 형식으로 표현됨,
    L×T 행렬 형식의 심전도 데이터를 사용해 심전도 측면만의 대상자의 의료 정보를 생성하거나, 또는 상기 심전도 데이터를 처리하여 음향 및 심전도 측면의 대상자의 의료 정보를 생성하게 하고,상기 L은 심전도 채널을 나타내고, T는 심전도 시간을 나타내는 것을 특징으로 하는 스마트 단말기.
  19. 제18항에 있어서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 데이터 처리 모듈이, 음향 및 심전도 측면의 대상자의 의료 정보를 생성하기 위해, 상기 신체 심전도와 상기 신체 음향을 시간 도메인 상에서 동기화하게 하는 것을 특징으로 하는 스마트 단말기.
  20. 제19항에 있어서, 상기 데이터 처리 모듈은 미리 학습된 적어도 하나의 인공신경망을 포함하고,
    각 인공신경망은 상기 심전도 채널 L에 매칭한 입력 채널의 데이터를 입력 받도록 구성된 것으로서, 특정 음향 구간을 분류하기 위한 1-채널 벡터를 산출하도록 학습되고,
    상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 데이터 처리 모듈이, 신체 심전도 및 신체 음향에 기초한 대상자의 의료 정보를 생성하기 위해, 상기 인공신경망의 1채널 벡터를 상기 음향 데이터의 행렬에서 M 축과 동일한 값으로 사이즈를 조정(resize)하게 하고,
    조정된 1채널 벡터를 상기 음향 데이터의 행렬에서 C의 값만큼 복제함으로써 C×M 행렬 형식의 심전도 데이터를 생성하게 하며, 그리고
    C×M 행렬 형식으로 변환된 심전도 데이터를 상기 C×M 행렬 형식의 음향 데이터에 스택하게 하도록 구성된 것을 특징으로 하는 스마트 단말기.
  21. 제1항에 있어서,
    상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 스마트 단말기가 시각 측면의 의료 정보를 더 획득하도록, 상기 스마트 단말기에 포함되는 적어도 하나의 촬영 유닛이 신체를 촬영하게 하고,
    상기 데이터 처리 모듈이, 상기 대상자의 의료 정보가 신체 이미지의 처리 결과를 더 포함하도록, 상기 적어도 하나의 촬영 유닛에 의해 획득된 신체 이미지를 미리 설정된 데이터 양식으로 처리하게 하는 것을 특징으로 하는 스마트 단말기.
  22. 제21항에 있어서,
    상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 스마트 단말기에 포함되는 조작 유닛이 촬영 유닛을 선택하게 하거나 촬영 유닛의 사양을 제어하게 하는 것을 특징으로 하는 스마트 단말기.
  23. 제21항에 있어서,
    상기 적어도 하나의 촬영 유닛은 적어도 하나의 가시광선 촬영 유닛; 적어도 하나의 적외선 촬영 유닛; 및 적어도 하나의 조도 센서 중 하나 이상을 포함하는 것을 특징으로 하는 스마트 단말기.
  24. 제23항에 있어서,
    상기 스마트 단말기가 적어도 하나의 가시광선 촬영 유닛을 포함할 경우, 상기 스마트 단말기는 백색 광원 및 형광성 광원(fluorescent light source) 중 하나 이상을 더 포함하는 것을 특징으로 하는 스마트 단말기.
  25. 제23항에 있어서,
    스마트 단말기가 적어도 하나의 적외선 촬영 유닛을 포함할 경우, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 데이터 처리 모듈이 특정 부위의 염증 반응 여부를 확인하기 위한 촬영 영역의 온도 이미지를 생성하게 하는 것을 특징으로 하는 스마트 단말기.
PCT/KR2023/005020 2022-04-15 2023-04-13 심전도 및 청각 측면의 의료 정보를 획득하는 스마트 단말기 Ceased WO2023200271A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/856,562 US20250325215A1 (en) 2022-04-15 2023-04-13 Smart terminal for acquiring medical information related to electrocardiographic and auditory aspects

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0047131 2022-04-15
KR1020220047131A KR102774930B1 (ko) 2022-04-15 2022-04-15 심전도 및 청각 측면의 의료 정보를 획득하는 스마트 단말기

Publications (1)

Publication Number Publication Date
WO2023200271A1 true WO2023200271A1 (ko) 2023-10-19

Family

ID=88330025

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/005020 Ceased WO2023200271A1 (ko) 2022-04-15 2023-04-13 심전도 및 청각 측면의 의료 정보를 획득하는 스마트 단말기

Country Status (3)

Country Link
US (1) US20250325215A1 (ko)
KR (1) KR102774930B1 (ko)
WO (1) WO2023200271A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101731714B1 (ko) * 2015-08-13 2017-04-28 중소기업은행 음질 개선을 위한 방법 및 헤드셋
JP2018068596A (ja) * 2016-10-28 2018-05-10 セイコーエプソン株式会社 検診装置
CN105520730B (zh) * 2015-12-31 2018-09-18 思澜科技（成都）有限公司 人体生理信号采集贴片
KR102313630B1 (ko) * 2021-04-27 2021-10-15 성균관대학교산학협력단 인공지능형 스마트 리모컨 장치 및 이를 이용한 자가 검사 방법
KR20220039076A (ko) * 2020-09-21 2022-03-29 (주)커넥슨 검진 신뢰성이 향상된 스마트 진단 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200259030Y1 (ko) * 2001-09-01 2002-01-04 (주) 리버스 전자청진기
KR20060113085A (ko) * 2005-04-29 2006-11-02 헬쓰 앤드 라이프 컴퍼니 리미티드 청진용 소음 간섭 저항 기능을 갖는 접촉형 전자 청진기
NZ574865A (en) * 2006-07-17 2011-03-31 Signostics Pty Ltd Improved medical diagnostic device
KR100860374B1 (ko) * 2007-01-29 2008-09-26 한국과학기술연구원 염증 진단 장치 및 그에 의한 염증 진단 방법
JP2012055354A (ja) * 2010-09-06 2012-03-22 Univ Of Tsukuba 診断装置
US11678829B2 (en) * 2019-04-17 2023-06-20 Masimo Corporation Physiological monitoring device attachment assembly
KR102142841B1 (ko) * 2019-11-06 2020-08-10 메디팜소프트(주) Ai 기반 심전도 판독 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101731714B1 (ko) * 2015-08-13 2017-04-28 중소기업은행 음질 개선을 위한 방법 및 헤드셋
CN105520730B (zh) * 2015-12-31 2018-09-18 思澜科技（成都）有限公司 人体生理信号采集贴片
JP2018068596A (ja) * 2016-10-28 2018-05-10 セイコーエプソン株式会社 検診装置
KR20220039076A (ko) * 2020-09-21 2022-03-29 (주)커넥슨 검진 신뢰성이 향상된 스마트 진단 장치
KR102313630B1 (ko) * 2021-04-27 2021-10-15 성균관대학교산학협력단 인공지능형 스마트 리모컨 장치 및 이를 이용한 자가 검사 방법

Also Published As

Publication number Publication date
KR102774930B1 (ko) 2025-03-05
KR20230148019A (ko) 2023-10-24
US20250325215A1 (en) 2025-10-23

Similar Documents

Publication Publication Date Title
WO2020141824A2 (en) Processing method of audio signal and electronic device supporting the same
WO2016056791A1 (en) Ultrasound diagnosis apparatus and communication connecting method performed in the ultrasound diagnosis apparatus
WO2016018108A1 (en) Apparatus and method for enhancing accuracy of a contactless body temperature measurement
WO2014208969A1 (en) Method and apparatus for providing information related to location of target object on medical apparatus
WO2018155951A1 (en) Method of obtaining biometric information in electronic device and electronic device for the same
WO2017135564A1 (ko) 전자장치, 휴대단말기 및 그 제어방법
WO2017135769A1 (ko) 전자 장치 및 그의 동작 방법
WO2020190060A1 (en) Electronic device for measuring blood pressure and method for measuring blood pressure
WO2015053418A1 (ko) 다기능 스포츠 헤드셋
WO2016153132A1 (ko) 피부 측정기기 및 그 제어방법
WO2014200265A1 (en) Method and apparatus for providing medical information
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2020111575A1 (en) Biometric sensor module and electronic device including the same
WO2022124647A1 (ko) 수면 무호흡을 검출하기 위한 방법 및 이를 지원하는 전자 장치
WO2022014872A1 (ko) 초음파 장치를 포함하는 전자 장치 및 그의 ppg 신호 획득 방법
WO2022119363A1 (ko) 치과 치료를 위한 스캐너 및 그의 데이터 전송 방법
WO2022145999A1 (ko) 인공지능 기반의 자궁경부암 검진 서비스 시스템
WO2023200271A1 (ko) 심전도 및 청각 측면의 의료 정보를 획득하는 스마트 단말기
WO2023200274A1 (ko) 청각 측면을 포함하는 의료 정보를 획득하는 스마트 단말기
WO2022071773A1 (ko) 모바일 기기, 그 제어 방법 및 기록 매체에 저장된 컴퓨터 프로그램
WO2024191111A1 (ko) Ai 로봇 메디컬 핸드 장치 및 이를 이용한 자가 검사 방법
WO2023018148A1 (ko) 무선 스캐닝 시스템 및 무선 스캐닝 시스템의 페어링 방법
WO2026042967A1 (ko) 초음파 이미징에 관한 모드를 설정하는 방법 및 그에 따른 프로브 및 xr 디바이스
WO2022245128A1 (ko) 사용자의 체온을 제공하는 장치 및 방법
WO2025150611A1 (ko) 초음파 진단 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23788620

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18856562

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23788620

Country of ref document: EP

Kind code of ref document: A1

WWP Wipo information: published in national office

Ref document number: 18856562

Country of ref document: US