WO2019143015A1 - 의료 영상 장치, 그 제어 방법, 및 컴퓨터 프로그램 제품 - Google Patents

의료 영상 장치, 그 제어 방법, 및 컴퓨터 프로그램 제품 Download PDF

Info

Publication number
WO2019143015A1
WO2019143015A1 PCT/KR2018/015090 KR2018015090W WO2019143015A1 WO 2019143015 A1 WO2019143015 A1 WO 2019143015A1 KR 2018015090 W KR2018015090 W KR 2018015090W WO 2019143015 A1 WO2019143015 A1 WO 2019143015A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
data
client device
unit
Prior art date
Application number
PCT/KR2018/015090
Other languages
English (en)
French (fr)
Inventor
이연주
이기태
김대환
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Publication of WO2019143015A1 publication Critical patent/WO2019143015A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • Embodiments of the present disclosure relate to a medical imaging device, a method of controlling a medical imaging device, and a computer program product. Embodiments of the present disclosure also relate to a server communicating with a medical imaging device, and a computer program product installed in a client device communicating with the medical imaging device.
  • the ultrasound diagnostic apparatus irradiates an ultrasound signal generated from a transducer of a probe to a target object and receives information of a signal reflected from the target object to obtain information on a site inside the target object (for example, soft tissues or blood flow) At least one image is obtained.
  • the disclosed embodiments provide an apparatus, method, and computer program product for enabling a user of a client device to more easily understand medical image data and related information when transmitting medical image data to a client device.
  • the disclosed embodiments are also directed to an apparatus, method, and computer program product for enhancing a user's understanding of a client device with information related to medical image data, by providing information related to medical image data in consideration of a user of the client device. .
  • the disclosed embodiments provide an apparatus, method, and computer program product for improving the performance of transforming information associated with medical image data, by the in-depth neural network processor performing learning using information input from a client device .
  • a communication device comprising: a first communication unit for communicating with a client device; An image acquiring unit acquiring medical image data; An input unit for receiving first information related to the medical image data; And at least one first processor for controlling the first communication unit such that the medical image data and the first information are transmitted to the client apparatus, wherein the first information is transformed based on information about the user of the client apparatus, And transmitted to the client device.
  • the first communication unit transmits the medical image data and the first information to the client apparatus through the server, and the server transmits the representation of the first information to the client apparatus As shown in FIG.
  • the information about the user of the client device may include at least one or a combination of the user's job, the user-patient relationship, and the age of the user.
  • the first information may include at least one of voice information, text information, protocol information, measurement information, marking information, and diagnostic information input from a user of the medical imaging apparatus or a combination thereof .
  • the operation of converting the first information may include at least one or a combination of the operations of converting a term, converting a speech, and converting a language.
  • the medical imaging apparatus further comprises at least one of the one or more first processors and the server generating second information, which is additional information related to the first information, and transmitting the second information to the client apparatus .
  • the medical imaging device further comprises a display, wherein the one or more first processors receive the information about the user of the client device using the first communication, It is possible to control the display unit to display information.
  • the at least one first processor is configured to determine, based on at least one of information about a user of the received client apparatus and a control signal received through the input unit, It is possible to grant authority to receive the first information.
  • the conversion of the first information is performed using a neural network processor, and feedback data input from the client device may be used as learning data of the neural network processor.
  • the at least one first processor may receive the feedback data input from the client apparatus via the first communication unit, and may control the display unit to display information corresponding to the feedback data.
  • the medical imaging device may further comprise a depth neural network processor for converting the representation of the first information based on information about the user of the client device.
  • the neural network processor is configured to perform at least one of or a combination of the following operations: translating terms of the first information, translating the speech of the first information, and translating the language of the first information Can be performed.
  • the first communication unit receives feedback data from the client device, and the neural network processor is operable to perform a learning operation based on the first information, information about a user of the client device, Can be performed.
  • a method comprising: obtaining medical image data; Receiving first information related to the medical image data; And controlling the medical image data and the first information to be transmitted to the client apparatus, wherein the first information is converted based on information about the user of the client apparatus and transmitted to the client apparatus, A medical imaging device control method is provided.
  • a computer program product including a computer readable storage medium, the storage medium comprising: obtaining medical image data; Receiving first information related to the medical image data; And controlling the medical image data and the first information to be transmitted to the client apparatus, wherein the first information is converted based on information about the user of the client apparatus and transmitted to the client apparatus, A computer program product is provided.
  • an information processing apparatus comprising: a second communication unit that receives medical image data and first information related to the medical image data, and receives information on a user of the client apparatus from the client apparatus; A deep neural network processor for translating the representation of the first information based on information about the user of the client device; And one or more second processors for controlling the second communication unit to transmit the medical image data and the converted first information to the client apparatus.
  • a computer program product comprising a computer-readable storage medium, the storage medium comprising: transmitting information about a user to a first device; Receiving the medical image data from the first device and first information related to the medical image data and converted based on the transmitted user information; And displaying the medical image data and the converted first information.
  • the user of the client device when the medical image data is transmitted to the client device, the user of the client device can more easily understand the medical image data and related information.
  • the depth-of-field neural network processor performs learning using information input from the client device, thereby improving the performance of information conversion related to medical image data.
  • FIG. 1 is a block diagram showing a configuration of an ultrasonic diagnostic apparatus 100 according to an embodiment.
  • FIG. 2 is a view illustrating an ultrasonic diagnostic apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a medical imaging system 300 in accordance with one embodiment.
  • FIG. 4 is a diagram illustrating a structure of a medical image system 300a according to an embodiment.
  • FIG. 5 is a diagram illustrating a structure of a server 330b according to an embodiment.
  • FIG. 6 is a diagram illustrating a process of converting first information according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a process of converting first information based on information on a user 321 of a client device 320a in the neural network processor 410a according to an embodiment.
  • FIG. 8 is a diagram illustrating reference information 800 used when converting first information according to an embodiment.
  • FIG. 9 is a diagram illustrating a process of converting the first information by the neural network processor 410a according to an exemplary embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a method of controlling a medical image device according to an embodiment.
  • FIG. 11 is a diagram illustrating a structure of a medical imaging device 310b, a client device 320b, and a server 330b according to an embodiment.
  • FIG. 12 is a flowchart illustrating a method of controlling a medical image device according to an embodiment.
  • FIG. 13A is a block diagram illustrating a depth neural network processor 410a, 410b in accordance with an embodiment of the present disclosure.
  • FIG. 13B is a block diagram illustrating a data learning unit 1310 included in the deep neural network processor.
  • 13C is a block diagram illustrating a data recognition unit 1320 included in the neural network processor.
  • FIG. 14 is a diagram illustrating a process of receiving feedback data from a client device 320 and delivering it to the neural network processors 410a and 410b according to an exemplary embodiment of the present invention.
  • 15 is a flowchart illustrating a method of controlling a medical imaging apparatus according to an embodiment.
  • 16 is a diagram illustrating the operation of the medical imaging device 310 and the client device 320 according to one embodiment.
  • 17 is a flowchart illustrating a method of controlling a medical imaging apparatus according to an embodiment.
  • a communication device comprising: a first communication unit for communicating with a client device; An image acquiring unit acquiring medical image data; An input unit for receiving first information related to the medical image data; And at least one first processor for controlling the first communication unit such that the medical image data and the first information are transmitted to the client apparatus, wherein the first information is transformed based on information about the user of the client apparatus, And transmitted to the client device.
  • module or “unit” may be embodied in software, hardware or firmware, or a combination of two or more thereof, and may include a plurality of "modules” or " Quot; module " or " part " includes a plurality of elements.
  • the image herein may include a medical image acquired by a medical imaging device, such as a magnetic resonance imaging (MRI) device, a computed tomography (CT) device, an ultrasound imaging device, or an x-ray imaging device.
  • a medical imaging device such as a magnetic resonance imaging (MRI) device, a computed tomography (CT) device, an ultrasound imaging device, or an x-ray imaging device.
  • the term " object " may include a person, an animal, or a part thereof as an object of photographing.
  • the object may comprise a part of the body (organ or organ) or a phantom.
  • ultrasound image in the entire specification refers to an image of an object that is transmitted to a target object and processed based on the ultrasound signal reflected from the target object.
  • the medical imaging apparatus of the present disclosure can be adapted to medical imaging apparatuses of various modalities.
  • the medical imaging device may be implemented in the form of, for example, an ultrasound diagnostic device, a magnetic resonance imaging device, a tomography device, an x-ray imaging device, or the like.
  • an ultrasound diagnostic device for example, an ultrasound diagnostic device, a magnetic resonance imaging device, a tomography device, an x-ray imaging device, or the like.
  • the case where the medical imaging apparatus is implemented in the form of the ultrasonic diagnostic apparatus 100 will be mainly described.
  • the ultrasonic diagnostic apparatus 100 includes a probe 20, an ultrasonic transmission / reception unit 110, a control unit 120, an image processing unit 130, a display unit 140, a storage unit 150, a communication unit 160 And an input unit 170.
  • the input unit 170 may include a plurality of input units.
  • the ultrasonic diagnostic apparatus 100 can be realized not only as a cart type but also as a portable type.
  • portable ultrasound diagnostic devices include, but are not limited to, a smart phone, a laptop computer, a PDA, a tablet PC, etc., including probes and applications.
  • the probe 20 may include a plurality of transducers.
  • the plurality of transducers can transmit an ultrasonic signal to the object 10 according to a transmission signal applied from the transmission unit 113.
  • the plurality of transducers can receive ultrasonic signals reflected from the object 10 and form a received signal.
  • the probe 20 may be implemented integrally with the ultrasonic diagnostic apparatus 100 or may be implemented as a separate type connected to the ultrasonic diagnostic apparatus 100 by wired or wireless connection.
  • the ultrasonic diagnostic apparatus 100 may include one or a plurality of probes 20 according to an embodiment.
  • the control unit 120 controls the transmission unit 113 to form a transmission signal to be applied to each of the plurality of transducers in consideration of the positions and focusing points of the plurality of transducers included in the probe 20.
  • the control unit 120 converts the received signal received from the probe 20 into a digital signal and outputs the digitized signal to the receiver 115 to generate ultrasonic data by summing the received signals in consideration of the positions and focusing points of the plurality of transducers ).
  • the image processing unit 130 generates an ultrasound image using the ultrasound data generated by the ultrasound receiving unit 115.
  • the display unit 140 may display the generated ultrasound image and various information processed in the ultrasound diagnostic apparatus 100.
  • the ultrasound diagnostic apparatus 100 may include one or a plurality of display units 140 according to an embodiment.
  • the display unit 140 may be implemented as a touch screen in combination with the touch panel.
  • the controller 120 may control the overall operation of the ultrasonic diagnostic apparatus 100 and the signal flow between the internal components of the ultrasonic diagnostic apparatus 100.
  • the control unit 120 may include a processor for processing a function of the ultrasonic diagnostic apparatus 100, a processor for processing data or a memory for storing data.
  • the control unit 120 may receive a control signal from the input unit 170 or an external device to control the operation of the ultrasonic diagnostic apparatus 100.
  • the ultrasonic diagnostic apparatus 100 includes a communication unit 160 and can be connected to an external device (for example, a server, a medical device, a portable device (smart phone, tablet PC, wearable device, etc.) have.
  • an external device for example, a server, a medical device, a portable device (smart phone, tablet PC, wearable device, etc.) have.
  • the communication unit 160 may include at least one of a short-range communication module, a wired communication module, and a wireless communication module.
  • the communication unit 160 may include at least one component that enables communication with an external device.
  • the communication unit 160 can transmit and receive control signals and data with an external device.
  • the storage unit 150 may store various data or programs for driving and controlling the ultrasonic diagnostic apparatus 100, input / output ultrasound data, and acquired ultrasound images.
  • the input unit 170 can receive a user's input for controlling the ultrasonic diagnostic apparatus 100.
  • the input of the user may be an input for operating a button, a keypad, a mouse, a trackball, a jog switch, a knob, etc., an input for touching a touch pad or a touch screen, a voice input, (E.g., iris recognition, fingerprint recognition, etc.), and the like.
  • FIG. 2 is a view illustrating an ultrasonic diagnostic apparatus according to an embodiment of the present invention.
  • the ultrasonic diagnostic apparatuses 100a and 100b may include a main display unit 121 and a sub-display unit 122.
  • the main display unit 121 and the sub- One of the main display unit 121 and the sub-display unit 122 may be implemented as a touch screen.
  • the main display unit 121 and the sub display unit 122 may display various information processed by the ultrasound diagnostic apparatuses 100a and 100b.
  • the main display unit 121 and the sub-display unit 122 are implemented with a touch screen. By providing a GUI, data for controlling the ultrasound diagnostic apparatuses 100a and 100b can be received from a user.
  • the main display unit 121 may display an ultrasound image
  • the sub-display unit 122 may display a control panel for controlling the display of the ultrasound image in a GUI form.
  • the sub-display unit 122 can receive data for controlling display of an image through a control panel displayed in a GUI form.
  • the ultrasonic diagnostic apparatuses 100a and 100b can control the display of the ultrasound image displayed on the main display unit 121 using the received control data.
  • the ultrasonic diagnostic apparatus 100b may further include a control panel 165 in addition to the main display unit 121 and the sub-display unit 122.
  • the control panel 165 may include a button, a trackball, a jog switch, a knob, and the like, and receives data for controlling the ultrasonic diagnostic apparatus 100b from a user.
  • the control panel 165 may include a Time Gain Compensation (TGC) button 171, a Freeze button 172, and the like.
  • TGC button 171 is a button for setting the TGC value for each depth of the ultrasound image.
  • the ultrasound diagnostic apparatus 100b can maintain the state of displaying the frame image at the time point.
  • a button, a trackball, a jog switch, a knob, and the like included in the control panel 165 may be provided as a GUI on the main display unit 121 or the sub display unit 122.
  • the ultrasonic diagnostic apparatus 100c may be implemented as a portable type.
  • portable ultrasonic diagnostic apparatus 100c include, but are not limited to, smart phones, probes and applications, laptop computers, PDAs, tablet PCs, and the like.
  • the ultrasonic diagnostic apparatus 100c includes a probe 20 and a body 40.
  • the probe 20 may be connected to one side of the body 40 by wire or wirelessly.
  • the body 40 may include a touch screen 145.
  • the touch screen 145 may display an ultrasound image, various information processed by the ultrasound diagnostic apparatus, GUI, and the like.
  • FIG. 3 is a diagram illustrating a medical imaging system 300 in accordance with one embodiment.
  • the medical imaging system 300 includes a medical imaging device 310 and a client device 320.
  • the medical imaging device 310 acquires the medical image data, receives first information related to the medical image data, and transmits the first information to the client device 320.
  • the medical imaging device 310 may be implemented in the form of an ultrasound diagnostic device as illustrated in FIGS.
  • the medical imaging device 310 may be implemented in the form of a tomography device, a magnetic resonance imaging device, an x-ray imaging device, or the like.
  • the first information may include at least one of information input from the user 312 of the medical imaging device 310, information generated by the medical imaging device 310 based on the medical imaging data, information stored in the medical imaging device 310, Or a combination thereof.
  • the first information may be transformed by the medical imaging device 310 or server 330 and transmitted to the client device 320.
  • the client device 320 receives the medical image data and the converted first information from the medical imaging device 310.
  • the client device 320 may communicate information about the user 321 of the client device 320 to the medical imaging device 310.
  • the medical imaging device 310 and the client device 320 may communicate directly.
  • the medical imaging device 310 and the client device 320 may communicate through the server 330.
  • the first information is converted based on information about the user 321 of the client device 320, and the converted first information is transmitted to the client device 320 together with the medical image data.
  • the conversion of the first information may be performed by the server 330 or the medical imaging device 310.
  • a user 321 of a client device 320 may be provided with a client device 320 by transforming and providing first information to the client device 320 based on information about the user 321 of the client device 320. [ The medical image data and the related first information can be more easily provided.
  • At least one of the medical imaging device 310, server 330, or client device 320 of the present disclosure may utilize the learned intelligence model in accordance with at least one of a rule-based model or machine learning, neural network, or deep learning algorithm have.
  • the rule-based model or the artificial intelligence model may provide the converted first information, which is a result generated by using the first information and the information about the user of the client apparatus as input values, to the client apparatus.
  • FIG. 4 is a diagram illustrating a structure of a medical image system 300a according to an embodiment.
  • the medical imaging system 300a includes a medical imaging device 310a, a client device 320a, and a server 330a.
  • the medical imaging apparatus 310a includes an image acquisition unit 420, an input unit 430, a first processor 440, and a first communication unit 450.
  • the image acquiring unit 420 acquires the medical image data.
  • the image acquiring unit 420 may include a scan unit that acquires medical image data by performing image capturing of a patient.
  • the image acquisition unit 420 may include a probe of an ultrasound imaging apparatus.
  • the image acquisition unit 420 may include an x-ray generation unit and an x-ray detection unit of the tomography apparatus.
  • the image acquisition unit 420 may include a scanner of a magnetic resonance imaging apparatus.
  • the image acquiring unit 420 may include an X-ray irradiating unit and an X-ray detecting unit of the X-ray imaging apparatus.
  • the image acquisition unit 420 may correspond to the probe 20 and the ultrasonic transmission / reception unit 110 of FIG.
  • the image acquisition unit 420 may correspond to a communication unit that receives medical image data from an external device.
  • the image acquisition unit 420 and the first communication unit 450 may be configured as one unit.
  • the image acquisition unit 420 may acquire image data stored in a storage unit (for example, 150 in FIG. 1) of the medical imaging apparatus 310a.
  • the input unit 430 receives data or control signals from the user 312 of the medical imaging device 310a.
  • the input unit 430 may include at least one of, for example, a button, a keypad, a mouse, a trackball, a jog switch, a knob, a touch pad, and a touch screen or a combination thereof.
  • the input unit 430 may include at least one of a microphone for receiving a voice input, a motion sensor for receiving a motion input, and a biological sensor for receiving biometric information, or a combination thereof.
  • the input unit 430 receives first information related to the medical image data from the user 312 of the medical image device 310a.
  • the user 312 refers to the information related to the acquired medical image data while performing the imaging of the ultrasound image
  • the microphone of the input unit 430 detects the voice of the user 312
  • the first processor 440 May convert the voice of the user 312 into text using the voice recognition function to generate the first information.
  • the user 312 may receive the first information related to the medical image data through at least one of the keypad, the touch pad, and the touch screen of the input unit 430 while performing the photographing of the ultrasound image have.
  • the user 312 receives the marker related to the medical image data through at least one of the mouse, the track ball, the touch pad, and the touch screen of the input unit 430 while performing the photographing of the ultrasound image, (440) can process the inputted marker as the first information.
  • the input unit 430 may correspond to the input unit 170 of FIG.
  • the first processor 440 controls the overall operation of the medical imaging device 310a.
  • the first processor 440 may include one or more processors.
  • the first processor 440 may generate the medical image using the medical image data obtained by the image obtaining unit 420.
  • the first processor 440 may generate the medical image using the raw data obtained by the image acquiring unit 420.
  • the first processor 440 can perform image processing operations such as signal correction processing, interpolation processing, tone conversion processing, and the like on the LOW data.
  • the first processor 440 controls the first communication unit 450 so that the medical image data and the first information are transmitted to the client apparatus.
  • the first processor 440 also controls the first information to be converted based on information about the user 321 of the client device 320a to be delivered to the client device 320a.
  • the first information related to the medical image data is converted based on information about the user 321 of the client device 320a, and the converted first information is transmitted to the client device 320a ).
  • the conversion processing of the first information may be performed by the medical imaging device 310a according to one embodiment, and in another embodiment, by the server 330a. 4 is an embodiment in which the conversion processing of the first information is performed by the server 330a.
  • information about the user 321 of the client device 320 may be provided from the client device 320a.
  • the client device 320 may receive information about the user 321 from the user 321 and may pass information about the user 321 to the medical imaging device 310a. To this end, the client device 320 may provide a user interface for receiving information about the user 321 from the user 321. The client device 320 also provides a user interface for receiving permission from the user 321 to provide information about the user 321 to at least one of the medical imaging device 310a and the server 330a can do. The client device 320 may provide information about the user 321 of the client device 320 to the medical imaging device 310a or server 330a only if the user 321 allows it.
  • the client device 320 may communicate information about the stored user 321 to the medical imaging device 310a.
  • the client device 320 is only allowed to allow the user 321 to provide information about the user 321 to at least one of the medical imaging device 310a and the server 330a, The medical imaging device 310a or the server 330a with information on the user 321 of the medical imaging device 320.
  • the information about the client user 321 includes at least one of a job of the user 321, a relationship between the user 321 and the patient, the age of the user 321, nationality, and a language of use, or a combination thereof.
  • the occupation of the user 321 can be classified into, for example, a doctor, a sonographer, a radiogical technologist, a general person, and the like.
  • the relationship between the user 321 and the patient can be classified into, for example, a guardian, a spouse, a person in charge, a medical staff in charge, and the like.
  • the first communication unit 450 transmits the medical image data and first information obtained from the medical imaging apparatus 310a to the server 330a.
  • the first communication unit 450 may correspond to the communication unit 160 of FIG.
  • the first communication unit 450 establishes communication with the server 330a and establishes communication with the client apparatus 320a.
  • the communication channel between the first communication unit 450 and the server 330a and the communication channel between the first communication unit 450 and the client apparatus 320a can be established independently and can be established using the same type of communication method, Type communication method can be used.
  • the first communication unit 450 may communicate with the client apparatus 320a through the server 330a.
  • the server 330a can communicate with the client device 320a and relay the communication between the first communication unit 450 and the client device 320a.
  • the server 330a is communicably connected to the medical imaging device 310a and the client device 320a via a network.
  • the server 330a receives the medical image data and the first information from the medical imaging device 310a, and converts the first information.
  • the server 330a transmits the medical image data and the converted first information to the client device 320a.
  • the client device 320a is an electronic device that communicates with the server 330a, and receives the medical image data and the converted first information from the server 330a.
  • the client device 320a may be implemented in various forms of electronic devices such as, for example, a communication terminal, a smart phone, a notebook, a personal computer, a tablet PC, a kiosk, and the like.
  • client device 320a may download and install a computer program product from server 330a.
  • the computer program product may provide information about the user 321 of the client device 320a to the medical imaging device 310a or server 330a in accordance with embodiments of the present disclosure, And instructions for performing the function of providing the converted first information.
  • the server 330a may include a neural network processor 410a.
  • the neural network processor 410a receives the medical image data and the first information and receives information about the user 321 of the client device 320a and generates the medical image data and the first information based on the information about the user 321 of the client device 320a Thereby converting the first information.
  • FIG. 5 is a diagram illustrating a structure of a server 330b according to an embodiment.
  • the server 330b includes a second communication unit 510, a neural network processor 410a, a second processor 520, a transcoder 530, and a database (DB) .
  • DB database
  • the second communication unit 510 communicates with the medical imaging apparatus 310a and the client apparatus 320a.
  • the second communication unit 510 can use various communication networks.
  • the second communication unit 510 receives the medical image data and the first information from the medical imaging apparatus 310a.
  • the second communication unit 510 receives information on the user 321 of the client apparatus 320a from the client apparatus 320a.
  • the second communication unit 510 transmits the medical image data and the converted first information to the client apparatus 320a.
  • the second processor 520 controls the overall operation of the server 330b.
  • the second processor 520 may include one or more processors.
  • the second processor 520 may control the communication operation of the medical imaging device 310a and the client device 320a and the server 330b.
  • the second processor 520 may control data input to the neural network processor 410a and data output operations from the neural network processor 410a.
  • the second processor 520 may also be configured to perform authentication operations on the medical imaging device 310a and the client device 320a, authentication operations on the user 312 of the medical imaging device 310a, And the like.
  • the transcoder 530 may convert the medical image data to adjust the size of the medical image data.
  • the second processor 520 may control the transcoder 530 to convert the medical image data to a predetermined resolution.
  • the DB 540 may store medical image data, learning data used in the deep neural network processor 410a, reference data used for conversion of the first information, and the like.
  • FIG. 6 is a diagram illustrating a process of converting first information according to an embodiment of the present invention.
  • the medical imaging device 310a may receive the first information 620 from the user 610 of the medical imaging device 310a through the input unit 430.
  • the user 610 may input first information into the medical imaging device 310a in the form of voice, text, or the like.
  • the first information may include protocols, measurements, markers, text, and the like.
  • the medical imaging device 310a may transmit information on the protocol set by the user 610 to the server 330a as first information.
  • the marker may include information on the type of the marker, the position of the marker, and the like.
  • the server 330b receives the first information from the medical imaging device 310a through the second communication unit 510 and the received first information is input to the deep neural network processor 410a (630).
  • the server 330a also receives information on the user 321 of the client device 320a from the client device 320a via the second communication unit 510 and transmits the received information to the user 321 of the received client apparatus 320a. Is input to the neural network processor 410a (640).
  • the information about the user 321 of the client device 320a may include, for example, occupation, relationship with the patient, age, nationality, and / or the language of use, or a combination thereof.
  • the information about the user 321 may include information entered by the user 321 in the client device 320a or information stored in the client device 320a.
  • the in-depth neural network processor 410a converts the first information based on the received first information and information about the user 321 of the client device (650).
  • FIG. 7 is a diagram illustrating a process of converting first information based on information on a user 321 of a client device 320a in the neural network processor 410a according to an embodiment.
  • the neural network processor 410a may determine the difficulty, the presentation method, the degree of exposure, the speech method, the language, and the like of the representation of the converted first information based on the information on the client user 321.
  • the neural network processor 410a may determine whether to translate the medical term contained in the first information into a natural language, based on the occupation of the user 321 of the client device 320. [ If the occupation of the user 321 of the client device 320a is physician 710, the in-depth neural network processor 410a may transform the first information by expressing the first information in medical terms. For example, the first information may be transformed to be represented by medical terms such as BPD, FI, GA, EFW, etc. (712). If the user 321 of the client device 320a is occupied 720, the in-depth neural network processor 410a may convert 722 the first information to be represented in everyday terms.
  • medical terms such as BPD, FI, GA, EFW, etc.
  • the medical term expressed in the first information is provided intact to the client device 320a, and the user 321 of the client device 320 is a general person
  • the medical term represented in the first information may be converted to a natural language and provided to the client device 320a.
  • the first information may be delivered to the client device 320 in the form of 'BPD' .
  • the 'BPD' may be converted to 'fetal head circumference' and delivered to the client device 320.
  • the neural network processor 410a may determine the presentation of the first information based on the occupation of the user 321 of the client device 320a. For example, the neural network processor 410a may list each measurement or estimate in the form of a list or table when the user 321 of the client device 320a is physician, (321) is a general person, each measured value or estimated value can be expressed in a narrative form.
  • the neural network processor 410a may determine whether to add additional information for the first information based on the occupation of the user 321 of the client device 320a.
  • the additional information may be included in the first information converted as the second information and transmitted to the client apparatus 320a. Additional information may include, for example, a description of terms, additional descriptions, and the like.
  • the neural network processor 410a may convert the first information by adding additional information if the occupation of the user 321 is a physician and does not add additional information. For example, in the converted first information 722 shown in FIG.
  • the neural network processor 410a may also determine the degree of exposure of the first information based on the occupation of the user 321. [ For example, when the occupation of the user 321 is physician, a large amount of first information is exposed, and when the occupation of the user 321 is a general person, a small amount of first information can be exposed.
  • the neural network processor 410a may perform an operation of converting the first information format.
  • the in-depth neural network processor 410a may convert the first informational formatting, taking into account at least one or a combination of the patient's relationship, sex, and age with the user 321 of the client device 320 have.
  • the in-depth neural network processor 410a can convert the speech method in consideration of, for example, whether it is a narrative type, whether it is an emphasis word, a sentence end, and the like.
  • the deep neural network processor 410a may perform an operation of translating the language of the first information.
  • the in-depth neural network processor 410a may translate the language of the first information, taking into account at least one of the nationality and the language of use of the user 321 of the client device 320, or a combination thereof.
  • the in-depth neural network processor 410a may convert the language of the first information using an interpretation algorithm.
  • FIG. 8 is a diagram illustrating reference information 800 used when converting first information according to an embodiment.
  • the neural network processor 410a may use the reference information 800 to transform the first information.
  • the in-depth neural network processor 410a may add an additional description to the first information using the reference information 800.
  • the reference information 800 may include a medical term, a natural language corresponding to each medical term or a usual term, and additional information corresponding to each medical term.
  • the reference information 800 may be implemented in the form of a look-up table and stored in the DB 540 of the server 330b.
  • FIG. 9 is a diagram illustrating a process of converting the first information by the neural network processor 410a according to an exemplary embodiment of the present invention.
  • the neural network processor 410a may generate the transformed first information based on the first information 620, 620a and the medical image data 912. [ First, the depth-of-neural network processor 410a can change the expression and terms of the first information 620 and 620a using the reference information 800. [ For example, the neural network processor 410a transforms the representation of the first information 620, 620a to generate the first transform information 920 and the first information 620, 620a and the first transform information 920 (930). ≪ / RTI >
  • the neural network processor 410a may change the terms of the first information 620 and 620a (921). For example, the deep neural network processor 410a may change the BPD to head circumference if the user of the client device 321 is occupied by the general public. In addition, the neural network processor 410a may modify the representation of the first information 620, 620a (922). For example, the neural network processor 410a may recognize the user's voice of the medical imaging device 310a when the user of the client device 321 is a general user, Is a little bigger than ', and the expression can be converted to' larger than average ** cm '.
  • the neural network processor 410a may also generate additional information using the first information 620, 620a and the first order transformation information 920.
  • the neural network processor 410a searches for or estimates the average head circumference of the notes from the measured or predicted mood information at the medical imaging device 310a (931), and calculates the difference between the measured head circumference and the average head circumference (932). ≪ / RTI >
  • the neural network processor 410a estimates the weight of the fetus from the measured head circumference (933), retrieves or estimates the average weight of the week from the week information (934), compares the average weight with the estimated weight (935), information on whether the fetal weight is greater or less than the average can be generated.
  • the neural network processor 410a may add an indicator 943 to the medical image data 912 indicating at least one or a combination of the marker, the first information, and the converted first information.
  • the marker may be added to the medical image data 912 based on the information about the marker included in the first information or the information obtained through object recognition.
  • the neural network processor 410a may generate the resulting image 940 provided to the client device 320.
  • the resulting image 940 may include a first area 941 and a second area 942.
  • the first area 941 may include the medical image data 912 and the second area 942 may include the converted first information.
  • the medical image data 912 of the first area 941 may be additionally displayed with an indicator 943 generated by the deep neural network processor 410a.
  • FIG. 10 is a flowchart illustrating a method of controlling a medical image device according to an embodiment.
  • a method of controlling a medical imaging apparatus may be performed by various types of electronic apparatuses having a processor and a communication unit and communicating with the client apparatus.
  • the medical imaging device control method is performed by the medical imaging device 310a according to the embodiments of the present disclosure is described herein, the embodiment of the medical imaging device control method of the present disclosure is limited to this no.
  • An embodiment of the medical imaging device 310a of the present disclosure can be applied to a medical imaging device control method.
  • the medical imaging apparatus 310a acquires the medical image data (S1002).
  • the medical imaging device 310a acquires medical image data by photographing a medical image through an ultrasound probe, a CT scanner, an MRI scanner, or the like, reads medical image data stored in a storage unit to acquire medical image data,
  • the medical image data can be obtained by receiving the medical image data from the external device.
  • the medical imaging apparatus 310a receives the first information related to the medical image data from the user 312 of the medical imaging apparatus 310a (S1004).
  • the medical imaging device 310a transmits the obtained medical image data and the first information to the server 330a (S1006).
  • the client device 320a transmits information on the user 321 of the client device 320a to the server 330a (S1008).
  • the information about the client user 321 includes at least one of a job of the user 321, a relationship between the user 321 and the patient, the age of the user 321, nationality, and a language of use, or a combination thereof.
  • the server 330a Upon receiving the first information and the information on the client user 321 from the medical imaging apparatus 310a, the server 330a converts the first information based on the information on the client user 321 (S1010). The server 330a may convert the representation of the first information based on the information about the client user 321. [
  • the server 330 transmits the medical image data and the converted first information to the client apparatus 320a (S1012).
  • the server 330a may transmit the medical image data and the converted first information to the client device 320a and further to the medical imaging device 310a.
  • the client device 320a receives the medical image data and the converted first information from the server 330a and may provide the same to the user (S1014). For example, the client device 320a may display the medical image data and the converted first information on a display or output it as a voice.
  • FIG. 11 is a diagram illustrating a structure of a medical imaging device 310b, a client device 320b, and a server 330b according to an embodiment.
  • the depth-of-neural network processor 410b may be included in the medical imaging device 310b to perform the conversion of the first information in the medical imaging device 310b.
  • the operation of converting the first information in the neural network processor 410b corresponds to the operation of the neural network processor 410a described above with reference to FIGS.
  • medical imaging device 310b includes an embodiment that communicates with client device 320b via server 330b and an embodiment that communicates directly with client device 320b without going through server 330b It is possible.
  • the first communication unit 450 of the medical imaging apparatus 310b may receive information on the user 321 of the client apparatus 320b from the client apparatus 320b.
  • the in-depth neural network processor 410b may convert the first information based on information about the user 321 of the client device 320b.
  • the first communication unit 450 and the client apparatus 320b of the medical imaging apparatus 310b can communicate using various types of wired or wireless communication.
  • the first communication unit 450 may use various types of short-range wireless communication, and may include Bluetooth, BLE (Bluetooth Low Energy), Near Field Communication, Can communicate with the client device 320b using WLAN (Wi-Fi), Zigbee, IrDA (infrared data association) communication, WFD (Wi-Fi Direct), UWB (ultra wideband) communication, Ant + have.
  • FIG. 12 is a flowchart illustrating a method of controlling a medical image device according to an embodiment.
  • the medical image device control method according to the present embodiments may be performed by various types of electronic devices having a processor and a communication unit and communicating with the client apparatus. Although an embodiment in which the medical imaging device control method is performed by the medical imaging device 310b according to the embodiments of the present disclosure is described herein, the embodiment of the method of controlling the medical imaging device of the present disclosure is limited thereto no. An embodiment of the medical imaging device 310b of the present disclosure may be applied to a medical imaging device control method.
  • the medical imaging device 310b first obtains the medical image data (S1202). In addition, the medical imaging device 310b receives the first information related to the medical image data from the user 312 of the medical imaging device 310b (S1204).
  • the client device 320b transmits information about the user 321 of the client device 320b to the medical imaging device 310b (S1206).
  • the medical imaging device 310b converts the first information based on the information about the user of the client device 320b (S1208).
  • the medical imaging device 310b transmits the medical image data and the converted first information to the client device 320b (S1210).
  • the client device 320b may receive the medical image data and the converted first information from the medical imaging device 310b and may provide the same to the user (S1212).
  • FIG. 13A is a block diagram illustrating a depth neural network processor 410a, 410b in accordance with an embodiment of the present disclosure.
  • the in-depth neural network processors 410a and 410b can perform operations based on a neural network.
  • the depth of neural network (DNN) operation may include a Convolution Neural Network (CNN) operation.
  • the artificial intelligence system including the neural network processors 410a and 410b is a computer system that implements human-level intelligence, and a system in which a machine learns, determines,
  • Artificial intelligence technology consists of element technologies that simulate functions such as recognition and judgment of human brain by using machine learning (deep learning) algorithm and machine learning algorithm which use algorithm to classify / learn input data by themselves.
  • Elemental technologies include, for example, linguistic understanding techniques for recognizing human language / characters, visual understanding techniques for recognizing objects as human vision, reasoning / predicting techniques for reasoning and predicting information for reasoning and prediction of information, A knowledge representation technique for processing the robot as knowledge data, an autonomous running of the vehicle, and an operation control technique for controlling the motion of the robot.
  • Linguistic understanding is a technology for recognizing, applying, and processing human language / characters, including natural language processing, machine translation, dialogue system, query response, speech recognition / synthesis, and the like.
  • Visual understanding is a technology for recognizing and processing objects as human vision, including object recognition, object tracking, image search, human recognition, scene understanding, spatial understanding, and image enhancement.
  • Inference prediction is a technique for judging and logically inferring and predicting information, including knowledge / probability based reasoning, optimization prediction, preference base planning, and recommendation.
  • Knowledge representation is a technology for automating human experience information into knowledge data, including knowledge building (data generation / classification) and knowledge management (data utilization).
  • the depth-of-field neural network processors 410a and 410b may include a data learning unit 1310 and a data recognition unit 1320.
  • FIG. 13A the depth-of-field neural network processors 410a and 410b according to some embodiments may include a data learning unit 1310 and a data recognition unit 1320.
  • the data learning unit 1310 may learn a criterion for performing the computation through the neural network described above. Specifically, the data learning unit 1310 determines which representation of the first information should be converted based on the first information and information on the user 321 of the client apparatus 320, ) Can be learned. The data learning unit 1310 acquires data to be used for learning, and applies the obtained data to the data recognition model to learn the criteria for the situation determination.
  • the data used by the data learning unit 1310 for learning includes first information acquired by the data acquisition unit 1310-1, information on the user 321 of the client apparatus 320, Feedback data.
  • the data recognition unit 1320 can determine the situation based on the data.
  • the data recognition unit 1320 can recognize the situation from the predetermined data using the learned data recognition model, for example, the first artificial neural network.
  • the data recognizing unit 1320 acquires predetermined data in accordance with a predetermined reference by learning, and uses a data recognition model with the obtained data as an input value, thereby judging a predetermined situation based on predetermined data can do. Further, the resultant value output by the data recognition model with the obtained data as an input value can be used to update the data recognition model.
  • a data recognition model constructed by the data recognition unit 1320 for example, a first artificial culture neural network generated by learning a deep layer neural network or a second artificial culture generated by learning a first artificial culture neural network
  • the neural network may be modeled to learn the plurality of actual first information, the transformed first information, and the feedback data to infer an optimal transformation model for the plurality of first information. That is, the data recognition model constructed by the data recognition unit 1320 deduces the conversion model of the first information suitable for the user 321 of the client apparatus 320.
  • the data recognizing unit 1320 recognizes each item (the user's job, the relationship between the user and the patient, the age of the user, the identification information of the user, the sex, etc.) of the user 321 of the client apparatus 320, Can be recognized.
  • the data recognition unit 1320 learns the data recognition model using the information about the user 321 of the client apparatus 320, the feedback data, the first information, and the converted first information, Models can be modified.
  • At least one of the data learning unit 1310 and the data recognition unit 1320 may be manufactured in the form of at least one hardware chip and mounted on the medical imaging apparatus 310 or the server 330.
  • at least one of the data learning unit 1310 and the data recognizing unit 1320 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), a first processor 440 or a first processor (E.g., a CPU or an application processor) or a graphics-only processor (e.g., a GPU) included in the medical imaging device 310 or 520 and included in the medical imaging device 310 or the server 330 .
  • AI artificial intelligence
  • a first processor 440 or a first processor E.g., a CPU or an application processor
  • a graphics-only processor e.g., a GPU
  • the data learning unit 1310 and the data recognition unit 1320 may be mounted on the medical imaging device 310 or the server 330 which is one electronic device or may be mounted on separate electronic devices respectively .
  • one of the data learning unit 1310 and the data recognizing unit 1320 may be included in the medical imaging apparatus 310, and the other may be included in the server 330.
  • the data learning unit 1310 and the data recognition unit 1320 are interconnected by wire or wireless and can provide the model information constructed by the data learning unit 1310 to the data recognition unit 1320, The data input to the unit 1320 may be provided to the data learning unit 1310 as additional learning data.
  • At least one of the data learning unit 1310 and the data recognition unit 1320 may be implemented as a software module.
  • the software module may be a computer- And may be stored in non-transitory computer readable media.
  • the at least one software module may be provided by an operating system (OS) or by a predetermined application.
  • OS operating system
  • OS Operating System
  • some of the at least one software module may be provided by an Operating System (OS)
  • OS Operating System
  • FIG. 13B is a block diagram illustrating a data learning unit 1310 included in the deep neural network processor.
  • the data learning unit 1310 includes a preprocessing unit 1310-2, a learning data selection unit 1310-3, a model learning unit 1310-4, and a model evaluation unit 1310 -5).
  • the preprocessing unit 1310-2 can preprocess the acquired data so that the acquired data can be used for learning for the situation determination.
  • the preprocessing unit 1310-2 includes first information that is data obtained for learning for situation determination, first information that has been converted, The acquired data can be processed into a predetermined format so that information on the user and feedback data can be utilized.
  • the learning data selection unit 1310-3 can select data necessary for learning from the preprocessed data.
  • the selected data may be provided to the model learning unit 1310-4.
  • the learning data selection unit 1310-3 can select data necessary for learning from the preprocessed data according to a predetermined criterion for the situation determination.
  • the learning data selection unit 1310-3 can also select data according to a predetermined criterion by learning by the model learning unit 1310-4, which will be described later.
  • the model learning unit 1310-4 can learn a criterion on how to determine the situation based on the learning data. Further, the model learning unit 1310-4 may learn a criterion as to which learning data should be used for the situation determination.
  • the model learning unit 1310-4 learns a plurality of first information, converted first information, information on a user of the client apparatus, and feedback data, Can be learned. Specifically, the model learning unit 1310-4 acquires information on each item of the information about the user 321 of the client apparatus 320 (the user's job, the relationship between the user and the patient, the age of the user, And the like) can be predicted according to the combination of the first information. Further, the conversion model can be learned based on the information about the user 321 of the client device 320 and the feedback data.
  • the model learning unit 1310-4 can learn the data recognition model used for the situation determination using the learning data.
  • the data recognition model may be a pre-built model.
  • the data recognition model may be a pre-built model that receives basic learning data (e.g., sample medical images, etc.).
  • the data recognition model can be constructed considering the application field of the recognition model, the purpose of learning, or the computer performance of the device.
  • the data recognition model may be, for example, a model based on a neural network.
  • models such as Deep Neural Network (DNN), Recurrent Neural Network (RNN), and Bidirectional Recurrent Deep Neural Network (BRDNN) may be used as a data recognition model, but the present invention is not limited thereto.
  • the model learning unit 1310-4 can store the learned data recognition model.
  • the model learning unit 1310-4 can store the learned data recognition model in the memory of the electronic device including the data recognition unit 1320.
  • the model learning unit 1310-4 may store the learned data recognition model in a memory of an electronic device including a data recognition unit 1320 to be described later.
  • the model learning unit 1310-4 may store the learned data recognition model in a memory of a server connected to an electronic device and a wired or wireless network.
  • the memory in which the first artificial neural network, which is the learned data recognition model, is stored may also store instructions or data associated with, for example, at least one other component of the electronic device.
  • the memory may also store software and / or programs.
  • the program may include, for example, a kernel, a middleware, an application programming interface (API), and / or an application program (or "application").
  • the model evaluation unit 1310-5 inputs evaluation data to the data recognition model, and when the recognition result output from the evaluation data does not satisfy predetermined accuracy or predetermined reliability, which is a predetermined criterion, the model learning unit 1310-4 ) To learn again.
  • the evaluation data may be predetermined data for evaluating the data recognition model.
  • the model evaluation unit 1310-5 it can be evaluated as unsatisfactory.
  • the predetermined criterion is defined as a ratio of 2%
  • the learned data recognition model outputs an incorrect recognition result for evaluation data exceeding 20 out of a total of 1000 evaluation data, Can be estimated that the learned data recognition model is not suitable.
  • the model evaluation unit 1310-5 evaluates whether each of the learned data recognition models satisfies a predetermined criterion, Can be determined as a model.
  • At least one of the preprocessing unit 1310-2, the learning data selecting unit 1310-3, the model learning unit 1310-4, and the model evaluating unit 1310-5 in the data learning unit 1310 has at least one It can be manufactured in the form of one hardware chip and mounted on the electronic device.
  • some of the preprocessing unit 1310-2, the learning data selecting unit 1310-3, the model learning unit 1310-4, and the model evaluating unit 1310-5 are included in the electronic device, May be included in the server.
  • 13C is a block diagram illustrating a data recognition unit 1320 included in the neural network processor.
  • the data recognition unit 1320 includes a data acquisition unit 1320-1, a preprocessing unit 1320-2, a recognition data selection unit 1320-3, 1320-4 and a model updating unit 1320-5.
  • the data acquisition unit 1320-1 can acquire data necessary for the situation determination and the preprocessing unit 1320-2 can preprocess the acquired data so that the acquired data can be used for the situation determination.
  • the preprocessing unit 1320-2 can process the acquired data into a predetermined format so that the recognition result providing unit 1320-4, which will be described later, can use the acquired data for the situation determination.
  • the recognition data selection unit 1320-3 can select data necessary for the situation determination from the preprocessed data.
  • the selected data may be provided to the recognition result provider 1320-4.
  • the recognition data selection unit 1320-3 can select some or all of the preprocessed data according to a predetermined criterion for the situation determination.
  • the recognition data selection unit 1320-3 can also select data according to a predetermined criterion by learning by the model learning unit 1310-4, which will be described later.
  • the recognition result provider 1320-4 can apply the selected data to the data recognition model to determine the situation.
  • the recognition result providing unit 1320-4 can provide the recognition result according to the data recognition purpose.
  • the model updating unit 1320-5 can update the data recognition model based on the evaluation of the recognition result provided by the recognition result providing unit 1320-4. For example, the model updating unit 1320-5 provides the recognition result provided by the recognition result providing unit 1320-4 to the model learning unit 1310-4 so that the model learning unit 1310-4 The data recognition model can be updated.
  • the model updating unit 1320-5 can learn the first artificial neural network, which is a data recognition model, so that the first artificial neural network is updated .
  • the model updating unit 1320-5 learns the first artificial neural network with the converted first information obtained by performing the calculation through the first artificial neural network, and corrects or updates the first artificial neural network, 2 artificial neural networks.
  • the data acquisition unit 1320-1, the preprocessing unit 1320-2, the recognition data selection unit 1320-3, the recognition result providing unit 1320-4, and the model updating unit 1320-4 in the data recognizing unit 1320 1320-5 may be fabricated in at least one hardware chip form and mounted on an electronic device.
  • the data acquiring unit 1320-1, the preprocessing unit 1320-2, the recognition data selecting unit 1320-3, the recognition result providing unit 1320-4, and the model updating unit 1320-5 May be mounted on an electronic device, or may be mounted on separate electronic devices, respectively.
  • the preprocessing unit 1320-2 For example, among the data acquisition unit 1320-1, the preprocessing unit 1320-2, the recognition data selection unit 1320-3, the recognition result providing unit 1320-4, and the model updating unit 1320-5 Some of which may be included in the medical imaging device 310 and some of which may be included in the server 330.
  • FIG. 14 is a diagram illustrating a process of receiving feedback data from a client device 320 and delivering it to the neural network processors 410a and 410b according to an exemplary embodiment of the present invention.
  • the user 321 of the client device 320 may enter feedback data for the transformed first information provided at the client device 320.
  • the feedback data means data generated by an operation such as modification or editing of the converted first information, deletion of a part or all of the converted first information, addition of additional information, and the like.
  • the feedback data may include at least one of an evaluation for the converted first information, a correction opinion for the converted first information, and a preference for the first information, or a combination thereof.
  • the converted first information 1410 including the markers 1412a and 1412b and the measured values 1414 is provided through the display of the client device 320.
  • the user 321 of the client device 320 can move the position of the marker 1412b using a touch screen, a touch pad, a mouse, or a keyboard.
  • information related to the movement of the marker 1412b is transmitted to the neural network processor 410 as feedback data.
  • the feedback data may include information that the marker has been moved, the position of the marker before movement, the position of the marker after movement, and the like.
  • the feedback data may be input via the user interface of the client device 320.
  • the feedback data may be input through the touch screen of the client device 320, a touch pad, a microphone, a keyboard, a mouse, an acceleration sensor, a gyro sensor, an image sensor, or the like.
  • 15 is a flowchart illustrating a method of controlling a medical imaging apparatus according to an embodiment.
  • the feedback data inputted from the client device 320 is transmitted to the deep neural network processor 410 and can be used as learning data.
  • the medical imaging apparatus 310 acquires the medical image data (S1502) and receives the first information (S1504).
  • the medical imaging device 310 transmits the medical image data and the first information to the deep neural network processor 410 (S1506).
  • the neural network processor 410 may be included in the medical imaging device 310 or the server 330 as described above.
  • the client device 320 transmits information about the client user to the deep neural network processor 410 (S1508).
  • the neural network processor 410 converts the first information based on the information on the user of the client apparatus using the neural network (S1510). In addition, the depth-of-neural network processor 410 generates second information as additional information based on the medical image data and the first information (S1512). The neural network processor 410 transmits the converted first information including the medical image data and the second information to the client apparatus 320 (S1514).
  • the client device 320 provides the medical image data and the converted first information through an output unit such as a display (S1516). In addition, the client device 320 receives the feedback data for the converted first information and transmits it to the electronic device having the neural network processor 410 (S1518). The feedback data is converted into a predetermined file format and transmitted to an electronic device having a deep-layer neural network processor 410.
  • the neural network processor 410 updates the converted first information and second information based on the feedback data (S1520).
  • the neural network processor 410 may utilize feedback data, first information, information about the user of the client apparatus 320, and the converted first information as learning data.
  • the neural network processor 410 can update the transformation model of the first information through learning using the first information, the first information transformed based on the feedback data, and the information about the user of the client device 320 have.
  • 16 is a diagram illustrating the operation of the medical imaging device 310 and the client device 320 according to one embodiment.
  • the medical imaging device 310 may authorize the client device 320 to receive the medical image data and the first information from the medical imaging device 310 .
  • the client device 320 may receive a selection of a medical imaging device (e.g., ULTRASOUND 1) to connect among a plurality of medical imaging devices (ULTRASOUND 1, ULTRASOUND 2, ULTRASOUND 3) Information can be received (S1610).
  • the information for granting authority may be user identification information (ID) and password PW.
  • the client device 320 may transmit authentication information to the selected medical imaging device (ULTRASOUND 1).
  • the medical imaging device 310 determines whether to allow connection of the client device 320 (S1620).
  • the medical imaging device 310 may determine whether to allow access of the client device 320 based on user input. For example, the medical imaging device 310 may provide a user interface that can receive a selection of whether to allow connection of the client device 320 (S1622).
  • the medical imaging device 310 may determine whether to allow access of the client device 320 with reference to the previously stored authentication information.
  • the medical imaging device 310 stores the registered authentication information (ID, PW), and can allow the client device 320 to connect when the received authentication information is previously registered authentication information.
  • the medical imaging device 310 stores the registered authentication information and device information for each authentication information, and when the received authentication information and device information match the registered authentication information and device information, the client device 320 may be allowed.
  • the medical imaging device 310 stores information on a range of first information to be provided for each user, and when correct authentication information is input, Device.
  • the medical imaging device 310 may provide information to the user A about the X imaging process, and if the range of the first information is defined to provide the B user with information related to the X imaging process and the Y imaging processor, Based on the user identification information included in the authority definition, the first information up to the range permitted to the user can be provided to the client apparatus 320.
  • the range of the first information provided for each user may be defined according to the shooting process, protocol, kind of measurement information, parameter type, data set type, and the like.
  • the medical imaging device 310 transmits the medical image data and the converted first information to the client device 320 (S1630).
  • the medical imaging device 310 may provide information that the client device 320 is connected to the medical imaging device 310 through a user interface (S1632).
  • 17 is a flowchart illustrating a method of controlling a medical imaging apparatus according to an embodiment.
  • the server 330a or the medical imaging apparatus 310a grants the access right to the client apparatus 320a and transmits the medical image data and the converted first information to the client apparatus 320a, .
  • the client device 320a transmits the authentication information to the server 330a in order to receive the medical image data and the converted first information from the medical imaging device 310a (S1702).
  • the server 330a makes an authentication request to the medical imaging apparatus 310a based on the authentication information transmitted from the client apparatus 320a (S1704). Authentication of the user of the client device 320a may be performed in the server 330a or the medical imaging device 310a.
  • the server 330a verifies the authority of the client device 320a based on the authentication information received from the client device 320a, and determines whether the privilege is granted to the medical imaging device 310a And transmits the information about it.
  • the server 330a transmits the authentication information received from the client device 320a to the medical imaging device 310a, and the medical imaging device 310a authenticates the connection of the client device 320a.
  • 17 is a flowchart illustrating an embodiment of authenticating the connection of the client device 320a in the medical imaging device 310a.
  • the medical imaging apparatus 310a authenticates the connection of the client apparatus 320a based on the authentication information (S1706), and gives the client apparatus 320a a connection right when the authentication information is valid (S1708).
  • the medical imaging device 310a may request the server 330a to provide the medical image data and the converted first information to the authorized client device 320a.
  • the server 330a transmits the medical image data and the converted first information to the authorized client device 320a (S1710).
  • the client device 320a provides the received medical image data and the converted first information through an output unit (S1712).
  • the disclosed embodiments may be implemented in a software program that includes instructions stored on a computer-readable storage medium.
  • the computer may include a medical imaging device according to the disclosed embodiments, which is an apparatus capable of calling stored instructions from a storage medium and operating according to the disclosed embodiments according to the called instructions.
  • the computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' means that the storage medium does not include a signal and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily on the storage medium.
  • the medical imaging apparatus and the control method thereof may be provided in a computer program product.
  • a computer program product can be traded between a seller and a buyer as a product.
  • the computer program product may include a computer readable storage medium having stored thereon a software program and a software program.
  • a computer program product may include a merchandise of a medical imaging device or a product in the form of a software program (e.g., a downloadable app) electronically distributed via an electronic marketplace (e.g., Google Play Store, AppStore) .
  • an electronic marketplace e.g., Google Play Store, AppStore
  • the storage medium may be a server of a manufacturer, a server of an electronic market, or a storage medium of a relay server for temporarily storing an SW program.
  • the computer program product may comprise a storage medium of a server or a storage medium of a terminal, in a system consisting of a server and a terminal (e.g., a medical imaging device or a client device).
  • a terminal e.g., a medical imaging device or a client device.
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include the S / W program itself transmitted from the server to the terminal or the third device, or transmitted from the third device to the terminal.
  • one of the server, the terminal, and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of the server, the terminal and the third device may execute the computer program product to distribute the method according to the disclosed embodiments.
  • a server e.g., a cloud server or an artificial intelligence server, etc.
  • a server may execute a computer program product stored on a server to control the terminal communicating with the server to perform the method according to the disclosed embodiments.
  • a third device may execute a computer program product to control a terminal communicatively coupled to a third device to perform the method according to the disclosed embodiment.
  • the third device can remotely control the medical imaging device to control the medical imaging device to perform the process for acquiring the medical image.
  • the third device may execute a computer program product to directly perform the method according to the disclosed embodiment based on the value input from the auxiliary device (e.g., a probe of the medical device).
  • the ancillary apparatus can irradiate an ultrasonic signal to the object, and obtain the ultrasonic signal reflected from the object.
  • the third device receives the signal information reflected from the auxiliary device, and can generate an image of a site inside the target object based on the inputted signal information.
  • the third device can download the computer program product from the server and execute the downloaded computer program product.
  • the third device may execute a computer program product provided in a preloaded manner to perform the method according to the disclosed embodiments.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

클라이언트 장치와 통신하는 제1 통신부; 의료 영상 데이터를 획득하는 영상 획득부; 상기 의료 영상 데이터에 관련된 제1 정보를 수신하는 입력부; 및 상기 의료 영상 데이터 및 상기 제1 정보가 상기 클라이언트 장치로 전달되도록 상기 제1 통신부를 제어하는 하나 이상의 제1 프로세서를 포함하고, 상기 제1 정보는 상기 클라이언트 장치의 사용자에 대한 정보에 기초하여 변환되어 상기 클라이언트 장치로 전달되는, 의료 영상 장치가 제공된다.

Description

의료 영상 장치, 그 제어 방법, 및 컴퓨터 프로그램 제품
본 개시의 실시예들은 의료 영상 장치, 의료 영상 장치의 제어 방법, 및 컴퓨터 프로그램 제품에 관한 것이다. 또한, 본 개시의 실시예들은 의료 영상 장치와 통신하는 서버, 및 상기 의료 영상 장치와 통신하는 클라이언트 장치에 설치되는 컴퓨터 프로그램 제품에 관련된 것이다.
초음파 진단 장치는 프로브(probe)의 트랜스듀서(transducer)로부터 생성되는 초음파 신호를 대상체로 조사하고, 대상체로부터 반사된 신호의 정보를 수신하여 대상체 내부의 부위(예를 들면, 연조직 또는 혈류)에 대한 적어도 하나의 영상을 얻는다.
개시된 실시예들은, 클라이언트 장치로 의료 영상 데이터를 전송할 때, 클라이언트 장치의 사용자가 보다 쉽게 의료 영상 데이터 및 관련 정보를 이해할 수 있도록 하기 위한 장치, 방법, 및 컴퓨터 프로그램 제품을 제공하기 위한 것이다.
또한, 개시된 실시예들은, 클라이언트 장치의 사용자를 고려하여 의료 영상 데이터에 관련된 정보를 제공함으로써, 의료 영상 데이터와 관련된 정보에 대한 클라이언트 장치의 사용자의 이해도를 향상시키기 위한 장치, 방법, 및 컴퓨터 프로그램 제품을 제공하기 위한 것이다.
또한, 개시된 실시예들은, 클라이언트 장치로부터 입력되는 정보를 이용하여 심층 신경망 프로세서가 학습을 수행함으로써, 의료 영상 데이터와 관련된 정보의 변환의 성능을 향상시키기 위한 장치, 방법, 및 컴퓨터 프로그램 제품을 제공하기 위한 것이다.
본 개시의 일 실시예의 일 측면에 따르면, 클라이언트 장치와 통신하는 제1 통신부; 의료 영상 데이터를 획득하는 영상 획득부; 상기 의료 영상 데이터에 관련된 제1 정보를 수신하는 입력부; 및 상기 의료 영상 데이터 및 상기 제1 정보가 상기 클라이언트 장치로 전달되도록 상기 제1 통신부를 제어하는 하나 이상의 제1 프로세서를 포함하고, 상기 제1 정보는 상기 클라이언트 장치의 사용자에 대한 정보에 기초하여 변환되어 상기 클라이언트 장치로 전달되는, 의료 영상 장치가 제공된다.
일 실시예에 따르면, 상기 제1 통신부는 상기 의료 영상 데이터 및 상기 제1 정보를 서버를 통해 상기 클라이언트 장치로 전달하고, 상기 서버는, 상기 제1 정보의 표현을 상기 클라이언트 장치의 사용자에 대한 정보에 기초하여 변환 할 수 있다.
일 실시예에 따르면, 상기 클라이언트 장치의 사용자에 대한 정보는, 상기 사용자의 직업, 상기 사용자와 환자의 관계, 및 상기 사용자의 나이 중 적어도 하나 또는 이들의 조합을 포함 할 수 있다.
일 실시예에 따르면, 상기 제1 정보는, 상기 의료 영상 장치의 사용자로부터 입력된 음성 정보, 텍스트 정보, 프로토콜 정보, 측정 정보, 마킹(marking) 정보, 및 진단 정보 중 적어도 하나 또는 이들의 조합을 포함 할 수 있다.
일 실시예에 따르면, 상기 제1 정보를 변환하는 동작은, 용어를 변환하는 동작, 화법을 변환하는 동작, 및 언어를 변환하는 동작 중 적어도 하나 또는 이들의 조합을 포함 할 수 있다.
일 실시예에 따르면, 상기 의료 영상 장치는, 상기 하나 이상의 제1 프로세서 및 상기 서버 중 적어도 하나는, 상기 제1 정보와 관련된 부가 정보인 제2 정보를 생성하여 상기 클라이언트 장치로 전송하도록 더 포함할 수 있다.
일 실시예에 따르면, 상기 의료 영상 장치는 디스플레이부를 더 포함하고, 상기 하나 이상의 제1 프로세서는 상기 제1 통신부를 이용하여 상기 클라이언트 장치의 사용자에 대한 정보를 수신하고, 상기 클라이언트 장치의 사용자에 대한 정보를 표시하도록 상기 디스플레이부를 제어할 수 있다.
일 실시예에 따르면, 상기 하나 이상의 제1 프로세서는, 상기 수신된 클라이언트 장치의 사용자에 대한 정보 및 상기 입력부를 통해 수신된 제어 신호 중 적어도 하나에 기초하여, 상기 클라이언트 장치가 상기 의료 영상 데이터 및 상기 제1 정보를 제공 받을 권한을 부여할 수 있다.
일 실시예에 따르면, 상기 제1 정보의 변환 동작은 심층 신경망 프로세서를 이용하여 수행되고, 상기 클라이언트 장치로부터 입력되는 피드백 데이터는 상기 심층 신경망 프로세서의 학습 데이터로 이용될 수 있다.
일 실시예에 따르면, 상기 하나 이상의 제1 프로세서는 상기 제1 통신부를 통해 상기 클라이언트 장치로부터 입력되는 피드백 데이터를 수신하고, 상기 피드백 데이터에 대응되는 정보를 표시하도록 상기 디스플레이부를 제어할 수 있다.
일 실시예에 따르면, 상기 의료 영상 장치는, 상기 클라이언트 장치의 사용자에 대한 정보에 기초하여, 상기 제1 정보의 표현을 변환하는 심층 신경망 프로세서를 더 포함할 수 있다.
일 실시예에 따르면, 상기 심층 신경망 프로세서는, 상기 제1 정보의 용어를 변환하는 동작, 상기 제1 정보의 화법을 변환하는 동작, 및 상기 제1 정보의 언어를 변환하는 동작 중 적어도 하나 또는 이들의 조합을 수행할 수 있다.
일 실시예에 따르면, 상기 제1 통신부는, 상기 클라이언트 장치로부터 피드백 데이터를 수신하고, 상기 심층 신경망 프로세서는 상기 제1 정보, 상기 클라이언트 장치의 사용자에 대한 정보, 및 상기 피드백 데이터에 기초하여 학습 동작을 수행할 수 있다.
본 개시의 일 실시예의 다른 측면에 따르면, 의료 영상 데이터를 획득하는 단계; 상기 의료 영상 데이터에 관련된 제1 정보를 수신하는 단계; 및 상기 의료 영상 데이터 및 상기 제1 정보가 상기 클라이언트 장치로 전달되도록 제어하는 단계를 포함하고, 상기 제1 정보는, 상기 클라이언트 장치의 사용자에 대한 정보에 기초하여 변환되어 상기 클라이언트 장치로 전달되는, 의료 영상 장치 제어 방법이 제공된다.
본 개시의 일 실시예의 다른 측면에 따르면, 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 상기 저장 매체는, 의료 영상 데이터를 획득하는 단계; 상기 의료 영상 데이터에 관련된 제1 정보를 수신하는 단계; 및 상기 의료 영상 데이터 및 상기 제1 정보가 상기 클라이언트 장치로 전달되도록 제어하는 단계를 포함하고, 상기 제1 정보는, 상기 클라이언트 장치의 사용자에 대한 정보에 기초하여 변환되어 상기 클라이언트 장치로 전달되는, 컴퓨터 프로그램 제품이 제공된다.
본 개시의 일 실시예의 다른 측면에 따르면, 의료 영상 데이터 및 상기 의료 영상 데이터에 관련된 제1 정보를 수신하고, 클라이언트 장치로부터 상기 클라이언트 장치의 사용자에 대한 정보를 수신하는 제2 통신부; 상기 클라이언트 장치의 사용자에 대한 정보에 기초하여, 상기 제1 정보의 표현을 변환하는 심층 신경망 프로세서; 및 상기 의료 영상 데이터 및 상기 변환된 제1 정보를 상기 클라이언트 장치로 전송하도록 상기 제2 통신부를 제어하는 하나 이상의 제2 프로세서를 포함하는 서버가 제공된다.
본 개시의 일 실시예의 다른 측면에 따르면, 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 상기 저장 매체는, 사용자에 대한 정보를 제1 장치로 전송하는 단계; 상기 제1 장치로부터 상기 의료 영상 데이터, 및 상기 의료 영상 데이터에 관련되고 상기 전송된 사용자 정보에 기초하여 변환된 제1 정보를 수신하는 단계; 및 상기 의료 영상 데이터 및 상기 변환된 제1 정보를 표시하는 단계를 수행하는 명령어들을 포함하는, 컴퓨터 프로그램 제품이 제공된다.
개시된 실시예들에 따르면, 클라이언트 장치로 의료 영상 데이터를 전송할 때, 클라이언트 장치의 사용자가 보다 쉽게 의료 영상 데이터 및 관련 정보를 이해할 수 있도록 하는 효과가 있다.
또한, 개시된 실시예들에 따르면, 클라이언트 장치의 사용자를 고려하여 의료 영상 데이터에 관련된 정보를 제공함으로써, 의료 영상 데이터와 관련된 정보에 대한 클라이언트 장치의 사용자의 이해도를 향상시킬 수 있는 효과가 있다.
또한, 개시된 실시예들에 따르면, 클라이언트 장치로부터 입력되는 정보를 이용하여 심층 신경망 프로세서가 학습을 수행함으로써, 의료 영상 데이터와 관련된 정보의 변환의 성능을 향상시킬 수 있는 효과가 있다.
본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호들은 구조적 구성요소를 의미한다.
도 1은 일 실시예에 따른 초음파 진단 장치(100)의 구성을 도시한 블록도이다.
도 2는 일 실시 예에 따른 초음파 진단 장치를 나타내는 도면들이다.
도 3은 일 실시예에 따른 의료 영상 시스템(300)을 나타낸 도면이다.
도 4는 일 실시예에 따른 의료 영상 시스템(300a)의 구조를 나타낸 도면이다.
도 5는 일 실시예에 따른 서버(330b)의 구조를 나타낸 도면이다.
도 6은 일 실시예에 따라 제1 정보를 변환하는 과정을 나타낸 도면이다.
도 7은 일 실시예에 따라, 심층 신경망 프로세서(410a)에서 클라이언트 장치(320a)의 사용자(321)에 대한 정보에 기초하여 제1 정보를 변환하는 과정을 나타낸 도면이다.
도 8은 일 실시예에 따라 제1 정보를 변환할 때 사용되는 참고 정보(800)를 나타낸 도면이다.
도 9는 일 실시예에 따라, 심층 신경망 프로세서(410a)가 제1 정보를 변환하는 과정을 나타낸 도면이다.
도 10은 일 실시예에 따른 의료 영상 장치 제어 방법을 나타낸 흐름도이다.
도 11은 일 실시예에 따른 의료 영상 장치(310b), 클라이언트 장치(320b), 및 서버(330b)의 구조를 나타낸 도면이다.
도 12는 일 실시예에 따른 의료 영상 장치 제어 방법을 나타낸 흐름도이다.
도 13a는 본 개시의 실시예에 따른 심층 신경망 프로세서(410a, 410b)를 나타내는 블록도이다.
도 13b는 심층 신경망 프로세서 내에 포함되는 데이터 학습부(1310)를 나타내는 블록도이다.
도 13c는 심층 신경망 프로세서 내에 포함되는 데이터 인식부(1320)를 나타내는 블록도이다.
도 14는 일 실시예에 따라 클라이언트 장치(320)에서 피드백 데이터를 입력 받아 심층 신경망 프로세서(410a, 410b)로 전달하는 과정을 나타낸 도면이다.
도 15는 일 실시예에 따른 의료 영상 장치 제어 방법을 나타낸 흐름도이다.
도 16은 일 실시예에 따른 의료 영상 장치(310) 및 클라이언트 장치(320)의 동작을 나타낸 도면이다.
도 17은 일 실시예에 따른 의료 영상 장치 제어 방법을 나타낸 흐름도이다.
본 개시의 일 실시예의 일 측면에 따르면, 클라이언트 장치와 통신하는 제1 통신부; 의료 영상 데이터를 획득하는 영상 획득부; 상기 의료 영상 데이터에 관련된 제1 정보를 수신하는 입력부; 및 상기 의료 영상 데이터 및 상기 제1 정보가 상기 클라이언트 장치로 전달되도록 상기 제1 통신부를 제어하는 하나 이상의 제1 프로세서를 포함하고, 상기 제1 정보는 상기 클라이언트 장치의 사용자에 대한 정보에 기초하여 변환되어 상기 클라이언트 장치로 전달되는, 의료 영상 장치가 제공된다.
본 명세서는 본 발명의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시할 수 있도록, 본 발명의 원리를 설명하고, 실시예들을 개시한다. 개시된 실시예들은 다양한 형태로 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '모듈' 또는'부'(unit)라는 용어는 소프트웨어, 하드웨어 또는 펌웨어 중 하나 또는 둘 이상의 조합으로 구현될 수 있으며, 실시예들에 따라 복수의 '모듈' 또는'부'가 하나의 요소(element)로 구현되거나, 하나의 ''모듈' 또는 부'가 복수의 요소들을 포함하는 것도 가능하다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 영상은 자기 공명 영상(MRI) 장치, 컴퓨터 단층 촬영(CT) 장치, 초음파 촬영 장치, 또는 엑스레이 촬영 장치 등의 의료 영상 장치에 의해 획득된 의료 영상을 포함할 수 있다.
본 명세서에서 '대상체(object)'는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등; organ) 또는 팬텀(phantom) 등을 포함할 수 있다.
명세서 전체에서 "초음파 영상"이란 대상체로 송신되고, 대상체로부터 반사된 초음파 신호에 근거하여 처리된 대상체(object)에 대한 영상을 의미한다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
본 개시의 의료 영상 장치는 다양한 모달리티의 의료 영상 장치에 대응될 수 있다. 의료 영상 장치는 예를 들면, 초음파 진단 장치, 자기 공명 영상 장치, 단층 촬영 장치, 엑스레이 영상 장치 등의 형태로 구현될 수 있다. 본 개시에서는 의료 영상 장치가 초음파 진단 장치(100)의 형태로 구현되는 경우를 중심으로 설명한다.
도 1은 일 실시예에 따른 초음파 진단 장치(100)의 구성을 도시한 블록도이다. 일 실시예에 따른 초음파 진단 장치(100)는 프로브(20), 초음파 송수신부(110), 제어부(120), 영상 처리부(130), 디스플레이부(140), 저장부(150), 통신부(160), 및 입력부(170)를 포함할 수 있다.
초음파 진단 장치(100)는 카트형 뿐만 아니라 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치의 예로는 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
프로브(20)는 복수의 트랜스듀서들을 포함할 수 있다. 복수의 트랜스듀서들은 송신부(113)로부터 인가된 송신 신호에 따라 대상체(10)로 초음파 신호를 송출할 수 있다. 복수의 트랜스듀서들은 대상체(10)로부터 반사된 초음파 신호를 수신하여, 수신 신호를 형성할 수 있다. 또한, 프로브(20)는 초음파 진단 장치(100)와 일체형으로 구현되거나, 또는 초음파 진단 장치(100)와 유무선으로 연결되는 분리형으로 구현될수 있다. 또한, 초음파 진단 장치(100)는 구현 형태에 따라 하나 또는 복수의 프로브(20)를 구비할 수 있다.
제어부(120)는 프로브(20)에 포함되는 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 복수의 트랜스듀서들 각각에 인가될 송신 신호를 형성하도록 송신부(113)를 제어한다.
제어부(120)는 프로브(20)로부터 수신되는 수신 신호를 아날로그 디지털 변환하고, 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 디지털 변환된 수신 신호를 합산함으로써, 초음파 데이터를 생성하도록 수신부(115)를 제어 한다.
영상 처리부(130)는 초음파 수신부(115)에서 생성된 초음파 데이터를 이용하여, 초음파 영상을 생성한다.
디스플레이부(140)는 생성된 초음파 영상 및 초음파 진단 장치(100)에서 처리되는 다양한 정보를 표시할 수 있다. 초음파 진단 장치(100)는 구현 형태에 따라 하나 또는 복수의 디스플레이부(140)를 포함할 수 있다. 또한, 디스플레이부(140)는 터치패널과 결합하여 터치 스크린으로 구현될 수 있다.
제어부(120)는 초음파 진단 장치(100)의 전반적인 동작 및 초음파 진단 장치(100)의 내부 구성 요소들 사이의 신호 흐름을 제어할 수 있다. 제어부(120)는 초음파 진단 장치(100)의 기능을 수행하기 위한 프로그램 또는 데이터를 저장하는 메모리, 프로그램 또는 데이터를 처리하는 프로세서를 포함할 수 있다. 또한, 제어부(120)는 입력부(170) 또는 외부 장치로부터 제어신호를 수신하여, 초음파 진단 장치(100)의 동작을 제어할 수 있다.
초음파 진단 장치(100)는 통신부(160)를 포함하며, 통신부(160)를 통해 외부 장치(예를 들면, 서버, 의료 장치, 휴대 장치(스마트폰, 태블릿 PC, 웨어러블 기기 등))와 연결할 수 있다.
통신부(160)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
통신부(160)는 외부 장치와 제어 신호 및 데이터를 송, 수신할 수 있다.
저장부(150)는 초음파 진단 장치(100)를 구동하고 제어하기 위한 다양한 데이터 또는 프로그램, 입/출력되는 초음파 데이터, 획득된 초음파 영상 등을 저장할 수 있다.
입력부(170)는, 초음파 진단 장치(100)를 제어하기 위한 사용자의 입력을 수신할 수 있다. 예를 들어, 사용자의 입력은 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉(knop) 등을 조작하는 입력, 터치 패드나 터치 스크린을 터치하는 입력, 음성 입력, 모션 입력, 생체 정보 입력(예를 들어, 홍채 인식, 지문 인식 등) 등을 포함할 수 있으나 이에 한정되지 않는다.
일 실시예에 따른 초음파 진단 장치(100)의 예시는 도 2를 통해 후술된다.
도 2는 일 실시예에 따른 초음파 진단 장치를 나타내는 도면들이다.
도 2의 100a 및 100b를 참조하면, 초음파 진단 장치(100a, 100b)는 메인 디스플레이부(121) 및 서브 디스플레이부(122)를 포함할 수 있다. 메인 디스플레이부(121) 및 서브 디스플레이부(122) 중 하나는 터치스크린으로 구현될 수 있다. 메인 디스플레이부(121) 및 서브 디스플레이부(122)는 초음파 영상 또는 초음파 진단 장치(100a, 100b)에서 처리되는 다양한 정보를 표시할 수 있다. 또한, 메인 디스플레이부(121) 및 서브 디스플레이부(122)는 터치 스크린으로 구현되고, GUI 를 제공함으로써, 사용자로부터 초음파 진단 장치(100a, 100b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 메인 디스플레이부(121)는 초음파 영상을 표시하고, 서브 디스플레이부(122)는 초음파 영상의 표시를 제어하기 위한 컨트롤 패널을 GUI 형태로 표시할 수 있다. 서브 디스플레이부(122)는 GUI 형태로 표시된 컨트롤 패널을 통하여, 영상의 표시를 제어하기 위한 데이터를 입력 받을 수 있다. 초음파 진단 장치(100a, 100b)는 입력 받은 제어 데이터를 이용하여, 메인 디스플레이부(121)에 표시된 초음파 영상의 표시를 제어할 수 있다.
도 2의 100b를 참조하면, 초음파 진단 장치(100b)는 메인 디스플레이부(121) 및 서브 디스플레이부(122) 이외에 컨트롤 패널(165)을 더 포함할 수 있다. 컨트롤 패널(165)은 버튼, 트랙볼, 조그 스위치, 놉(knop) 등을 포함할 수 있으며, 사용자로부터 초음파 진단 장치(100b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 컨트롤 패널(165)은 TGC(Time Gain Compensation) 버튼(171), Freeze 버튼(172) 등을 포함할 수 있다. TGC 버튼(171)은, 초음파 영상의 깊이 별로 TGC 값을 설정하기 위한 버튼이다. 또한, 초음파 진단 장치(100b)는 초음파 영상을 스캔하는 도중에 Freeze 버튼(172) 입력이 감지되면, 해당 시점의 프레임 영상이 표시되는 상태를 유지시킬 수 있다.
한편, 컨트롤 패널(165)에 포함되는 버튼, 트랙볼, 조그 스위치, 놉(knop) 등은, 메인 디스플레이부(121) 또는 서브 디스플레이부(122)에 GUI로 제공될 수 있다.
도 2의 100c를 참조하면, 초음파 진단 장치(100c)는 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치(100c)의 예로는, 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
초음파 진단 장치(100c)는 프로브(20)와 본체(40)를 포함하며, 프로브(20)는 본체(40)의 일측에 유선 또는 무선으로 연결될 수 있다. 본체(40)는 터치 스크린(145)을 포함할 수 있다. 터치 스크린(145)은 초음파 영상, 초음파 진단 장치에서 처리되는 다양한 정보, 및 GUI 등을 표시할 수 있다.
도 3은 일 실시예에 따른 의료 영상 시스템(300)을 나타낸 도면이다.
일 실시예에 따른 의료 영상 시스템(300)은 의료 영상 장치(310) 및 클라이언트 장치(320)를 포함한다.
의료 영상 장치(310)는 의료 영상 데이터를 획득하고, 의료 영상 데이터와 관련된 제1 정보를 수신하여 클라이언트 장치(320)로 전달한다. 일 실시예에 따르면, 의료 영상 장치(310)는 도 1 및 도 2에 개시된 초음파 진단 장치의 형태로 구현될 수 있다. 다른 예로서, 의료 영상 장치(310)는 단층 촬영 장치, 자기 공명 영상 장치, 엑스레이 영상 장치 등의 형태로 구현될 수 있다.
제1 정보는 의료 영상 장치(310)의 사용자(312)로부터 입력된 정보, 의료 영상 데이터에 기초해서 의료 영상 장치(310)에 의해 생성된 정보, 의료 영상 장치(310)에 저장된 정보 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 제1 정보는 의료 영상 장치(310) 또는 서버(330)에 의해 변환되어, 클라이언트 장치(320)로 전달될 수 있다.
클라이언트 장치(320)는 의료 영상 장치(310)로부터 의료 영상 데이터 및 변환된 제1 정보를 수신한다. 클라이언트 장치(320)는 클라이언트 장치(320)의 사용자(321)에 대한 정보를 의료 영상 장치(310)로 전달할 수 있다.
일 실시예에 따르면, 의료 영상 장치(310)와 클라이언트 장치(320)는 직접 통신할 수 있다.
다른 실시예에 따르면, 의료 영상 장치(310)와 클라이언트 장치(320)는 서버(330)를 통해 통신할 수 있다.
제1 정보는 클라이언트 장치(320)의 사용자(321)에 대한 정보에 기초하여 변환되고, 변환된 제1 정보는 의료 영상 데이터와 함께 클라이언트 장치(320)로 전달된다. 제1 정보의 변환은 서버(330) 또는 의료 영상 장치(310)에 의해 수행될 수 있다. 본 개시의 실시예들에 따르면, 클라이언트 장치(320)의 사용자(321)에 대한 정보에 기초하여 제1 정보를 변환하여 클라이언트 장치(320)로 제공함으로써, 클라이언트 장치(320)의 사용자(321)가 보다 쉽게 의료 영상 데이터 및 관련된 제1 정보를 제공받을 수 있다.
본 개시의 의료 영상 장치(310), 서버(330), 또는 클라이언트 장치(320) 중 적어도 하나는 규칙 기반 모델 또는 기계학습, 신경망 또는 딥러닝 알고리즘 중 적어도 하나에 따라 학습된 인공지능 모델을 이용할 수 있다. 상기 규칙 기반 모델 또는 인공 지능 모델은 제1 정보 및 클라이언트 장치의 사용자에 대한 정보를 입력값으로 이용하여 생성된 결과인 변환된 제1 정보를 클라이언트 장치로 제공할 수 있다.
도 4는 일 실시예에 따른 의료 영상 시스템(300a)의 구조를 나타낸 도면이다.
일 실시예 따른 의료 영상 시스템(300a)은 의료 영상 장치(310a), 클라이언트 장치(320a), 및 서버(330a)를 포함한다.
의료 영상 장치(310a)는 영상 획득부(420), 입력부(430), 제1 프로세서(440), 및 제1 통신부(450)를 포함한다.
영상 획득부(420)는 의료 영상 데이터를 획득한다.
일 실시예에 따르면, 영상 획득부(420)는 환자에 대한 촬영을 수행하여 의료 영상 데이터를 획득하는 스캔부를 포함할 수 있다. 일례에 따르면, 영상 획득부(420)는 초음파 영상 장치의 프로브를 포함할 수 있다. 다른 예로서, 영상 획득부(420)는 단층 촬영 장치의 엑스레이 생성부 및 엑스레이 검출부를 포함할 수 있다. 다른 예로서, 영상 획득부(420)는 자기 공명 영상 장치의 스캐너를 포함할 수 있다. 다른 예로서, 영상 획득부(420)는 엑스레이 영상 장치의 엑스레이 조사부 및 엑스레이 검출부를 포함할 수 있다. 일 실시예에 따르면, 영상 획득부(420)는 도 1의 프로브(20) 및 초음파 송수신부(110)에 대응될 수 있다.
다른 실시예에 따르면, 영상 획득부(420)는 외부 장치로부터 의료 영상 데이터를 수신하는 통신부에 대응될 수 있다. 본 실시예에 따르면, 영상 획득부(420)와 제1 통신부(450)는 하나의 유닛으로 구성될 수 있다.
또 다른 실시예에 따르면, 영상 획득부(420)는 의료 영상 장치(310a)의 저장부(예를 들면, 도 1의 150)에 저장된 영상 데이터를 획득할 수 있다.
입력부(430)는 의료 영상 장치(310a)의 사용자(312)로부터 데이터 또는 제어 신호를 수신한다. 입력부(430)는 예를 들면, 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉(knop), 터치 패드, 터치 스크린 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 일 실시예에 따르면, 입력부(430)는 음성 입력을 수신하는 마이크로폰, 모션 입력을 수신하는 움직임 센서, 및 생체 정보를 입력 받는 생체 센서 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.
일 실시예에 따른 입력부(430)는 의료 영상 장치(310a)의 사용자(312)로부터 의료 영상 데이터와 관련된 제1 정보를 수신한다. 예를 들면, 사용자(312)는 초음파 영상의 촬영을 수행하면서, 획득된 의료 영상 데이터와 관련된 정보를 말하고, 입력부(430)의 마이크로폰은 사용자(312)의 음성을 검출하고, 제1 프로세서(440)는 음성 인식 기능을 이용하여 사용자(312)의 음성을 텍스트로 변환하여 제1 정보를 생성할 수 있다. 다른 예로서, 사용자(312)는 초음파 영상의 촬영을 수행하면서, 의료 영상 데이터와 관련된 제1 정보를 입력부(430)의 키 패드, 터치 패드, 및 터치 스크린 중 적어도 하나를 통해 텍스트로 입력받을 수 있다. 다른 에로서, 사용자(312)는 초음파 영상의 촬영을 수행하면서, 의료 영상 데이터와 관련된 마커를 입력부(430)의 마우스, 트랙볼, 터치 패드, 및 터치 스크린 중 적어도 하나를 통해 입력 받고, 제1 프로세서(440)는 입력된 마커를 제1 정보로서 처리할 수 있다.
일 실시예에 따르면, 입력부(430)는 도 1의 입력부(170)에 대응될 수 있다.
제1 프로세서(440)는 의료 영상 장치(310a)의 전반적인 동작을 제어한다. 제1 프로세서(440)는 하나 이상의 프로세서를 포함할 수 있다. 제1 프로세서(440)는 영상 획득부(420)에서 획득된 의료 영상 데이터를 이용하여 의료 영상을 생성할 수 있다. 예를 들면, 제1 프로세서(440)는 영상 획득부(420)에서 획득된 로 데이터(raw data)를 이용하여 의료 영상을 생성할 수 있다. 또한, 제1 프로세서(440)는 로 데이터에 대한 신호 보정 처리, 보간 처리, 계조 변환 처리 등의 영상 처리 동작을 수행할 수 있다.
일 실시예에 따르면, 제1 프로세서(440)는 의료 영상 데이터 및 제1 정보가 클라이언트 장치로 전달되도록 제1 통신부(450)를 제어한다. 또한, 제1 프로세서(440)는 제1 정보가 클라이언트 장치(320a)의 사용자(321)에 대한 정보에 기초하여 변환되어 클라이언트 장치(320a)로 전달되도록 제어한다.
본 개시의 실시예들에 따르면, 의료 영상 데이터에 관련된 제1 정보가 클라이언트 장치(320a)의 사용자(321)에 대한 정보에 기초하여 그 표현이 변환되고, 변환된 제1 정보가 클라이언트 장치(320a)로 전달된다. 제1 정보의 변환 처리는 일 실시예에 따르면, 의료 영상 장치(310a)에 의해 수행되고, 다른 실시예에 따르면, 서버(330a)에 의해 수행될 수 있다. 도 4는 제1 정보의 변환 처리가 서버(330a)에 의해 수행되는 실시예다.
일 실시예에 따르면, 클라이언트 장치(320)의 사용자(321)에 대한 정보는 클라이언트 장치(320a)로부터 제공될 수 있다.
일 실시예에 따르면, 클라이언트 장치(320)는 사용자(321)로부터 사용자(321)에 대한 정보를 입력 받아, 사용자(321)에 대한 정보를 의료 영상 장치(310a)로 전달할 수 있다. 이를 위해, 클라이언트 장치(320)는 사용자(321)로부터 사용자(321)에 대한 정보를 입력 받기 위한 사용자 인터페이스를 제공할 수 있다. 또한, 클라이언트 장치(320)는 사용자(321)에 대한 정보를 의료 영상 장치(310a) 및 서버(330a) 중 적어도 하나에 제공해도 되는지 여부에 대한 허락을 사용자(321)로부터 받기 위한 사용자 인터페이스를 제공할 수 있다. 클라이언트 장치(320)는 사용자(321)가 허용한 경우에만 클라이언트 장치(320)의 사용자(321)에 대한 정보를 의료 영상 장치(310a) 또는 서버(330a)로 제공할 수 있다.
다른 실시예에 따르면, 클라이언트 장치(320)는 저장된 사용자(321)에 대한 정보를 의료 영상 장치(310a)로 전달할 수 있다. 본 실시예에서도, 클라이언트 장치(320)는 사용자(321)에 대한 정보를 의료 영상 장치(310a) 및 서버(330a) 중 적어도 하나에 제공하는 것에 대해 사용자(321)가 허용한 경우에만, 클라이언트 장치(320)의 사용자(321)에 대한 정보를 의료 영상 장치(310a) 또는 서버(330a)로 제공할 수 있다.
클라이언트 사용자(321)에 대한 정보는 사용자(321)의 직업, 사용자(321)와 환자의 관계, 사용자(321)의 나이, 국적, 및 사용 언어 중 적어도 하나 또는 이들의 조합을 포함한다. 사용자(321)의 직업은 예를 들면, 의사, 소노그래퍼(sonographer), 방사선사(radiogical technologist), 일반인 등으로 구분될 수 있다. 사용자(321)와 환자의 관계는 예를 들면, 보호자, 배우자, 담당의, 담당 의료 스태프, 기타 등으로 구분될 수 있다.
제1 통신부(450)는 의료 영상 장치(310a)에서 획득된 의료 영상 데이터 및 제1 정보를 서버(330a)로 전송한다. 제1 통신부(450)는 도 1의 통신부(160)에 대응될 수 있다.
일 실시예에 따르면, 제1 통신부(450)는 서버(330a)와 통신을 수립하고, 클라이언트 장치(320a)와 통신을 수립한다. 제1 통신부(450)와 서버(330a)의 통신 채널, 및 제1 통신부(450)와 클라이언트 장치(320a)의 통신 채널은 독립적으로 수립될 수 있고, 동일한 종류의 통신 방식을 이용하거나, 서로 다른 종류의 통신 방식을 사용할 수 있다.
다른 실시예에 따르면, 제1 통신부(450)는 서버(330a)를 통해 클라이언트 장치(320a)와 통신할 수 있다. 서버(330a)는 클라이언트 장치(320a)와 통신하고, 제1 통신부(450)와 클라이언트 장치(320a)의 통신을 중계할 수 있다.
서버(330a)는 네트워크를 통해 의료 영상 장치(310a) 및 클라이언트 장치(320a)와 통신 가능하도록 연결된다. 서버(330a)는 의료 영상 장치(310a)로부터 의료 영상 데이터 및 제1 정보를 수신하고, 제1 정보를 변환한다. 또한, 서버(330a)는 의료 영상 데이터 및 변환된 제1 정보를 클라이언트 장치(320a)로 전송한다.
클라이언트 장치(320a)는 서버(330a)와 통신하는 전자 장치로서, 서버(330a)로부터 의료 영상 데이터 및 변환된 제1 정보를 제공받는다. 클라이언트 장치(320a)는 예를 들면, 통신 단말, 스마트폰, 노트북, 개인용 컴퓨터, 태블릿 PC, 키오스크 등 다양한 형태의 전자 장치로 구현될 수 있다.
일 실시예에 따르면, 클라이언트 장치(320a)는 서버(330a)로부터 컴퓨터 프로그램 제품을 다운로드 받아 설치할 수 있다. 컴퓨터 프로그램 제품은 본 개시의 실시예들에 따라 클라이언트 장치(320a)의 사용자(321)에 대한 정보를 의료 영상 장치(310a) 또는 서버(330a)로 제공하고, 클라이언트 장치(320a)에서 의료 영상 데이터 및 변환된 제1 정보를 제공하는 기능을 수행하기 위한 명령어들을 포함할 수 있다.
서버(330a)는 심층 신경망 프로세서(410a)를 포함할 수 있다. 심층 신경망 프로세서(410a)는 의료 영상 데이터 및 제1 정보를 입력 받고, 클라이언트 장치(320a)의 사용자(321)에 대한 정보를 입력 받아, 클라이언트 장치(320a)의 사용자(321)에 대한 정보에 기초하여 제1 정보를 변환한다.
도 5는 일 실시예에 따른 서버(330b)의 구조를 나타낸 도면이다.
일 실시예에 따르면, 서버(330b)는 제2 통신부(510), 심층 신경망 프로세서(410a), 제2 프로세서(520), 트랜스코더(Trans-coder, 530), 및 DB(data base, 540)를 포함한다.
제2 통신부(510)는 의료 영상 장치(310a) 및 클라이언트 장치(320a)와 통신한다. 제2 통신부(510)는 다양한 방식의 통신망을 이용할 수 있다. 제2 통신부(510)는 의료 영상 장치(310a)로부터 의료 영상 데이터 및 제1 정보를 수신한다. 또한, 제2 통신부(510)는 클라이언트 장치(320a)로부터 클라이언트 장치(320a)의 사용자(321)에 대한 정보를 수신한다. 또한, 제2 통신부(510)는 의료 영상 데이터 및 변환된 제1 정보를 클라이언트 장치(320a)로 전송한다.
제2 프로세서(520)는 서버(330b)의 전반적인 동작을 제어한다. 제2 프로세서(520)는 하나 이상의 프로세서를 포함할 수 있다. 제2 프로세서(520)는 의료 영상 장치(310a) 및 클라이언트 장치(320a)와 서버(330b)의 통신 동작을 제어할 수 있다. 또한, 제2 프로세서(520)는 심층 신경망 프로세서(410a)로의 데이터 입력과, 심층 신경망 프로세서(410a)로부터의 데이터 출력 동작을 제어할 수 있다. 또한, 제2 프로세서(520)는 의료 영상 장치(310a) 및 클라이언트 장치(320a)에 대한 인증 동작, 의료 영상 장치(310a)의 사용자(312)에 대한 인증 동작, 클라이언트 장치(320a)의 사용자에 대한 인증 동작 등을 제어할 수 있다.
트랜스코더(530)는 의료 영상 데이터의 크기를 조절하도록 의료 영상 데이터를 변환할 수 있다. 예를 들면, 제2 프로세서(520)는 서버(330b)와 클라이언트 장치(320a) 사이의 통신 채널의 전송 속도, 대역폭 등에 기초하여 의료 영상 데이터의 크기(예를 들면, 해상도)를 조절하도록 트랜스코더(530)를 제어할 수 있다. 다른 예로서, 제2 프로세서(520)는 미리 설정된 해상도로 의료 영상 데이터를 변환하도록 트랜스코더(530)를 제어할 수 있다.
DB(540)는 의료 영상 데이터, 심층 신경망 프로세서(410a)에서 이용하는 학습 데이터, 제1 정보의 변환을 위해 이용되는 참고 데이터 등을 저장할 수 있다.
도 6 내지 도 9를 참조하여 심층 신경망 프로세서(410a)의 동작을 설명한다.
도 6은 일 실시예에 따라 제1 정보를 변환하는 과정을 나타낸 도면이다.
의료 영상 장치(310a)는 의료 영상 장치(310a)의 사용자(610)로부터 입력부(430)를 통해 제1 정보(620)를 입력 받을 수 있다. 예를 들면, 사용자(610)는 음성, 텍스트 등의 형태로 제1 정보를 의료 영상 장치(310a)로 입력할 수 있다. 또한, 일 실시예에 따르면, 제1 정보는 프로토콜, 측정값, 마커, 텍스트 등을 포함할 수 있다. 의료 영상 장치(310a)는 사용자(610)에 의해 설정된 프로토콜에 대한 정보를 제1 정보로서 서버(330a)로 전달할 수 있다. 마커는 마커의 종류, 마커의 위치 등에 대한 정보를 포함할 수 있다.
서버(330b)는 제2 통신부(510)를 통해 의료 영상 장치(310a)로부터 제1 정보를 수신하고, 수신된 제1 정보는 심층 신경망 프로세서(410a)로 입력된다(630).
또한, 서버(330a)는 제2 통신부(510)를 통해 클라이언트 장치(320a)로부터 클라이언트 장치(320a)의 사용자(321)에 대한 정보를 수신하고, 수신된 클라이언트 장치(320a)의 사용자(321)에 대한 정보는 심층 신경망 프로세서(410a)로 입력된다(640). 클라이언트 장치(320a)의 사용자(321)에 대한 정보는, 예를 들면 직업, 환자와의 관계, 나이, 국적, 및 사용 언어 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 사용자(321)에 대한 정보는 클라이언트 장치(320a)에서 사용자(321)에 의해 입력된 정보, 또는 클라이언트 장치(320a)에 저장된 정보를 포함할 수 있다.
심층 신경망 프로세서(410a)는 수신된 제1 정보 및 클라이언트 장치의 사용자(321)에 대한 정보에 기초하여 제1 정보를 변환한다(650).
도 7은 일 실시예에 따라, 심층 신경망 프로세서(410a)에서 클라이언트 장치(320a)의 사용자(321)에 대한 정보에 기초하여 제1 정보를 변환하는 과정을 나타낸 도면이다.
심층 신경망 프로세서(410a)는 클라이언트 사용자(321)에 대한 정보에 기초하여 변환된 제1 정보의 표현의 난이도, 표현 방식, 노출 정도, 화법, 언어 등을 결정할 수 있다.
일 실시예에 따르면, 심층 신경망 프로세서(410a)는 클라이언트 장치(320)의 사용자(321)의 직업에 기초하여, 제1 정보에 포함된 의학 용어를 자연어로 변환할지 여부를 결정할 수 있다. 클라이언트 장치(320a)의 사용자(321)의 직업이 의사인 경우(710), 심층 신경망 프로세서(410a)는 제1 정보를 의학 용어로 표현하여 제1 정보를 변환할 수 있다. 예를 들면, 제1 정보는 BPD, FI, GA, EFW 등의 의학 용어로 표현되도록 변환될 수 있다(712). 클라이언트 장치(320a)의 사용자(321)의 직업이 일반인인 경우(720), 심층 신경망 프로세서(410a)는 제1 정보를 일상적인 용어로 표현되도록 변환할 수 있다(722). 구체적으로, 클라이언트 장치(320)의 사용자(321)가 의사인 경우, 제1 정보에 표현된 의학 용어가 그대로 클라이언트 장치(320a)로 제공되고, 클라이언트 장치(320)의 사용자(321)가 일반인인 경우, 제1 정보에 표현된 의학 용어는 자연어로 변환되어 클라이언트 장치(320a)로 제공될 수 있다. 예를 들면, 제1 정보에 'BPD'가 포함된 경우, 클라이언트 장치(320)의 사용자(321)가 의사인 경우 제1 정보는 'BPD'의 형태로 클라이언트 장치(320)로 전달될 수 있다. 만약 클라이언트 장치(320)의 사용자(321)가 일반인인 경우, 'BPD'는 '태아 머리 둘레'로 변환되어 클라이언트 장치(320)로 전달될 수 있다.
또한, 심층 신경망 프로세서(410a)는 클라이언트 장치(320a)의 사용자(321)의 직업에 기초하여, 제1 정보의 표현 방식을 결정할 수 있다. 예를 들면, 심층 신경망 프로세서(410a)는 클라이언트 장치(320a)의 사용자(321)의 직업이 의사인 경우, 각 측정값 또는 추정 값을 리스트 또는 표의 형태로 나열하고, 클라이언트 장치(320a)의 사용자(321)의 직업이 일반인인 경우, 각 측정값 또는 추정 값을 서술형으로 표현할 수 있다.
또한, 심층 신경망 프로세서(410a)는 클라이언트 장치(320a)의 사용자(321)의 직업에 기초하여, 제1 정보에 대한 부가 정보를 추가하여 변환할지 여부를 결정할 수 있다. 부가 정보는 제2 정보로서 변환된 제1 정보에 포함되어 클라이언트 장치(320a)로 전달될 수 있다. 부가 정보는 예를 들면, 용어에 대한 설명, 부가적인 설명 등이 포함할 수 있다. 심층 신경망 프로세서(410a)는 사용자(321)의 직업이 의사인 경우, 부가 정보를 추가하지 않고, 사용자(321)의 직업이 일반인인 경우, 부가 정보를 추가하여 제1 정보를 변환할 수 있다. 예를 들면, 도 7에 도시된 변환된 제1 정보(722)에서는, 사용자(321)의 직업이 일반인인 경우(720), '태아 머리 둘레는 영상 분석을 통해 자동 측정된 크기로 실제와 다를 수 있습니다'라는 용어에 대한 설명이 포함되었고, '출산 시 평균 체중보다 약 0.24kg이 무거운, 튼튼한 아기님을 만나실 수 있을 것으로 예상합니다'라는 부가적인 설명이 포함되었다.
또한, 심층 신경망 프로세서(410a)는 사용자(321)의 직업에 기초하여, 제1 정보의 노출 정도를 결정할 수 있다. 예를 들면, 사용자(321)의 직업이 의사인 경우, 많은 제1 정보를 노출시키고, 사용자(321)의 직업이 일반인인 경우, 적은 제1 정보를 노출시킬 수 있다.
또한, 심층 신경망 프로세서(410a)는 제1 정보의 화법을 변환하는 동작을 수행할 수 있다. 예를 들면, 심층 신경망 프로세서(410a)는 클라이언트 장치(320)의 사용자(321)와 환자의 관계, 성별, 및 나이 중 적어도 하나 또는 이들의 조합을 고려하여, 제1 정보의 화법을 변환할 수 있다. 심층 신경망 프로세서(410a)는 예를 들면, 서술형인지 여부, 높임말인지 여부, 문장 말미 등을 고려하여 화법을 변환할 수 있다.
또한, 심층 신경망 프로세서(410a)는 제1 정보의 언어를 변환하는 동작을 수행할 수 있다. 예를 들면, 심층 신경망 프로세서(410a)는 클라이언트 장치(320)의 사용자(321)의 국적 및 사용 언어 중 적어도 하나 또는 이들의 조합을 고려하여, 제1 정보의 언어를 변환할 수 있다. 이를 위해, 심층 신경망 프로세서(410a)는 통역 알고리즘을 이용하여 제1 정보의 언어를 변환할 수 있다.
도 8은 일 실시예에 따라 제1 정보를 변환할 때 사용되는 참고 정보(800)를 나타낸 도면이다.
일 실시예에 따르면, 심층 신경망 프로세서(410a)는 참고 정보(800)를 이용하여, 제1 정보를 변환할 수 있다. 또한, 심층 신경망 프로세서(410a)는 참고 정보(800)를 이용하여 제1 정보에 부가 설명을 추가할 수 있다. 참고 정보(800)는 의학 용어, 각 의학 용어에 대응되는 자연어 또는 일상적인 용어, 각 의학 용어에 대응되는 부가 정보를 포함할 수 있다. 참고 정보(800)는 룩업 테이블(Look-up Table)의 형태로 구현될 수 있고, 서버(330b)의 DB(540)에 저장될 수 있다.
도 9는 일 실시예에 따라, 심층 신경망 프로세서(410a)가 제1 정보를 변환하는 과정을 나타낸 도면이다.
일 실시예에 따르면, 심층 신경망 프로세서(410a)는 제1 정보(620, 620a) 및 의료 영상 데이터(912)에 기초하여 변환된 제1 정보를 생성할 수 있다. 우선 심층 신경망 프로세서(410a)는 참고 정보(800)를 이용하여 제1 정보(620, 620a)의 표현 및 용어를 변경할 수 있다. 예를 들면, 심층 신경망 프로세서(410a)는 제1 정보(620, 620a)의 표현을 변환하여 1차 변환 정보(920)를 생성하고, 제1 정보(620, 620a) 및 1차 변환 정보(920)에 기초하여 추가 정보를 검색할 수 있다(930).
심층 신경망 프로세서(410a)는 제1 정보(620, 620a)의 용어를 변경할 수 있다(921). 예를 들면, 심층 신경망 프로세서(410a)는 클라이언트 장치의 사용자(321)의 직업이 일반인인 경우, BPD를 머리둘레로 변경할 수 있다. 또한, 심층 신경망 프로세서(410a)는 제1 정보(620, 620a)의 표현을 변경할 수 있다(922). 예를 들면, 심층 신경망 프로세서(410a)는 클라이언트 장치의 사용자(321)의 직업이 일반인인 경우, 의료 영상 장치(310a)의 사용자의 음성을 인식하여 획득된 제1 정보(620)의 '다른 아기보다 조금 크네요'라는 표현을, '평균치보다 **cm 큽니다'로 그 표현을 변환할 수 있다.
심층 신경망 프로세서(410a)는 또한, 제1 정보(620, 620a) 및 1차 변환 정보(920)를 이용하여, 추가 정보를 생성할 수 있다. 예를 들면, 심층 신경망 프로세서(410a)는 의료 영상 장치(310a)에서 측정되거나 예측된 주수 정보로부터 해당 주수의 평균 머리둘레를 검색 또는 추정하고(931), 측정된 머리 둘레와 평균 머리둘레의 차이 값을 산출할 수 있다(932). 또한, 심층 신경망 프로세서(410a)는 측정된 머리둘레로부터 태아의 몸무게를 추정하고(933), 주수 정보로부터 해당 주수의 평균 몸무게를 검색 또는 추정하고(934), 평균 몸무게와 추정된 몸무게를 비교하여(935), 태아의 몸무게가 평균에 비해 큰지 작은지에 대한 정보를 생성할 수 있다.
또한, 심층 신경망 프로세서(410a)는 의료 영상 데이터(912)에 마커, 제1 정보, 및 변환된 제1 정보 중 적어도 하나 또는 이들의 조합을 나타내는 인디케이터(943)를 추가할 수 있다. 마커는 제1 정보에 포함된 마커에 대한 정보 또는 객체 인식을 통해 획득된 정보에 기초해서 의료 영상 데이터(912)에 추가될 수 있다.
심층 신경망 프로세서(410a)는 클라이언트 장치(320)로 제공되는 결과 영상(940)을 생성할 수 있다. 결과 영상(940)은 제1 영역(941) 및 제2 영역(942)을 포함할 수 있다. 제1 영역(941)은 의료 영상 데이터(912)를 포함하고, 제2 영역(942)는 변환된 제1 정보를 포함할 수 있다. 제1 영역(941)의 의료 영상 데이터(912)에는 심층 신경망 프로세서(410a)에 의해 생성된 인디케이터(943)가 추가로 표시될 수 있다.
도 10은 일 실시예에 따른 의료 영상 장치 제어 방법을 나타낸 흐름도이다.
본 개시의 실시예들에 따른 의료 영상 장치 제어 방법은, 프로세서 및 통신부를 구비하고, 클라이언트 장치와 통신하는 다양한 형태의 전자 장치에 의해 수행될 수 있다. 본 명세서에서는 본 개시의 실시예들에 따른 의료 영상 장치(310a)에 의해 의료 영상 장치 제어 방법이 수행되는 실시예를 중심으로 설명하지만, 본 개시의 의료 영상 장치 제어 방법의 실시예가 이에 한정되는 것은 아니다. 본 개시의 의료 영상 장치(310a)에 대한 실시예는 의료 영상 장치 제어 방법에 적용될 수 있다.
의료 영상 장치(310a)는 우선, 의료 영상 데이터를 획득한다(S1002). 의료 영상 장치(310a)는 초음파 프로브, CT 스캐너, MRI 스캐너 등을 의료 영상을 촬영함에 의해 의료 영상 데이터를 획득하거나, 저장부에 저장된 의료 영상 데이터를 독출하여 의료 영상 데이터를 획득하거나, 통신부를 통해 외부 장치로부터 의료 영상 데이터를 수신하여 의료 영상 데이터를 획득할 수 있다.
다음으로, 의료 영상 장치(310a)는 의료 영상 장치(310a)의 사용자(312)로부터 의료 영상 데이터와 관련된 제1 정보를 수신한다(S1004).
의료 영상 장치(310a)는 획득된 의료 영상 데이터 및 제1 정보를 서버(330a)로 전송한다(S1006).
클라이언트 장치(320a)는 서버(330a)로 클라이언트 장치(320a)의 사용자(321)에 대한 정보를 전송한다(S1008). 클라이언트 사용자(321)에 대한 정보는 사용자(321)의 직업, 사용자(321)와 환자의 관계, 사용자(321)의 나이, 국적, 및 사용 언어 중 적어도 하나 또는 이들의 조합을 포함한다.
서버(330a)는 의료 영상 장치(310a)로부터 제1 정보 및 클라이언트 사용자(321)에 대한 정보를 수신하면, 클라이언트 사용자(321)에 대한 정보에 기초해서 제1 정보를 변환한다(S1010). 서버(330a)는 클라이언트 사용자(321)에 대한 정보에 기초해서 제1 정보의 표현을 변환할 수 있다.
다음으로, 서버(330)는 의료 영상 데이터 및 변환된 제1 정보를 클라이언트 장치(320a)로 전송한다(S1012). 일 실시예에 따르면, 서버(330a)는 의료 영상 데이터 및 변환된 제1 정보를 클라이언트 장치(320a)로 전송하고, 추가로 의료 영상 장치(310a)로 전송할 수 있다.
클라이언트 장치(320a)는 서버(330a)로부터 의료 영상 데이터 및 변환된 제1 정보를 수신하여, 이를 사용자에게 제공할 수 있다(S1014). 예를 들면, 클라이언트 장치(320a)는 의료 영상 데이터 및 변환된 제1 정보를 디스플레이에 표시하거나, 음성으로 출력할 수 있다.
도 11은 일 실시예에 따른 의료 영상 장치(310b), 클라이언트 장치(320b), 및 서버(330b)의 구조를 나타낸 도면이다.
일 실시예에 따르면, 심층 신경망 프로세서(410b)가 의료 영상 장치(310b)에 구비되어, 의료 영상 장치(310b)에서 제1 정보의 변환 동작을 수행할 수 있다. 심층 신경망 프로세서(410b)에서 제1 정보를 변환하는 동작은 앞서 도 4 내지 도 10을 참조하여 설명한 심층 신경망 프로세서(410a)의 동작에 대응된다.
본 실시예에 따르면, 의료 영상 장치(310b)는 서버(330b)를 통해 클라이언트 장치(320b)와 통신하는 실시예와, 서버(330b)를 통하지 않고 직접 클라이언트 장치(320b)와 통신하는 실시예가 모두 가능하다.
의료 영상 장치(310b)의 제1 통신부(450)는 클라이언트 장치(320b)로부터 클라이언트 장치(320b)의 사용자(321)에 대한 정보를 수신할 수 있다. 심층 신경망 프로세서(410b)는 클라이언트 장치(320b)의 사용자(321)에 대한 정보에 기초하여 제1 정보를 변환할 수 있다.
의료 영상 장치(310b)의 제1 통신부(450)와 클라이언트 장치(320b)는 다양한 종류의 유선 또는 무선 통신을 이용하여 통신할 수 있다. 예를 들면, 제1 통신부(450)는 다양한 종류의 근거리 통신(short-range wireless communication)을 이용할 수 있고, 예를 들면, 블루투스, BLE(Bluetooth Low Energy), 근거리 무선 통신(Near Field Communication), WLAN(와이파이), 지그비(Zigbee), 적외선(IrDA, infrared Data Association) 통신, WFD(Wi-Fi Direct), UWB(ultra wideband) 통신, Ant+ 통신 등을 이용하여 클라이언트 장치(320b)와 통신할 수 있다.
도 12는 일 실시예에 따른 의료 영상 장치 제어 방법을 나타낸 흐름도이다.
본 실시예들에 따른 의료 영상 장치 제어 방법은, 프로세서 및 통신부를 구비하고, 클라이언트 장치와 통신하는 다양한 형태의 전자 장치에 의해 수행될 수 있다. 본 명세서에서는 본 개시의 실시예들에 따른 의료 영상 장치(310b)에 의해 의료 영상 장치 제어 방법이 수행되는 실시예를 중심으로 설명하지만, 본 개시의 의료 영상 장치 제어 방법의 실시예가 이에 한정되는 것은 아니다. 본 개시의 의료 영상 장치(310b)에 대한 실시예는 의료 영상 장치 제어 방법에 적용될 수 있다.
의료 영상 장치(310b)는 우선 의료 영상 데이터를 획득한다(S1202). 또한, 의료 영상 장치(310b)는 의료 영상 장치(310b)의 사용자(312)로부터 의료 영상 데이터와 관련된 제1 정보를 수신한다(S1204).
클라이언트 장치(320b)는 의료 영상 장치(310b)로 클라이언트 장치(320b)의 사용자(321)에 대한 정보를 전송한다(S1206).
의료 영상 장치(310b)는 클라이언트 장치(320b)의 사용자에 대한 정보에 기초하여 제1 정보를 변환한다(S1208).
의료 영상 장치(310b)는 의료 영상 데이터 및 변환된 제1 정보를 클라이언트 장치(320b)로 전송한다(S1210).
클라이언트 장치(320b)는 의료 영상 장치(310b)로부터 의료 영상 데이터 및 변환된 제1 정보를 수신하여, 이를 사용자에게 제공할 수 있다(S1212).
도 13a는 본 개시의 실시예에 따른 심층 신경망 프로세서(410a, 410b)를 나타내는 블록도이다.
심층 신경망 프로세서(410a, 410b)는 신경망(Neural Network)을 기반으로 하는 연산을 수행할 수 있다. 구체적으로, 심층 신경망(DNN) 연산은 컨볼루션 신경망(CNN: Convolution Neural Network) 연산 등을 포함할 수 있다.
심층 신경망 프로세서(410a, 410b)를 포함하는 인공지능 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템으로서 기계가 스스로 학습하고 판단하며, 사용할수록 인식률이 향상되는 시스템이다
인공지능 기술은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘을 이용하는 기계학습(딥러닝) 기술 및 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성된다.
요소기술들은, 예로, 인간의 언어/문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론/예측 기술, 인간의 경험 정보를 지식데이터로 처리하는 지식 표현 기술 및 차량의 자율 주행, 로봇의 움직임을 제어하는 동작 제어 기술 중 적어도 하나를 포함할 수 있다.
언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다.
시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다.
추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다.
지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다.
도 13a를 참조하면, 일부 실시예에 따른 심층 신경망 프로세서(410a, 410b)는 데이터 학습부(1310) 및 데이터 인식부(1320)를 포함할 수 있다.
데이터 학습부(1310)는 전술한 심층 신경망을 통한 연산을 수행하기 위한 기준을 학습할 수 있다. 구체적으로, 데이터 학습부(1310)는 제1 정보와 클라이언트 장치(320)의 사용자(321)에 대한 정보에 기초하여 제1 정보를 어느 떤 표현을 변환할지, 클라이언트 장치(320)의 사용자(321)에 대한 정보를 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 데이터 학습부(1310)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 데이터 인식 모델에 적용함으로써, 상황 판단을 위한 기준을 학습할 수 있다. 여기서, 데이터 학습부(1310)가 학습에 이용하는 데이터는 데이터 획득부(1310-1)에서 획득된 제1 정보, 클라이언트 장치(320)의 사용자(321)에 대한 정보, 및 클라이언트 장치(320)의 피드백 데이터일 수 있다.
데이터 인식부(1320)는 데이터에 기초한 상황을 판단할 수 있다. 데이터 인식부(1320)는 학습된 데이터 인식 모델, 예를 들어, 제1 인공 배양 신경망을 이용하여, 소정의 데이터로부터 상황을 인식할 수 있다.
구체적으로, 데이터 인식부(1320)는 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델을 이용함으로써, 소정의 데이터에 기초한 소정의 상황을 판단할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델에 의해 출력된 결과 값은, 데이터 인식 모델을 갱신하는데 이용될 수 있다.
본 개시의 실시예에서 데이터 인식부(1320)가 구축하는 데이터 인식 모델, 예를 들어, 심층 신경망을 학습하여 생성한 제1 인공 배양 신경망 또는 제1 인공 배양 신경망을 학습하여 생성한 제2 인공 배양 신경망 등은 복수개의 실제 제1 정보, 변환된 제1 정보들, 및 피드백 데이터를 학습하여 복수개의 제1 정보에 대한 최적의 변환 모델을 추론하도록 모델링 될 수 있다. 즉, 데이터 인식부(1320)가 구축하는 데이터 인식 모델은 클라이언트 장치(320)의 사용자(321)에게 적합한 제1 정보의 변환 모델을 추론한다.
구체적으로, 데이터 인식부(1320)는 클라이언트 장치(320)의 사용자(321)에 대한 정보의 각 항목들(사용자의 직업, 사용자와 환자의 관계, 사용자의 나이, 사용자의 식별 정보, 성별 등)의 조합을 인식할 수 있다. 데이터 인식부(1320)는 클라이언트 장치(320)의 사용자(321)에 대한 정보, 피드백 데이터, 제1 정보, 변환된 제1 정보를 이용하여 데이터 인식 모델을 학습하고, 피드백 데이터에 기초하여 데이터 인식 모델을 수정할 수 있다.
데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 의료 영상 장치(310) 또는 서버(330)에 탑재될 수 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작되거나, 제1 프로세서(440) 또는 제1 프로세서(520)에 포함되거나, 독립적으로 형성되는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 의료 영상 장치(310) 또는 서버(330)에 탑재될 수도 있다.
또한, 데이터 학습부(1310) 및 데이터 인식부(1320)는 하나의 전자 장치인 의료 영상 장치(310) 또는 서버(330)에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 하나는 의료 영상 장치(310)에 포함되고, 나머지 하나는 서버(330)에 포함될 수 있다. 또한, 데이터 학습부(1310) 및 데이터 인식부(1320)는 유선 또는 무선으로 상호 연결되어, 데이터 학습부(1310)가 구축한 모델 정보를 데이터 인식부(1320)로 제공할 수 있고, 데이터 인식부(1320)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1310)로 제공될 수도 있다.
한편, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 13b는 심층 신경망 프로세서 내에 포함되는 데이터 학습부(1310)를 나타내는 블록도이다.
도 13b를 참조하면, 일부 실시예에 따른 데이터 학습부(1310)는 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5)를 포함할 수 있다.
전처리부(1310-2)는 상황 판단을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 본 개시의 실시예에서, 전처리부(1310-2)는 후술할 모델 학습부(1310-4)가 상황 판단을 위한 학습을 위하여 획득된 데이터인 제1 정보, 변환된 제1 정보, 클라이언트 장치의 사용자에 대한 정보, 및 피드백 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(1310-3)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(1310-4)에 제공될 수 있다. 학습 데이터 선택부(1310-3)는 상황 판단을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1310-3)는 후술할 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
모델 학습부(1310-4)는 학습 데이터에 기초하여 상황을 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(1310-4)는 상황 판단을 위하여 어떤 학습 데이터를 이용해야 하는 지에 대한 기준을 학습할 수도 있다.
본 개시의 실시예에서, 모델 학습부(1310-4)는 복수의 제1 정보, 변환된 제1 정보, 클라이언트 장치의 사용자에 대한 정보, 및 피드백 데이터를 학습하고, 학습된 데이터에 기초하여 최적의 변환 모델을 예측하는데 필요한 기준을 학습할 수 있다. 구체적으로, 모델 학습부(1310-4)는 클라이언트 장치(320)의 사용자(321)에 대한 정보의 각 항목들(사용자의 직업, 사용자와 환자의 관계, 사용자의 나이, 사용자의 식별 정보, 성별 등)의 조합에 따른 최적의 제1 정보의 변환 모델을 예측할 수 있다. 또한, 클라이언트 장치(320)의 사용자(321)에 대한 정보 및 피드백 데이터에 기초하여 변환 모델을 학습시킬 수 있다.
또한, 모델 학습부(1310-4)는 상황 판단에 이용되는 데이터 인식 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 데이터 인식 모델은 미리 구축된 모델일 수 있다. 예를 들어, 데이터 인식 모델은 기본 학습 데이터(예를 들어, 샘플 의료 영상 등)을 입력 받아 미리 구축된 모델일 수 있다.
데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
또한, 데이터 인식 모델이 학습되면, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 데이터 인식부(1320)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 다른 예로서, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 후술할 데이터 인식부(1320)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또 다른 예로서, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 전자 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
이 경우, 학습된 데이터 인식 모델인 제1 인공 배양 신경망이 저장되는 메모리는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.
모델 평가부(1310-5)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준인 소정의 정확도 또는 소정의 신뢰도를 만족하지 못하는 경우, 모델 학습부(1310-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기 설정된 데이터일 수 있다.
예를 들어, 모델 평가부(1310-5)는 평가 데이터에 대한 학습된 데이터 인식 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 데이터 인식 모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(1310-5)는 학습된 데이터 인식 모델이 적합하지 않은 것으로 평가할 수 있다.
한편, 학습된 데이터 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(1310-5)는 각각의 학습된 데이터 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 데이터 인식 모델로서 결정할 수 있다.
한편, 데이터 학습부(1310) 내의 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다.
또한, 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
도 13c는 심층 신경망 프로세서 내에 포함되는 데이터 인식부(1320)를 나타내는 블록도이다.
도 13c를 참조하면, 일부 실시예에 따른 데이터 인식부(1320)는 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5)를 포함할 수 있다.
데이터 획득부(1320-1)는 상황 판단에 필요한 데이터를 획득할 수 있으며, 전처리부(1320-2)는 상황 판단을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1320-2)는 후술할 인식 결과 제공부(1320-4)가 상황 판단을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
인식 데이터 선택부(1320-3)는 전처리된 데이터 중에서 상황 판단에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(1320-4)에게 제공될 수 있다. 인식 데이터 선택부(1320-3)는 상황 판단을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(1320-3)는 후술할 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
인식 결과 제공부(1320-4)는 선택된 데이터를 데이터 인식 모델에 적용하여 상황을 판단할 수 있다. 인식 결과 제공부(1320-4)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다.
모델 갱신부(1320-5)는 인식 결과 제공부(1320-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(1320-5)는 인식 결과 제공부(1320-4)에 의해 제공되는 인식 결과를 모델 학습부(1310-4)에게 제공함으로써, 모델 학습부(1310-4)가 데이터 인식 모델을 갱신하도록 할 수 있다.
본 개시의 실시예에서, 모델 갱신부(1320-5)는 제1 정보가 추가적으로 획득될 때마다, 데이터 인식 모델인 제1 인공 배양 신경망을 학습하여, 제1 인공 배양 신경망이 갱신되도록 할 수 있다. 또한, 모델 갱신부(1320-5)는 제1 인공 배양 신경망을 통한 연산을 수행하여 획득한 변환된 제1 정보로 제1 인공 배양 신경망을 학습하여, 제1 인공 배양 신경망을 수정 또는 갱신하여 제2 인공 배양 신경망을 획득할 수도 있을 것이다.
한편, 데이터 인식부(1320) 내의 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 또한, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 일부는 의료 영상 장치(310)에 포함되고, 나머지 일부는 서버(330)에 포함될 수 있다.
도 14는 일 실시예에 따라 클라이언트 장치(320)에서 피드백 데이터를 입력 받아 심층 신경망 프로세서(410a, 410b)로 전달하는 과정을 나타낸 도면이다.
일 실시예에 따르면, 클라이언트 장치(320)의 사용자(321)는 클라이언트 장치(320)에서 제공되는 변환된 제1 정보에 대해 피드백 데이터를 입력할 수 있다. 피드백 데이터는 변환된 제1 정보에 대한 수정 또는 편집, 변환된 제1 정보의 일부 또는 전부의 삭제, 부가 정보 추가 등의 동작에 의해 생성된 데이터를 의미한다. 피드백 데이터는 변환된 제1 정보에 대한 평가, 변환된 제1 정보에 대한 수정 의견, 및 상기 제1 정보에 대한 선호도 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 예를 들면, 도 14에 도시된 바와 같이, 마커(1412a, 1412b) 및 측정값(1414)을 포함하는 변환된 제1 정보(1410)가 클라이언트 장치(320)의 디스플레이를 통해 제공된다. 클라이언트 장치(320)의 사용자(321)는 터치스크린, 터치패드, 마우스, 또는 키보드 등을 이용하여 마커(1412b)의 위치를 이동시킬 수 있다. 이러한 경우, 마커(1412b)의 이동에 관련된 정보가 피드백 데이터로서 심층 신경망 프로세서(410)로 전달된다. 예를 들면, 피드백 데이터는 마커가 이동되었다는 정보, 이동 전의 마커의 위치, 이동 후의 마커의 위치 등을 포함할 수 있다.
피드백 데이터는 클라이언트 장치(320)의 사용자 인터페이스를 통해 입력될 수 있다. 예를 들면, 피드백 데이터는 클라이언트 장치(320)의 터치스크린, 터치패드, 마이크로폰, 키보드, 마우스, 가속도 센서, 자이로 센서, 이미지 센서 등을 통해 입력될 수 있다.
도 15는 일 실시예에 따른 의료 영상 장치 제어 방법을 나타낸 흐름도이다.
본 실시예에 따르면, 클라이언트 장치(320)에서 입력된 피드백 데이터가 심층 신경망 프로세서(410)로 전달되고, 학습 데이터로 이용될 수 있다.
우선 의료 영상 장치(310)는 의료 영상 데이터를 획득하고(S1502), 제1 정보를 수신한다(S1504). 의료 영상 장치(310)는 의료 영상 데이터 및 제1 정보를 심층 신경망 프로세서(410)로 전송한다(S1506). 심층 신경망 프로세서(410)는 앞서 설명한 바와 같이, 의료 영상 장치(310) 또는 서버(330)에 구비될 수 있다. 또한, 클라이언트 장치(320)는 클라이언트 사용자에 대한 정보를 심층 신경망 프로세서(410)로 전송한다(S1508).
심층 신경망 프로세서(410)는 심층 신경망을 이용하여, 클라이언트 장치의 사용자에 대한 정보에 기초하여, 제1 정보를 변환한다(S1510). 또한, 심층 신경망 프로세서(410)는 의료 영상 데이터 및 제1 정보에 기초하여, 부가 정보인 제2 정보를 생성한다(S1512). 심층 신경망 프로세서(410)는 의료 영상 데이터, 및 제2 정보를 포함하는 변환된 제1 정보를 클라이언트 장치(320)로 전송한다(S1514).
클라이언트 장치(320)는 의료 영상 데이터 및 변환된 제1 정보를 디스플레이 등의 출력부를 통해 제공한다(S1516). 또한, 클라이언트 장치(320)는 변환된 제1 정보에 대한 피드백 데이터를 수신하여, 이를 심층 신경망 프로세서(410)를 구비하는 전자 장치로 전송한다(S1518). 피드백 데이터는 소정의 파일 형식으로 변환되어 심층 신경망 프로세서(410)를 구비하는 전자 장치로 전송된다.
심층 신경망 프로세서(410)는 피드백 데이터에 기초하여 변환된 제1 정보 및 제2 정보를 업데이트한다(S1520). 또한, 심층 신경망 프로세서(410)는 피드백 데이터, 제1 정보, 클라이언트 장치(320)의 사용자에 대한 정보, 및 변환된 제1 정보를 학습 데이터로 활용할 수 있다. 구체적으로 심층 신경망 프로세서(410)는 제1 정보, 피드백 데이터에 기초하여 변환된 제1 정보, 및 클라이언트 장치(320)의 사용자에 대한 정보를 이용한 학습을 통해 제1 정보의 변환 모델을 업데이트할 수 있다.
도 16은 일 실시예에 따른 의료 영상 장치(310) 및 클라이언트 장치(320)의 동작을 나타낸 도면이다.
일 실시예에 따르면, 클라이언트 장치(320)가 의료 영상 장치(310)로부터 의료 영상 데이터 및 제1 정보를 제공받기 위해, 의료 영상 장치(310)가 클라이언트 장치(320)에 권한을 부여할 수 있다. 예를 들면, 클라이언트 장치(320)는 복수의 의료 영상 장치(ULTRASOUND 1, ULTRASOUND 2, ULTRASOUND 3) 중 접속할 의료 영상 장치(예를 들면, ULTRASOUND 1)의 선택을 수신하고, 권한을 부여 받기 위한 인증 정보를 수신할 수 있다(S1610). 예를 들면, 권한을 부여 받기 위한 정보는 사용자 식별 정보(ID) 및 패스워드(PW)일 수 있다. 클라이언트 장치(320)는 선택된 의료 영상 장치(ULTRASOUND 1)로 인증 정보를 전송할 수 있다.
의료 영상 장치(310)는 클라이언트 장치(320)로부터 인증 정보가 수신되면, 클라이언트 장치(320)의 접속을 허용할지 여부를 결정한다(S1620).
일 실시예에 따르면, 의료 영상 장치(310)는 사용자 입력에 기초하여 클라이언트 장치(320)의 접속을 허용할지 여부를 결정할 수 있다. 예를 들면, 의료 영상 장치(310)는 클라이언트 장치(320)의 접속을 허용할지 여부에 대한 선택을 수신할 수 있는 사용자 인터페이스를 제공할 수 있다(S1622).
다른 실시예에 따르면, 의료 영상 장치(310)는 미리 저장된 인증 정보를 참조하여 클라이언트 장치(320)의 접속을 허용할지 여부를 결정할 수 있다. 의료 영상 장치(310)는 등록된 인증 정보(ID, PW)를 저장하고, 수신된 인증 정보가 미리 등록된 인증 정보인 경우, 클라이언트 장치(320)의 접속을 허용할 수 있다. 다른 예로서, 의료 영상 장치(310)는 등록된 인증 정보 및 각 인증 정보에 대한 장치 정보를 저장하고, 수신된 인증 정보 및 장치 정보가 등록된 인증 정보 및 장치 정보와 일치하는 경우, 클라이언트 장치(320)의 접속을 허용할 수 있다.
일 실시예에 따르면, 의료 영상 장치(310)는 각 사용자에 대해 제공하는 제1 정보의 범위에 대한 정보를 저장하고, 올바른 인증 정보가 입력되면, 해당 사용자에게 허용되는 범위의 제1 정보를 클라이언트 장치로 제공할 수 있다. 예를 들면, 의료 영상 장치(310)는 A 사용자에게는 X 촬영 프로세스와 관련된 정보를 제공하고, B 사용자에게는 X 촬영 프로세스 및 Y 촬영 프로세서와 관련된 정보를 제공하도록 제1 정보의 범위가 정의된 경우, 권한 정에 포함된 사용자 식별 정보에 기초하여, 해당 사용자에게 허용된 범위까지의 제1 정보를 클라이언트 장치(320)로 제공할 수 있다. 각 사용자에 대해 제공하는 제1 정보의 범위는 촬영 프로세스, 프로토콜, 측정 정보 종류, 파라미터 종류, 데이터세트 종류 등에 따라 정의될 수 있다.
의료 영상 장치(310)는 클라이언트 장치(320)의 접속이 허용된 경우, 클라이언트 장치(320)로 의료 영상 데이터 및 변환된 제1 정보를 전송한다(S1630). 일 실시예에 따르면, 의료 영상 장치(310)는 클라이언트 장치(320)가 의료 영상 장치(310)에 접속 중이라는 정보를 사용자 인터페이스를 통해 제공할 수 있다(S1632).
도 17은 일 실시예에 따른 의료 영상 장치 제어 방법을 나타낸 흐름도이다.
본 실시예에 따른 서버(330a) 또는 의료 영상 장치(310a)에서 클라이언트 장치(320a)에 접속 권한을 부여하고, 접속이 허용된 클라이언트 장치(320a)에 대해 의료 영상 데이터 및 변환된 제1 정보를 제공할 수 있다.
클라이언트 장치(320a)는 의료 영상 장치(310a)로부터 의료 영상 데이터 및 변환된 제1 정보를 제공받기 위해, 인증 정보를 서버(330a)로 전송한다(S1702). 서버(330a)는 클라이언트 장치(320a)로부터 전송 받은 인증 정보에 기초하여 의료 영상 장치(310a)로 인증 요청을 한다(S1704). 클라이언트 장치(320a)의 사용자에 대한 인증은 서버(330a) 또는 의료 영상 장치(310a)에서 수행될 수 있다. 일 실시예에 따르면, 서버(330a)는 클라이언트 장치(320a)로부터 수신한 인증 정보에 기초하여 클라이언트 장치(320a)의 권한을 확인하고, 확인된 권한에 기초하여 의료 영상 장치(310a)로 권한에 대한 정보를 전달한다. 다른 실시예에 따르면, 서버(330a)는 클라이언트 장치(320a)로부터 수신한 인증 정보를 의료 영상 장치(310a)로 전달하고, 의료 영상 장치(310a)는 클라이언트 장치(320a)의 접속을 인증한다. 도 17은 의료 영상 장치(310a)에서 클라이언트 장치(320a)의 접속을 인증하는 실시예에 따라 도시된 흐름도이다.
의료 영상 장치(310a)는 인증 정보에 기초하여 클라이언트 장치(320a)의 접속을 인증하고(S1706), 인증 정보가 유효한 경우 클라이언트 장치(320a)에게 접속 권한을 부여한다(S1708). 또한, 의료 영상 장치(310a)는 권한을 부여 받은 클라이언트 장치(320a)로 의료 영상 데이터 및 변환된 제1 정보를 제공할 것을 서버(330a)로 요청할 수 있다.
서버(330a)는 권한을 부여 받은 클라이언트 장치(320a)로 의료 영상 데이터 및 변환된 제1 정보를 전달한다(S1710). 클라이언트 장치(320a)는 수신된 의료 영상 데이터 및 변환된 제1 정보를 출력부를 통해 제공한다(S1712).
개시된 실시예들은 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 S/W 프로그램으로 구현될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 의료 영상 장치를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 의료 영상 장치 및 그 제어 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 의료 영상 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 단말(예로, 의료 영상 장치 또는 클라이언트 장치)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다. 구체적인 예로, 제3 장치는 의료 영상 장치를 원격 제어하여, 의료 영상 장치가 의료 영상을 획득하기 위한 프로세스를 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 보조 장치(예로, 의료기기의 프로브)로부터 입력된 값에 기초하여 개시된 실시예에 따른 방법을 직접 수행할 수도 있다. 구체적인 예로, 보조 장치가 초음파 신호를 대상체로 조사하고, 대상체로부터 반사된 초음파 신호를 획득할 수 있다. 제3 장치는 보조 장치로부터 반사된 신호 정보를 입력 받고, 입력된 신호 정보에 기초하여 대상체 내부의 부위에 대한 영상을 생성할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드 된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims (15)

  1. 클라이언트 장치와 통신하는 제1 통신부;
    의료 영상 데이터를 획득하는 영상 획득부;
    상기 의료 영상 데이터에 관련된 제1 정보를 수신하는 입력부; 및
    상기 의료 영상 데이터 및 상기 제1 정보가 상기 클라이언트 장치로 전달되도록 상기 제1 통신부를 제어하는 하나 이상의 제1 프로세서를 포함하고,
    상기 제1 정보는 상기 클라이언트 장치의 사용자에 대한 정보에 기초하여 변환되어 상기 클라이언트 장치로 전달되는, 의료 영상 장치.
  2. 제1항에 있어서,
    상기 제1 통신부는 상기 의료 영상 데이터 및 상기 제1 정보를 서버를 통해 상기 클라이언트 장치로 전달하고,
    상기 서버는, 상기 제1 정보의 표현을 상기 클라이언트 장치의 사용자에 대한 정보에 기초하여 변환하는, 의료 영상 장치.
  3. 제1항에 있어서,
    상기 클라이언트 장치의 사용자에 대한 정보는, 상기 사용자의 직업, 상기 사용자와 환자의 관계, 및 상기 사용자의 나이 중 적어도 하나 또는 이들의 조합을 포함하는, 의료 영상 장치.
  4. 제1항에 있어서,
    상기 제1 정보는, 상기 의료 영상 장치의 사용자로부터 입력된 음성 정보, 텍스트 정보, 프로토콜 정보, 측정 정보, 마킹(marking) 정보, 및 진단 정보 중 적어도 하나 또는 이들의 조합을 포함하는, 의료 영상 장치.
  5. 제1항에 있어서,
    상기 제1 정보를 변환하는 동작은, 용어를 변환하는 동작, 화법을 변환하는 동작, 및 언어를 변환하는 동작 중 적어도 하나 또는 이들의 조합을 포함하는, 의료 영상 장치.
  6. 제1항에 있어서,
    상기 하나 이상의 제1 프로세서 및 상기 서버 중 적어도 하나는, 상기 제1 정보와 관련된 부가 정보인 제2 정보를 생성하여 상기 클라이언트 장치로 전송하도록 더 포함된, 의료 영상 장치.
  7. 제1항에 있어서,
    상기 의료 영상 장치는 디스플레이부를 더 포함하고,
    상기 하나 이상의 제1 프로세서는 상기 제1 통신부를 이용하여 상기 클라이언트 장치의 사용자에 대한 정보를 수신하고, 상기 클라이언트 장치의 사용자에 대한 정보를 표시하도록 상기 디스플레이부를 제어하는, 의료 영상 장치.
  8. 제7항에 있어서,
    상기 하나 이상의 제1 프로세서는, 상기 수신된 클라이언트 장치의 사용자에 대한 정보 및 상기 입력부를 통해 수신된 제어 신호 중 적어도 하나에 기초하여, 상기 클라이언트 장치가 상기 의료 영상 데이터 및 상기 제1 정보를 제공 받을 권한을 부여하는, 의료 영상 장치.
  9. 제1항에 있어서,
    상기 제1 정보의 변환 동작은 심층 신경망 프로세서를 이용하여 수행되고,
    상기 클라이언트 장치로부터 입력되는 피드백 데이터는 상기 심층 신경망 프로세서의 학습 데이터로 이용되는, 의료 영상 장치.
  10. 제1 항에 있어서,
    상기 하나 이상의 제1 프로세서는 상기 제1 통신부를 통해 상기 클라이언트 장치로부터 입력되는 피드백 데이터를 수신하고, 상기 피드백 데이터에 대응되는 정보를 표시하도록 상기 디스플레이부를 제어하는, 의료 영상 장치.
  11. 제1 항에 있어서,
    상기 클라이언트 장치의 사용자에 대한 정보에 기초하여, 상기 제1 정보의 표현을 변환하는 심층 신경망 프로세서를 더 포함하는, 의료 영상 장치.
  12. 제11 항에 있어서,
    상기 심층 신경망 프로세서는, 상기 제1 정보의 용어를 변환하는 동작, 상기 제1 정보의 화법을 변환하는 동작, 및 상기 제1 정보의 언어를 변환하는 동작 중 적어도 하나 또는 이들의 조합을 수행하는, 의료 영상 장치.
  13. 제11 항에 있어서,
    상기 제1 통신부는, 상기 클라이언트 장치로부터 피드백 데이터를 수신하고,
    상기 심층 신경망 프로세서는 상기 제1 정보, 상기 클라이언트 장치의 사용자에 대한 정보, 및 상기 피드백 데이터에 기초하여 학습 동작을 수행하는, 의료 영상 장치.
  14. 의료 영상 데이터를 획득하는 단계;
    상기 의료 영상 데이터에 관련된 제1 정보를 수신하는 단계; 및
    상기 의료 영상 데이터 및 상기 제1 정보가 상기 클라이언트 장치로 전달되도록 제어하는 단계를 포함하고,
    상기 제1 정보는, 상기 클라이언트 장치의 사용자에 대한 정보에 기초하여 변환되어 상기 클라이언트 장치로 전달되는, 의료 영상 장치 제어 방법.
  15. 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 상기 저장 매체는,
    의료 영상 데이터를 획득하는 단계;
    상기 의료 영상 데이터에 관련된 제1 정보를 수신하는 단계; 및
    상기 의료 영상 데이터 및 상기 제1 정보가 상기 클라이언트 장치로 전달되도록 제어하는 단계를 포함하고,
    상기 제1 정보는, 상기 클라이언트 장치의 사용자에 대한 정보에 기초하여 변환되어 상기 클라이언트 장치로 전달되는, 컴퓨터 프로그램 제품.
PCT/KR2018/015090 2018-01-18 2018-11-30 의료 영상 장치, 그 제어 방법, 및 컴퓨터 프로그램 제품 WO2019143015A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0006642 2018-01-18
KR1020180006642A KR20190088285A (ko) 2018-01-18 2018-01-18 의료 영상 장치, 그 제어 방법, 및 컴퓨터 프로그램 제품

Publications (1)

Publication Number Publication Date
WO2019143015A1 true WO2019143015A1 (ko) 2019-07-25

Family

ID=67302351

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/015090 WO2019143015A1 (ko) 2018-01-18 2018-11-30 의료 영상 장치, 그 제어 방법, 및 컴퓨터 프로그램 제품

Country Status (2)

Country Link
KR (1) KR20190088285A (ko)
WO (1) WO2019143015A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926677A (zh) * 2021-03-24 2021-06-08 中国医学科学院医学信息研究所 医学图像数据的信息标注方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120084096A1 (en) * 2010-10-01 2012-04-05 Fujifilm Corporation Method, apparatus, and program for generating diagnostic result explanation reports
KR101400028B1 (ko) * 2013-11-26 2014-05-30 의료법인영훈의료재단 진료정보 메시징 서비스 방법
KR20150003673A (ko) * 2013-07-01 2015-01-09 삼성전자주식회사 초음파 장치의 정보 공유 방법, 의료 전문가 디바이스의 통신 방법 및 정보 공유 시스템
JP2015170312A (ja) * 2014-03-10 2015-09-28 キヤノン株式会社 患者用説明資料作成装置、患者用説明資料作成方法及びプログラム
KR20170016778A (ko) * 2015-08-04 2017-02-14 재단법인 아산사회복지재단 심층신경망을 이용한 골 연령 산출방법 및 프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120084096A1 (en) * 2010-10-01 2012-04-05 Fujifilm Corporation Method, apparatus, and program for generating diagnostic result explanation reports
KR20150003673A (ko) * 2013-07-01 2015-01-09 삼성전자주식회사 초음파 장치의 정보 공유 방법, 의료 전문가 디바이스의 통신 방법 및 정보 공유 시스템
KR101400028B1 (ko) * 2013-11-26 2014-05-30 의료법인영훈의료재단 진료정보 메시징 서비스 방법
JP2015170312A (ja) * 2014-03-10 2015-09-28 キヤノン株式会社 患者用説明資料作成装置、患者用説明資料作成方法及びプログラム
KR20170016778A (ko) * 2015-08-04 2017-02-14 재단법인 아산사회복지재단 심층신경망을 이용한 골 연령 산출방법 및 프로그램

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926677A (zh) * 2021-03-24 2021-06-08 中国医学科学院医学信息研究所 医学图像数据的信息标注方法、装置及系统
CN112926677B (zh) * 2021-03-24 2024-02-02 中国医学科学院医学信息研究所 医学图像数据的信息标注方法、装置及系统

Also Published As

Publication number Publication date
KR20190088285A (ko) 2019-07-26

Similar Documents

Publication Publication Date Title
WO2020050595A1 (ko) 음성 인식 서비스를 제공하는 서버
WO2019216578A1 (en) Method and apparatus for executing cleaning operation
WO2020091350A1 (en) Electronic device and control method thereof
WO2019059505A1 (ko) 객체를 인식하는 방법 및 장치
WO2019039915A1 (en) METHOD FOR ACTIVATION OF VOICE RECOGNITION SERVICE AND ELECTRONIC DEVICE IMPLEMENTING THE SAME
WO2020242274A1 (en) Electronic device for controlling skin-care device and method of operating the same
WO2019031707A1 (en) MOBILE TERMINAL AND METHOD FOR CONTROLLING A MOBILE TERMINAL USING MACHINE APPRENTICESHIP
WO2019146942A1 (ko) 전자 장치 및 그의 제어방법
WO2019146970A1 (ko) 사용자 발화 응답 방법 및 이를 지원하는 전자 장치
WO2019083227A1 (en) MEDICAL IMAGE PROCESSING METHOD, AND MEDICAL IMAGE PROCESSING APPARATUS IMPLEMENTING THE METHOD
WO2021006404A1 (ko) 인공지능 서버
WO2018093229A1 (en) Method and device applying artificial intelligence to send money by using voice input
WO2020130447A1 (ko) 페르소나에 기반하여 문장을 제공하는 방법 및 이를 지원하는 전자 장치
WO2020059939A1 (ko) 인공지능 장치
WO2019059642A1 (ko) 자연어 표현 제공 방법 및 이를 지원하는 전자 장치
WO2019074257A1 (ko) 사용자 발화를 처리하는 전자 장치 및 서버
WO2015076508A1 (en) Method and apparatus for displaying ultrasound image
EP3533015A1 (en) Method and device applying artificial intelligence to send money by using voice input
EP3773111A1 (en) Method and apparatus for executing cleaning operation
WO2018182308A1 (ko) 초음파 진단 장치 및 그 동작 방법
WO2020218848A1 (en) Electronic device and method for performing biometric authenticaion function and intelligent agent function using user input in electronic device
WO2019039819A1 (ko) 사용자의 활동 정보에 기반하여 운동 강도와 관련된 가이드 정보를 제공하는 방법 및 장치
WO2020130260A1 (en) Mobile terminal and method of operating the same
WO2023182727A1 (en) Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon
EP3071113A1 (en) Method and apparatus for displaying ultrasound image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18901576

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18901576

Country of ref document: EP

Kind code of ref document: A1