WO2022163468A1 - 症状記録装置、症状記録方法、及びプログラム - Google Patents

症状記録装置、症状記録方法、及びプログラム Download PDF

Info

Publication number
WO2022163468A1
WO2022163468A1 PCT/JP2022/001849 JP2022001849W WO2022163468A1 WO 2022163468 A1 WO2022163468 A1 WO 2022163468A1 JP 2022001849 W JP2022001849 W JP 2022001849W WO 2022163468 A1 WO2022163468 A1 WO 2022163468A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
neck
control unit
imaging
symptom
Prior art date
Application number
PCT/JP2022/001849
Other languages
English (en)
French (fr)
Inventor
佳士 町田
筱薇 呂
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to JP2022578287A priority Critical patent/JPWO2022163468A1/ja
Priority to CN202280011978.0A priority patent/CN116801815A/zh
Publication of WO2022163468A1 publication Critical patent/WO2022163468A1/ja
Priority to US18/360,965 priority patent/US20230368385A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present disclosure relates to a symptom recording device, a symptom recording method, and a program.
  • An increase in central venous pressure appears as jugular venous distention.
  • a method of estimating circulatory conditions such as cardiac function is clinically used by estimating central venous pressure.
  • Patent Document 1 discloses a technique for capturing an image of the right side of the neck in order to determine the central venous pressure.
  • Confirmation of jugular vein distension is a method that allows judging intravascular congestion due to exacerbation of heart failure from the appearance, but experience and knowledge are required. Congestion is an increase in volume.
  • When attempting to confirm jugular venous distention by visual observation or image analysis in telemedicine or telemonitoring it is necessary to prepare conditions such as positioning for correctly capturing images for confirming jugular venous distention. However, it is difficult for users without experience or knowledge to meet such conditions.
  • the purpose of the present disclosure is to make it easier for a user with no experience or knowledge to take an image that allows confirmation of the state of the jugular vein.
  • a symptom recording device performs control to display, as a preview image, an image obtained by an imaging device used for imaging before imaging a neck image for confirming the state of the jugular vein.
  • a control unit is provided for supporting the imaging by performing control for outputting range designation data designating the imaging range including the neck, and for recording the photographed neck image.
  • the range designation data is data that designates a range from below the ear to the clavicle as the imaging range.
  • control unit performs control to output body posture instruction data for instructing a body posture before capturing the neck image.
  • control unit performs control to output clothing instruction data for instructing clothing or hairstyle instruction data for instructing hairstyle before the neck image is captured.
  • control unit performs control to output condition instruction data that instructs imaging conditions including ambient brightness before imaging the neck image.
  • control unit sets imaging conditions including the sensitivity of the imaging element before capturing the neck image.
  • control unit further records date and time data indicating the date and time when the neck image was taken.
  • control unit further records angle data indicating the angle at which the neck image was taken.
  • control unit determines whether or not the imaging range is included in the image obtained by the imaging element, and if it is determined that the imaging range is included, the imaging range is superimposed on the preview image.
  • control unit determines whether or not the imaging range is included in the image obtained by the imaging device, and if it is determined that the imaging range is included, the imaging device The image obtained in is recorded as the cervical image.
  • control unit performs control to display the photographed neck image, and outputs question data asking whether the photographed neck image includes the imaging range. control to assist recapture of the neck image when a response is entered that the imaging range is not included;
  • control unit performs control to display the previously recorded cervical image together with the photographed cervical image.
  • control unit analyzes the captured cervical image, determines whether the captured cervical image includes the imaging range, and determines whether the imaging range is included in the captured cervical image. If it is determined that there is no such image, it assists recapturing of the neck image.
  • the apparatus further comprises a communication section that is controlled by the control section and transmits the neck image to a server.
  • control unit controls the neck when indication data indicating that the imaging range is not included in the transmitted neck image is transmitted from the server and received by the communication unit. Support recapture of partial images.
  • the control unit displays, as a preview image, an image obtained by an imaging device used for the shooting. and control to output range designation data designating an imaging range including the neck to support the imaging, and the control unit records the captured neck image. It is.
  • a program as one aspect of the present disclosure performs control to display, as a preview image, an image obtained by an imaging device used for imaging before imaging a neck image for confirming the state of the jugular vein, and By performing control for outputting range designation data designating an imaging range including the neck, the computer is caused to execute processing for supporting the imaging and processing for recording the photographed neck image.
  • FIG. 1 is a diagram showing the configuration of a system according to an embodiment of the present disclosure
  • FIG. 1 is a block diagram showing the configuration of a symptom recording device according to an embodiment of the present disclosure
  • FIG. FIG. 5 is a diagram showing a screen example of the symptom recording device according to the embodiment of the present disclosure
  • FIG. FIG. 5 is a diagram showing a screen example of the symptom recording device according to the embodiment of the present disclosure
  • FIG. FIG. 5 is a diagram showing a screen example of the symptom recording device according to the embodiment of the present disclosure
  • FIG. FIG. 5 is a diagram showing a screen example of the symptom recording device according to the embodiment of the present disclosure
  • FIG. 4 is a flow chart showing the operation of the symptom recording device according to the embodiment of the present disclosure
  • the system 10 includes multiple symptom recording devices 20 and at least one server 30 .
  • Each of the multiple symptom recording devices 20 is used by a user such as a patient, a patient's family member, a caregiver, or a medical worker.
  • the patient is, for example, a heart failure patient.
  • the number of symptom recording devices 20 is not limited to a plurality, and may be one. For convenience of description, one symptom recording device 20 will be described below.
  • the symptom recording device 20 is held by the user. Alternatively, the symptom recording device 20 is installed at the patient's home.
  • the symptom recording device 20 is, for example, a general-purpose terminal such as a mobile phone, smart phone, tablet, or PC, or a dedicated terminal such as a gadget. "PC" is an abbreviation for personal computer.
  • the symptom recording device 20 can communicate with the server 30 via the network 40.
  • the server 30 is installed in a facility such as a data center.
  • Server 30 is, for example, a server computer belonging to a cloud computing system or other computing system.
  • the network 40 includes the Internet, at least one WAN, at least one MAN, or any combination thereof.
  • WAN is an abbreviation for wide area network.
  • MAN is an abbreviation for metropolitan area network.
  • Network 40 may include at least one wireless network, at least one optical network, or any combination thereof.
  • a wireless network is, for example, an ad-hoc network, a cellular network, a wireless LAN, a satellite communication network, or a terrestrial microwave network.
  • LAN is an abbreviation for local area network.
  • FIG. 1 An outline of this embodiment will be described with reference to FIGS. 2, 4, and 6.
  • FIG. 2 An outline of this embodiment will be described with reference to FIGS. 2, 4, and 6.
  • the control unit 21 displays the image obtained by the imaging device used for the image taking as the preview image 52 . , and control is performed to output range designation data D1 that designates the imaging range including the neck, thereby supporting the imaging.
  • the control unit 21 records the captured neck image 56 .
  • the user can receive instructions regarding the imaging range for obtaining an image that allows confirmation of the state of the jugular vein. Therefore, according to the present embodiment, it becomes easier for a user with no experience or knowledge to capture an image that allows confirmation of the state of the jugular vein.
  • the imaging range includes at least the part of the neck where the state of the jugular vein can be confirmed, and in this embodiment, includes the range from below the ear to the clavicle. That is, the range designation data D1 is data that designates the range from below the ear to the clavicle as the imaging range. According to this embodiment, by including the clavicle in the imaging range, it is possible to improve the accuracy of central venous pressure estimation by height estimation. As a modified example of this embodiment, the imaging range may include the angle of the sternum. Also, the higher the central venous pressure, the higher the location of the pulsation, and in some patients the pulsation may appear just below the ear.
  • the imaging range may include the earlobe.
  • the symptom recording device 20 includes a control section 21 , a storage section 22 , a communication section 23 , an input section 24 and an output section 25 .
  • the control unit 21 includes at least one processor, at least one programmable circuit, at least one dedicated circuit, or any combination thereof.
  • a processor may be a general-purpose processor such as a CPU or GPU, or a dedicated processor specialized for a particular process.
  • CPU is an abbreviation for central processing unit.
  • GPU is an abbreviation for graphics processing unit.
  • a programmable circuit is, for example, an FPGA.
  • FPGA is an abbreviation for field-programmable gate array.
  • a dedicated circuit is, for example, an ASIC.
  • ASIC is an abbreviation for application specific integrated circuit.
  • the control unit 21 executes processing related to the operation of the symptom recording device 20 while controlling each unit of the symptom recording device 20 .
  • the storage unit 22 includes at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or any combination thereof.
  • a semiconductor memory is, for example, a RAM or a ROM.
  • RAM is an abbreviation for random access memory.
  • ROM is an abbreviation for read only memory.
  • RAM is, for example, SRAM or DRAM.
  • SRAM is an abbreviation for static random access memory.
  • DRAM is an abbreviation for dynamic random access memory.
  • ROM is, for example, EEPROM.
  • EEPROM is an abbreviation for electrically erasable programmable read only memory.
  • the storage unit 22 functions, for example, as a main memory device, an auxiliary memory device, or a cache memory.
  • the storage unit 22 stores data used for operation of the symptom recording device 20 and data obtained by the operation of the symptom recording device 20 .
  • the communication unit 23 includes at least one communication interface.
  • the communication interface is, for example, an interface compatible with mobile communication standards such as LTE, 4G standard, or 5G standard, an interface compatible with short-range wireless communication standards such as Bluetooth (registered trademark), or a LAN interface.
  • LTE is an abbreviation for Long Term Evolution.
  • 4G is an abbreviation for 4th generation.
  • 5G is an abbreviation for 5th generation.
  • the communication unit 23 receives data used for operating the symptom recording device 20 and transmits data obtained by operating the symptom recording device 20 .
  • the input unit 24 includes at least two input interfaces.
  • One input interface is an imaging device, such as a camera, that includes an imaging device.
  • Other input interfaces are, for example, physical keys, capacitive keys, a pointing device, a touch screen integrated with the display, or a microphone.
  • Input unit 24 receives an operation to input data used for operation of symptom recording device 20 .
  • the input unit 24 may be connected to the symptom recording device 20 as an external input device instead of being provided in the symptom recording device 20 .
  • As the connection interface for example, an interface compatible with standards such as USB, HDMI (registered trademark), or Bluetooth (registered trademark) can be used.
  • USB is an abbreviation for Universal Serial Bus.
  • HDMI registered trademark
  • HDMI registered trademark
  • HDMI registered trademark
  • HDMI registered trademark
  • HDMI registered trademark
  • HDMI registered trademark
  • HDMI registered trademark
  • HDMI registered trademark
  • HDMI registered trademark
  • HDMI registered trademark
  • HDMI registered trademark
  • HDMI registered trademark
  • HDMI registered trademark
  • HDMI registered trademark
  • the output unit 25 includes at least two output interfaces.
  • One output interface is a display such as an LCD or organic EL display.
  • LCD is an abbreviation for liquid crystal display.
  • EL is an abbreviation for electro luminescence.
  • Another output interface is, for example, a speaker.
  • the output unit 25 outputs data obtained by operating the symptom recording device 20 .
  • the output unit 25 may be connected to the symptom recording device 20 as an external output device instead of being provided in the symptom recording device 20 .
  • As the connection interface for example, an interface compatible with standards such as USB, HDMI (registered trademark), or Bluetooth (registered trademark) can be used.
  • the function of the symptom recording device 20 is realized by executing the program according to the present embodiment with a processor as the control unit 21. That is, the functions of the symptom recording device 20 are realized by software.
  • the program causes the computer to function as the symptom recording device 20 by causing the computer to execute the operation of the symptom recording device 20 . That is, the computer functions as the symptom recording device 20 by executing the operation of the symptom recording device 20 according to the program.
  • the program can be stored on a non-transitory computer-readable medium.
  • a non-transitory computer-readable medium is, for example, a flash memory, a magnetic recording device, an optical disk, a magneto-optical recording medium, or a ROM.
  • Program distribution is performed, for example, by selling, assigning, or lending a portable medium such as an SD card, DVD, or CD-ROM storing the program.
  • SD is an abbreviation for Secure Digital.
  • DVD is an abbreviation for digital versatile disc.
  • CD-ROM is an abbreviation for compact disc read only memory.
  • the program may be distributed by storing the program in the storage of the server and transferring the program from the server to another computer.
  • a program may be provided as a program product.
  • a computer for example, temporarily stores a program stored in a portable medium or a program transferred from a server in a main storage device. Then, the computer reads the program stored in the main storage device with the processor, and executes processing according to the read program with the processor.
  • the computer may read the program directly from the portable medium and execute processing according to the program.
  • the computer may execute processing according to the received program every time the program is transferred from the server to the computer.
  • the processing may be executed by a so-called ASP type service that realizes the function only by executing the execution instruction and obtaining the result without transferring the program from the server to the computer.
  • "ASP" is an abbreviation for application service provider.
  • a program includes information that is used for processing by a computer and that conforms to the program. For example, data that is not a direct instruction to a computer but that has the property of prescribing the processing of the computer corresponds to "things equivalent to a program.”
  • a part or all of the functions of the symptom recording device 20 may be realized by a programmable circuit or a dedicated circuit as the control unit 21. That is, part or all of the functions of the symptom recording device 20 may be realized by hardware.
  • step S1 the control unit 21 performs control to output body position instruction data D2 that indicates the body position.
  • the display as the output unit 25 is controlled by the control unit 21 to display the body position instruction data D2 on the screen 50.
  • FIG. Alternatively, the speaker as the output unit 25 is controlled by the control unit 21 to output the body posture instruction data D2 by voice.
  • the control unit 21 causes the display to display an illustration 51 that instructs the user on the angle with respect to the supine position as the body position instruction data D2.
  • the angle indicated by the illustration 51 is 30° or more and 45° or less, and is 45° in the example of FIG. That is, in the example of FIG. 3, the user is instructed to adjust the patient's body position so that he or she is standing 45° from the supine position.
  • the control unit 21 causes the display to further display messages such as "Let's adjust the body position as shown below" and "Let's prepare for video shooting after adjusting the body position".
  • control unit 21 may support capturing of a body posture image such as an image of the entire patient, and may record the captured body posture image. Specifically, the control unit 21 may cause the storage unit 22 to store an image of the body posture obtained by an imaging device of an imaging device as the input unit 24 .
  • This variant makes it easier to ensure that the patient is in the correct position. As a result, the accuracy of central venous pressure estimation increases.
  • control unit 21 may cause the display to display the previously recorded image of the body position together with the captured image of the body position. This modification makes it easier to check whether the patient is in the correct posture.
  • the sitting position or the semi-sitting position may be selected by mode selection.
  • the information as to which mode has been selected can be used as additional information for diagnosis.
  • the control unit 21 may further perform control to output clothing instruction data D3a that instructs clothing.
  • the display may be controlled by the control section 21 to display the clothing instruction data D3a on the screen 50.
  • the speaker may be controlled by the control section 21 to output the clothing instruction data D3a by voice.
  • the control unit 21 may cause the display to display an clothing instruction message such as "Please wear clothing that allows you to see from below the ears to the clavicle", or may cause the speaker to output the message by voice. .
  • control unit 21 may further perform control to output hairstyle instruction data D3b that instructs a hairstyle.
  • the display may be controlled by the control unit 21 to display the hairstyle instruction data D3b on the screen 50.
  • the speaker may be controlled by the control unit 21 to output the hairstyle instruction data D3b by voice.
  • the control unit 21 may cause the display to display a hairstyle instruction message such as "if you have long hair, please tie your hair back", or output it to the speaker by voice.
  • step S2 the control unit 21 activates the imaging device as the input unit 24. Specifically, the control unit 21 activates the camera.
  • step S3 the control unit 21 performs control to display the image obtained by the imaging element as the preview image 52, and also performs control to output range designation data D1 that designates the imaging range including the neck.
  • the display as the output unit 25 is controlled by the control unit 21 to display the preview image 52 and the range designation data D1 on the screen 50 .
  • the speaker as the output unit 25 is controlled by the control unit 21 to output the range designation data D1 by voice while the preview image 52 is being displayed on the screen 50 .
  • the control unit 21 outputs a preview image 52 and range designation data D1 such as "Adjust the position of the camera so that the region from below the ear to the clavicle is sufficiently captured.”
  • range instruction message 53 is displayed on the display. That is, in the example of FIG. 4, the user is instructed to adjust the position of the camera and photograph the range from below the ear to the clavicle.
  • Range indication message 53 may include other messages, such as a message directing the patient's face to be turned sideways.
  • the control unit 21 determines whether or not the image captured by the imaging element includes the imaging range designated by the range designation data D1. As shown in FIG. 4, when the control unit 21 determines that the image captured by the image sensor includes the imaging range indicated by the range designation data D1, the control unit 21 displays a figure 54 representing the imaging range. Control is performed to superimpose and display the preview image 52 . The display is controlled by the control unit 21 to display the graphics 54 superimposed on the preview image 52 . Graphic 54 may have any shape, color, and pattern, but in the example of FIG. 4 is a rectangular red frame. If the control unit 21 determines that the imaging range indicated by the range designation data D1 is not included in the image obtained by the imaging device, it performs control to hide the graphic 54 . The display is controlled by the controller 21 to hide the graphics 54 .
  • step S4 the control unit 21 performs control to output condition instruction data D4 that instructs imaging conditions including ambient brightness.
  • the display as the output unit 25 is controlled by the control unit 21 to display the condition instruction data D4 on the screen 50.
  • FIG. Alternatively, the speaker as the output unit 25 is controlled by the control unit 21 to output the condition instruction data D4 by voice.
  • the control unit 21 causes the display to display a condition instruction message 55 such as "Please make the room brighter" as the condition instruction data D4. That is, in the example of FIG. 5, the user is instructed to adjust the darkness or brightness of the room to make it sufficiently bright.
  • the condition instruction message 55 may include other messages such as a message instructing the user to eliminate camera shake or a message instructing not to include a foreign object in the image.
  • step S5 the control unit 21 sets imaging conditions including the sensitivity of the imaging device. Specifically, the control unit 21 performs sensitivity adjustment in the background. In this embodiment, since a video is captured as the neck image 56 for checking the state of the jugular vein, the control unit 21 may set the capturing time as part of the imaging conditions. The control unit 21 may set other conditions as part of the imaging conditions.
  • the control unit 21 supports the imaging of the cervical image 56 by executing the processing from step S3 to step S5.
  • step S6 the control unit 21 records the photographed neck image 56. Specifically, the control unit 21 causes the storage unit 22 to store the photographed neck image 56 .
  • control unit 21 causes the storage unit 22 to store, as the cervical image 56, a video containing, as a frame group, a group of images obtained by the imaging device for a certain period of time after step S5.
  • Video shooting may be started automatically, or may be started in response to a user operation such as tapping a shooting button via the touch screen as the input unit 24 .
  • Video capture may be ended automatically or may be ended in response to a user operation such as tapping a stop button via a touch screen.
  • the control unit 21 analyzes an image obtained by the imaging device, and determines whether or not the image includes the imaging range indicated by the range indication data D1. good too.
  • a known method can be used as the image analysis method. Machine learning such as deep learning may be used.
  • the control unit 21 may record the image as the neck image 56 when determining that the image obtained by the imaging device includes the imaging range indicated by the range designation data D1.
  • the control unit 21 stores, as the cervical image 56, a video containing, as a frame group, a group of images including the imaging range designated by the range designation data D1 obtained by the imaging device, in the storage unit 22. may be stored.
  • control unit 21 may further record date and time data D5 indicating the date and time when the cervical image 56 was taken. Specifically, the control unit 21 may cause the storage unit 22 to store the date and time data D5 together with the photographed neck image 56 . According to this modification, it is possible to analyze the diurnal variation of the central venous pressure. Alternatively, it is possible to know whether the neck image 56 was taken in the warm season or the cold season.
  • control unit 21 may further record angle data D6 indicating the angle at which the neck image 56 was taken. Specifically, the control unit 21 may cause the storage unit 22 to store the angle data D6 together with the captured neck image 56 . According to this modification, the body posture can be estimated from the camera angle and the neck angle.
  • step S7 the control unit 21 performs control to display the photographed neck image 56 and control to output question data D7 asking whether to transmit the photographed neck image 56 to the server 30. conduct.
  • the display as the output unit 25 is controlled by the control unit 21 to display the neck image 56 and the question data D7 on the screen 50.
  • FIG. Alternatively, the speaker as the output unit 25 is controlled by the control unit 21 to output the question data D7 by voice while the neck image 56 is being displayed on the screen 50 .
  • control unit 21 sends a confirmation message 57 such as "Video shooting is completed" and "Do you want to send?" show on the display. That is, in the example of FIG. 6, the user is asked whether or not to send the captured video to the server 30 .
  • step S3 onwards When an answer is input via the input unit 24 that the photographed neck image 56 will not be sent to the server 30, the processing from step S3 onwards is executed again. That is, the control unit 21 supports recapturing of the neck image 56 .
  • step S8 When an answer to transmit the photographed neck image 56 to the server 30 is input via the input unit 24, the process of step S8 is executed.
  • control unit 21 causes the display to display a recapture button 58 labeled "Recapture” and a send button 59 labeled "Send".
  • a recapture button 58 labeled "Recapture”
  • a send button 59 labeled "Send”.
  • the question data D7 may be data asking whether the photographed neck image 56 includes the imaging range indicated by the range indication data D1.
  • the confirmation message 57 may be a message such as "Is the area from below the ear to the collarbone visible in the video?" That is, the user may be asked whether the area below the ear to the collarbone is visible in the captured video.
  • the retake button 58 and send button 59 may be labeled "no" and "yes” respectively.
  • the processes after step S3 are executed again.
  • the send button 59 is tapped via the touch screen, the process of step S8 is executed.
  • step S3 when an answer is input via the input unit 24 that the photographed cervical image 56 does not include the imaging range indicated by the range designation data D1, the processing after step S3 is performed again. executed.
  • step S8 When an answer is input via the input unit 24 that the photographed cervical image 56 includes the imaging range indicated by the range designation data D1, the process of step S8 is executed.
  • control unit 21 may cause the display to display the previously recorded neck image 56 together with the captured neck image 56 . According to this modified example, it becomes easier to check whether the neck image 56 has been captured correctly.
  • the control unit 21 analyzes the photographed neck image 56 to determine whether the photographed neck image 56 includes the imaging range indicated by the range designation data D1.
  • a known method can be used as the image analysis method. Machine learning such as deep learning may be used.
  • FIG. If the control unit 21 determines that the photographed cervical image 56 does not include the imaging range indicated by the range designation data D1, the processing from step S3 is executed again. If the control unit 21 determines that the photographed neck image 56 includes the imaging range designated by the range designation data D1, the process of step S8 is executed.
  • step S8 the control unit 21 causes the communication unit 23 to transmit the photographed neck image 56.
  • the communication unit 23 is controlled by the control unit 21 to transmit the neck image 56 to the server 30 .
  • the server 30 analyzes the photographed neck image 56 to determine whether the photographed neck image 56 includes the imaging range designated by the range designation data D1.
  • a known method can be used as the image analysis method. Machine learning such as deep learning may be used. If the server 30 determines that the photographed cervical image 56 does not include the imaging range indicated by the range designation data D1, it is pointed out that the cervical image 56 does not include the imaging range.
  • Pointing data D ⁇ b>8 may be transmitted from the server 30 .
  • indication data D8 is transmitted from server 30 and received by communication unit 23, the processes after step S3 may be executed again. That is, the control unit 21 may assist recapturing of the cervical image 56 .
  • the indication data D8 may include comments from the medical institution that confirmed the neck image 56, such as "the image is dark" or "the jugular vein is not shown.”
  • the symptom recording device 20 indicates the body position of the subject during jugular vein measurement.
  • the symptom recording device 20 may indicate the subject's clothing or hairstyle during jugular vein measurement.
  • the symptom recorder 20 acquires and displays video of the subject's neck area.
  • the symptom recording device 20 instructs an imaging range including the vicinity of the subject's neck in conjunction with the video display.
  • the symptom recording device 20 instructs or sets imaging conditions, which are conditions for imaging the vicinity of the neck of the subject.
  • a symptom recorder 20 records the captured video. Therefore, according to the present embodiment, even a user without specialized knowledge can stably shoot a video for confirming jugular vein distention at home, that is, without failure.
  • a mode may be provided in which the patient himself/herself captures the neck image 56 .
  • the camera is an in-camera.
  • make the instructions sound Posture imaging is unnecessary. Shooting starts automatically when the imaging range is captured, instead of pressing a button.
  • the symptom recording device 20 is a smart phone. First, a message is displayed, such as "Take an image", "Hold the smartphone with your right hand so that the screen is facing you", and "Press the button to start shooting". Then, a message such as "Move your smartphone a little further", “Move your smartphone a little closer”, "A little more to the right” or "A little more to the left” is displayed.
  • step S1 may be omitted.
  • step S4 the process of step S5, or both of these may be omitted.
  • the cervical image 56 a still image may be taken instead of a video.
  • the neck image 56 includes the imaging range indicated by the range indication data D1
  • whether or not the neck image 56 satisfies the imaging conditions indicated by the condition indication data D4. may be further determined.
  • the cervical image 56 satisfies the imaging conditions designated by the condition designation data D4. It may be determined whether there is
  • the control unit 21 when assisting recapture of the neck image 56, notifies the user of the reason why recapture is necessary, such as the imaging range, illuminance, body position, foreign matter such as a user's finger, or camera shake. You may

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

症状記録装置は、頸静脈の状態を確認するための頸部画像の撮影前に、当該撮影に用いられる撮像素子で得られた画像をプレビュー画像として表示する制御を行うとともに、頸部を含む撮像範囲を指示する範囲指示データを出力する制御を行うことで、当該撮影を支援し、撮影された前記頸部画像を記録する制御部を備える。

Description

症状記録装置、症状記録方法、及びプログラム
　本開示は、症状記録装置、症状記録方法、及びプログラムに関する。
　中心静脈圧の上昇は、頸静脈怒張として現れる。中心静脈圧を推定することで、心機能などの循環器状態を推定する方法が臨床で用いられている。
　特許文献１には、中心静脈圧を判断するために、首の右側の映像を取り込む技術が開示されている。
特表２０１８－５１４２３８号公報
　頸静脈怒張の確認は、心不全増悪による血管内うっ血を外見から判断できる方法とされているが、経験及び知識が必要である。うっ血とは、ボリューム増加のことである。遠隔診療又はテレモニタリングで目視又は画像解析によって頸静脈怒張を確認しようとした場合は、ポジショニングなど、頸静脈怒張を確認するための画像を正しく撮影できる条件を整える必要性がある。しかしながら、経験又は知識のないユーザにとっては、そのような条件を整えることは難しい。
　従来技術では、医療専門家がユーザとして想定されているため、経験又は知識のないユーザにとって、頸静脈怒張を確認可能な画像を撮影することは難しい。
　本開示の目的は、経験又は知識のないユーザにとって、頸静脈の状態を確認可能な画像を撮影しやすくすることである。
　本開示の一態様としての症状記録装置は、頸静脈の状態を確認するための頸部画像の撮影前に、当該撮影に用いられる撮像素子で得られた画像をプレビュー画像として表示する制御を行うとともに、頸部を含む撮像範囲を指示する範囲指示データを出力する制御を行うことで、当該撮影を支援し、撮影された前記頸部画像を記録する制御部を備える。
　一実施形態として、前記範囲指示データは、前記撮像範囲として、耳の下から鎖骨までの範囲を指示するデータである。
　一実施形態として、前記制御部は、前記頸部画像の撮影前に、体位を指示する体位指示データを出力する制御を行う。
　一実施形態として、前記制御部は、前記頸部画像の撮影前に、服装を指示する服装指示データ、又は髪型を指示する髪型指示データを出力する制御を行う。
　一実施形態として、前記制御部は、前記頸部画像の撮影前に、周囲の明るさを含む撮像条件を指示する条件指示データを出力する制御を行う。
　一実施形態として、前記制御部は、前記頸部画像の撮影前に、前記撮像素子の感度を含む撮像条件を設定する。
　一実施形態として、前記制御部は、前記頸部画像が撮影された日時を示す日時データを更に記録する。
　一実施形態として、前記制御部は、前記頸部画像が撮影された角度を示す角度データを更に記録する。
　一実施形態として、前記制御部は、前記撮像素子で得られている画像に前記撮像範囲が含まれているかどうかを判定し、前記撮像範囲が含まれていると判定した場合に、前記撮像範囲を表す図形を前記プレビュー画像に重ねて表示する制御を行う。
　一実施形態として、前記制御部は、前記撮像素子で得られている画像に前記撮像範囲が含まれているかどうかを判定し、前記撮像範囲が含まれていると判定した場合に、前記撮像素子で得られている画像を前記頸部画像として記録する。
　一実施形態として、前記制御部は、撮影された前記頸部画像を表示する制御を行うとともに、撮影された前記頸部画像に前記撮像範囲が含まれているかどうかを質問する質問データを出力する制御を行い、前記撮像範囲が含まれていないという回答が入力された場合に、前記頸部画像の再撮影を支援する。
　一実施形態として、前記制御部は、撮影された前記頸部画像とともに、前回記録した頸部画像を表示する制御を行う。
　一実施形態として、前記制御部は、撮影された前記頸部画像を解析して、撮影された前記頸部画像に前記撮像範囲が含まれているかどうかを判定し、前記撮像範囲が含まれていないと判定した場合に、前記頸部画像の再撮影を支援する。
　一実施形態として、前記制御部により制御されて、前記頸部画像をサーバに送信する通信部を更に備える。
　一実施形態として、前記制御部は、送信した前記頸部画像に前記撮像範囲が含まれていないことを指摘する指摘データが前記サーバから送信されて前記通信部により受信された場合に、前記頸部画像の再撮影を支援する。
　本開示の一態様としての症状記録方法は、制御部が、頸静脈の状態を確認するための頸部画像の撮影前に、当該撮影に用いられる撮像素子で得られた画像をプレビュー画像として表示する制御を行うとともに、頸部を含む撮像範囲を指示する範囲指示データを出力する制御を行うことで、当該撮影を支援し、前記制御部が、撮影された前記頸部画像を記録する、というものである。
　本開示の一態様としてのプログラムは、頸静脈の状態を確認するための頸部画像の撮影前に、当該撮影に用いられる撮像素子で得られた画像をプレビュー画像として表示する制御を行うとともに、頸部を含む撮像範囲を指示する範囲指示データを出力する制御を行うことで、当該撮影を支援する処理と、撮影された前記頸部画像を記録する処理とをコンピュータに実行させる。
　本開示によれば、経験又は知識のないユーザにとって、頸静脈の状態を確認可能な画像を撮影しやすくなる。
本開示の実施形態に係るシステムの構成を示す図である。 本開示の実施形態に係る症状記録装置の構成を示すブロック図である。 本開示の実施形態に係る症状記録装置の画面例を示す図である。 本開示の実施形態に係る症状記録装置の画面例を示す図である。 本開示の実施形態に係る症状記録装置の画面例を示す図である。 本開示の実施形態に係る症状記録装置の画面例を示す図である。 本開示の実施形態に係る症状記録装置の動作を示すフローチャートである。
　以下、本開示の実施形態について、図を参照して説明する。
　各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
　図１を参照して、本実施形態に係るシステム１０の構成を説明する。
　本実施形態に係るシステム１０は、複数台の症状記録装置２０と、少なくとも１台のサーバ３０とを備える。
　複数台の症状記録装置２０のそれぞれは、患者、患者の家族、介護者、又は医療従事者などのユーザによって使用される。患者は、例えば、心不全の患者である。
　症状記録装置２０の台数は、複数台に限らず、１台のみでもよい。以下では、説明の便宜上、１台の症状記録装置２０について説明する。
　症状記録装置２０は、ユーザによって保持される。あるいは、症状記録装置２０は、患者の自宅に設置される。症状記録装置２０は、例えば、携帯電話機、スマートフォン、タブレット、若しくはＰＣなどの汎用端末、又はガジェットなどの専用端末である。「ＰＣ」は、personal computerの略語である。
　症状記録装置２０は、ネットワーク４０を介してサーバ３０と通信可能である。
　サーバ３０は、データセンタなどの施設に設置される。サーバ３０は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属するサーバコンピュータである。
　ネットワーク４０は、インターネット、少なくとも１つのＷＡＮ、少なくとも１つのＭＡＮ、又はこれらの任意の組合せを含む。「ＷＡＮ」は、wide area networkの略語である。「ＭＡＮ」は、metropolitan area networkの略語である。ネットワーク４０は、少なくとも１つの無線ネットワーク、少なくとも１つの光ネットワーク、又はこれらの任意の組合せを含んでもよい。無線ネットワークは、例えば、アドホックネットワーク、セルラーネットワーク、無線ＬＡＮ、衛星通信ネットワーク、又は地上マイクロ波ネットワークである。「ＬＡＮ」は、local area networkの略語である。
　図２、図４、及び図６を参照して、本実施形態の概要を説明する。
　本実施形態に係る症状記録装置２０において、制御部２１は、頸静脈の状態を確認するための頸部画像５６の撮影前に、当該撮影に用いられる撮像素子で得られた画像をプレビュー画像５２として表示する制御を行うとともに、頸部を含む撮像範囲を指示する範囲指示データＤ１を出力する制御を行うことで、当該撮影を支援する。制御部２１は、撮影された頸部画像５６を記録する。
　本実施形態では、ユーザは、プレビュー画像５２を見ているときに、頸静脈の状態を確認可能な画像を得るための撮像範囲について指示を受けることができる。よって、本実施形態によれば、経験又は知識のないユーザにとって、頸静脈の状態を確認可能な画像を撮影しやすくなる。
　撮像範囲には、少なくとも頸部の、頸静脈の状態を確認可能な部位が含まれ、本実施形態では、耳の下から鎖骨までの範囲が含まれる。すなわち、範囲指示データＤ１は、撮像範囲として、耳の下から鎖骨までの範囲を指示するデータである。本実施形態によれば、鎖骨まで撮像範囲に含めることによって、高さ推定による中心静脈圧の推定精度を高めることができる。本実施形態の一変形例として、胸骨角まで撮像範囲に含めてもよい。また、中心静脈圧が高いほど、拍動の位置が高くなり、患者によっては、耳のすぐ下で拍動が現れることがある。本実施形態によれば、耳の下まで撮像範囲に含めることによって、中心静脈圧が高い患者に対しての撮影ミスを減らすことができる。すなわち、中心静脈圧が高い患者の拍動の位置が撮像範囲に含まれないという事態を避けやすくなる。本実施形態の一変形例として、耳たぶまで撮像範囲に含めてもよい。
　図２を参照して、本実施形態に係る症状記録装置２０の構成を説明する。
　症状記録装置２０は、制御部２１と、記憶部２２と、通信部２３と、入力部２４と、出力部２５とを備える。
　制御部２１は、少なくとも１つのプロセッサ、少なくとも１つのプログラマブル回路、少なくとも１つの専用回路、又はこれらの任意の組合せを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。プログラマブル回路は、例えば、ＦＰＧＡである。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。専用回路は、例えば、ＡＳＩＣである。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部２１は、症状記録装置２０の各部を制御しながら、症状記録装置２０の動作に関わる処理を実行する。
　記憶部２２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらの任意の組合せを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭは、例えば、ＥＥＰＲＯＭである。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。記憶部２２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部２２には、症状記録装置２０の動作に用いられるデータと、症状記録装置２０の動作によって得られたデータとが記憶される。
　通信部２３は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＴＥ、４Ｇ規格、若しくは５Ｇ規格などの移動通信規格に対応したインタフェース、Bluetooth（登録商標）などの近距離無線通信規格に対応したインタフェース、又はＬＡＮインタフェースである。「ＬＴＥ」は、Long Term Evolutionの略語である。「４Ｇ」は、4th generationの略語である。「５Ｇ」は、5th generationの略語である。通信部２３は、症状記録装置２０の動作に用いられるデータを受信し、また症状記録装置２０の動作によって得られるデータを送信する。
　入力部２４は、少なくとも２つの入力用インタフェースを含む。１つの入力用インタフェースは、カメラなど、撮像素子を備える撮像機器である。他の入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又はマイクロフォンである。入力部２４は、症状記録装置２０の動作に用いられるデータを入力する操作を受け付ける。入力部２４は、症状記録装置２０に備えられる代わりに、外部の入力機器として症状記録装置２０に接続されてもよい。接続用インタフェースとしては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの規格に対応したインタフェースを用いることができる。「ＵＳＢ」は、Universal Serial Busの略語である。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。
　出力部２５は、少なくとも２つの出力用インタフェースを含む。１つの出力用インタフェースは、ＬＣＤ又は有機ＥＬディスプレイなどのディスプレイである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescenceの略語である。他の出力用インタフェースは、例えば、スピーカである。出力部２５は、症状記録装置２０の動作によって得られるデータを出力する。出力部２５は、症状記録装置２０に備えられる代わりに、外部の出力機器として症状記録装置２０に接続されてもよい。接続用インタフェースとしては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの規格に対応したインタフェースを用いることができる。
　症状記録装置２０の機能は、本実施形態に係るプログラムを、制御部２１としてのプロセッサで実行することにより実現される。すなわち、症状記録装置２０の機能は、ソフトウェアにより実現される。プログラムは、症状記録装置２０の動作をコンピュータに実行させることで、コンピュータを症状記録装置２０として機能させる。すなわち、コンピュータは、プログラムに従って症状記録装置２０の動作を実行することにより症状記録装置２０として機能する。
　プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、フラッシュメモリ、磁気記録装置、光ディスク、光磁気記録媒体、又はＲＯＭである。プログラムの流通は、例えば、プログラムを記憶したＳＤカード、ＤＶＤ、又はＣＤ－ＲＯＭなどの可搬型媒体を販売、譲渡、又は貸与することによって行う。「ＳＤ」は、Secure Digitalの略語である。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。
　コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムは、電子計算機による処理の用に供する情報であってプログラムに準ずるものを含む。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
　症状記録装置２０の一部又は全ての機能が、制御部２１としてのプログラマブル回路又は専用回路により実現されてもよい。すなわち、症状記録装置２０の一部又は全ての機能が、ハードウェアにより実現されてもよい。
　図３から図６に示される症状記録装置２０の画面５０の例を用いながら、図７を参照して、本実施形態に係る症状記録装置２０の動作を説明する。この動作は、本実施形態に係る症状記録方法に相当する。
　ステップＳ１において、制御部２１は、体位を指示する体位指示データＤ２を出力する制御を行う。出力部２５としてのディスプレイは、制御部２１により制御されて、体位指示データＤ２を画面５０に表示する。あるいは、出力部２５としてのスピーカは、制御部２１により制御されて、体位指示データＤ２を音声で出力する。
　本実施形態では、図３に示すように、制御部２１は、体位指示データＤ２として、仰臥位に対する角度をユーザに指示するイラスト５１をディスプレイに表示させる。イラスト５１で指示される角度は、３０°以上４５°以下であり、図３の例では４５°である。すなわち、図３の例では、ユーザは、患者の体位を調整して仰臥位から４５°起き上がった状態にするように指示される。図３の例では、制御部２１は、「下図のように体位を調整しましょう」及び「体位を調整できたらビデオ撮影の準備をしましょう」などのメッセージをディスプレイに更に表示させる。
　本実施形態の一変形例として、制御部２１は、患者全体の画像など、体位の画像の撮影を支援し、撮影された体位の画像を記録してもよい。具体的には、制御部２１は、入力部２４としての撮像機器の撮像素子で得られた体位の画像を記憶部２２に記憶させてもよい。この変形例によれば、患者が正しい体位をとれていることを保証しやすくなる。その結果、中心静脈圧の推定精度が上がる。
　更なる変形例として、制御部２１は、撮影された体位の画像とともに、前回記録した体位の画像をディスプレイに表示させてもよい。この変形例によれば、患者が正しい体位をとれているかどうかを確認しやすくなる。
　本実施形態の一変形例として、モード選択により、座位か半座位かを選択できるようにしてもよい。この変形例によれば、どちらのモードが選択されたかという情報を診断のための付加情報として利用することができる。
　本実施形態の一変形例として、制御部２１は、服装を指示する服装指示データＤ３ａを出力する制御を更に行ってもよい。ディスプレイは、制御部２１により制御されて、服装指示データＤ３ａを画面５０に表示してもよい。あるいは、スピーカは、制御部２１により制御されて、服装指示データＤ３ａを音声で出力してもよい。例えば、制御部２１は、服装指示データＤ３ａとして、「耳の下から鎖骨までが見える衣服を着てください」などの服装指示メッセージをディスプレイに表示させるか、又はスピーカに音声で出力させてもよい。
　本実施形態の一変形例として、制御部２１は、髪型を指示する髪型指示データＤ３ｂを出力する制御を更に行ってもよい。ディスプレイは、制御部２１により制御されて、髪型指示データＤ３ｂを画面５０に表示してもよい。あるいは、スピーカは、制御部２１により制御されて、髪型指示データＤ３ｂを音声で出力してもよい。例えば、制御部２１は、髪型指示データＤ３ｂとして、「髪が長い方は髪をまとめてください」などの髪型指示メッセージをディスプレイに表示させるか、又はスピーカに音声で出力させてもよい。
　ステップＳ２において、制御部２１は、入力部２４としての撮像機器を起動する。具体的には、制御部２１は、カメラを起動する。
　ステップＳ３において、制御部２１は、撮像素子で得られた画像をプレビュー画像５２として表示する制御を行うとともに、頸部を含む撮像範囲を指示する範囲指示データＤ１を出力する制御を行う。出力部２５としてのディスプレイは、制御部２１により制御されて、プレビュー画像５２とともに、範囲指示データＤ１を画面５０に表示する。あるいは、出力部２５としてのスピーカは、プレビュー画像５２が画面５０に表示されているときに、制御部２１により制御されて、範囲指示データＤ１を音声で出力する。
　本実施形態では、図４に示すように、制御部２１は、プレビュー画像５２とともに、範囲指示データＤ１として、「耳の下から鎖骨までが十分写るようにカメラの位置を調整してください」などの範囲指示メッセージ５３をディスプレイに表示させる。すなわち、図４の例では、ユーザは、カメラの位置を調整して耳の下から鎖骨までの範囲を撮影するように指示される。範囲指示メッセージ５３は、患者の顔の向きを調整して横向きにするように指示するメッセージなど、他のメッセージを含んでもよい。
　本実施形態では、制御部２１は、撮像素子で得られている画像に、範囲指示データＤ１で指示した撮像範囲が含まれているかどうかを判定する。図４に示すように、制御部２１は、撮像素子で得られている画像に、範囲指示データＤ１で指示した撮像範囲が含まれていると判定した場合に、当該撮像範囲を表す図形５４をプレビュー画像５２に重ねて表示する制御を行う。ディスプレイは、制御部２１により制御されて、図形５４をプレビュー画像５２に重ねて表示する。図形５４は、任意の形状、色、及び模様を有していてよいが、図４の例では矩形の赤い枠である。制御部２１は、撮像素子で得られている画像に、範囲指示データＤ１で指示した撮像範囲が含まれていないと判定した場合には、図形５４を非表示にする制御を行う。ディスプレイは、制御部２１により制御されて、図形５４を非表示にする。
　ステップＳ４において、制御部２１は、周囲の明るさを含む撮像条件を指示する条件指示データＤ４を出力する制御を行う。出力部２５としてのディスプレイは、制御部２１により制御されて、条件指示データＤ４を画面５０に表示する。あるいは、出力部２５としてのスピーカは、制御部２１により制御されて、条件指示データＤ４を音声で出力する。
　本実施形態では、図５に示すように、制御部２１は、条件指示データＤ４として、「部屋を明るくしてください」などの条件指示メッセージ５５をディスプレイに表示させる。すなわち、図５の例では、ユーザは、部屋の暗さ又は明るさを調整して十分に明るくするように指示される。条件指示メッセージ５５は、ユーザの手振れをなくすように指示するメッセージ、又は異物を写り込まさないように指示するメッセージなど、他のメッセージを含んでもよい。
　ステップＳ５において、制御部２１は、撮像素子の感度を含む撮像条件を設定する。具体的には、制御部２１は、バックグラウンドで感度調整を行う。本実施形態では、頸静脈の状態を確認するための頸部画像５６として、ビデオが撮影されるため、制御部２１は、撮像条件の一部として、撮影時間を設定してもよい。制御部２１は、撮像条件の一部として、その他の条件を設定してもよい。
　制御部２１は、ステップＳ３からステップＳ５の処理を実行することで、頸部画像５６の撮影を支援する。
　ステップＳ６において、制御部２１は、撮影された頸部画像５６を記録する。具体的には、制御部２１は、撮影された頸部画像５６を記憶部２２に記憶させる。
　本実施形態では、制御部２１は、頸部画像５６として、ステップＳ５の後の一定時間に撮像素子で得られた画像群をフレーム群として含むビデオを記憶部２２に記憶させる。ビデオ撮影は、自動的に開始されてもよいし、又は入力部２４としてのタッチスクリーンを介して撮影ボタンがタップされるなどのユーザ操作に応じて開始されてもよい。ビデオ撮影は、自動的に終了されてもよいし、又はタッチスクリーンを介して停止ボタンがタップされるなどのユーザ操作に応じて終了されてもよい。
　本実施形態の一変形例として、制御部２１は、撮像素子で得られている画像を解析して、当該画像に、範囲指示データＤ１で指示した撮像範囲が含まれているかどうかを判定してもよい。画像解析の方法としては、既知の方法を用いることができる。深層学習などの機械学習が用いられてもよい。制御部２１は、撮像素子で得られている画像に、範囲指示データＤ１で指示した撮像範囲が含まれていると判定した場合に、当該画像を頸部画像５６として記録してもよい。具体的には、制御部２１は、頸部画像５６として、撮像素子で得られた、範囲指示データＤ１で指示した撮像範囲が含まれている画像群をフレーム群として含むビデオを記憶部２２に記憶させてもよい。
　本実施形態の一変形例として、制御部２１は、頸部画像５６が撮影された日時を示す日時データＤ５を更に記録してもよい。具体的には、制御部２１は、撮影された頸部画像５６とともに、日時データＤ５を記憶部２２に記憶させてもよい。この変形例によれば、中心静脈圧の日内変動を解析することができる。あるいは、頸部画像５６が暖かい季節に撮影されたのか、それとも寒い季節に撮影されたのかを知ることができる。
　本実施形態の一変形例として、制御部２１は、頸部画像５６が撮影された角度を示す角度データＤ６を更に記録してもよい。具体的には、制御部２１は、撮影された頸部画像５６とともに、角度データＤ６を記憶部２２に記憶させてもよい。この変形例によれば、カメラの角度と首の角度とから体位を推定することができる。
　ステップＳ７において、制御部２１は、撮影された頸部画像５６を表示する制御を行うとともに、撮影された頸部画像５６をサーバ３０に送信するかどうかを質問する質問データＤ７を出力する制御を行う。出力部２５としてのディスプレイは、制御部２１により制御されて、頸部画像５６とともに、質問データＤ７を画面５０に表示する。あるいは、出力部２５としてのスピーカは、頸部画像５６が画面５０に表示されているときに、制御部２１により制御されて、質問データＤ７を音声で出力する。
　本実施形態では、図６に示すように、制御部２１は、頸部画像５６とともに、質問データＤ７として、「ビデオ撮影が完了しました」及び「送信しますか？」などの確認メッセージ５７をディスプレイに表示させる。すなわち、図６の例では、ユーザは、撮影したビデオをサーバ３０に送信するかどうかを質問される。
　入力部２４を介して、撮影された頸部画像５６をサーバ３０に送信しないという回答が入力された場合には、ステップＳ３以降の処理が再び実行される。すなわち、制御部２１は、頸部画像５６の再撮影を支援する。入力部２４を介して、撮影された頸部画像５６をサーバ３０に送信するという回答が入力された場合には、ステップＳ８の処理が実行される。
　本実施形態では、図６に示すように、制御部２１は、「再撮影する」というラベル付きの再撮影ボタン５８と、「送信する」というラベル付きの送信ボタン５９とをディスプレイに表示させる。入力部２４としてのタッチスクリーンを介して再撮影ボタン５８がタップされた場合には、ステップＳ３以降の処理が再び実行される。タッチスクリーンを介して送信ボタン５９がタップされた場合には、ステップＳ８の処理が実行される。
　本実施形態の一変形例として、質問データＤ７は、撮影された頸部画像５６に、範囲指示データＤ１で指示された撮像範囲が含まれているかどうかを質問するデータであってもよい。例えば、確認メッセージ５７は、「耳の下から鎖骨までがビデオに写っていますか？」などのメッセージでもよい。すなわち、ユーザは、耳の下から鎖骨までの範囲が、撮影したビデオに写っているかどうかを質問されてもよい。再撮影ボタン５８及び送信ボタン５９のラベルは、それぞれ「いいえ」及び「はい」でもよい。この変形例でも、タッチスクリーンを介して再撮影ボタン５８がタップされた場合には、ステップＳ３以降の処理が再び実行される。タッチスクリーンを介して送信ボタン５９がタップされた場合には、ステップＳ８の処理が実行される。すなわち、入力部２４を介して、撮影された頸部画像５６に、範囲指示データＤ１で指示された撮像範囲が含まれていないという回答が入力された場合には、ステップＳ３以降の処理が再び実行される。入力部２４を介して、撮影された頸部画像５６に、範囲指示データＤ１で指示された撮像範囲が含まれているという回答が入力された場合には、ステップＳ８の処理が実行される。
　本実施形態の一変形例として、制御部２１は、撮影された頸部画像５６とともに、前回記録した頸部画像５６をディスプレイに表示させてもよい。この変形例によれば、頸部画像５６が正しく撮影されているかどうかを確認しやすくなる。
　本実施形態の一変形例として、制御部２１は、撮影された頸部画像５６を解析して、撮影された頸部画像５６に、範囲指示データＤ１で指示した撮像範囲が含まれているかどうかを判定してもよい。すなわち、耳の下から鎖骨までの範囲が、撮影されたビデオに写っているかどうかが、ユーザによって判定される代わりに、自動的に判定されてもよい。画像解析の方法としては、既知の方法を用いることができる。深層学習などの機械学習が用いられてもよい。この変形例では、確認メッセージ５７、再撮影ボタン５８、及び送信ボタン５９を表示する必要がなくなる。撮影された頸部画像５６に、範囲指示データＤ１で指示された撮像範囲が含まれていないと制御部２１により判定された場合には、ステップＳ３以降の処理が再び実行される。撮影された頸部画像５６に、範囲指示データＤ１で指示された撮像範囲が含まれていると制御部２１により判定された場合には、ステップＳ８の処理が実行される。
　ステップＳ８において、制御部２１は、撮影された頸部画像５６を通信部２３に送信させる。通信部２３は、制御部２１により制御されて、頸部画像５６をサーバ３０に送信する。
　本実施形態の一変形例として、サーバ３０は、撮影された頸部画像５６を解析して、撮影された頸部画像５６に、範囲指示データＤ１で指示された撮像範囲が含まれているかどうかを判定してもよい。すなわち、耳の下から鎖骨までの範囲が、撮影されたビデオに写っているかどうかが、サーバ３０によって判定されてもよい。画像解析の方法としては、既知の方法を用いることができる。深層学習などの機械学習が用いられてもよい。撮影された頸部画像５６に、範囲指示データＤ１で指示された撮像範囲が含まれていないとサーバ３０により判定された場合には、頸部画像５６に撮像範囲が含まれていないことを指摘する指摘データＤ８がサーバ３０から送信されてもよい。指摘データＤ８がサーバ３０から送信されて通信部２３により受信された場合には、ステップＳ３以降の処理が再び実行されてもよい。すなわち、制御部２１は、頸部画像５６の再撮影を支援してもよい。指摘データＤ８は、「画像が暗い」又は「頸静脈が写ってない」など、頸部画像５６を確認した医療機関からのコメントを含んでいてもよい。
　上述のように、本実施形態では、症状記録装置２０は、頸静脈測定時の被験者の体位を指示する。症状記録装置２０は、頸静脈測定時の被験者の服装又は髪型を指示してもよい。症状記録装置２０は、被験者の頸部付近のビデオを取得及び表示する。症状記録装置２０は、ビデオ表示と連動して、被験者の頸部付近を含む撮像範囲を指示する。症状記録装置２０は、被験者の頸部付近のビデオを撮影する条件である撮像条件を指示又は設定する。症状記録装置２０は、撮影されたビデオを記録する。したがって、本実施形態によれば、専門的な知識がないユーザでも、在宅で頸静脈怒張を確認するためのビデオを安定して、すなわち、失敗なく撮影できるようになる。
　本実施形態の一変形例として、患者が自分で頸部画像５６を撮影するモードを設けてもよい。この変形例では、カメラはインカメラにする。また、指示を音にする。体位の撮影は不要である。ボタン操作ではなく、撮像範囲が捉えられたら撮影が自動的に開始する。例えば、症状記録装置２０がスマートフォンであるとする。最初に、「画像撮影を行います」、「画面はあなたの方を向くように右手でスマートフォンを持ってください」、及び「撮影開始ボタンを押してください」などのメッセージが表示される。次に、「スマートフォンをもう少し遠ざけてください」、「スマートフォンをもう少し近づけてください」、「もう少し、右側」、又は「もう少し、左側」などのメッセージが表示される。次に、「顔を左に向けたら、撮影を開始します」、「撮影しています」、及び「撮影完了しました」などのメッセージが順番に表示される。体とスマートフォンは正対しているので、文字で説明が行われる。テキスト又は画像を使って、「枠内に耳の下から鎖骨まで入るようにスマートフォンの位置を遠ざけたり近づけたりして調整してください」、及び「調整が終わったら撮影開始ボタンを押してください」、「３秒後に撮影を開始します」、及び「顔を左に向けてください」などのメッセージが表示されてもよい。その後、音声で「撮影中です」、「撮影完了しました」、及び「スマートフォンで撮影された画像を確認してください」などのメッセージが出力されてもよい。
　本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の複数のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
　例えば、ステップＳ１の処理が省略されてもよい。あるいは、ステップＳ４の処理、ステップＳ５の処理、又はこれらの両方が省略されてもよい。
　例えば、頸部画像５６として、ビデオが撮影される代わりに、静止画が撮影されてもよい。頸部画像５６に、範囲指示データＤ１で指示された撮像範囲が含まれているかどうかが判定される場合に、頸部画像５６が、条件指示データＤ４で指示された撮像条件を満たしているかどうかが更に判定されてもよい。あるいは、頸部画像５６に、範囲指示データＤ１で指示された撮像範囲が含まれているかどうかが判定される代わりに、頸部画像５６が、条件指示データＤ４で指示された撮像条件を満たしているかどうかが判定されてもよい。
　例えば、制御部２１は、頸部画像５６の再撮影を支援する際に、撮像範囲、照度、体位、ユーザの指などの異物、又は手振れなど、再撮影が必要になった理由をユーザに通知してもよい。
　１０　システム
　２０　症状記録装置
　２１　制御部
　２２　記憶部
　２３　通信部
　２４　入力部
　２５　出力部
　３０　サーバ
　４０　ネットワーク
　５０　画面
　５１　イラスト
　５２　プレビュー画像
　５３　範囲指示メッセージ
　５４　図形
　５５　条件指示メッセージ
　５６　頸部画像
　５７　確認メッセージ
　５８　再撮影ボタン
　５９　送信ボタン

Claims (17)

  1. 　頸静脈の状態を確認するための頸部画像の撮影前に、当該撮影に用いられる撮像素子で得られた画像をプレビュー画像として表示する制御を行うとともに、頸部を含む撮像範囲を指示する範囲指示データを出力する制御を行うことで、当該撮影を支援し、撮影された前記頸部画像を記録する制御部を備える症状記録装置。
  2. 　前記範囲指示データは、前記撮像範囲として、耳の下から鎖骨までの範囲を指示するデータである請求項１に記載の症状記録装置。
  3. 　前記制御部は、前記頸部画像の撮影前に、体位を指示する体位指示データを出力する制御を行う請求項１又は請求項２に記載の症状記録装置。
  4. 　前記制御部は、前記頸部画像の撮影前に、服装を指示する服装指示データ、又は髪型を指示する髪型指示データを出力する制御を行う請求項１から請求項３のいずれか１項に記載の症状記録装置。
  5. 　前記制御部は、前記頸部画像の撮影前に、周囲の明るさを含む撮像条件を指示する条件指示データを出力する制御を行う請求項１から請求項４のいずれか１項に記載の症状記録装置。
  6. 　前記制御部は、前記頸部画像の撮影前に、前記撮像素子の感度を含む撮像条件を設定する請求項１から請求項５のいずれか１項に記載の症状記録装置。
  7. 　前記制御部は、前記頸部画像が撮影された日時を示す日時データを更に記録する請求項１から請求項６のいずれか１項に記載の症状記録装置。
  8. 　前記制御部は、前記頸部画像が撮影された角度を示す角度データを更に記録する請求項１から請求項７のいずれか１項に記載の症状記録装置。
  9. 　前記制御部は、前記撮像素子で得られている画像に前記撮像範囲が含まれているかどうかを判定し、前記撮像範囲が含まれていると判定した場合に、前記撮像範囲を表す図形を前記プレビュー画像に重ねて表示する制御を行う請求項１から請求項８のいずれか１項に記載の症状記録装置。
  10. 　前記制御部は、前記撮像素子で得られている画像に前記撮像範囲が含まれているかどうかを判定し、前記撮像範囲が含まれていると判定した場合に、前記撮像素子で得られている画像を前記頸部画像として記録する請求項１から請求項８のいずれか１項に記載の症状記録装置。
  11. 　前記制御部は、撮影された前記頸部画像を表示する制御を行うとともに、撮影された前記頸部画像に前記撮像範囲が含まれているかどうかを質問する質問データを出力する制御を行い、前記撮像範囲が含まれていないという回答が入力された場合に、前記頸部画像の再撮影を支援する請求項１から請求項８のいずれか１項に記載の症状記録装置。
  12. 　前記制御部は、撮影された前記頸部画像とともに、前回記録した頸部画像を表示する制御を行う請求項１から請求項１１のいずれか１項に記載の症状記録装置。
  13. 　前記制御部は、撮影された前記頸部画像を解析して、撮影された前記頸部画像に前記撮像範囲が含まれているかどうかを判定し、前記撮像範囲が含まれていないと判定した場合に、前記頸部画像の再撮影を支援する請求項１から請求項８のいずれか１項に記載の症状記録装置。
  14. 　前記制御部により制御されて、前記頸部画像をサーバに送信する通信部を更に備える請求項１から請求項８のいずれか１項に記載の症状記録装置。
  15. 　前記制御部は、送信した前記頸部画像に前記撮像範囲が含まれていないことを指摘する指摘データが前記サーバから送信されて前記通信部により受信された場合に、前記頸部画像の再撮影を支援する請求項１４に記載の症状記録装置。
  16. 　制御部が、頸静脈の状態を確認するための頸部画像の撮影前に、当該撮影に用いられる撮像素子で得られた画像をプレビュー画像として表示する制御を行うとともに、頸部を含む撮像範囲を指示する範囲指示データを出力する制御を行うことで、当該撮影を支援し、
    　前記制御部が、撮影された前記頸部画像を記録する症状記録方法。
  17. 　頸静脈の状態を確認するための頸部画像の撮影前に、当該撮影に用いられる撮像素子で得られた画像をプレビュー画像として表示する制御を行うとともに、頸部を含む撮像範囲を指示する範囲指示データを出力する制御を行うことで、当該撮影を支援する処理と、
    　撮影された前記頸部画像を記録する処理と
    をコンピュータに実行させるプログラム。
PCT/JP2022/001849 2021-01-29 2022-01-19 症状記録装置、症状記録方法、及びプログラム WO2022163468A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022578287A JPWO2022163468A1 (ja) 2021-01-29 2022-01-19
CN202280011978.0A CN116801815A (zh) 2021-01-29 2022-01-19 症状记录装置、症状记录方法以及程序
US18/360,965 US20230368385A1 (en) 2021-01-29 2023-07-28 Symptom recording device, symptom recording method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-013718 2021-01-29
JP2021013718 2021-01-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/360,965 Continuation US20230368385A1 (en) 2021-01-29 2023-07-28 Symptom recording device, symptom recording method, and program

Publications (1)

Publication Number Publication Date
WO2022163468A1 true WO2022163468A1 (ja) 2022-08-04

Family

ID=82653350

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001849 WO2022163468A1 (ja) 2021-01-29 2022-01-19 症状記録装置、症状記録方法、及びプログラム

Country Status (4)

Country Link
US (1) US20230368385A1 (ja)
JP (1) JPWO2022163468A1 (ja)
CN (1) CN116801815A (ja)
WO (1) WO2022163468A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016513517A (ja) * 2013-03-14 2016-05-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 被検者のバイタルサイン情報を取得するためのデバイス及び方法
JP2018514238A (ja) * 2015-05-19 2018-06-07 グーグル エルエルシー 視覚的な中心静脈圧測定
JP2020510487A (ja) * 2017-03-13 2020-04-09 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 対象の生理学的信号を測定及び処理するデバイス、システム並びに方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016513517A (ja) * 2013-03-14 2016-05-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 被検者のバイタルサイン情報を取得するためのデバイス及び方法
JP2018514238A (ja) * 2015-05-19 2018-06-07 グーグル エルエルシー 視覚的な中心静脈圧測定
JP2020510487A (ja) * 2017-03-13 2020-04-09 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 対象の生理学的信号を測定及び処理するデバイス、システム並びに方法

Also Published As

Publication number Publication date
US20230368385A1 (en) 2023-11-16
JPWO2022163468A1 (ja) 2022-08-04
CN116801815A (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
KR102296396B1 (ko) 비접촉 체온 측정 시 정확도를 향상시키기 위한 장치 및 방법
KR20170097860A (ko) 디스플레이를 이용하여 이미지를 촬영하는 전자 장치 및 이미지 촬영 방법
KR20160118001A (ko) 촬영 장치, 그 제어 방법 및 컴퓨터로 판독 가능한 기록매체.
KR20170019823A (ko) 이미지 처리 방법 및 이를 지원하는 전자장치
US20210022603A1 (en) Techniques for providing computer assisted eye examinations
JP5129683B2 (ja) 撮像装置及びその制御方法
CN108632543B (zh) 图像显示方法、装置、存储介质及电子设备
JP2013183834A (ja) 医療用画像表示システム
US10009545B2 (en) Image processing apparatus and method of operating the same
JP2012254221A (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP2017049695A (ja) 支援システム、支援方法、プログラム
WO2022163468A1 (ja) 症状記録装置、症状記録方法、及びプログラム
JP2018067851A (ja) 撮像制御プログラム、撮像制御方法および情報処理装置
US20190130358A1 (en) Screen sharing system, method, and program for remote medical care
JP2014226515A (ja) 診断支援システム
JP2013255594A (ja) 画像処理装置及び画像処理方法
JP2021197665A (ja) 通信システム及び通信方法
WO2021210362A1 (ja) 症状記録装置、症状記録方法、及びプログラム
US20240000307A1 (en) Photography support device, image-capturing device, and control method of image-capturing device
US20230214996A1 (en) Eyes measurement system, method and computer-readable medium thereof
WO2024070917A1 (ja) 端末装置および測定方法
CN113259654B (zh) 视频帧率的检测方法、装置、电子设备以及存储介质
US20220386981A1 (en) Information processing system and information processing method
JP6683974B2 (ja) コーチング支援装置及びプログラム
WO2021182129A1 (ja) 遠隔医療システム、遠隔医療方法、情報処理装置、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22745689

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022578287

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202280011978.0

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22745689

Country of ref document: EP

Kind code of ref document: A1