WO2023286256A1 - 検査レポート作成プログラム、検査レポート作成装置および内視鏡システム - Google Patents

検査レポート作成プログラム、検査レポート作成装置および内視鏡システム Download PDF

Info

Publication number
WO2023286256A1
WO2023286256A1 PCT/JP2021/026698 JP2021026698W WO2023286256A1 WO 2023286256 A1 WO2023286256 A1 WO 2023286256A1 JP 2021026698 W JP2021026698 W JP 2021026698W WO 2023286256 A1 WO2023286256 A1 WO 2023286256A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection report
name
report creation
display monitor
endoscope
Prior art date
Application number
PCT/JP2021/026698
Other languages
English (en)
French (fr)
Inventor
裕太 岡田
善朗 岡崎
新 篠崎
大輔 鯛中
真希 戸井田
卓実 梅村
辰彦 鈴木
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2021/026698 priority Critical patent/WO2023286256A1/ja
Publication of WO2023286256A1 publication Critical patent/WO2023286256A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof

Definitions

  • the present disclosure relates to an inspection report creation program, an inspection report creation device, and an endoscope system that generate an inspection report for a subject.
  • Patent Document 1 it was not taken into consideration that the operator creates an examination report during examination of the subject. For this reason, in Patent Document 1 described above, after an examination of a subject, an operator must prepare an examination report while looking at an endoscopic image, and it takes a long time from examination to preparation of an examination report for each case. had to spend
  • the present disclosure has been made in view of the above, and provides an inspection report creation program, an inspection report creation device, and an endoscope system that can reduce the time spent from inspection to creation of an inspection report per case. intended to
  • an inspection report creation program is inserted into a subject in an inspection report creation device capable of communicating with an endoscope inserted into the subject.
  • the inspection report creating program causes the inspection report creating apparatus to transfer the name of any one of the plurality of anatomical regions to the inspection report creating apparatus after acquiring the imaging data. and sequentially displaying live view images corresponding to the imaging data on the display monitor in chronological order, wherein the display monitor displays the name of any one of the plurality of anatomical regions is displayed, the voice uttered by the operator is converted into text, and the display monitor displays the finding information including at least one of the text and the captured image corresponding to the imaging data. record in association with the name of the scientific site.
  • the inspection report creation program is the anatomical part associated with the finding information each time the name of the anatomical part displayed on the display monitor is switched to the inspection report creation device. Make it happen that the name of the scientific site is switched.
  • the inspection report creation program in the above disclosure, stores a storage area for recording the finding information in the inspection report creation device each time the name of the anatomical part displayed on the display monitor is switched. Switching to the storage area associated with the name of the anatomical part is executed.
  • the inspection report creation program causes the inspection report creation device to output the inspection report to at least one of the display monitor and an external device.
  • the inspection report creation program causes the inspection report creation device to display the live view image and the finding information side by side on the display monitor during inspection of the subject. let it run.
  • the inspection report creation program is an imaging instruction signal that instructs the inspection report creation device to capture an image each time the voice uttered by the operator is converted into the text or to capture an image from the endoscope is recorded each time the finding information is received.
  • the inspection report creation program causes the inspection report creation device to display the finding information on the display monitor, and during the inspection of the subject, the display monitor displays a plurality of When an operation signal corresponding to a drag operation for any one of the findings information is received, the display positions of the plurality of findings information displayed on the display monitor are exchanged according to the operation signal.
  • test report generation program is configured to provide the test report generation device with the name of each of the plurality of anatomical regions displayed on the display monitor and the Setting the display order to be displayed on the display monitor during examination of the subject is executed.
  • the inspection report creation program causes the inspection report creation device to acquire the text or the captured image when the content of the text is an instruction to start creating the inspection report. to start, to do something.
  • the inspection report creation program in the above disclosure, when the content of the text is an instruction to temporarily stop the creation of the inspection report, temporarily suspends the acquisition of the finding information, and the text When the content is an instruction to restart the creation of the inspection report, the acquisition of the finding information is started.
  • the inspection report creation program is, in the above disclosure, based on an operation signal received from the endoscope to the inspection report creation device, a predetermined operation member of the endoscope is being pressed. If it is determined that the operation member is being pressed down, at least one of the text and the captured image is acquired, and if it is determined that the operation member is not being pressed down, the text and the Stop acquisition of at least one of the captured images.
  • the inspection report creation program in the above disclosure, records the time when the text or the captured image is acquired in the inspection report creation device in association with the finding information, and records the time on the display monitor to display, to do something.
  • the inspection report creation program records one of the text and the captured image as the finding information in the inspection report creation device in association with the name of the anatomical site, and then determining whether or not the other of the text and the captured image has been acquired within a predetermined time; and if it is determined that the other of the text and the captured image has been acquired within the predetermined time, the text and the captured image and the other of the text and the captured image are recorded as a set of finding information in association with the name of the anatomical site, while the other of the text and the captured image is recorded within the predetermined time is not acquired, one of the text and the captured image and the other of the text and the captured image are recorded as separate findings information in association with the name of the anatomical site, make things happen.
  • the inspection report creation program causes the inspection report creation device to display the name of the anatomical part on the display monitor when the content of the text acquired during the inspection of the subject is displayed on the display monitor. is changed, the name of the anatomical site displayed on the display monitor is changed to the name of the anatomical site to be displayed next.
  • the test report generation program is configured to cause the test report generation device to display the anatomical information on the display monitor from an operation member provided in the endoscope during the examination of the subject.
  • a change operation signal for changing the display of the name of the part is acquired, the name of the anatomical part to be displayed on the display monitor is changed to the name of the anatomical part to be displayed next.
  • the test report generation program is configured to instruct the test report generation device to determine the anatomical region of the subject currently observed by the endoscope based on the imaging data. Recognizing the name, and changing the name of the anatomical site being displayed by the display monitor to the name of the anatomical site according to the recognized recognition result, and causing the display monitor to display the name.
  • the inspection report creation program acquires a detection signal of the angle formed by the longitudinal direction of the display monitor and the direction of gravity in the inspection report creation device in the above disclosure, and based on the detection signal, Controlling the display position of the live view image displayed on the display monitor is executed.
  • test report creation device includes an acquisition unit that sequentially acquires imaging data captured in time series by an endoscope inserted into a subject, and input by an operator of the endoscope
  • a recording control unit that records findings information including at least one of text and an imaged image corresponding to the imaging data in association with the name of any one of a plurality of anatomical regions of the subject imaged by the endoscope.
  • a creation unit that creates an examination report of the subject in which the finding information is associated with each name of the anatomical part.
  • the endoscope system includes an endoscope that is inserted into a subject and captures images of the interior of the subject in time series to generate imaging data, and is capable of communicating with the endoscope. and a holder attached to one of the operation parts of the endoscope and capable of holding the inspection report creating device, wherein the inspection report creating device is an endoscope inserted into a subject.
  • an acquisition unit that sequentially acquires imaging data captured in time series by the endoscope; a recording control unit that records in association with the name of any one of a plurality of anatomical regions of the subject imaged by the scope; and a creation unit for creating an inspection report.
  • FIG. 1 is a schematic diagram showing a schematic configuration of the front side of an endoscope system according to Embodiment 1.
  • FIG. 2 is a schematic diagram showing a schematic configuration of the rear side of the endoscope system according to Embodiment 1.
  • FIG. 3 is a block diagram showing the functional configuration of the endoscope according to Embodiment 1.
  • FIG. 4 is a block diagram showing the functional configuration of the inspection report creating apparatus according to Embodiment 1.
  • FIG. 5 is a diagram illustrating an example of an inspection screen displayed on a display monitor by a display control unit according to Embodiment 1.
  • FIG. 6 is a diagram illustrating another example of an inspection screen displayed on a display monitor by the display control unit according to Embodiment 1.
  • FIG. 7 is a flowchart showing an outline of processing executed by the inspection report creating device according to Embodiment 1; 8 is a diagram showing an example of a screen displayed on the display monitor according to Embodiment 1.
  • FIG. 9 is a diagram showing an example of the top screen of an application for examining a subject by the endoscope system displayed on the display monitor according to the first embodiment.
  • FIG. 10 is a flowchart showing an overview of setting processing according to the first embodiment.
  • 11 is a diagram illustrating an example of an image displayed on a display monitor by a display control unit according to Embodiment 1.
  • FIG. FIG. 12 is a diagram for explaining the details of operations performed by the operator.
  • FIG. 13 is a diagram for explaining the details of operations performed by the operator.
  • FIG. 14 is a diagram for explaining the details of the operator's operation.
  • FIG. 15 is a flowchart showing an overview of inspection report creation processing.
  • 16 is a diagram illustrating an example of an image displayed on a display monitor by a display control unit according to Embodiment 1.
  • FIG. 16 is a diagram illustrating an example of an image displayed on a display monitor by a display control unit according to Embodiment 1.
  • 17A and 17B are diagrams for explaining an image displayed on a display monitor by a display control unit according to Embodiment 1 and an operator's operation content
  • 18A and 18B are diagrams for explaining an image displayed on a display monitor by a display control unit according to Embodiment 1 and an operator's operation content
  • 19A and 19B are diagrams for explaining an image displayed on a display monitor by a display control unit according to Embodiment 1 and an operator's operation content
  • 20A and 20B are diagrams for explaining an image displayed on a display monitor by a display control unit according to Embodiment 1 and an operator's operation content
  • 21A and 21B are diagrams for explaining an image displayed on a display monitor by a display control unit according to Embodiment 1 and an operator's operation content
  • 22A and 22B are diagrams for explaining an image displayed on a display monitor by a display control unit according to Embodiment 1 and an operator's operation content
  • 23A and 23B are diagrams for explaining an image displayed on
  • FIG. 25A and 25B are diagrams for explaining an image displayed on a display monitor by a display control unit according to Embodiment 1 and an operator's operation content
  • 26A and 26B are diagrams for explaining an image displayed on a display monitor by a display control unit according to Embodiment 1 and an operator's operation content
  • 27A and 27B are diagrams for explaining an image displayed on a display monitor by a display control unit according to Embodiment 1 and an operator's operation content
  • FIG. 28 is a flowchart showing an overview of inspection report editing processing.
  • 29 is a diagram illustrating an example of an image displayed on a display monitor by a display control unit according to Embodiment 1.
  • FIG. 1 is a diagram illustrating an example of an image displayed on a display monitor by a display control unit according to Embodiment 1.
  • FIG. 30A and 30B are diagrams for explaining an image displayed on a display monitor by a display control unit according to Embodiment 1 and an operator's operation content
  • 31A and 31B are diagrams for explaining an image displayed on a display monitor by a display control unit according to Embodiment 1 and an operator's operation content
  • 32A and 32B are diagrams for explaining an image displayed on a display monitor by a display control unit according to Embodiment 1 and an operator's operation content
  • 33 is a diagram illustrating an example of an image displayed on a display monitor by a display control unit according to Embodiment 1.
  • FIG. FIG. 34 is a flowchart showing an overview of inspection report creation processing executed by the endoscope system 1 according to the second embodiment.
  • 35 is a block diagram showing a functional configuration of an inspection report creating device according to Embodiment 3.
  • FIG. 36 is a flowchart showing an overview of examination report creation processing executed by the endoscope system according to Embodiment 3.
  • FIG. 1 is a schematic diagram showing a schematic configuration of the front side of an endoscope system according to Embodiment 1.
  • FIG. 2 is a schematic diagram showing a schematic configuration of the rear side of the endoscope system according to Embodiment 1.
  • FIG. 1 is a schematic diagram showing a schematic configuration of the front side of an endoscope system according to Embodiment 1.
  • FIG. 2 is a schematic diagram showing a schematic configuration of the rear side of the endoscope system according to Embodiment 1.
  • FIG. 1 is a schematic diagram showing a schematic configuration of the front side of an endoscope system according to Embodiment 1.
  • FIG. 2 is a schematic diagram showing a schematic configuration of the rear side of the endoscope system according to Embodiment 1.
  • FIG. 1 is a schematic diagram showing a schematic configuration of the front side of an endoscope system according to Embodiment 1.
  • FIG. 2 is a schematic diagram showing a schematic configuration of the rear side of the endoscope system according to Embodiment 1.
  • the endoscope system 1 shown in FIGS. 1 and 2 is used in the medical field, is inserted into a subject such as a person or an animal, and displays a live view image corresponding to imaging data obtained by imaging the inside of the subject. This is to observe the subject.
  • An endoscope system 1 includes an endoscope 2 , an inspection report creating device 3 , a holder 4 and a communication cable 5 .
  • the endoscope 2 is inserted into the subject, images the interior of the subject, and generates imaging data of the interior of the subject.
  • the endoscope 2 includes an insertion section 21 to be inserted into the subject, and an operation section 22 on the base end side of the insertion section 21 and held by an operator such as a doctor.
  • the insertion section 21 is realized using an electric cable, an operation wire, and the like.
  • the insertion section 21 includes an illumination section that incorporates a white LED (Light Emitting Diode) lamp that irradiates illumination light toward the subject, an illumination lens, etc., and an imaging section that includes an imaging element and an imaging lens for imaging the inside of the subject.
  • a bendable bending portion 212 composed of a plurality of bending pieces;
  • the operation unit 22 includes a gripping portion 221 to which the proximal end portion of the flexible tube portion 213 is connected so that the operator can grip the endoscope 2, and a main body portion 222 provided on the proximal end side of the gripping portion 221.
  • the body portion 222 has various control circuits, a battery, and the like inside.
  • the body portion 222 includes a start button 222a that starts the power supply of the endoscope 2, a bending operation lever 222b that bends the bending portion 212 in the vertical direction, and a first button 222c that receives an input of an instruction signal instructing imaging. , and a second button 222d to which a predetermined function can be assigned.
  • the inspection report creating device 3 is attached to the main body 222 of the endoscope 2 using the holder 4 .
  • the inspection report creation device 3 displays a live view image corresponding to imaging data captured by the endoscope 2 via the communication cable 5 .
  • the examination report creating apparatus 3 receives input of various operations by the operator and creates an examination report of the subject.
  • the inspection report creating device 3 has a rectangular display monitor 31 for displaying live view images and various information.
  • the inspection report creating device 3 is implemented using a mobile phone or the like, for example. In the following, a mobile phone will be described as an example of the inspection report creation device 3, but in addition to mobile phones, it can also be applied to a tablet terminal device having a display function and an external recorder having a display function. can do.
  • the holder 4 is detachably attached to the endoscope 2 and holds the inspection report creating device 3 .
  • the holder 4 includes a proximal end portion 41 detachably attachable to the body portion 222 of the endoscope 2 and a holding portion 42 detachably holding the inspection report creating device 3 .
  • the holding part 42 can hold the inspection report creating device 3 in the longitudinal direction and the lateral direction. In addition, below, the state which the holder 4 hold
  • the communication cable 5 connects the endoscope 2 and the inspection report creation device 3 so that they can communicate with each other. Specifically, the communication cable 5 outputs various data input from the endoscope 2 to the inspection report creation device 3, and outputs various data input from the inspection report creation device 3 to the endoscope 2. do.
  • the communication cable 5 is used to connect the endoscope 2 and the inspection report creating apparatus 3 so as to be communicable. Wi-Fi (registered trademark) and Bluetooth (registered trademark) may be used to communicably connect the endoscope 2 and the inspection report creation device 3 .
  • FIG. 3 is a block diagram showing the functional configuration of the endoscope 2.
  • the endoscope 2 includes an illumination unit 201, an imaging unit 202, an input unit 203, an image processing unit 204, a recording unit 205, a communication unit 206, and an endoscope control unit 207. And prepare.
  • the illumination unit 201 irradiates the subject with illumination light under the control of the endoscope control unit 207 .
  • the illumination unit 201 is configured using a white LED lamp capable of emitting white illumination light, an illumination lens that collects the illumination light emitted by the white LED lamp, and irradiates the illumination light toward the subject.
  • the imaging unit 202 captures an image of the subject irradiated with illumination light by the illumination unit 201 to generate imaging data, and outputs this imaging data to the image processing unit 204 .
  • the imaging unit 202 includes one or more imaging lenses that collect light from a predetermined visual field area, and a CCD (charge sensor) that generates imaging data by receiving and photoelectrically converting a subject image formed by the imaging lens. Coupled Device) image sensor or CMOS (Complementary Metal Oxide Semiconductor) image sensor or the like.
  • the input unit 203 includes a start button 222a that activates the power of the endoscope 2, and a first button 222c that accepts input of an imaging operation and outputs an imaging signal corresponding to the accepted imaging operation to the endoscope control unit 207. and a second button 222d to which a predetermined function can be assigned.
  • the image processing unit 204 Under the control of the endoscope control unit 207 , the image processing unit 204 performs predetermined image processing on the imaging data input from the imaging unit 202 and outputs the data to at least one of the recording unit 205 and the communication unit 206 . do.
  • the predetermined image processing includes at least A/D conversion processing, gain adjustment processing, optical black subtraction processing, white balance (WB) adjustment processing, synchronization processing when the imaging device is a Bayer array, and color matrix processing.
  • the image processing unit 204 is configured using a memory and a processor having hardware such as FPGA (Field Programmable Gate Array), ASIC (Application Specific Integrated Circuit) and GPU (Graphics Processing Unit).
  • the recording unit 205 is implemented using ROM (Read Only Memory), RAM (Random Access Memory), flash memory, or the like.
  • the recording unit 205 includes a program recording unit 205a for recording various programs executed by the endoscope 2 and various data used during processing, and an imaging data recording unit 205b for recording imaging data.
  • the recording unit 205 may be a recording medium such as a memory card that is detachable from the endoscope 2 .
  • the communication unit 206 is detachably connected to the communication cable 5 and communicates with the inspection report creation device 3 under the control of the endoscope control unit 207 .
  • the communication unit 206 transmits imaging data to the inspection report creation device 3 according to a communication standard such as HDMI (High-Definition Multimedia Interface) (registered trademark).
  • the communication unit 206 is configured using a USB-IF standard female connector or the like.
  • the endoscope control unit 207 is configured using a processor having hardware such as a memory and a CPU (Central Processing Unit).
  • the endoscope control unit 207 controls each unit that configures the endoscope 2 .
  • the image processing unit 204, the recording unit 25, and the endoscope control unit 207 are provided in the endoscope 2.
  • the image processing unit 204, the recording unit 25, and the endoscope control unit 207 may be partially or entirely provided.
  • FIG. 4 is a block diagram showing the functional configuration of the inspection report creating device 3. As shown in FIG. The inspection report creation device 3 shown in FIG. A recording unit 38 and a control unit 39 are provided.
  • the display monitor 31 displays a live view image corresponding to the imaging data input from the control unit 39 and various information regarding the inspection report creation device 3 .
  • the display monitor 31 is configured using a liquid crystal display, an organic EL display (Organic Electroluminescent Display), or the like.
  • the communication unit 32 is detachably connected to the communication cable 5 and communicates with the endoscope 2 under the control of the control unit 39 .
  • the communication unit 32 transmits various types of information to the endoscope 2 according to a communication standard such as HDMI (High-Definition Multimedia Interface).
  • the communication unit 32 is configured using a USB-IF standard female connector or the like.
  • the voice input unit 33 receives input of voice uttered by the operator, and outputs voice data generated by performing predetermined signal processing on the received voice to the control unit 39 .
  • the voice input unit 33 uses a microphone for receiving voice input, and a signal processing circuit for generating voice data by performing gain adjustment processing, noise reduction processing, A/D conversion processing, etc. on the voice received by this microphone. consists of
  • the audio output unit 34 outputs audio corresponding to audio data input from the control unit 39 .
  • the audio output unit 34 includes a signal processing circuit that performs gain adjustment processing, D/A conversion processing, etc. on audio data input from the control unit 39, and a speaker or the like that outputs the audio output from this signal processing circuit. is constructed using
  • the posture detection unit 35 detects the posture of the inspection report creation device 3 and outputs the detection result to the control unit 39 . Specifically, the posture detection unit 35 detects an angle between the longitudinal direction of the display monitor 31 and the vertical direction (the direction of gravity), and outputs the detection result to the control unit 39 .
  • the posture detection unit 35 is configured using a triaxial acceleration sensor, a gyro sensor, and the like.
  • the input unit 36 accepts an operation input by the operator and outputs an operation signal according to the accepted operation to the control unit 39 .
  • the input unit 36 is arranged superimposed on the display monitor 31, and is configured using a touch panel 361 that outputs signals according to the operator's touch operation, various buttons and switches, and the like.
  • the external communication unit 37 communicates with an external device according to a predetermined communication standard through a network such as a mobile phone network (not shown), and transmits various data such as voice data and inspection report data. receive or send.
  • a predetermined communication standard is at least one of standards using mobile phone lines, such as 4G (4th Generation Mobile Communication System), 5G (5th Generation Mobile Communication System), Wi-Fi, and Bluetooth.
  • the external communication unit 37 is configured using a communication module or the like capable of transmitting and receiving various data.
  • the recording unit 38 is implemented using a ROM, RAM, flash memory, memory card, or the like.
  • the recording unit 38 has a program recording unit 381 , a speech dictionary data recording unit 382 and an examination report recording unit 383 .
  • the program recording unit 381 records various programs executed by the inspection report creating device 3 and data being processed.
  • the voice dictionary data recording unit 382 records voice dictionary data referred to in voice input.
  • the examination report recording unit 383 stores setting information 383a such as the display order and names of a plurality of anatomical parts to be displayed on the display monitor 31 when the operator examines the subject using the endoscope system 1. Record.
  • the test report recording unit 383 records subject information 383b regarding the subject's name, sex, age, address, contact information such as communication equipment owned by the subject, and the like. Furthermore, the examination report recording unit 383 has storage areas 383c 1 to 383c n (where n is an integer equal to or greater than 2) for each name of each of a plurality of preset anatomical parts.
  • the storage areas 383c 1 to 383c n store the text corresponding to the voice uttered by the operator in association with the name of the anatomical part displayed on the display monitor 31 and the captured image corresponding to the captured data captured by the endoscope 2. Stores finding information including at least one of In the following description, any one of the storage areas 383c 1 to 383c n will simply be referred to as the storage area 383c 1 .
  • the control unit 39 controls each unit that configures the inspection report creation device 3 .
  • the control unit 39 is configured using a memory and a processor having hardware such as a CPU.
  • the control unit 39 includes a setting unit 390, a first acquisition unit 391, a conversion unit 392, a second acquisition unit 393, a recording control unit 394, a display control unit 395, a determination unit 396, and imaging control. It has a section 397 , a creation section 398 , and a communication control section 399 .
  • the setting unit 390 selects each of a plurality of anatomical regions of the subject displayed on the display monitor 31 when the endoscope system 1 examines the subject according to the operator's operation on the input unit 36. , and the setting result is stored in the setting information 383a. The contents of setting processing by the setting unit 390 will be described later.
  • the first acquisition unit 391 acquires, via the communication unit 32, image data captured by the endoscope 2 in time series. Also, the first acquisition unit 391 acquires an operation signal corresponding to the content of the operation performed by the operator on the input unit 203 of the endoscope 2 . For example, the first acquisition unit 391 acquires an operation signal output from the first button 222c via the communication unit 32 when the operator operates the first button 222c.
  • the conversion unit 392 uses the speech dictionary data recorded by the speech dictionary data recording unit 382, a well-known speech recognition technique, and the speech data from the speech input unit 33 to convert the speech uttered by the operator into text. do.
  • the second acquisition unit 393 obtains a text (comment) corresponding to the voice uttered by the operator of the endoscope 2 while the display monitor 31 is displaying the name of any one of the plurality of anatomical regions. and at least one of captured images corresponding to one or more captured data acquired from the endoscope 2 is acquired as finding information. Specifically, the second acquisition unit 393 acquires the text converted by the conversion unit 392 as finding information according to the voice uttered by the operator of the endoscope 2 .
  • the recording control unit 394 stores the finding information including at least one of the text input by the operator of the endoscope 2 and the captured image corresponding to the imaging data in a plurality of anatomical images of the subject captured by the endoscope 2 . It is recorded in association with the name of any one of the parts. Specifically, the recording control unit 394 records the finding information including at least one of the text converted by the conversion unit 392 and the captured image corresponding to the captured data in association with the name of the anatomical site displayed on the display monitor 31. do. In this case, the recording control unit 394 stores the finding information acquired by the second acquisition unit 393 in the storage area 383c1 for each name of each of the plurality of anatomical regions set in the examination report recording unit 383 in advance.
  • the recording control unit 394 switches the storage area 383c1 for storing the finding information acquired by the second acquisition unit 393 each time the name of the anatomical part displayed on the display monitor 31 is switched.
  • the recording control unit 394 changes the storage order of the plurality of storage areas 383 c 1 set in the inspection report recording unit 383 according to the display order of the finding information displayed by the display monitor 31 .
  • the recording control unit 394 stores the time when the second acquisition unit 393 acquires the text or the captured image in the storage area 383c1 in association with the finding information.
  • the recording control unit 394 When the second acquisition unit 393 acquires the other of the text and the captured image within a predetermined time (for example, 60 seconds) after the second acquiring unit 393 acquires the text and the captured image, the recording control unit 394 One of the images and the other of the text and the captured image are stored in the storage area 383c1 as a set of finding information. On the other hand, if the second acquisition unit 393 does not acquire the other of the text and the captured image within a predetermined time after the second acquisition unit 393 acquires the text and the captured image, the recording control unit 394 and the other of the text and the captured image are stored in the storage area 383c1 as individual finding information.
  • a predetermined time for example, 60 seconds
  • the recording control unit 394 stores the finding information including at least one of the text input by the operator of the endoscope 2 and the captured image corresponding to the captured data from a plurality of dissections of the subject captured by the endoscope 2. It suffices if the data can be recorded in association with the name of any one of the anatomical parts, and must be stored in the storage area 383c1 for each name of each of the plurality of anatomical parts preset in the examination report recording unit 383. Absent.
  • the display control unit 395 displays on the display monitor 31 the name of any one of the plurality of anatomical parts of the subject imaged by the endoscope 2, and adds the name to the imaging data acquired by the first acquisition unit 391.
  • the corresponding live view images are sequentially displayed on the display monitor 31 in chronological order.
  • the display control unit 395 causes the display monitor 31 to display the live view image and finding information side by side during the examination of the subject.
  • the display control unit 395 displays the finding information on the display monitor 31 each time the conversion unit 392 converts voice into text by the operator or every time an imaging instruction signal instructing imaging is received from the endoscope 2. display.
  • the display control unit 395 acquires an operation signal corresponding to a drag operation on any one of a plurality of finding information displayed on the display monitor 31 during examination of the subject
  • the display control unit 395 displays the display monitor 31 according to this operation signal. to change the display order of a plurality of pieces of finding information displayed by .
  • the display control unit 395 The name of the anatomical site displayed in 31 is changed to the name of the anatomical site to be displayed next.
  • the determination unit 396 determines the contents of the text converted by the conversion unit 392 .
  • the determining unit 396 determines whether or not the other of the text and the captured image is obtained within a predetermined time (for example, 60 seconds) after the second obtaining unit 393 obtains one of the text and the captured image.
  • the imaging control unit 397 controls imaging of the endoscope 2 according to the details of the operator's operation received by the input unit 36 .
  • the creation unit 398 creates an examination report for the subject in which the finding information is associated with each name of the anatomical part.
  • the communication control unit 399 sends the test report created by the creation unit 398 to an external device of the subject or a printer or server in the hospital to which the operator belongs via the external communication unit 37 according to the operation of the input unit 36. Output.
  • FIG. 5 is a diagram showing an example of an examination screen displayed on the display monitor 31 by the display control unit 395.
  • the display control unit 395 causes the display monitor 31 to The inspection screen to be displayed will be described.
  • the display control unit 395 causes the display monitor 31 to display an inspection screen W1 including a live view image display area R1 and an inspection report creation area R2.
  • the display control unit 395 causes the live-view image display area R1 to correspond to image data obtained by the endoscope 2, which is obtained by the first obtaining unit 391 and captured in time series inside the subject.
  • a live view image LV1 is displayed. The operator can inspect or observe the subject while observing the live view image LV1.
  • the display control unit 395 causes the name T1 (Esophagus) of the anatomical region of the subject whose display order is set in advance by the operator at the time of examination of the subject to be displayed next in the examination report creation region R2.
  • the name T2 (Anteriorwall) of the anatomical site is displayed on the display monitor 31 .
  • the display control unit 395 causes the display monitor 31 to display the name T1 of the current anatomical site in the upper end area of the examination report creation area R2.
  • the display control unit 395 causes the display monitor 31 to display the name T2 of the next anatomical site to be displayed in the lower end area of the examination report creation area R2.
  • the display control unit 395 causes the display monitor 31 to display boxes B1 to B3 containing finding information about findings made by the operator on the subject in the examination report creation region R2. Boxes B1 to B3 contain finding information stored in the storage area 383c1 of the examination report recording unit 383 associated with the current anatomical site name T1. Specifically, the boxes B1 to B3 include at least one of text corresponding to the voice uttered by the operator and captured images corresponding to image data captured by the endoscope 2 .
  • box B1 includes the text "2 cm Polyp” corresponding to the voice uttered by the operator and the time uttered by the operator "10:05 am”. Further, in the box B1, an imaging instruction signal is input by operating the second button 222d of the endoscope 2 within a predetermined time (for example, within 60 seconds) from the timing when the operator utters the voice. A captured image P1 corresponding to image data captured by the endoscope 2 at the time is included.
  • the time "10:07 am" at which the instruction signal was input is included.
  • box B3 contains the text "Need precise diagnosis.”
  • the display control unit 395 displays the live view image display area R1 on the left side of the display monitor 31 and the inspection report creation area R2 on the right side.
  • the inspection report creation area R2 may be displayed, and the live view image display area R1 may be displayed on the left side.
  • FIG. 6 is a diagram showing another example of an inspection screen displayed on the display monitor 31 by the display control unit 395.
  • the display control unit 395 controls the display monitor 31 The inspection screen to be displayed on is explained.
  • the display control unit 395 causes the display monitor 31 to display an inspection screen W1 including a live view image display area R1 above the display monitor 31 and an inspection report creation area R2 below.
  • the display control unit 395 may display the upper part of the display monitor 31 as the examination report creation area R2 and the lower part as the live view image display area R1 according to the operator's settings and the operation of the input unit .
  • the operator while observing the live view image LV1 displayed on the display monitor 31, the operator emits a sound for each anatomical part of the subject. Furthermore, the operator performs a photographing operation of a captured image that is required when creating an examination report.
  • the display control unit 395 performs an examination in which at least one of the text corresponding to the voice uttered by the operator and the captured image acquired when the second button 222d is operated is linked to a preset anatomical site. It is displayed in the report creation area R2.
  • the recording control unit 394 stores the text of the operator's findings on the subject in the storage area of the examination report recording unit 383 set for each name of the anatomical part displayed on the display monitor 31. and the captured image acquired when the second button 222d is operated is stored.
  • the operator can create an inspection report in real time while performing an inspection of the subject, so that the time required to create an inspection report per case can be shortened.
  • FIG. 7 is a flow chart showing an overview of the process executed by the inspection report creating device 3. As shown in FIG.
  • the determination unit 396 determines whether the operator has selected an application for examining the subject by the endoscope system 1 from among a plurality of applications displayed on the display monitor 31. It is determined whether or not (step S101). Specifically, as shown in FIG. 8 , the determination unit 396 selects a surgical icon from among a plurality of icons corresponding to a plurality of applications displayed on the display monitor 31 based on touch signals input from the touch panel 361 . It is determined whether or not the person U1 has selected an icon A1 (InspectionApp) corresponding to an application for inspecting a subject using the endoscope system 1 .
  • an icon A1 InspectionApp
  • step S101: Yes the examination report creation device 3 proceeds to step S102, which will be described later. Transition.
  • step S101: No the determination unit 396 determines that the operator U1 has not selected an application for performing an examination of the subject using the endoscope system 1 (step S101: No)
  • step S113 the examination report creation device 3 , the process proceeds to step S113, which will be described later.
  • the display control unit 395 causes the display monitor 31 to display the top screen of the application for examining the subject by the endoscope system 1 .
  • the display control unit 395 displays a top screen W2 of an application for examining a subject using the endoscope system 1 .
  • the top screen W2 includes at least a setting icon A11 (Settings), an inspection icon A12 (Endoscopy), and an edit icon A13 (Report).
  • the setting icon A11 receives an input of an instruction signal for performing setting processing such as changing the display order and name of the anatomical regions to be displayed on the display monitor 31 when the subject is examined by the endoscope system 1.
  • the examination icon A12 receives input of an instruction signal for performing examination report creation processing for creating an examination report while observing the subject with the endoscope system 1 .
  • the edit icon A13 receives an input of an instruction signal for performing inspection report editing processing for editing the inspection report.
  • the determination unit 396 determines whether or not the operator U1 has selected the setting icon A11 displayed by the display monitor 31 (step S103). Specifically, as shown in FIG. 9 , the determination unit 396 determines whether or not the operator has selected the setting icon A11 based on the signal input from the touch panel 361 . When the determining unit 396 determines that the operator U1 has selected the setting icon A11 displayed by the display monitor 31 (step S103: Yes), the examination report creating device 3 proceeds to step S104, which will be described later. On the other hand, if the determining unit 396 determines that the operator U1 has not selected the setting icon A11 displayed by the display monitor 31 (step S103: No), the examination report creating device 3 performs a step described later. Move to S105.
  • step S ⁇ b>104 the examination report creation device 3 determines the display order and the plurality of anatomical regions in which the display monitor 31 displays each of the plurality of anatomical regions of the subject when the subject is examined by the endoscope system 1 .
  • a setting process for setting the name of each of the biological parts is executed.
  • FIG. 10 is a flow chart showing an overview of the setting process in step S104 of FIG.
  • the display control unit 395 causes the display monitor 31 to display a list of names of a plurality of anatomical regions (step S201).
  • the display control unit 395 causes the display monitor 31 to display anatomical site icons A21 to A26 and a setting icon A27 (Set).
  • Each of the anatomical site icons A21 to A26 indicates the name of the anatomical site.
  • the setting icon A27 accepts setting of display order and names of a plurality of anatomical sites.
  • the determination unit 396 determines whether or not the operator U1 has performed an operation to change the display order of the anatomical regions to be displayed on the display monitor 31 during examination of the subject (step S202). Specifically, as shown in FIG. 12, the determining unit 396 causes the operator U1 to select the anatomical site icon A25 based on the operation signal input from the touch panel 361, and select the anatomical site icon A22. It is determined whether or not a drag operation (see arrow Q1) has been performed to move the anatomical site icon A24 between it and the anatomical site icon A23.
  • the drag operation means that the operator U1 moves the finger to a desired position while touching an object, such as an icon, on the display monitor 31, and then moves the finger to the display monitor 31. It is an operation to move away from above. If the determination unit 396 determines that the operation to change the display order of the anatomical regions to be displayed on the display monitor 31 during the examination of the subject has been performed (step S202: Yes), the examination report creation device 3 performs step S203 described later. Move to On the other hand, if the determining unit 396 determines that the operation to change the display order of the anatomical regions to be displayed on the display monitor 31 during the examination of the subject has not been performed (step S202: No), the examination report creating apparatus 3 moves to step S204, which will be described later.
  • step S203 the setting unit 390 selects the anatomical regions to be displayed on the display monitor 31 when the operator U1 examines the subject in accordance with the operator U1's operation to change the display order of the anatomical regions. Change the display order of .
  • the setting unit 390 allows the operator U1 to perform a drag operation (see arrow Q1) to move the anatomical site icon A25 between the anatomical site icon A22 and the anatomical site icon A23. ) is performed, the display order of the anatomical sites to be displayed on the display monitor 31 during examination of the subject is set to the name of the anatomical site icon A21, the name of the anatomical site icon A22, and the anatomical site icon A25.
  • step S203 the inspection report creating device 3 proceeds to step S204.
  • the determination unit 396 determines whether or not a change operation for changing the name of the anatomical site displayed on the display monitor 31 has been performed when the operator U1 examines the subject (step S204). ). More specifically, as shown in FIG. 13, the determination unit 396 determines whether the operator U1 selects one of the anatomical site icons A21 to A26 on the display area based on the operation signal input from the touch panel 361. It is determined whether or not the icon of the anatomical site whose name is to be changed has been selected by the long press operation. For example, in the case shown in FIG.
  • the determining unit 396 determines the anatomical site to be renamed by the operator U1 long-pressing the anatomical site icon A23 based on the operation signal input from the touch panel 361 . icon is selected. If the determination unit 396 determines that the operator U1 has performed a change operation to change the name of the anatomical site displayed on the display monitor 31 when examining the subject (step S204: Yes), the examination report The creation device 3 proceeds to step S205, which will be described later.
  • step S204 determines that the operator U1 has not performed a change operation to change the name of the anatomical site displayed on the display monitor 31 when examining the subject.
  • step S205 the setting unit 390 changes the name of the anatomical site selected by the operator U1.
  • the setting unit 390 changes the name of the icon selected by the operator U1 to the name input by the operator U1 using the touch panel 361 .
  • the determination unit 396 determines whether or not the operator U1 has performed an end operation to end the setting of the display order and names of the anatomical regions to be displayed on the display monitor 31 when examining the subject (step S206). Specifically, based on the operation signal input from the touch panel 361, the determination unit 396 determines whether the operator U1 has selected the setting icon A27 (see FIG. 11, for example). When it is determined by the determination unit 396 that the operator U1 has performed an end operation for ending the setting of the display order and names of the anatomical regions to be displayed on the display monitor 31 when examining the subject (step S206: Yes) , the inspection report creating apparatus 3 returns to the main routine of FIG. 5 and proceeds to step S105.
  • the determination unit 396 determines that the operator U1 has not performed an end operation for ending the setting of the display order and names of the anatomical regions to be displayed on the display monitor 31 when examining the subject. In that case (step S206: No), the inspection report creating device 3 returns to step S201 described above.
  • step S ⁇ b>105 the determination unit 396 determines whether or not the operator U ⁇ b>1 has selected the examination icon A ⁇ b>12 displayed by the display monitor 31 . Specifically, as shown in FIG. 14, the determination unit 396 determines whether or not the operator U1 has selected the examination icon A12 displayed on the display monitor 31 based on the operation signal input from the touch panel 361. judge. When the determining unit 396 determines that the operator U1 has selected the examination icon A12 displayed on the display monitor 31 (step S105: Yes), the examination report creating device 3 proceeds to step S106, which will be described later. On the other hand, if the determination unit 396 determines that the operator U1 has not selected the examination icon A12 displayed by the display monitor 31 (step S105: No), the examination report creation device 3 performs a step described later. Move to S107.
  • step S106 the inspection report creation device 3 executes inspection report creation processing for creating an inspection report for the subject while observing the subject.
  • FIG. 15 is a flowchart showing an overview of inspection report creation processing. As shown in FIG. 15, first, the imaging control unit 397 causes the endoscope 2 to start imaging via the communication unit 32 (step S301).
  • the first acquisition unit 391 starts acquisition of imaging data sequentially generated by the endoscope 2 in time series via the communication unit 32 (step S302).
  • the display control unit 395 starts displaying the names of the anatomical parts and the live view images corresponding to the captured images sequentially acquired by the first acquisition unit 391 on the display monitor 31 (step S303). Specifically, as shown in FIG. 16, the display control unit 395 causes the live view image display area R1 of the display monitor 31 to display a live view image LV1 corresponding to the imaging data sequentially acquired by the first acquisition unit 391 and a live view image LV1. , the display monitor 31 displays an inspection screen W1 in which the names of anatomical sites T1 (Esophagus) and T2 (Anteriorwall) are displayed in the inspection report creation area R2.
  • the determination unit 396 determines whether or not the operator U1 has performed an operation to start creating an examination report (step S304). For example, as shown in FIG. 17, the determination unit 396 determines whether or not the operator U1 has generated a word for starting inspection report creation, such as "Report start". In this case, the conversion unit 392 performs text conversion processing on the voice data received by the voice input unit 33 using the voice dictionary data recorded by the voice dictionary data recording unit 382, and converts the voice uttered by the operator U1. Convert to text. Based on the content of the text input from the conversion unit 392, the determination unit 396 determines whether or not the operator U1 has uttered a word for starting inspection report creation. It is determined whether or not a start operation has been performed.
  • a word for starting inspection report creation such as "Report start”.
  • the conversion unit 392 performs text conversion processing on the voice data received by the voice input unit 33 using the voice dictionary data recorded by the voice dictionary data recording unit 382, and converts the voice uttered by the operator U1.
  • the determination unit 396 determines whether the operator U1 performs an inspection report creation start operation based on an instruction signal for instructing the start of inspection report creation, which is input from the input unit 203 of the endoscope 2 via the communication unit 32 . It may be determined whether or not the When it is determined by the determination unit 396 that the operator U1 has performed an operation to start creation of the inspection report (step S304: Yes), the inspection report creation device 3 proceeds to step S305, which will be described later. On the other hand, when the determining unit 396 determines that the operator U1 has not performed the operation to start creating the inspection report (step S304: No), the inspection report creating apparatus 3 proceeds to step S320, which will be described later.
  • step S ⁇ b>305 the recording control unit 394 stores the text corresponding to the voice data acquired by the second acquisition unit 393 in the storage area linked to the name of the anatomical part created in the examination report recording unit 383 .
  • reception of voice input for storing at least one of the captured images is started.
  • the recording control unit 394 controls the storage area (storage In the area 383c 1 ), the acceptance of voice input for storing the text of the operator U1 is started.
  • the determination unit 396 determines whether or not the second acquisition unit 393 has acquired the voice data of the voice uttered by the operator U1 via the voice input unit 33 (step S306).
  • the inspection report creation device 3 performs step S307 described later.
  • the determination unit 396 determines that the second acquisition unit 393 has not acquired the voice of the operator U1 via the voice input unit 33 (step S306: No)
  • the examination report creation device 3 proceeds to step S312, which will be described later.
  • step S307 the conversion unit 392 converts the voice data received by the voice input unit 33 into text based on the voice dictionary data recorded by the voice dictionary data recording unit 382.
  • the determination unit 396 determines whether or not the content of the text of the voice uttered by the operator U1 is the content to be changed to the anatomical region to be displayed next, based on the content of the text detected by the conversion unit 392. is determined (step S308). Specifically, as shown in FIG. 18, the determining unit 396 determines whether the content of the text of the voice uttered by the operator U1 is transferred to the next anatomical site to be displayed, based on the text converted by the converting unit 392. It is determined whether or not the content to be changed is, for example, "Next".
  • step S308: Yes When the determining unit 396 determines that the content of the text of the voice uttered by the operator U1 is the content of changing the anatomical site to be displayed next (step S308: Yes), the examination report creating device 3 The process proceeds to step S309, which will be described later. On the other hand, if the judgment unit 396 judges that the content of the text of the voice uttered by the operator U1 is not the content to be changed to the next anatomical site to be displayed (step S308: No), the examination report The creation device 3 proceeds to step S311, which will be described later.
  • step S309 the display control unit 395 causes the display monitor 31 to change the name of the anatomical part to be displayed next and display it. Specifically, as shown in FIG. 19, the display control unit 395 changes the name T1 of the current anatomical region to the name T2 of the anatomical region to be displayed next. is changed to the name T3 and displayed on the display monitor 31 (FIG. 18 ⁇ FIG. 19).
  • the recording control unit 394 switches the storage area in the inspection report recording unit 383 to the storage area of the current anatomical part (step S310). Specifically, the recording control unit 394 controls at least one of the text corresponding to the voice data uttered by the operator acquired by the second acquisition unit 393 and the captured image corresponding to the imaging data captured by the endoscope 2. is switched to the storage area of the examination report recording unit 383 linked to the name T2 of the anatomical part currently displayed on the display monitor 31, for example, the storage area 383c2 . After step S310, the inspection report creating device 3 returns to step S306 described above.
  • step S311 the second acquisition unit 393 acquires the text corresponding to the voice uttered by the operator U1 converted by the conversion unit 392, and the recording control unit 394 acquires the text acquired by the second acquisition unit 393.
  • the recording control unit 394 acquires the text acquired by the second acquisition unit 393.
  • the determination unit 396 determines whether or not an imaging instruction signal instructing imaging has been input from the first button of the endoscope 2 via the communication unit 32 (step S312).
  • the determining unit 396 determines that an instruction signal for instructing imaging has been input from the first button 222c of the endoscope 2 via the communication unit 32 (step S312: Yes)
  • the inspection report creating device 3 proceeds to step S313, which will be described later.
  • the determination unit 396 determines that the imaging instruction signal for instructing imaging has not been input from the first button of the endoscope 2 via the communication unit 32 (step S312: No)
  • the process proceeds to step S315, which will be described later.
  • step S ⁇ b>313 the second acquisition unit 393 acquires a captured image corresponding to the captured image data generated by the endoscope 2 via the communication unit 32 .
  • the recording control unit 394 stores the imaging data acquired by the second acquisition unit 393 in the storage area of the inspection report recording unit 383 linked to the name of the current anatomical part displayed on the display monitor 31. (step S314).
  • the display control unit 395 displays at least one of the text stored in the storage area of the examination report recording unit 383 linked to the name of the current anatomical part and the captured image corresponding to the captured data on the display monitor 31. It is displayed in the inspection report creation area R2 (step S315).
  • the display control unit 395 displays at least one of the text stored in the storage area of the examination report recording unit 383 linked to the name of the current anatomical part and the captured image corresponding to the captured data on the display monitor 31.
  • An overview when displaying in the inspection report creation area R2 will be described. First, the case of displaying the text uttered by the operator U1 will be described.
  • FIG. 20 is a diagram showing an example of an image that the display control unit 395 causes the display monitor 31 to display.
  • the display control unit 395 controls the examination if only text is stored in the storage area linked to the name T1 (Esophagus) of the current anatomical site displayed by the display monitor 31.
  • the display control unit 395 causes the display monitor 31 to display the time (10:03 am) when the operator U1 uttered the voice together with the text in the box B1.
  • the recording control unit 394 stores the second acquisition unit 393 in the storage area (for example, the storage area 383c 1 ) linked to the current anatomical part name T1 (Esophagus) displayed on the display monitor 31.
  • the text acquired via the conversion unit 392 and the time (10:03 am) when the operator U1 uttered the voice are stored as a set of finding information.
  • 21 to 24 are diagrams showing other examples of images that the display control unit 395 causes the display monitor 31 to display.
  • the display control unit 395 stores in a storage area (for example, a storage area 383c 2 ) linked to the name T2 (Anteriorwall) of the current anatomical site displayed by the display monitor 31. is text, the text of the voice uttered by the operator U1, for example, the box B11 of "2 cm Polyp" is displayed in the inspection report creation area R2.
  • the display control unit 395 displays the image shown in FIG.
  • the captured image P10 corresponding to the captured image data acquired from the endoscope 2 by the second acquisition unit 393 is displayed in a box B11 (FIGS. 21 ⁇ 22). Furthermore, the recording control unit 394 stores the text, the captured image data, and the The time (10:05 am) when the operator U1 uttered the voice is stored as a set of finding information.
  • the display control unit 395 causes the first button 222c of the endoscope 2 to be pressed after a predetermined time (for example, 60 seconds) has passed since the time (10:05 am) when the operator U1 uttered the voice.
  • a predetermined time for example, 60 seconds
  • the display control unit 395 displays the time (10:07 am) at which the shooting instruction signal was input in the box B12 of the display monitor 31 together with the captured image P11.
  • the recording control unit 394 stores the second acquisition unit 393 in the storage area (for example, the storage area 383c 2 ) linked to the name T2 (Anteriorwall) of the current anatomical part displayed on the display monitor 31.
  • the acquired captured image data and the time (10:07 am) at which the imaging instruction signal was input from the first button 222c are stored as a new set of finding information.
  • the display control unit 395 performs the second acquisition after a predetermined time (for example, 60 seconds) has passed since the time (10:07 am) when the first button 222c of the endoscope 2 was operated.
  • a predetermined time for example, 60 seconds
  • the unit 393 acquires the text of the voice uttered by the operator U1 from the conversion unit 392
  • a new box B13 is displayed in the inspection report creation region R2
  • the voice uttered by the operator U1 is displayed in this box B13.
  • text such as "Need precise diagnosis.”
  • the display control unit 395 displays the time (10:09 am) at which the operator U1 uttered the voice together with the text on the display monitor 31 in the box B13.
  • the recording control unit 394 stores the text and the voice of the operator U1 in the storage area in the examination report recording unit 383 linked to the name T2 (Anteriorwall) of the current anatomical part displayed on the display monitor 31.
  • the issued time (10:09 am) is stored as a new set of finding information.
  • the recording control unit 394 stores a storage area in the examination report recording unit 383 linked to the name T2 (Anteriorwall) of the current anatomical site displayed by the display monitor 31, for example In the storage area 383c2 , the findings information of the three operators U1 is stored.
  • step S316 the determination unit 396 determines whether or not the operator U1 has performed a change operation to change the display order of at least one of the text and the captured image displayed in the inspection report creation area R2. Specifically, as shown in FIG. 25, the determination unit 396 causes the operator U1 to select the box B13 based on the operation signal input from the touch panel 361, and the box B13 is displayed between the box B11 and the box B12. 24 to 25).
  • step S316: Yes If the determination unit 396 determines that the operator U1 has performed a change operation to change the display order of at least one of the text and the captured image displayed in the inspection report creation region R2 (step S316: Yes), the inspection report creation device 3 moves to step S317 which will be described later. On the other hand, when it is determined by the determination unit 396 that the operator U1 has not performed a change operation to change the display order of at least one of the text and the captured image displayed in the inspection report creation area R2 (step S316: No), the inspection report creating device 3 proceeds to step S318, which will be described later.
  • step S316 based on the operation signal input from the touch panel 361, the determination unit 396 performs a drag operation in which the operator U1 selects the box B13 and moves the box B13 between the boxes B11 and B12.
  • the scroll operation by the operator U1 may be determined without being limited to this, based on the operation signal input from the touch panel 361, for example. Specifically, due to the large number of texts and captured images displayed in the inspection report creation area R2, it may not be possible to display all of the texts and captured images during the inspection. In this case, based on the operation signal input from the touch panel 361, the determination unit 396 determines whether the operator U1 has scrolled the text and the captured image displayed in the examination report creation area R2 upward or downward. may be determined.
  • the display control unit 395 changes the text or captured image displayed in the examination report creation region R2 to the text or image recorded immediately before or after the current text or captured image in accordance with the scrolling operation by the operator U1.
  • the captured image may be displayed by scrolling up or down.
  • the display control unit 395 may automatically scroll the text or captured image to be displayed in the inspection report creation area R2 upward or downward each time the text or captured image is input. .
  • step S317 the display control unit 395 changes the display order of at least one of the text and the captured image displayed in the examination report creation area R2 according to the change operation by the operator U1. Specifically, as shown in FIG. 26, the display control unit 395 changes the display order of the box B13 to the boxes B11 and B12 based on the operation signal input from the touch panel 361 according to the drag operation of the operator U1. 25 to 26). In this case, the recording control unit 394 changes the storage order of finding information in the storage area 383c2 of the examination report recording unit 383 linked to the name T2 (Anteriorwall) of the current anatomical part displayed on the display monitor 31. do. Thereby, the operator U1 can change the display order by an intuitive operation.
  • the inspection report creating apparatus 3 proceeds to step S318, which will be described later.
  • the determination unit 396 determines whether or not the operator U1 has performed an operation to stop creation of the examination report on the input unit 36 (step S318). Specifically, the determination unit 396 determines whether or not a stop signal for inspection report creation has been input from the input unit 36 . Note that the determination unit 396 may determine whether or not the content of the text of the voice uttered by the operator U1 instructs to stop creating the examination report.
  • the inspection report creation device 3 proceeds to step S319, which will be described later.
  • the inspection report creation device 3 proceeds to step S306 described above. .
  • step S319 the recording control unit 394 stops acceptance of voice input by the voice input unit 33.
  • the operator U1 and assistants such as nurses can have conversations unrelated to the creation of test reports for the subject.
  • step S320 the determination unit 396 determines whether or not the operator U1 has performed an operation to end the preparation of the examination report on the input unit 36.
  • the inspection report creation device 3 proceeds to step S321, which will be described later.
  • the inspection report creation device 3 proceeds to step S304 described above. .
  • step S ⁇ b>321 the recording control unit 394 stores at least one of the voice uttered by the operator U ⁇ b>1 and the imaging data captured by the endoscope 2 in the anatomical site storage area preset in the examination report recording unit 383 . finish creating the inspection report.
  • the imaging control unit 397 stops imaging by the endoscope 2 (step S322). After step S322, the inspection report creating device 3 returns to the main routine of FIG.
  • step S ⁇ b>107 the determination unit 396 determines whether or not the operator U ⁇ b>1 has selected the edit icon A ⁇ b>13 displayed by the display monitor 31 . Specifically, as shown in FIG. 27 , the determination unit 396 determines whether or not the operator U1 has selected the edit icon A13 based on the operation signal input from the touch panel 361 . When the determination unit 396 determines that the operator U1 has selected the edit icon A13 displayed on the display monitor 31 (step S107: Yes), the examination report creation device 3 proceeds to step S108, which will be described later. On the other hand, if the determination unit 396 determines that the operator U1 has not selected the edit icon A13 displayed by the display monitor 31 (step S107: No), the examination report creation device 3 performs a step described later. Move to S109.
  • step S108 the inspection report creation device 3 executes inspection report editing processing for editing the inspection report in accordance with the operation of the operator U1.
  • FIG. 28 is a flowchart showing an overview of inspection report editing processing.
  • the display control unit 395 causes the display monitor 31 to display a list of inspection reports of the subject (step S401). Specifically, as shown in FIG. 29, the display control unit 395 causes the display monitor 31 to display a list of examination reports of the subject. In this list display, a finding information box containing at least one of the text and captured images P31 to P34 stored in the storage area linked to each name of a plurality of anatomical parts recorded by the examination report recording unit 383. B31-B35 are included.
  • the determination unit 396 determines whether or not a deletion operation has been performed to delete any one of the plurality of boxes B31 to B35 including at least one of the text and the captured image from the list displayed on the display monitor 31. Specifically, as shown in FIG. 30, the determination unit 396 determines whether the operator U1 performs a drag operation (see arrow Q3) on the box B32 based on an operation signal input from the touch panel 361. It is determined whether or not a deletion operation has been performed to delete the contents of the box B32 from the list display by moving the box B32 to the display area side of the display monitor 31 .
  • step S402 determines that the operator U1 has performed the deletion operation (step S402: Yes)
  • the inspection report creation device 3 proceeds to step S403, which will be described later.
  • step S402: No determines that the operator U1 has not performed the deletion operation (step S402: No)
  • the examination report creation device 3 proceeds to step S404, which will be described later.
  • step S ⁇ b>403 the recording control unit 394 deletes from the inspection report recording unit 383 the text and captured image in the box deleted by the operator U ⁇ b>1 . Specifically, as shown in FIG. 30, the recording control section 394 deletes the imaging data of the box B32 from the storage area 383c1 of the inspection report recording section 383.
  • FIG. 30 the recording control section 394 deletes the imaging data of the box B32 from the storage area 383c1 of the inspection report recording section 383.
  • the determination unit 396 determines whether or not a text editing operation has been performed on any of the plurality of boxes B31 to B35 containing at least one of text and captured images from the list displayed on the display monitor 31. (Step S404). Specifically, as shown in FIG. 31, based on the operation signal input from the touch panel 361, the determination unit 396 determines whether the operator U1 has long-pressed the box B34 to select the box B34. determine whether or not When the determination unit 396 determines that the text editing operation has been performed (step S404: Yes), the inspection report creating device 3 proceeds to step S405, which will be described later. On the other hand, when the determination unit 396 determines that the text editing operation has not been performed (step S404: No), the inspection report creating device 3 proceeds to step S406, which will be described later.
  • step S405 the recording control unit 394 edits the text included in the box B34 selected by the operator U1 so as to correspond to the operator U1's operation, and stores it in the inspection report recording unit 383.
  • step S405 the inspection report creating device 3 proceeds to step S406, which will be described later.
  • the inspection report creation device 3 has the functions of correcting the input character string and deleting unnecessary boxes, and also displays the box on the screen of the display monitor 31.
  • a function may be provided in which association between a region name and a box containing a finding/image can be changed by moving the region name under a different region name by a drag operation.
  • the determination unit 396 determines whether or not the operator U1 has performed an inspection report image creation operation (step S406). Specifically, as shown in FIG. 32, the determination unit 396 determines whether or not the operator U1 has selected an icon A30 for instructing creation of an examination report image based on an operation signal input from the touch panel 361. do.
  • the inspection report creation device 3 proceeds to step S407, which will be described later.
  • the determination unit 396 determines that the operator U1 has not performed the inspection report image creation operation (step S406: No)
  • the inspection report creation device 3 returns to step S401 described above.
  • step S407 the creation unit 398 creates an inspection report image in which boxes containing at least one of text and captured images linked to each of the plurality of anatomical regions recorded by the inspection report recording unit 383 are put together. Specifically, as shown in FIG. 33, the creating unit 398 creates an inspection report image W100.
  • the examination report image W100 includes a plurality of pieces of finding information for the subject by the operator U1.
  • step S ⁇ b>109 the determination unit 396 determines whether or not the operator U ⁇ b>1 operates the input unit 36 to select saving of the examination report.
  • the recording control unit 394 stores the inspection report in the inspection report recording unit 383. Save (step S110).
  • step S110 the inspection report creating device 3 proceeds to step S111, which will be described later.
  • the determination unit 396 determines that the operator U1 has not selected saving of the inspection report by operating the input unit 36 (step S109: No)
  • the inspection report creation device 3 proceeds to step S111.
  • step S111 the determination unit 396 determines whether or not the operator U1 has operated the input unit 36 to select the output destination of the examination report.
  • the inspection report creation device 3 proceeds to step S112, which will be described later.
  • the inspection report creation device 3 proceeds to step S113, which will be described later.
  • step S112 the communication control unit 399 causes the external communication unit 37 to output the inspection report to the output destination selected by the operator U1. Specifically, the communication control unit 399 directs the external communication unit 37 to the mobile phone owned by the subject based on the specified mail address of the mobile phone owned by the subject, which is included in the subject information 383b. Output a report. Of course, the communication control unit 399 may cause the external communication unit 37 to output and print the examination report to a designated printer in the hospital where the operator U1 works.
  • the inspection report creating device 3 proceeds to step S113, which will be described later.
  • step S ⁇ b>113 the determination unit 396 determines whether or not an end operation has been performed by the operator U ⁇ b>1 operating the input unit 36 .
  • the determination unit 396 determines that the operator U1 has performed the end operation by operating the input unit 36 (step S113: Yes)
  • the inspection report creation device 3 ends this process.
  • the determination unit 396 determines that the operator U1 has not operated the input unit 36 and has not performed the end operation (step S113: No)
  • the examination report creation device 3 performs the above-described step S101. back to
  • the recording control unit 394 stores the findings information including at least one of the text input by the operator U1 of the endoscope 2 and the captured image corresponding to the captured data. is recorded in association with the name of any one of a plurality of anatomical regions in the subject imaged by . Then, based on the finding information for each name of the anatomical part recorded in the inspection report recording part 383, the creating unit 398 creates an examination report of the subject in which the finding information is associated with each name of the anatomical part. . As a result, the operator U1 can prepare an examination report in real time while performing an examination of the subject, so that the examination report preparation time per case can be shortened.
  • the recording control unit 394 displays the finding information including at least one of the text converted by the conversion unit 392 and the captured image corresponding to the captured data. It is recorded in the inspection report recording unit 383 in association with the name. Then, based on the finding information for each name of the anatomical part recorded in the inspection report recording part 383, the creating unit 398 creates an examination report of the subject in which the finding information is associated with each name of the anatomical part. .
  • the operator U1 can prepare an examination report in real time while performing an examination of the subject, so that the examination report preparation time per case can be shortened.
  • the recording control unit 394 switches the storage area 383c1 of the inspection report recording unit 383 for storing the finding information each time the name of the anatomical part displayed on the display monitor 31 is switched. .
  • the operator U1 can check the finding information for each name of a plurality of anatomical sites in the examination report after finishing the examination of the subject.
  • the display control unit 395 displays the inspection report created by the creation unit 398 on the display monitor 31. Thereby, the operator U1 can confirm the contents of the examination report of the subject.
  • the communication control unit 399 outputs the test report created by the creating unit 398 to an external device such as a mobile phone owned by the subject. For this reason, a patient such as a subject can check the examination report from the operator using his/her own device.
  • the display control unit 395 causes the display monitor 31 to display the live view image LV1 and finding information side by side during the examination of the subject.
  • the operator U1 can inspect the subject while confirming in real time the content of the voice uttered by the operator and the captured image used in the inspection report.
  • the display control unit 395 instructs imaging from the endoscope 2 each time the voice uttered by the operator U1 is converted into text by the conversion unit 392 by the second acquisition unit 393.
  • the finding information is displayed on the display monitor 31 each time the imaging instruction signal is received.
  • the operator U1 can examine the subject while confirming in real time a plurality of pieces of finding information obtained at the current anatomical site.
  • the display monitor 31 displays the Change the display order of multiple finding information.
  • the recording control unit 394 changes the storage order of the storage area 383 c 1 of the inspection report recording unit 383 according to the display order of the finding information displayed by the display monitor 31 .
  • the operator U1 can edit the finding information in a desired order by an intuitive operation.
  • the setting unit 390 causes the display monitor 31 to display the name of each of the plurality of anatomical regions displayed on the display monitor 31 before the examination of the subject and the name of each of the plurality of anatomical regions displayed on the display monitor 31 during the examination of the subject.
  • Set display order This allows the operator U1 to examine the subject in the desired order of display or the name of the anatomical part.
  • the recording control unit 394 causes the second acquisition unit 393 to start acquiring the text or the captured image according to the content of the text converted from the voice uttered by the operator U1. Therefore, the operator U1 can create an examination report only by uttering a voice.
  • the recording control unit 394 associates the time when the recording control unit 394 acquires the text or the captured image acquired by the second acquisition unit 393 with the finding information, and stores it in the storage area 383c of the inspection report recording unit 383. 1 , and causes the display monitor 31 to display the time when the display control unit 395 acquired the text or the captured image acquired by the second acquisition unit 393 . Thereby, the operator U1 can grasp the time when the voice was emitted or the time when the photographing operation was performed.
  • the second acquiring unit 393 acquires the other of the text and the captured image within a predetermined time. is acquired. Then, when the determination unit 396 determines that the second acquisition unit 393 has acquired the other of the text and the captured image within the predetermined time, the recording control unit 394 stores the text and the captured image together with the text and the captured image. The other image is stored in the storage area 383c1 of the inspection report recording unit 383 as a set of finding information.
  • the recording control unit 394 , and the other of the text and the captured image are stored in the storage area 383c1 of the inspection report recording unit 383 as individual finding information.
  • the operator U1 can create an inspection report in real time by associating the voice comment uttered at the same observation point with the captured image.
  • the recording control unit 394 when the recording control unit 394 receives an input of a stop operation for temporarily stopping the acquisition of finding information, it temporarily stops acquiring the finding information and starts creating an inspection report. When the input of the start operation to start is received, acquisition of finding information is started. As a result, the operator U1 and assistants such as nurses can have conversations unrelated to the creation of test reports for the subject.
  • the display control unit 395 associates the finding information of each of the plurality of storage areas with the name of each of the plurality of anatomical regions, and displays them on the display monitor. 31. Then, the recording control unit 394 edits any one of deleting the finding information, rewriting the finding information, and changing the display order of the finding information according to the operator U1's editing operation for the plurality of finding information. As a result, the operator U1 can edit the examination report after completing the examination of the subject, and furthermore, since the finding information is recorded in the name of each of the plurality of anatomical parts, the examination can be performed with high accuracy. Can create reports.
  • the display control unit 395 changes the name of the anatomical region currently displayed by the display monitor 31 to the name of the anatomical region to be displayed next during examination of the subject.
  • the name of the anatomical site displayed on the display monitor 31 is changed to the name of the anatomical site to be displayed next and displayed.
  • the name of the anatomical site displayed on the display monitor 31 is displayed by the voice operation by the display control unit 395 based on the voice uttered by the operator U1. to change to the name of and display it.
  • the operator U1 can change the anatomical part in real time while performing an examination of the subject, simply by uttering a voice.
  • the display control unit 395 displays live images to be displayed on the display monitor 31 based on the detection signal of the angle between the longitudinal direction of the display monitor 31 detected by the attitude detection unit 35 and the direction of gravity. Controls the display position of the view image. As a result, the operator U1 can inspect the subject even when the holder 4 holds the inspection report creating device 3 in a desired direction.
  • the name of the anatomical site displayed on the display monitor 31 is changed to the name of the anatomical site to be displayed next by the operator U1 uttering a voice.
  • the display control unit 395 changes the name of the anatomical site displayed on the display monitor 31 to the next anatomical site.
  • the name may be changed and displayed.
  • the operator U1 can change the anatomical site in real time with a simple operation while inspecting the subject.
  • the endoscope 2 and the inspection report creating apparatus 3 are connected to each other by using the communication cable 5 so as to be able to communicate with each other. It may be connected to the device 3 so as to be wirelessly communicable.
  • the text of the voice uttered by the operator U1 is used as the finding information, but the present invention is not limited to this. It may be recorded in association with the name of any one of a plurality of anatomical parts of the subject imaged by the mirror 2 .
  • Embodiment 2 differs from the inspection report creation process executed by the endoscope system 1 according to Embodiment 1 described above. Specifically, in the first embodiment, the second acquisition unit 393 acquires the voice input of the operator U1 after the operator U1 has performed the start operation of creating the inspection report by voice. In form 2, when the second button 222d of the endoscope 2 is kept pressed, the second acquisition unit 393 acquires the voice input of the operator U1. In the following, examination report creation processing executed by the endoscope system according to the second embodiment will be described. In addition, the same code
  • FIG. 34 is a flowchart showing an overview of inspection report creation processing executed by the endoscope system 1 according to the second embodiment.
  • Steps S501 to S503 in FIG. 34 correspond to steps S301 to S303 in FIG. 15 described above, respectively.
  • the inspection report creating device 3 proceeds to step S504.
  • step S504 the determination unit 396 determines whether or not the second button 222d has been pressed based on the operation signal received from the second button 222d of the endoscope 2 via the communication unit 32.
  • the inspection report creating device 3 proceeds to step S505, which will be described later.
  • the inspection report creating device 3 proceeds to step S521, which will be described later.
  • step S505 the determination unit 396 determines whether or not the second button 222d is being pressed based on the operation signal received from the second button 222d of the endoscope 2 via the communication unit 32. do.
  • step S505: Yes the inspection report creating device 3 proceeds to step S506, which will be described later.
  • step S505: No the inspection report creating device 3 proceeds to step S521, which will be described later.
  • Steps S506 to S518 correspond to steps S305 to S317 in FIG. 15 described above, respectively.
  • the inspection report creating device 3 proceeds to step S519, which will be described later.
  • step S519 the determination unit 396 determines whether the second button 222d is being pressed based on the operation signal input from the second button 222d of the endoscope 2 via the communication unit 32. judge.
  • the inspection report creating device 3 proceeds to step S507 described above.
  • the inspection report creating device 3 proceeds to step S520, which will be described later.
  • Steps S520 to S523 correspond to steps S320 to S322 in FIG. 15 described above, respectively.
  • the inspection report creating device 3 returns to the main routine of FIG.
  • the determination unit 396 determines whether or not the second button 222d is being pressed based on the operation signal received from the second button 222d.
  • the second acquisition unit 393 acquires at least one of the text and the captured image.
  • the determination unit 396 determines that the second button 222d is not being pressed, the second acquisition unit 393 stops acquiring at least one of the text and the captured image.
  • Embodiment 3 Next, Embodiment 3 will be described.
  • the operator U1 manually switches the name of the anatomical site displayed on the display monitor 31 by voice. Automatically switch the names of anatomical parts.
  • the inspection report creating apparatus according to Embodiment 3 differs from the configuration of the inspection report creating apparatus 3 according to Embodiment 1 described above, and the inspection performed by the endoscope system according to Embodiment 3 is The reporting process is different.
  • the inspection report creating process executed by the endoscope system according to the third embodiment will be explained.
  • FIG. 35 is a block diagram showing a functional configuration of an inspection report creating device according to Embodiment 3.
  • FIG. An inspection report creating device 3A shown in FIG. 35 includes a recording unit 38A and a control unit 39A instead of the recording unit 38 and the control unit 39 of the inspection report creating device 3 according to Embodiment 1 described above.
  • the recording unit 38A further includes a learned data recording unit 384 in addition to the configuration of the recording unit 38 according to Embodiment 1 described above.
  • the learned data recording unit 384 stores learning data obtained by combining a plurality of captured images of the interior of the subject and the names of anatomical parts appearing in each of the plurality of captured images, using known techniques of machine learning, For example, it records learned data (learning results) learned by a learning device capable of machine learning such as deep learning.
  • the control unit 39A further includes a recognition unit 400 in addition to the configuration of the control unit 39 according to Embodiment 1 described above.
  • the recognition unit 400 uses the learned data recorded by the learned data recording unit 384 and machine learning such as DNN (Deep Neural Network), which is a well-known technology, and uses imaging data captured by the endoscope 2 as input data, The name of the anatomical site appearing in the captured image corresponding to the imaging data is recognized, and the name of the anatomical site is output as output data.
  • DNN Deep Neural Network
  • FIG. 36 is a flowchart showing an overview of examination report creation processing executed by the endoscope system according to Embodiment 3.
  • FIG. 36 is a flowchart showing an overview of examination report creation processing executed by the endoscope system according to Embodiment 3.
  • Steps S601 to S604 correspond to steps S301 to S304 in FIG. 15 described above, respectively.
  • the inspection report creating apparatus 3A proceeds to step S605.
  • step S ⁇ b>605 the determination unit 396 determines the anatomy of the observation site of the endoscope 2 based on the name of the current anatomical site displayed on the display monitor 31 and the anatomical site recognized by the recognition unit 400 . It is determined whether the anatomical site has moved from the current anatomical site name displayed by the display monitor 31 . If the determination unit 396 determines that the anatomical site at the observation site of the endoscope 2 has moved from the current name of the anatomical site displayed on the display monitor 31 (step S605: Yes), the inspection The report creation device 3A proceeds to step S606, which will be described later.
  • step S605 determines that the anatomical site at the observation site of the endoscope 2 has not moved from the current name of the anatomical site displayed on the display monitor 31 (step S605). : No)
  • step S612 3 A of test report preparation apparatuses transfer to step S612 mentioned later.
  • Steps S606 to S608 correspond to steps S305 to S307 in FIG. 15 described above, respectively.
  • step S ⁇ b>609 the recognizing unit 400 uses the learned data recorded by the learning data recording unit 384 to perform anatomical data appearing in the captured image corresponding to the imaging data acquired from the endoscope 2 by the first acquiring unit 391 . Recognize parts.
  • step S610 the display control unit 395 changes the name of the current anatomical site displayed by the display monitor 31 to the name of the anatomical site recognized by the recognition unit 400.
  • Steps S611 to S623 correspond to steps S310 to S322 in FIG. 15 described above, respectively.
  • the inspection report creating apparatus 3A returns to the main routine of FIG. 7 described above.
  • the recognition unit 400 recognizes the name of the anatomical part of the subject currently being observed by the endoscope 2 based on the imaging data captured by the endoscope 2.
  • the display control unit 395 causes the display monitor 31 to change the name of the anatomical site currently displayed on the display monitor 31 to the name of the anatomical site according to the recognition result recognized by the recognition unit 400 and display it on the display monitor 31 .
  • the name of the anatomical part of the subject observed by the endoscope 2 is automatically switched, so that the operator U1 can concentrate on the examination of the subject.
  • the recognition unit 400 uses the learned data recorded by the learning data recording unit 384 to recognize the name of the current anatomical part of the endoscope 2. Recognizing the name of the current anatomical part of the endoscope 2 by using the brightness, saturation, pixel value, shape, etc. contained in the imaging data captured by the endoscope 2, and pattern matching, etc. of known technology. You may
  • Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the endoscope systems according to Embodiments 1 to 3 of the present disclosure described above. For example, some components may be deleted from all the components described in the endoscope systems according to Embodiments 1 to 3 of the present disclosure. Furthermore, the components described in the endoscope systems according to the first to third embodiments of the present disclosure described above may be combined as appropriate.
  • the above-described "unit” can be read as “means” or “circuit”.
  • the control unit can be read as control means or a control circuit.
  • the program to be executed by the endoscope system according to Embodiments 1 to 3 of the present disclosure is file data in an installable format or an executable format, It is provided by being recorded on a computer-readable recording medium such as a DVD (Digital Versatile Disk), USB medium, flash memory, or the like.
  • a computer-readable recording medium such as a DVD (Digital Versatile Disk), USB medium, flash memory, or the like.
  • the programs to be executed by the endoscope system according to Embodiments 1 to 3 of the present disclosure are stored on a computer connected to a network such as the Internet, and configured to be provided by being downloaded via the network.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

症例当たりの検査レポートの作成時間を短縮することができる検査レポート作成プログラム、検査レポート作成装置、内視鏡システムを提供する。検査レポート作成プログラムは、内視鏡の術者により入力されたテキストおよび内視鏡から取得した1つ以上の撮像データに対応する撮像画像の少なくとも一方を所見情報として取得する。そして、検査レポート作成プログラムは、所見情報を、内視鏡が撮像した被検体における複数の解剖学的部位のいずれか一つの名称と関連付けて記録し、解剖学的部位の名称毎に所見情報を関連付けた被検体の検査レポートを作成する。

Description

検査レポート作成プログラム、検査レポート作成装置および内視鏡システム
 本開示は、被検体の検査レポートを生成する検査レポート作成プログラム、検査レポート作成装置および内視鏡システムに関する。
 従来、医療分野における内視鏡システムにおいて、医者等の術者が被検体の検査を行った際に、術者が作成する検査レポートの作成業務を補助する技術が知られている(例えば特許文献1参照)。この技術では、内視鏡によって撮像された複数の内視鏡画像のうち検査レポートに使用する内視鏡画像に対して、病変の種別および進行度等の症状を認識する鑑別処理を実行し、この鑑別結果を用いて検査レポートの記載項目を自動的に選択して表示する。
特開2020-81332号公報
 しかしながら、上述した特許文献1では、被検体の検査中に術者が検査レポートを作成することは考慮されていなかった。このため、上述した特許文献1では、被検体の検査後に、術者が内視鏡画像を見ながら検査レポートを作成しなければならず、1症例当たり検査から検査レポートの作成までに多大な時間を費やさなければならなかった。
 本開示は、上記に鑑みてなされたものであって、1症例当たり検査から検査レポートの作成までに費やす時間を短縮することができる検査レポート作成プログラム、検査レポート作成装置、内視鏡システムを提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本開示に係る検査レポート作成プログラムは、被検体内に挿入される内視鏡と通信可能な検査レポート作成装置に、前記被検体に挿入された内視鏡が時系列に沿って撮像した撮像データを順次取得し、前記内視鏡の術者により入力されたテキストおよび前記撮像データに対応する撮像画像の少なくとも一方を含む所見情報を、前記内視鏡が撮像した前記被検体における複数の解剖学的部位のいずれか一つの名称と関連付けて記録し、前記解剖学的部位の名称毎に前記所見情報を関連付けた前記被検体の検査レポートを作成する、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記検査レポート作成装置に、前記撮像データの取得後、前記複数の解剖学的部位のいずれか一つの前記名称を前記検査レポート作成装置が備える表示モニタに表示させ、かつ、前記撮像データに対応するライブビュー画像を時系列に沿って前記表示モニタに順次表示させ、前記表示モニタが前記複数の解剖学的部位のいずれか一つの名称を表示している際に、前記術者が発した音声をテキストに変換し、前記テキストおよび前記撮像データに対応する前記撮像画像の少なくとも一方を含む前記所見情報を前記表示モニタが表示する前記解剖学的部位の名称と関連付けて記録する、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記検査レポート作成装置に、前記表示モニタが表示する前記解剖学的部位の名称が切り替わる毎に、前記所見情報が関連付けされる前記解剖学的部位の名称が切り替わる、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記検査レポート作成装置に、前記表示モニタが表示する前記解剖学的部位の名称が切り替わる毎に、前記所見情報を記録する格納領域を前記解剖学的部位の名称に対応付けられた格納領域に切り替える、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記検査レポート作成装置に、前記検査レポートを前記表示モニタおよび外部機器の少なくとも一方へ出力する、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記検査レポート作成装置に、前記被検体の検査中に、前記ライブビュー画像および前記所見情報を並べて前記表示モニタに表示させる、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記検査レポート作成装置に、前記術者が発した音声を前記テキストに変換する毎または前記内視鏡から撮影を指示する撮影指示信号を受信する毎に前記所見情報を記録する、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記検査レポート作成装置に、前記所見情報を前記表示モニタに表示させ、前記被検体の検査中に、前記表示モニタが表示する複数の前記所見情報のいずれか1つに対するドラッグ操作に応じた操作信号を受信した場合、該操作信号に従って前記表示モニタが表示する複数の前記所見情報の表示位置を入れ替える、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記検査レポート作成装置に、前記被検体の検査前に、前記表示モニタが表示する前記複数の解剖学的部位の各々の名称および前記被検体の検査中に前記表示モニタに表示させる表示順を設定する、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記検査レポート作成装置に、前記テキストの内容が前記検査レポートの作成を開始する指示である場合、前記テキストまたは前記撮像画像の取得を開始する、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記テキストの内容が前記検査レポートの作成を一時停止する指示である場合、前記所見情報の取得を一時的に停止し、前記テキストの内容が前記検査レポートの作成を再開する指示である場合、前記所見情報の取得を開始する、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記検査レポート作成装置に、前記内視鏡から受信する操作信号に基づいて、前記内視鏡の所定の操作部材が押下中であるか否かを判定し、前記操作部材が押下中であると判定した場合、前記テキストおよび前記撮像画像の少なくとも一方を取得する一方、前記操作部材が押下中でないと判定した場合、前記テキストおよび前記撮像画像の少なくとも一方の取得を停止する、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記検査レポート作成装置に、前記テキストまたは前記撮像画像を取得した時刻を、前記所見情報に関連付けて記録し、前記時刻を前記表示モニタに表示させる、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記検査レポート作成装置に、前記テキストおよび前記撮像画像の一方を前記所見情報として前記解剖学的部位の名称と関連付けて記録してから、所定時間内に前記テキストおよび前記撮像画像の他方を取得したか否かを判定し、前記所定時間内に前記テキストおよび前記撮像画像の他方を取得したと判定した場合、前記テキストおよび前記撮像画像の一方と、前記テキストおよび前記撮像画像の他方と、を1組とする前記所見情報として前記解剖学的部位の名称と関連付けて記録する一方、前記所定時間内に前記テキストおよび前記撮像画像の他方を取得していないと判定した場合、前記テキストおよび前記撮像画像の一方と、前記テキストおよび前記撮像画像の他方と、を個別の前記所見情報として前記解剖学的部位の名称と関連付けて記録する、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記検査レポート作成装置に、前記被検体の検査中に取得した前記テキストの内容が前記表示モニタにおける前記解剖学的部位の名称の表示を変更する指示である場合、前記表示モニタに表示させる前記解剖学的部位の名称を次に表示すべき前記解剖学的部位の名称に変更する、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記検査レポート作成装置に、前記被検体の検査中に、前記内視鏡に設けられた操作部材から前記表示モニタにおける前記解剖学的部位の名称の表示を変更する変更操作信号を取得した場合、前記表示モニタに表示させる前記解剖学的部位の名称を次に表示すべき前記解剖学的部位の名称に変更する、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記検査レポート作成装置に、前記撮像データに基づいて、前記内視鏡が現在観察している前記被検体の前記解剖学的部位の名称を認識し、前記表示モニタが表示中の前記解剖学的部位の名称を、前記認識した認識結果に応じた前記解剖学的部位の名称に変更して前記表示モニタに表示させる、ことを実行させる。
 また、本開示に係る検査レポート作成プログラムは、上記開示において、前記検査レポート作成装置に、前記表示モニタの長手方向と重力方向とがなす角度の検出信号を取得し、前記検出信号に基づいて、前記表示モニタに表示させる前記ライブビュー画像の表示位置を制御する、ことを実行させる。
 また、本開示に係る検査レポート作成装置は、被検体に挿入された内視鏡が時系列に沿って撮像した撮像データを順次取得する取得部と、前記内視鏡の術者により入力されたテキストおよび前記撮像データに対応する撮像画像の少なくとも一方を含む所見情報を、前記内視鏡が撮像した前記被検体における複数の解剖学的部位のいずれか一つの名称と関連付けて記録する記録制御部と、前記解剖学的部位の名称毎に前記所見情報を関連付けた前記被検体の検査レポートを作成する作成部と、を備える。
 また、本開示に係る内視鏡システムは、被検体内に挿入され、該被検体内を時系列に沿って撮像して撮像データを生成する内視鏡と、前記内視鏡と通信可能な検査レポート作成装置と、前記内視鏡の操作部の一方に取り付けられ、前記検査レポート作成装置を保持可能なホルダと、を備え、前記検査レポート作成装置は、被検体に挿入された内視鏡が時系列に沿って撮像した撮像データを順次取得する取得部と、前記内視鏡の術者により入力されたテキストおよび前記撮像データに対応する撮像画像の少なくとも一方を含む所見情報を、前記内視鏡が撮像した前記被検体における複数の解剖学的部位のいずれか一つの名称と関連付けて記録する記録制御部と、前記解剖学的部位の名称毎に前記所見情報を関連付けた前記被検体の検査レポートを作成する作成部と、を備える。
 本開示によれば、1症例当たり検査から検査レポートの作成までに費やす時間を短縮することができるという効果を奏する。
図1は、実施の形態1に係る内視鏡システムの前面側の概略構成を示す模式図である。 図2は、実施の形態1に係る内視鏡システムの背面側の概略構成を示す模式図である。 図3は、実施の形態1に係る内視鏡の機能構成を示すブロック図である。 図4は、実施の形態1に係る検査レポート作成装置の機能構成を示すブロック図である。 図5は、実施の形態1に係る表示制御部が表示モニタに表示させる検査画面の一例を示す図である。 図6は、実施の形態1に係る表示制御部が表示モニタに表示させる検査画面の別の一例を示す図である。 図7は、実施の形態1に係る検査レポート作成装置が実行する処理の概要を示すフローチャートである。 図8は、実施の形態1に係る表示モニタに表示する画面の一例を示す図である。 図9は、実施の形態1に係る表示モニタに表示する内視鏡システムによる被検体の検査を行うためのアプリケーションのトップ画面の一例を示す図である。 図10は、実施の形態1に係る設定処理の概要を示すフローチャートである。 図11は、実施の形態1に係る表示制御部が表示モニタに表示させる画像の一例を示す図である。 図12は、術者の操作内容を説明する図である。 図13は、術者の操作内容を説明する図である。 図14は、術者の操作内容を説明する図である。 図15は、検査レポート作成処理の概要を示すフローチャートである。 図16は、実施の形態1に係る表示制御部が表示モニタに表示させる画像の一例を示す図である。 図17は、実施の形態1に係る表示制御部が表示モニタに表示させる画像と術者の操作内容を説明する図である。 図18は、実施の形態1に係る表示制御部が表示モニタに表示させる画像と術者の操作内容を説明する図である。 図19は、実施の形態1に係る表示制御部が表示モニタに表示させる画像と術者の操作内容を説明する図である。 図20は、実施の形態1に係る表示制御部が表示モニタに表示させる画像と術者の操作内容を説明する図である。 図21は、実施の形態1に係る表示制御部が表示モニタに表示させる画像と術者の操作内容を説明する図である。 図22は、実施の形態1に係る表示制御部が表示モニタに表示させる画像と術者の操作内容を説明する図である。 図23は、実施の形態1に係る表示制御部が表示モニタに表示させる画像と術者の操作内容を説明する図である。 図24は、実施の形態1に係る表示制御部が表示モニタに表示させる画像の別の一例を示す図である。 図25は、実施の形態1に係る表示制御部が表示モニタに表示させる画像と術者の操作内容を説明する図である。 図26は、実施の形態1に係る表示制御部が表示モニタに表示させる画像と術者の操作内容を説明する図である。 図27は、実施の形態1に係る表示制御部が表示モニタに表示させる画像と術者の操作内容を説明する図である。 図28は、検査レポート編集処理の概要を示すフローチャートである。 図29は、実施の形態1に係る表示制御部が表示モニタに表示させる画像の一例を示す図である。 図30は、実施の形態1に係る表示制御部が表示モニタに表示させる画像と術者の操作内容を説明する図である。 図31は、実施の形態1に係る表示制御部が表示モニタに表示させる画像と術者の操作内容を説明する図である。 図32は、実施の形態1に係る表示制御部が表示モニタに表示させる画像と術者の操作内容を説明する図である。 図33は、実施の形態1に係る表示制御部が表示モニタに表示させる画像の一例を示す図である。 図34は、実施の形態2に係る内視鏡システム1が実行する検査レポート作成処理の概要を示すフローチャートである。 図35は、実施の形態3に係る検査レポート作成装置の機能構成を示すブロック図である。 図36は、実施の形態3に係る内視鏡システムが実行する検査レポート作成処理の概要を示すフローチャートである。
 以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において、参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。
(実施の形態1)
 〔内視鏡システムの概略構成〕
 図1は、実施の形態1に係る内視鏡システムの前面側の概略構成を示す模式図である。図2は、実施の形態1に係る内視鏡システムの背面側の概略構成を示す模式図である。
 図1および図2に示す内視鏡システム1は、医療分野に用いられ、人や動物等の被検体内に挿入され、この被検体内を撮像した撮像データに対応するライブビュー画像を表示することによって被検体を観察するものである。内視鏡システム1は、内視鏡2と、検査レポート作成装置3と、ホルダ4と、通信ケーブル5と、を備える。
 まず、内視鏡2について説明する。内視鏡2は、被検体内に挿入され、被検体内を撮像して被検体内の撮像データを生成する。内視鏡2は、被検体内に挿入される挿入部21と、挿入部21の基端部側であって医者等の術者が把持する操作部22と、を備える。
 挿入部21は、電気ケーブルおよび操作ワイヤ等を用いて実現される。挿入部21は、被検体に向けて照明光を照射する白色LED(Light Emitting Diode)ランプや照明レンズ等を内蔵した照明部および被検体内を撮像する撮像素子および撮像レンズ等を内蔵した撮像部を有する先端部211と、複数の湾曲駒によって構成された湾曲自在な湾曲部212と、湾曲部212の基端部側に設けられた可撓性を有する可撓管部213と、を有する。
 操作部22は、可撓管部213の基端部が接続され、術者が内視鏡2を把持可能な把持部221と、把持部221の基端部側に設けられた本体部222と、を有する。本体部222は、内部に各種の制御回路や電池等を有する。本体部222は、内視鏡2の電源を起動する起動ボタン222aと、湾曲部212を上下方向に湾曲させる湾曲操作レバー222bと、撮像を指示する指示信号の入力を受け付ける第1のボタン222cと、所定の機能を割り当て可能な第2のボタン222dと、を有する。
 次に、検査レポート作成装置3について説明する。検査レポート作成装置3は、ホルダ4を用いて内視鏡2の本体部222に装着される。検査レポート作成装置3は、通信ケーブル5を経由して、内視鏡2によって撮像された撮像データに対応するライブビュー画像を表示する。また、検査レポート作成装置3は、術者の各種の操作の入力を受け付け、被検体の検査レポートを作成する。検査レポート作成装置3は、ライブビュー画像および各種情報を表示する長方形の表示モニタ31を有する。検査レポート作成装置3は、例えば携帯電話等を用いて実現される。なお、以下においては、検査レポート作成装置3の一例として携帯電話を例に説明するが、携帯電話以外にも、表示機能を有するタブレット型端末装置および表示機能を有する外部レコーダ等であっても適用することができる。
 ホルダ4は、内視鏡2に着脱自在に取り付けられ、検査レポート作成装置3を保持する。ホルダ4は、内視鏡2の本体部222に着脱自在に取付可能な基端部41と、検査レポート作成装置3を着脱自在に保持する保持部42と、を備える。保持部42は、検査レポート作成装置3の長手方向および短手方向に保持可能である。なお、以下においては、ホルダ4が検査レポート作成装置3を長手方向で保持している状態について説明する。
 通信ケーブル5は、内視鏡2と検査レポート作成装置3とを通信可能に接続する。具体的には、通信ケーブル5は、内視鏡2から入力された各種のデータを検査レポート作成装置3へ出力し、検査レポート作成装置3から入力された各種のデータを内視鏡2へ出力する。なお、実施の形態1では、通信ケーブル5を用いて内視鏡2と検査レポート作成装置3とを通信可能に接続しているが、これに限定されることなく、所定の無線通信規格、例えばWi-Fi(登録商標)およびBluetooth(登録商標)を用いて内視鏡2と検査レポート作成装置3とを通信可能に接続してもよい。
 〔内視鏡の機能構成〕
 次に、内視鏡2の機能構成について説明する。図3は、内視鏡2の機能構成を示すブロック図である。図3に示すように、内視鏡2は、照明部201と、撮像部202と、入力部203と、画像処理部204と、記録部205と、通信部206と、内視鏡制御部207と、を備える。
 照明部201は、内視鏡制御部207の制御のもと、被検体に向けて照明光を照射する。照明部201は、白色の照明光を発光可能な白色LEDランプおよび白色LEDランプが発光した照明光を集光して被検体に向けて照射する照明レンズ等を用いて構成される。
 撮像部202は、照明部201が照明光を照射した被検体を撮像して撮像データを生成し、この撮像データを画像処理部204へ出力する。撮像部202は、所定の視野領域から光を集光する一または複数の撮像レンズと、この撮像レンズが結像した被写体像を受光して光電変換を行うことによって撮像データを生成するCCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等のイメージセンサ等を用いて構成される。
 入力部203は、内視鏡2の電源を起動する起動ボタン222aと、撮影操作の入力を受け付け、受け付けた撮影操作に応じた撮影信号を内視鏡制御部207へ出力する第1のボタン222cと、所定の機能を割り当て可能な第2のボタン222dと、を有する。
 画像処理部204は、内視鏡制御部207の制御のもと、撮像部202から入力された撮像データに対して、所定の画像処理を行って記録部205および通信部206の少なくとも一方へ出力する。ここで、所定の画像処理とは、少なくとも、A/D変換処理、ゲイン調整処理、オプティカルブラック減算処理、ホワイトバランス(WB)調整処理、撮像素子がベイヤー配列の場合には同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む画像処理である。画像処理部204は、メモリと、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)およびGPU(Graphics Processing Unit)等のハードウェアを有するプロセッサを用いて構成される。
 記録部205は、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等を用いて実現される。記録部205は、内視鏡2が実行する各種のプログラムや処理中に使用される各種のデータを記録するプログラム記録部205aと、撮像データを記録する撮像データ記録部205bと、を有する。なお、記録部205は、内視鏡2に対して着脱自在なメモリカード等の記録媒体であってもよい。
 通信部206は、通信ケーブル5が着脱自在に接続され、内視鏡制御部207の制御のもと、検査レポート作成装置3と通信を行う。例えば、通信部206は、HDMI(High-Definition Multimedia Interface)(登録商標)等の通信規格に従って撮像データを検査レポート作成装置3へ送信する。通信部206は、USB-IF規格の雌型のコネクタ等を用いて構成される。
 内視鏡制御部207は、メモリと、CPU(Central Processing Unit)等のハードウェアを有するプロセッサを用いて構成される。内視鏡制御部207は、内視鏡2を構成する各部を制御する。なお、実施の形態1では、画像処理部204、記録部25および内視鏡制御部207が内視鏡2に設けられているが、これに限定されることなく、例えば検査レポート作成装置3に、画像処理部204、記録部25および内視鏡制御部207の一部または全部を設けてもよい。
 〔検査レポート作成装置の機能構成〕
 次に、検査レポート作成装置3の機能構成について説明する。図4は、検査レポート作成装置3の機能構成を示すブロック図である。図4に示す検査レポート作成装置3は、表示モニタ31と、通信部32と、音声入力部33と、音声出力部34と、姿勢検出部35と、入力部36と、外部通信部37と、記録部38と、制御部39と、を備える。
 表示モニタ31は、制御部39の制御もと、制御部39から入力される撮像データに対応するライブビュー画像および検査レポート作成装置3に関する各種情報を表示する。表示モニタ31は、液晶ディスプレイまたは有機ELディスプレイ(Organic Electroluminescent Display)等を用いて構成される。
 通信部32は、通信ケーブル5が着脱自在に接続され、制御部39の制御のもと、内視鏡2と通信を行う。例えば、通信部32は、HDMI(High-Definition Multimedia Interface)等の通信規格に従って各種情報を内視鏡2へ送信する。通信部32は、USB-IF規格の雌型のコネクタ等を用いて構成される。
 音声入力部33は、術者が発した音声の入力を受け付け、受け付けた音声に対して所定の信号処理を行って生成した音声データを制御部39へ出力する。音声入力部33は、音声の入力を受け付けるマイク、このマイクが受け付けた音声に対してゲイン調整処理、ノイズ低減処理およびA/D変換処理等を行って音声データを生成する信号処理回路等を用いて構成される。
 音声出力部34は、制御部39から入力された音声データに対応する音声を出力する。音声出力部34は、制御部39から入力された音声データに対して、ゲイン調整処理およびD/A変換処理等を行う信号処理回路と、この信号処理回路から出力された音声を出力するスピーカ等を用いて構成される。
 姿勢検出部35は、検査レポート作成装置3の姿勢を検出し、この検出結果を制御部39へ出力する。具体的には、姿勢検出部35は、表示モニタ31の長手方向と鉛直方向(重力方向)とがなす角度を検出し、この検出結果を制御部39へ出力する。姿勢検出部35は、3軸の加速度センサおよびジャイロセンサ等を用いて構成される。
 入力部36は、術者の操作の入力を受け付け、受け付けた操作に応じた操作信号を制御部39へ出力する。入力部36は、表示モニタ31に重畳されて配置され、術者のタッチ操作に応じた信号を出力するタッチパネル361、各種のボタンおよびスイッチ等を用いて構成される。
 外部通信部37は、制御部39の制御のもと、図示しない携帯電話回線網等のネットワークを通じて、外部機器と所定の通信規格に従って通信を行い、各種データ、例えば音声データおよび検査レポートデータ等を受信または送信する。ここで、所定の通信規格とは、携帯電話回線を用いた規格、例えば4G(4th Generation Mobile Communication System)、5G(5th Generation Mobile Communication System)、Wi-Fi、Bluetoothの少なくとも一つである。外部通信部37は、各種データを送受信可能な通信モジュール等を用いて構成される。
 記録部38は、ROM、RAM、フラッシュメモリ、メモリカード等を用いて実現される。記録部38は、プログラム記録部381と、音声辞書データ記録部382と、検査レポート記録部383と、を有する。プログラム記録部381は、検査レポート作成装置3が実行する各種のプログラムおよび処理中のデータを記録する。音声辞書データ記録部382は、音声入力に参照される音声辞書データを記録する。検査レポート記録部383は、術者が内視鏡システム1を用いて被検体の検査を行う際に、表示モニタ31に表示させる複数の解剖学的部位の表示順および名称等の設定情報383aを記録する。さらに、検査レポート記録部383は、被検体の氏名、性別、年齢、住所および被検体が所有する通信機器等の連絡先等に関する被検体情報383bを記録する。さらにまた、検査レポート記録部383は、予め設定された複数の解剖学的部位の各々の名称毎の格納領域383c~383c(n=2以上の整数)を有する。格納領域383c~383cは、表示モニタ31が表示する解剖学的部位の名称に紐付けて術者が発した音声に応じたテキストおよび内視鏡2が撮像した撮像データに対応する撮像画像の少なくとも一方を含む所見情報を格納する。なお、以下においては、格納領域383c~383cのいずれかを指す場合、単に格納領域383cと表記する。
 制御部39は、検査レポート作成装置3を構成する各部を制御する。制御部39は、メモリと、CPU等のハードウェアを有するプロセッサと、を用いて構成される。制御部39は、設定部390と、第1の取得部391と、変換部392と、第2の取得部393と、記録制御部394と、表示制御部395と、判定部396と、撮像制御部397と、作成部398と、通信制御部399と、有する。
 設定部390は、入力部36に対する術者の操作に応じて、内視鏡システム1による被検体の検査を行う際に、表示モニタ31に表示される被検体における複数の解剖学的部位の各々の名所および表示順を設定し、この設定結果を設定情報383aに格納する。なお、設定部390による設定処理の内容は、後述する。
 第1の取得部391は、通信部32を経由して、内視鏡2が時系列に沿って撮像した撮像データを取得する。また、第1の取得部391は、術者が内視鏡2の入力部203に対して行った操作内容に応じた操作信号を取得する。例えば、第1の取得部391は、術者が第1のボタン222cを操作した際に、通信部32を経由して、第1のボタン222cから出力される操作信号を取得する。
 変換部392は、音声辞書データ記録部382が記録する音声辞書データと、周知の音声認識技術と、音声入力部33からの音声データと、を用いて、術者が発した音声をテキストに変換する。
 第2の取得部393は、表示モニタ31が複数の解剖学的部位のいずれか一つの名称を表示している際に、内視鏡2の術者が発した音声に応じたテキスト(コメント)および内視鏡2から取得した1つ以上の撮像データに対応する撮像画像の少なくとも一方を所見情報として取得する。具体的には、第2の取得部393は、変換部392が変換したテキストを内視鏡2の術者が発した音声に応じた所見情報として取得する。
 記録制御部394は、内視鏡2の術者により入力されたテキストおよび撮像データに対応する撮像画像の少なくとも一方を含む所見情報を、内視鏡2が撮像した被検体における複数の解剖学的部位のいずれか一つの名称と関連付けて記録する。具体的には、記録制御部394は、変換部392が変換したテキストおよび撮像データに対応する撮像画像の少なくとも一方を含む所見情報を表示モニタ31が表示する解剖学的部位の名称と関連付けて記録する。この場合、記録制御部394は、第2の取得部393が取得した所見情報を、予め検査レポート記録部383に設定された複数の解剖学的部位の各々の名称毎の格納領域383cであって、表示モニタ31が現在表示する解剖学的部位の名称に紐付けられた格納領域383cに格納する。また、記録制御部394は、表示モニタ31が表示する解剖学的部位の名称が切り替わる毎に、第2の取得部393が取得した所見情報を格納する格納領域383cを切り替える。また、記録制御部394は、表示モニタ31が表示する所見情報の表示順に従って、検査レポート記録部383に設定された複数の格納領域383cの格納順を入れ替える。さらに、記録制御部394は、第2の取得部393がテキストまたは撮像画像を取得した時刻を、所見情報に対応付けて格納領域383cに格納する。さらにまた、記録制御部394は、第2の取得部393がテキストおよび撮像画像の一方を取得してから所定時間(例えば60秒)内にテキストおよび撮像画像の他方を取得した場合、テキストおよび撮像画像の一方と、テキストおよび撮像画像の他方と、を1組とする所見情報として格納領域383cに格納する。これに対して、記録制御部394は、第2の取得部393がテキストおよび撮像画像の一方を取得してから所定時間内にテキストおよび撮像画像の他方を取得していない場合、テキストおよび撮像画像の一方と、テキストおよび撮像画像の他方と、を個別の所見情報として格納領域383cに格納する。なお、記録制御部394は、内視鏡2の術者により入力されたテキストおよび撮像データに対応する撮像画像の少なくとも一方を含む所見情報を、内視鏡2が撮像した被検体における複数の解剖学的部位のいずれか一つの名称と関連付けて記録することができればよく、予め検査レポート記録部383に設定された複数の解剖学的部位の各々の名称毎の格納領域383cに必ず格納するはない。
 表示制御部395は、内視鏡2が撮像する被検体における複数の解剖学的部位のいずれか一つの名称を表示モニタ31に表示し、かつ、第1の取得部391が取得した撮像データに対応するライブビュー画像を時系列に沿って表示モニタ31に順次表示させる。また、表示制御部395は、被検体の検査中に、ライブビュー画像および所見情報を並べて表示モニタ31に表示させる。さらに、表示制御部395は、術者が発することによって変換部392が音声をテキストに変換する毎または内視鏡2から撮影を指示する撮影指示信号を受信する毎に所見情報を表示モニタ31に表示させる。また、表示制御部395は、被検体の検査中に、表示モニタ31が表示する複数の所見情報のいずれか1つに対するドラッグ操作に応じた操作信号を取得した場合、この操作信号に従って表示モニタ31が表示する複数の所見情報の表示順を入れ替えて表示させる。さらに、表示制御部395は、被検体の検査中に第2の取得部393によって取得されたテキストの内容が表示モニタ31における解剖学的部位の名称の表示を変更する指示である場合、表示モニタ31に表示させる解剖学的部位の名称を次に表示すべき解剖学的部位の名称に変更する。
 判定部396は、変換部392が変換したテキストの内容を判定する。判定部396は、第2の取得部393がテキストおよび撮像画像の一方を取得してから、所定時間(例えば60秒)内にテキストおよび撮像画像の他方を取得したか否かを判定する。
 撮像制御部397は、入力部36において受け付けた術者の操作内容に応じて、内視鏡2の撮像を制御する。
 作成部398は、検査レポート記録部383に格納された解剖学的部位の名称毎の所見情報に基づいて、解剖学的部位の名称毎に所見情報を関連付けた被検体の検査レポートを作成する。
 通信制御部399は、入力部36の操作に応じて、外部通信部37を経由して被検体の外部機器または術者が所属する院内のプリンタやサーバへ作成部398によって作成された検査レポートを出力する。
 〔検査レポート作成時における検査画面〕
 次に、内視鏡システム1が被検体の検査時に、表示制御部395が表示モニタ31に表示する検査画面について説明する。図5は、表示制御部395が表示モニタ31に表示させる検査画面の一例を示す図である。なお、図5では、検査レポート作成装置3における表示モニタ31の長手方向と重力方向とがなす角度が略直交と姿勢検出部35が検出信号を出力した際に表示制御部395が表示モニタ31に表示させる検査画面について説明する。
 図5に示すように、表示制御部395は、ライブビュー画像表示領域R1と、検査レポート作成領域R2と、を含む検査画面W1を表示モニタ31に表示させる。
 図5に示すように、表示制御部395は、ライブビュー画像表示領域R1に、第1の取得部391が取得した内視鏡2が時系列に沿って被検体内を撮像した撮像データに対応するライブビュー画像LV1を表示する。術者は、ライブビュー画像LV1を観察しながら、被検体の検査または観察を行うことができる。
 また、表示制御部395は、検査レポート作成領域R2に、被検体の検査時に予め術者によって表示順が設定された被検体の解剖学的部位の名称T1(Esophagus)と、次に表示される解剖学的部位の名称T2(Anteriorwall)と、を表示モニタ31に表示させる。具体的には、表示制御部395は、表示モニタ31に、現在の解剖学的部位の名称T1を検査レポート作成領域R2の上方端部領域に表示させる。さらに、表示制御部395は、表示モニタ31に、次の表示予定の解剖学的部位の名称T2を検査レポート作成領域R2の下方端部領域に表示させる。
 さらに、表示制御部395は、検査レポート作成領域R2に、術者が被検体に対して行った所見に関する所見情報を含むボックスB1~B3を表示モニタ31に表示させる。ボックスB1~B3には、現在の解剖学的部位の名称T1に紐付けられた検査レポート記録部383の格納領域383cに格納された所見情報が含まれる。具体的には、ボックスB1~B3には、術者が発した音声に応じたテキストおよび内視鏡2が撮像した撮像データに対応する撮像画像の少なくとも一方が含まれる。
 例えば、ボックスB1には、術者が発した音声に対応するテキスト「2cm Polyp」と、術者が発した時刻「10:05am」と、が含まれる。さらに、ボックスB1には、術者が音声を発したタイミングから所定時間内(例えば60秒内)に、内視鏡2の第2のボタン222dが操作されることによって撮影指示信号が入力された際に内視鏡2が撮像した撮像データに対応する撮像画像P1が含まれる。
 また、ボックスB2には、内視鏡2の第2のボタン222dが操作されることによって撮影指示信号が入力された際に内視鏡2が撮像した撮像データに対応する撮像画像P2と、撮影指示信号が入力された時刻「10:07am」と、が含まれる。
 さらに、ボックスB3には、術者が発した音声に対応するテキスト「Need precise diagnosis.」と、術者が発した時刻「10:09am」と、が含まれる。
 なお、図5では、表示制御部395が表示モニタ31の左側にライブビュー画像表示領域R1と、右側に検査レポート作成領域R2とを表示しているが、術者の操作または設定に従って、右側に検査レポート作成領域R2、左側にライブビュー画像表示領域R1を表示してもよい。
 図6は、表示制御部395が表示モニタ31に表示させる検査画面の別の一例を示す図である。なお、図6では、検査レポート作成装置3における表示モニタ31の長手方向と重力方向とがなす角度が略平行角度と姿勢検出部35が検出信号を出力した際に表示制御部395が表示モニタ31に表示させる検査画面について説明する。
 図6に示すように、表示制御部395は、表示モニタ31の上方にライブビュー画像表示領域R1と、下方に検査レポート作成領域R2と、を含む検査画面W1を表示モニタ31に表示させる。もちろん、表示制御部395は、術者の設定や入力部36に対する操作に応じて、表示モニタ31の上方を検査レポート作成領域R2とし、下方をライブビュー画像表示領域R1として表示してもよい。
 このように、術者は、表示モニタ31に表示されるライブビュー画像LV1を観察しながら、被検体の解剖学的部位毎に音声を発する。さらに、術者は、検査レポートを作成する際に必要となる撮像画像の撮影操作を行う。この場合において、表示制御部395は、術者が発した音声に応じたテキストおよび第2のボタン222dの操作時に取得した撮像画像の少なくとも一方が予め設定した解剖学的部位に紐付けられた検査レポート作成領域R2に表示される。このとき、記録制御部394は、表示モニタ31に表示される解剖学的部位の名称毎に設定された検査レポート記録部383の格納領域に、術者が被検体に対する所見を発した内容のテキストおよび第2のボタン222dの操作時に取得した撮像画像を格納する。この結果、術者は、被検体の検査を行いながらリアルタイムで検査レポートを作成することができるため、1症例当たりの検査レポートの作成時間を短縮することができる。
 〔検査レポート作成装置の処理〕
 次に、検査レポート作成装置3が実行する処理について説明する。図7は、検査レポート作成装置3が実行する処理の概要を示すフローチャートである。
 図7に示すように、まず、判定部396は、術者が表示モニタ31によって表示される複数のアプリケーションの中から、内視鏡システム1による被検体の検査を行うためのアプリケーションが選択されたか否かを判定する(ステップS101)。具体的には、図8に示すように、判定部396は、タッチパネル361から入力されるタッチ信号に基づいて、表示モニタ31によって表示される複数のアプリケーションに対応する複数のアイコンの中から、術者U1が内視鏡システム1による被検体の検査を行うためのアプリケーションに対応するアイコンA1(InspectionApp)を選択したか否かを判定する。判定部396によって術者U1が内視鏡システム1による被検体の検査を行うためのアプリケーションを選択したと判定された場合(ステップS101:Yes)、検査レポート作成装置3は、後述するステップS102へ移行する。これに対して、判定部396によって術者U1が内視鏡システム1による被検体の検査を行うためのアプリケーションを選択していないと判定された場合(ステップS101:No)、検査レポート作成装置3は、後述するステップS113へ移行する。
 ステップS102において、表示制御部395は、内視鏡システム1による被検体の検査を行うためのアプリケーションのトップ画面を表示モニタ31に表示させる。具体的には、図9に示すように、表示制御部395は、内視鏡システム1による被検体の検査を行うためのアプリケーションのトップ画面W2を表示させる。トップ画面W2には、少なくとも、設定アイコンA11(Settings)と、検査アイコンA12(Endoscopy)と、編集アイコンA13(Report)と、が含まれる。設定アイコンA11は、内視鏡システム1による被検体の検査を行う際に、表示モニタ31に表示させる解剖学的部位の表示順および名称変更等の設定処理を行うための指示信号の入力を受け付ける。検査アイコンA12は、内視鏡システム1による被検体の観察を行いながら検査レポートを作成する検査レポート作成処理を行うための指示信号の入力を受け付ける。編集アイコンA13は、検査レポートを編集する検査レポート編集処理を行うための指示信号の入力を受け付ける。
 続いて、判定部396は、術者U1が表示モニタ31によって表示される設定アイコンA11を選択したか否かを判定する(ステップS103)。具体的には、図9に示すように、判定部396は、タッチパネル361から入力される信号に基づいて、術者が設定アイコンA11を選択したか否かを判定する。判定部396によって術者U1が表示モニタ31によって表示される設定アイコンA11を選択したと判定された場合(ステップS103:Yes)、検査レポート作成装置3は、後述するステップS104へ移行する。これに対して、判定部396によって術者U1が表示モニタ31によって表示される設定アイコンA11を選択していないと判定された場合(ステップS103:No)、検査レポート作成装置3は、後述するステップS105へ移行する。
 ステップS104において、検査レポート作成装置3は、内視鏡システム1による被検体の検査を行う際に、表示モニタ31が被検体における複数の解剖学的部位の各々を表示する表示順および複数の解剖学的部位の各々の名称を設定する設定処理を実行する。
 〔設定処理の概要〕
 図10は、図7のステップS104における設定処理の概要を示すフローチャートである。図10に示すように、まず、表示制御部395は、表示モニタ31に複数の解剖学的部位の名称を一覧表示させる(ステップS201)。具体的には、図11に示すように、表示制御部395は、解剖学的部位アイコンA21~A26と、設定アイコンA27(Set)と、を表示モニタ31に表示させる。解剖学的部位アイコンA21~A26の各々は、解剖学的部位の名称を示す。設定アイコンA27は、複数の解剖学的部位の表示順および名称の設定を受け付ける。
 続いて、判定部396は、術者U1が被検体の検査時に表示モニタ31に表示させる解剖学的部位の表示順の変更操作を行ったか否かを判定する(ステップS202)。具体的には、図12に示すように、判定部396は、タッチパネル361から入力される操作信号に基づいて、術者U1が解剖学的部位アイコンA25を選択して解剖学的部位アイコンA22と解剖学的部位アイコンA23との間に解剖学的部位アイコンA24を移動させるドラッグ操作(矢印Q1を参照)を行ったか否かを判定する。ここで、ドラッグ操作とは、術者U1が指を表示モニタ31上の対象物、例えばアイコンに触れた状態を維持したまま、目的の位置まで対象物を移動させた後に、指を表示モニタ31上から離間する操作である。判定部396によって被検体の検査時に表示モニタ31に表示させる解剖学的部位の表示順の変更操作を行ったと判定された場合(ステップS202:Yes)、検査レポート作成装置3は、後述するステップS203へ移行する。これに対して、判定部396によって被検体の検査時に表示モニタ31に表示させる解剖学的部位の表示順の変更操作を行っていないと判定された場合(ステップS202:No)、検査レポート作成装置3は、後述するステップS204へ移行する。
 ステップS203において、設定部390は、術者U1が行った解剖学的部位の表示順の変更操作に応じて、術者U1が被検体を検査する際に表示モニタ31に表示させる解剖学的部位の表示順を変更する。例えば、図12に示す場合、設定部390は、術者U1が解剖学的部位アイコンA22と解剖学的部位アイコンA23との間に解剖学的部位アイコンA25を移動させるドラッグ操作(矢印Q1を参照)を行った場合、被検体の検査時に表示モニタ31に表示させる解剖学的部位の表示順を、解剖学的部位アイコンA21の名称、解剖学的部位アイコンA22の名称、解剖学的部位アイコンA25の名称、解剖学的部位アイコンA23の名称、解剖学的部位アイコンA24の名称および解剖学的部位アイコンA26の名称の順に設定する。これにより、術者U1は、直感的な操作によって所望の表示順に設定することができる。ステップS203の後、検査レポート作成装置3は、ステップS204へ移行する。
 続いて、判定部396は、術者U1が被検体を検査する際に、表示モニタ31に表示される解剖学的部位の名称を変更する変更操作が行われたか否かを判定する(ステップS204)。具体的には、図13に示すように、判定部396は、タッチパネル361から入力される操作信号に基づいて、術者U1が解剖学的部位アイコンA21~A26のいずれか一つの表示領域上で長押し操作することによって名称を変更する解剖学的部位のアイコンを選択したか否かを判定する。例えば、図13に示す場合、判定部396は、タッチパネル361から入力される操作信号に基づいて、術者U1が解剖学的部位アイコンA23を長押し操作することによって名称を変更する解剖学的部位のアイコンを選択したか否かを判定する。判定部396によって術者U1が被検体を検査する際に、表示モニタ31に表示される解剖学的部位の名称を変更する変更操作を行ったと判定された場合(ステップS204:Yes)、検査レポート作成装置3は、後述するステップS205へ移行する。これに対して、判定部396によって術者U1が被検体を検査する際に、表示モニタ31に表示される解剖学的部位の名称を変更する変更操作を行っていないと判定された場合(ステップS204:No)、検査レポート作成装置3は、後述するステップS206へ移行する。
 ステップS205において、設定部390は、術者U1が選択した解剖学的部位の名称を変更する。例えば、設定部390は、術者U1が選択したアイコンの名称を、術者U1がタッチパネル361を用いて入力した名称に変更する。
 続いて、判定部396は、術者U1が被検体を検査する際に表示モニタ31に表示させる解剖学的部位の表示順および名称の設定を終了する終了操作を行ったか否かを判定する(ステップS206)。具体的には、判定部396は、タッチパネル361から入力される操作信号に基づいて、術者U1が設定アイコンA27(例えば図11を参照)を選択したか否かを判定する。判定部396によって術者U1が被検体を検査する際に表示モニタ31に表示させる解剖学的部位の表示順および名称の設定を終了する終了操作を行ったと判定された場合(ステップS206:Yes)、検査レポート作成装置3は、図5のメインルーチンへ戻り、ステップS105へ移行する。これに対して、判定部396によって術者U1が被検体を検査する際に表示モニタ31に表示させる解剖学的部位の表示順および名称の設定を終了する終了操作を行っていないと判定された場合(ステップS206:No)、検査レポート作成装置3は、上述したステップS201へ戻る。
 図7に戻り、ステップS105以降の説明を続ける。
 ステップS105において、判定部396は、術者U1が表示モニタ31によって表示される検査アイコンA12を選択したか否かを判定する。具体的には、図14に示すように、判定部396は、タッチパネル361から入力される操作信号に基づいて、術者U1が表示モニタ31によって表示される検査アイコンA12を選択したか否かを判定する。判定部396によって術者U1が表示モニタ31によって表示される検査アイコンA12を選択したと判定された場合(ステップS105:Yes)、検査レポート作成装置3は、後述するステップS106へ移行する。これに対して、判定部396によって術者U1が表示モニタ31によって表示される検査アイコンA12を選択していないと判定された場合(ステップS105:No)、検査レポート作成装置3は、後述するステップS107へ移行する。
 ステップS106において、検査レポート作成装置3は、被検体の観察を行いながら被検体の検査レポートを作成する検査レポート作成処理を実行する。
 〔検査レポート作成処理の概要〕
 図15は、検査レポート作成処理の概要を示すフローチャートである。図15に示すように、まず、撮像制御部397は、通信部32を経由して、内視鏡2に撮像を開始させる(ステップS301)。
 続いて、第1の取得部391は、通信部32を経由して内視鏡2が時系列に沿って順次生成する撮像データの取得を開始する(ステップS302)。
 その後、表示制御部395は、表示モニタ31に解剖学的部位の名称および第1の取得部391が順次取得した撮像画像に対応するライブビュー画像の表示を開始する(ステップS303)。具体的には、図16に示すように、表示制御部395は、表示モニタ31のライブビュー画像表示領域R1に、第1の取得部391が順次取得した撮像データに対応するライブビュー画像LV1と、検査レポート作成領域R2に解剖学的部位の名称T1(Esophagus),T2(Anteriorwall)と、を表示させた検査画面W1を表示モニタ31に表示させる。
 続いて、判定部396は、術者U1が検査レポート作成の開始操作を行ったか否かを判定する(ステップS304)。例えば、図17に示すように、判定部396は、術者U1が検査レポート作成の開始する単語、例えば「Report start」を発生したか否かを判定する。この場合、変換部392は、音声入力部33が受け付けた音声データに対して、音声辞書データ記録部382が記録する音声辞書データを用いてテキスト変換処理を行って術者U1が発した音声をテキストに変換する。判定部396は、変換部392から入力されたテキストの内容に基づいて、術者U1が検査レポート作成の開始する単語を発したか否かを判定することによって、術者U1が検査レポート作成の開始操作を行ったか否かを判定する。もちろん、判定部396は、通信部32を経由して内視鏡2の入力部203から入力される検査レポート作成の開始を指示する指示信号に基づいて、術者U1が検査レポート作成の開始操作を行ったか否かを判定してもよい。判定部396によって術者U1が検査レポート作成の開始操作を行ったと判定された場合(ステップS304:Yes)、検査レポート作成装置3は、後述するステップS305へ移行する。これに対して、判定部396によって術者U1が検査レポート作成の開始操作を行っていないと判定された場合(ステップS304:No)、検査レポート作成装置3は、後述するステップS320へ移行する。
 ステップS305において、記録制御部394は、検査レポート記録部383に作成された解剖学的部位の名称に紐付けられた格納領域に、第2の取得部393によって取得された音声データに対応するテキストまたは撮像画像の少なくとも一方を格納する音声の入力受付を開始する。この場合、記録制御部394は、表示モニタ31が現在表示する解剖学的部位、例えば図17の解剖学的部位の名称T1(Esophagus)に紐付けられた検査レポート記録部383の格納領域(格納領域383c)における術者U1のテキストを格納する音声の入力受け付けたを開始する。
 続いて、判定部396は、第2の取得部393が音声入力部33を経由して術者U1が発した音声の音声データを取得したか否かを判定する(ステップS306)。判定部396によって第2の取得部393が音声入力部33を経由して術者U1の音声を取得したと判定された場合(ステップS306:Yes)、検査レポート作成装置3は、後述するステップS307へ移行する。これに対して、判定部396によって第2の取得部393が音声入力部33を経由して術者U1の音声を取得していない判定された場合(ステップS306:No)、検査レポート作成装置3は、後述するステップS312へ移行する。
 ステップS307において、変換部392は、音声辞書データ記録部382が記録する音声辞書データに基づいて、音声入力部33が入力を受け付けた音声データをテキストに変換する。
 続いて、判定部396は、変換部392が検出したテキストの内容に基づいて、術者U1が発した音声のテキストの内容が次に表示すべき解剖学的部位へ変更する内容であったか否かを判定する(ステップS308)。具体的には、図18に示すように、判定部396は、変換部392が変換したテキストに基づいて、術者U1が発した音声のテキストの内容が次に表示すべき解剖学的部位へ変更する内容、例えば「Next」であったか否かを判定する。判定部396によって術者U1が発した音声のテキストの内容が次に表示すべき解剖学的部位へ変更する内容であったと判定された場合(ステップS308:Yes)、検査レポート作成装置3は、後述するステップS309へ移行する。これに対して、判定部396によって術者U1が発した音声のテキストの内容が次に表示すべき解剖学的部位へ変更する内容でなかったと判定された場合(ステップS308:No)、検査レポート作成装置3は、後述するステップS311へ移行する。
 ステップS309において、表示制御部395は、次に表示すべき解剖学的部位の名称に変更して表示モニタ31に表示させる。具体的には、図19に示すように、表示制御部395は、現在の解剖学的部位の名称T1から次に表示すべき解剖学的部位の名称T2に変更し、次の解剖学的部位を名称T3に変更して表示モニタ31に表示させる(図18→図19)。
 続いて、記録制御部394は、検査レポート記録部383における格納領域を現在の解剖学的部位の格納領域に切り替える(ステップS310)。具体的には、記録制御部394は、第2の取得部393によって取得された術者が発した音声データに対応するテキストおよび内視鏡2が撮像した撮像データに対応する撮像画像の少なくとも一方を格納する格納領域を、表示モニタ31が現在表示する解剖学的部位の名称T2に紐付けられた検査レポート記録部383の格納領域、例えば格納領域383cに切り替える。ステップS310の後、検査レポート作成装置3は、上述したステップS306へ戻る。
 ステップS311において、第2の取得部393は、変換部392が変換した術者U1が発した音声に応じたテキストを取得し、記録制御部394は、第2の取得部393が取得したテキストを表示モニタ31が表示する現在の解剖学的部位の名称に紐付けられた検査レポート記録部383の格納領域に格納する。
 続いて、判定部396は、通信部32を経由して内視鏡2の第1のボタンから撮影を指示する撮影指示信号が入力されたか否かを判定する(ステップS312)。判定部396によって通信部32を経由して内視鏡2の第1のボタン222cから撮影を指示する指示信号が入力されたと判定された場合(ステップS312:Yes)、検査レポート作成装置3は、後述するステップS313へ移行する。これに対して、判定部396によって通信部32を経由して内視鏡2の第1のボタンから撮影を指示する撮影指示信号が入力されていないと判定された場合(ステップS312:No)、後述するステップS315へ移行する。
 ステップS313において、第2の取得部393は、通信部32を経由して内視鏡2が生成した撮像データに対応する撮像画像を取得する。
 続いて、記録制御部394は、第2の取得部393が取得した撮像データを表示モニタ31が表示する現在の解剖学的部位の名称に紐付けられた検査レポート記録部383の格納領域に格納する(ステップS314)。
 その後、表示制御部395は、現在の解剖学的部位の名称に紐付けられた検査レポート記録部383の格納領域に格納されたテキストおよび撮像データに対応する撮像画像の少なくとも一方を表示モニタ31の検査レポート作成領域R2に表示させる(ステップS315)。
 ここで、表示制御部395が現在の解剖学的部位の名称に紐付けられた検査レポート記録部383の格納領域に格納されたテキストおよび撮像データに対応する撮像画像の少なくとも一方を表示モニタ31の検査レポート作成領域R2に表示させる際の概要について説明する。まず、術者U1が発したテキストを表示する場合について説明する。図20は、表示制御部395が表示モニタ31に表示させる画像の一例を示す図である。
 図20に示すように、表示制御部395は、表示モニタ31が表示する現在の解剖学的部位の名称T1(Esophagus)に紐付けられた格納領域に格納されたものがテキストのみの場合、検査レポート作成領域R2に術者U1が発した音声のテキストを含むボックスB1、例えば「Normal」を表示する。この場合において、表示制御部395は、ボックスB1内に、術者U1が音声を発した時刻(10:03am)をテキストと併せて表示モニタ31に表示させる。このとき、記録制御部394は、表示モニタ31が表示する現在の解剖学的部位の名称T1(Esophagus)に紐付けられた格納領域(例えば格納領域383c)に、第2の取得部393が変換部392を経由して取得したテキストと、術者U1が音声を発した時刻(10:03am)と、を1組の所見情報として格納する。
 次に、術者U1が発したテキストおよび撮像画像を表示する場合について説明する。図21~図24は、表示制御部395が表示モニタ31に表示させる画像の別の一例を示す図である。
 図21に示すように、表示制御部395は、表示モニタ31が表示する現在の解剖学的部位の名称T2(Anteriorwall)に紐付けられた格納領域(例えば格納領域383c)に格納されたものがテキストある場合、検査レポート作成領域R2に術者U1が発した音声のテキスト、例えば「2cm Polyp」のボックスB11を表示している。この場合、表示制御部395は、所定時間内(例えば60秒)に内視鏡2の第1のボタン222cが操作され、第1のボタン222cから撮影指示信号が入力されたとき、図22に示すように、第2の取得部393が内視鏡2から取得した撮像データに対応する撮像画像P10をボックスB11内に表示する(図21→図22)。さらに、記録制御部394は、表示モニタ31が表示する現在の解剖学的部位の名称T2(Anteriorwall)に紐付けられた格納領域(例えば格納領域383c)に、テキストと、撮像画像データと、術者U1が音声を発した時刻(10:05am)と、を1組の所見情報として格納する。
 また、図23に示すように、表示制御部395は、術者U1が音声を発した時刻(10:05am)から所定時間(例えば60秒)経過後に内視鏡2の第1のボタン222cが操作され、第1のボタン222cから撮影指示信号が入力された場合、ボックスB12を検査レポート作成領域R2に新たに表示し、かつ、このボックスB12内に第2の取得部393が内視鏡2から取得した撮像データに対応する撮像画像P11を表示する(図22→図23)。この場合、表示制御部395は、ボックスB12内に、撮影指示信号が入力された時刻(10:07am)を撮像画像P11と併せて表示モニタ31のボックスB12内に表示させる。このとき、記録制御部394は、表示モニタ31が表示する現在の解剖学的部位の名称T2(Anteriorwall)に紐付けられた格納領域(例えば格納領域383c)に、第2の取得部393が取得した撮像画像データと、第1のボタン222cから撮影指示信号が入力された時刻(10:07am)と、を新たな1組の所見情報として格納する。
 さらに、図24に示すように、表示制御部395は、内視鏡2の第1のボタン222cが操作された時刻(10:07am)から所定時間(例えば60秒)経過後に、第2の取得部393が術者U1によって発せられた音声のテキストを変換部392から取得した場合、検査レポート作成領域R2に新たなボックスB13を表示し、かつ、このボックスB13内に術者U1が発した音声のテキスト、例えば「Need precise diagnosis.」を表示する。このとき、表示制御部395は、ボックスB13内に、術者U1が音声を発した時刻(10:09am)をテキストと併せて表示モニタ31に表示する。さらに、記録制御部394は、表示モニタ31が表示する現在の解剖学的部位の名称T2(Anteriorwall)に紐付けられた検査レポート記録部383における格納領域に、テキストと、術者U1が音声を発した時刻(10:09am)、を新たな1組の所見情報として格納する。
 このように、図21~図24では、記録制御部394は、表示モニタ31が表示する現在の解剖学的部位の名称T2(Anteriorwall)に紐付けられた検査レポート記録部383における格納領域、例えば格納領域383cに、3つの術者U1の所見情報を格納する。
 図15に戻り、ステップS316以降の説明を続ける。
 ステップS316において、判定部396は、術者U1が検査レポート作成領域R2に表示されたテキストおよび撮像画像の少なくとも一方の表示順を変更する変更操作を行ったか否かを判定する。具体的には、図25に示すように、判定部396は、タッチパネル361から入力される操作信号に基づいて、術者U1がボックスB13を選択してボックスB11とボックスB12との間にボックスB13を移動させるドラッグ操作(矢印Q2を参照)を行ったか否かを判定する(図24→図25)。判定部396によって術者U1が検査レポート作成領域R2に表示されたテキストおよび撮像画像の少なくとも一方の表示順を変更する変更操作を行ったと判定された場合(ステップS316:Yes)、検査レポート作成装置3は、後述するステップS317へ移行する。これに対して、判定部396によって術者U1が検査レポート作成領域R2に表示されたテキストおよび撮像画像の少なくとも一方の表示順を変更する変更操作を行っていないと判定された場合(ステップS316:No)、検査レポート作成装置3は、後述するステップS318へ移行する。なお、ステップS316において、判定部396は、タッチパネル361から入力される操作信号に基づいて、術者U1がボックスB13を選択してボックスB11とボックスB12との間にボックスB13を移動させるドラッグ操作の判定を行っていたが、これに限定されることなく、例えばタッチパネル361から入力される操作信号に基づいて、術者U1のスクロール操作を判定してもよい。具体的には、検査レポート作成領域R2に表示されたテキストおよび撮像画像が多くなることで、検査中におけるテキストおよび撮像画像の全てを表示できない場合がある。この場合、判定部396は、タッチパネル361から入力される操作信号に基づいて、術者U1検査レポート作成領域R2に表示されたテキストおよび撮像画像を上方向または下方向にスクロール操作を行ったか否かを判定してもよい。このとき、表示制御部395は、術者U1のスクロール操作に応じて、検査レポート作成領域R2に表示されたテキストまたは撮像画像を、現在のテキストまたは撮像画像の直前または直後に記録されたテキストまたは撮像画像にスクロールアップまたはスクロールダウンさせて表示させてもよい。もちろん、表示制御部395は、検査レポート作成領域R2に表示するテキストまたは撮像画像を、テキストまたは撮像画像が入力される毎に、上方向または下方向にスクロールさせて自動的に表示させてもよい。
 ステップS317において、表示制御部395は、術者U1の変更操作に応じて、検査レポート作成領域R2に表示されたテキストおよび撮像画像の少なくとも一方の表示順を変更する。具体的には、図26に示すように、表示制御部395は、術者U1のドラッグ操作に従ってタッチパネル361から入力される操作信号に基づいて、ボックスB13の表示順をボックスB11とボックスB12との間に変更して表示モニタ31に表示する(図25→図26)。この場合、記録制御部394は、表示モニタ31が表示する現在の解剖学的部位の名称T2(Anteriorwall)に紐付けられた検査レポート記録部383の格納領域383cにおける所見情報の格納順を変更する。これにより、術者U1は、直感的な操作によって、表示順を入れ替えることができる。ステップS317の後、検査レポート作成装置3は、後述するステップS318へ移行する。
 続いて、判定部396は、術者U1が入力部36に対して検査レポート作成の停止操作を行ったか否かを判定する(ステップS318)。具体的には、判定部396は、入力部36から検査レポート作成の停止信号が入力されたか否かを判定する。なお、判定部396は、術者U1が発した音声のテキストの内容が検査レポート作成の停止を指示する内容であるか否かを判定してもよい。判定部396によって術者U1が入力部36に対して検査レポート作成の停止操作を行ったと判定された場合(ステップS318:Yes)、検査レポート作成装置3は、後述するステップS319へ移行する。判定部396によって術者U1が入力部36に対して検査レポート作成の停止操作を行っていないと判定された場合(ステップS318:No)、検査レポート作成装置3は、上述したステップS306へ移行する。
 ステップS319において、記録制御部394は、音声入力部33による音声の入力受付を停止する。これにより、術者U1および看護師等の補助者等は、被検体の検査レポート作成に関係のない会話を行うことができる。
 ステップS320において、判定部396は、術者U1が入力部36に対して検査レポート作成の終了操作を行ったか否かを判定する。判定部396によって術者U1が入力部36に対して検査レポート作成の終了操作を行ったと判定された場合(ステップS320:Yes)、検査レポート作成装置3は、後述するステップS321へ移行する。判定部396によって術者U1が入力部36に対して検査レポート作成の終了操作を行っていないと判定された場合(ステップS320:No)、検査レポート作成装置3は、上述したステップS304へ移行する。
 ステップS321において、記録制御部394は、術者U1が発した音声および内視鏡2が撮像した撮像データの少なくとも一方を検査レポート記録部383に予め設定された解剖学的部位の格納領域に格納する検査レポートの作成を終了する。
 続いて、撮像制御部397は、内視鏡2による撮像を停止する(ステップS322)。ステップS322の後、検査レポート作成装置3は、図7のメインルーチンへ戻る。
 図7に戻り、ステップS107以降の説明を続ける。
 ステップS107において、判定部396は、術者U1が表示モニタ31によって表示される編集アイコンA13を選択したか否かを判定する。具体的には、図27に示すように、判定部396は、タッチパネル361から入力される操作信号に基づいて、術者U1が編集アイコンA13を選択したか否かを判定する。判定部396によって術者U1が表示モニタ31によって表示される編集アイコンA13を選択したと判定された場合(ステップS107:Yes)、検査レポート作成装置3は、後述するステップS108へ移行する。これに対して、判定部396によって術者U1が表示モニタ31によって表示される編集アイコンA13を選択していないと判定された場合(ステップS107:No)、検査レポート作成装置3は、後述するステップS109へ移行する。
 ステップS108において、検査レポート作成装置3は、術者U1の操作に応じて、検査レポートを編集する検査レポート編集処理を実行する。
 〔検査レポート編集処理の概要〕
 図28は、検査レポート編集処理の概要を示すフローチャートである。図28に示すように、まず、表示制御部395は、表示モニタ31に被検体の検査レポート一覧を表示させる(ステップS401)。具体的には、図29に示すように、表示制御部395は、表示モニタ31に被検体の検査レポートの一覧を表示させる。この一覧表示には、検査レポート記録部383が記録する複数の解剖学的部位の名称毎に紐付けられた格納領域に格納されたテキストおよび撮像画像P31~P34の少なくとも一方を含む所見情報のボックスB31~B35が含まれる。
 続いて、判定部396は、表示モニタ31が表示する一覧からテキストおよび撮像画像の少なくとも一方を含む複数のボックスB31~B35のいずれかを削除する削除操作を行ったか否かを判定する。具体的には、図30に示すように、判定部396は、タッチパネル361から入力される操作信号に基づいて、術者U1がボックスB32に対して、ドラッグ操作(矢印Q3を参照)を行ってボックスB32を表示モニタ31の表示領域側へ移動させることによって一覧表示からボックスB32の内容を削除する削除操作を行ったか否かを判定する。判定部396によって術者U1が削除操作を行ったと判定された場合(ステップS402:Yes)、検査レポート作成装置3は、後述するステップS403へ移行する。これに対して、判定部396によって術者U1が削除操作を行っていないと判定された場合(ステップS402:No)、検査レポート作成装置3は、後述するステップS404へ移行する。
 ステップS403において、記録制御部394は、検査レポート記録部383から術者U1が削除操作を行ったボックス内のテキストおよび撮像画像を削除する。具体的には、図30に示すように、記録制御部394は、ボックスB32の撮像データを検査レポート記録部383の格納領域383cから削除する。
 続いて、判定部396は、表示モニタ31が表示する一覧からテキストおよび撮像画像の少なくとも一方を含む複数のボックスB31~B35のいずれかに対して、テキスト編集操作が行われたか否かを判定する(ステップS404)。具体的には、図31に示すように、判定部396は、タッチパネル361から入力される操作信号に基づいて、術者U1がボックスB34に対して、長押し操作されてボックスB34が選択されたか否かを判定する。判定部396によってテキスト編集操作が行われたと判定された場合(ステップS404:Yes)、検査レポート作成装置3は、後述するステップS405へ移行する。これに対して、判定部396によってテキスト編集操作が行われていないと判定された場合(ステップS404:No)、検査レポート作成装置3は、後述するステップS406へ移行する。
 ステップS405において、記録制御部394は、術者U1が選択したボックスB34に含まれるテキストに対して、術者U1の操作に応じた内容に編集して検査レポート記録部383に格納する。ステップS405の後、検査レポート作成装置3は、後述するステップS406へ移行する。検査レポート作成装置3は、前述のように、入力された文字列を修正する、不要なボックスを削除するといった機能に加え、ボックスを表示モニタ31の画面上にて、当初表示されている部位名とは異なる部位名の下へドラッグ操作により移動させることで、部位名と、所見・画像を含むボックスとの関連付けを変更できる機能を有していてもよい。
 続いて、判定部396は、術者U1が検査レポート画像作成操作を行ったか否かを判定する(ステップS406)。具体的には、図32に示すように、判定部396は、タッチパネル361から入力される操作信号に基づいて、術者U1が検査レポート画像作成を指示するアイコンA30を選択したか否かを判定する。判定部396によって術者U1が検査レポート画像作成操作を行ったと判定された場合(ステップS406:Yes)、検査レポート作成装置3は、後述するステップS407へ移行する。これに対して、判定部396によって術者U1が検査レポート画像作成操作を行っていないと判定された場合(ステップS406:No)、検査レポート作成装置3は、上述したステップS401へ戻る。
 ステップS407において、作成部398は、検査レポート記録部383が記録する複数の解剖学的部位の各々に紐付けられたテキストおよび撮像画像の少なくとも一方を含むボックスをまとめた検査レポート画像を作成する。具体的には、図33に示すように、作成部398は、検査レポート画像W100を作成する。検査レポート画像W100には、術者U1による被検体に対する複数の所見情報が含まれる。ステップS407の後、検査レポート作成装置3は、図7のメインルーチンへ戻り、ステップS109へ移行する。
 図7に戻り、ステップS109以降の説明を続ける。
 ステップS109において、判定部396は、術者U1が入力部36を操作することによって検査レポートの保存を選択したか否かを判定する。判定部396によって術者U1が入力部36を操作することによって検査レポートの保存を選択したと判定された場合(ステップS109:Yes)、記録制御部394は、検査レポートを検査レポート記録部383に保存する(ステップS110)。ステップS110の後、検査レポート作成装置3は、後述するステップS111へ移行する。これに対して、判定部396によって術者U1が入力部36を操作することによって検査レポートの保存を選択していないと判定された場合(ステップS109:No)、検査レポート作成装置3は、後述するステップS111へ移行する。
 ステップS111において、判定部396は、術者U1が入力部36を操作することによって検査レポートの出力先を選択したか否かを判定する。判定部396によって術者U1が入力部36を操作することによって検査レポートの出力先を選択したと判定された場合(ステップS111:Yes)、検査レポート作成装置3は、後述するステップS112へ移行する。これに対して、判定部396によって術者U1が入力部36を操作することによって検査レポートの出力先を選択していないと判定された場合(ステップS111:No)、検査レポート作成装置3は、後述するステップS113へ移行する。
 ステップS112において、通信制御部399は、外部通信部37に術者U1によって選択された出力先に検査レポートを出力させる。具体的には、通信制御部399は、被検体情報383bに含まれる被検体が所有する携帯電話等の指定メールアドレスに基づいて、外部通信部37に被検体が所有する携帯電話に向けて検査レポートを出力させる。もちろん、通信制御部399は、外部通信部37に、術者U1が勤務する病院内の指定プリンタに検査レポートを出力して印刷するようにしてもよい。ステップS112の後、検査レポート作成装置3は、後述するステップS113へ移行する。
 ステップS113において、判定部396は、術者U1が入力部36を操作することによって終了操作が行われたか否かを判定する。判定部396によって術者U1が入力部36を操作することによって終了操作が行われたと判定された場合(ステップS113:Yes)、検査レポート作成装置3は、本処理を終了する。これに対して、判定部396によって術者U1が入力部36を操作せず、終了操作を行っていないと判定された場合(ステップS113:No)、検査レポート作成装置3は、上述したステップS101へ戻る。
 以上説明した実施の形態1によれば、記録制御部394が内視鏡2の術者U1により入力されたテキストおよび撮像データに対応する撮像画像の少なくとも一方を含む所見情報を、内視鏡2が撮像した被検体における複数の解剖学的部位のいずれか一つの名称と関連付けて記録する。そして、作成部398が検査レポート記録部383に記録された解剖学的部位の名称毎の所見情報に基づいて、解剖学的部位の名称毎に所見情報を関連付けた被検体の検査レポートを作成する。これにより、術者U1は、被検体の検査を行いながらリアルタイムで検査レポートを作成することができるため、1症例当たりの検査レポートの作成時間を短縮することができる。
 また、実施の形態1によれば、記録制御部394が変換部392によって変換されたテキストおよび撮像データに対応する撮像画像の少なくとも一方を含む所見情報を表示モニタ31が表示する解剖学的部位の名称と関連付けて検査レポート記録部383に記録する。そして、作成部398が検査レポート記録部383に記録された解剖学的部位の名称毎の所見情報に基づいて、解剖学的部位の名称毎に所見情報を関連付けた被検体の検査レポートを作成する。これにより、術者U1は、被検体の検査を行いながらリアルタイムで検査レポートを作成することができるため、1症例当たりの検査レポートの作成時間を短縮することができる。
 また、実施の形態1によれば、記録制御部394が表示モニタ31によって表示される解剖学的部位の名称が切り替わる毎に、所見情報を格納する検査レポート記録部383の格納領域383cを切り替える。これにより、術者U1は、被検体の検査終了後に、検査レポートにおいて複数の解剖学的部位の名称毎に所見情報を確認することができる。
 また、実施の形態1によれば、表示制御部395が作成部398によって作成された検査レポートを表示モニタ31に表示する。これにより、術者U1は、被検体の検査レポートの内容を確認することができる。
 また、実施の形態1によれば、通信制御部399が作成部398によって作成された検査レポートを被検体が所有する携帯電話等の外部機器へ出力する。このため、被検体等の患者は、術者からの検査レポートを自身が所有する機器で確認することができる。
 また、実施の形態1によれば、表示制御部395が被検体の検査中に、ライブビュー画像LV1および所見情報を並べて表示モニタ31に表示させる。これにより、術者U1は、自身が発した音声の内容および検査レポートで使用する撮影画像をリアルタイムで確認しながら、被検体の検査を行うことができる。
 また、実施の形態1によれば、表示制御部395が第2の取得部393によって術者U1が発した音声が変換部392によってテキストに変換される毎または内視鏡2から撮影を指示する撮影指示信号を受信する毎に所見情報を表示モニタ31に表示させる。これにより、術者U1は、現在の解剖学的部位で行った複数の所見情報をリアルタイムで確認しながら、被検体の検査を行うことができる。
 また、実施の形態1によれば、表示制御部395が被検体の検査中に、表示モニタ31が表示する複数の所見情報のいずれか1つに対するドラッグ操作に応じて、表示モニタ31が表示する複数の所見情報の表示順を入れ替える。さらに、記録制御部394が表示モニタ31によって表示される所見情報の表示順に従って、検査レポート記録部383の格納領域383cの格納順を入れ替える。これにより、術者U1は、直感的な操作によって、所望の順に所見情報を編集することができる。
 また、実施の形態1によれば、設定部390が被検体の検査前に、表示モニタ31が表示する複数の解剖学的部位の各々の名称および被検体の検査中に表示モニタ31に表示させる表示順を設定する。これにより、術者U1は、所望の表示順または解剖学的部位の名称で被検体を検査することができる。
 また、実施の形態1によれば、記録制御部394が術者U1によって発せられた音声を変換したテキストの内容に応じて、第2の取得部393によるテキストまたは撮像画像の取得を開始させる。このため、術者U1は、音声を発するだけで、検査レポートの作成を行うことができる。
 また、実施の形態1によれば、記録制御部394が第2の取得部393によって取得されたテキストまたは撮像画像を取得した時刻を、所見情報に対応付けて検査レポート記録部383の格納領域383cに格納し、表示制御部395が第2の取得部393によって取得されたテキストまたは撮像画像を取得した時刻を表示モニタ31に表示させる。これにより、術者U1は、音声を発した時刻または撮影操作を行った時刻を把握することができる。
 また、実施の形態1によれば、判定部396が第2の取得部393によってテキストおよび撮像画像の一方を取得されてから、所定時間内に第2の取得部393がテキストおよび撮像画像の他方を取得したか否かを判定する。そして、記録制御部394は、判定部396によって第2の取得部393が所定時間内にテキストおよび撮像画像の他方を取得したと判定された場合、テキストおよび前記撮像画像の一方と、テキストおよび撮像画像の他方と、を1組とする所見情報として検査レポート記録部383の格納領域383cに格納する。これに対して、記録制御部394は、判定部396によって第2の取得部393が所定時間内にテキストおよび撮像画像の他方を取得していないと判定された場合、テキストおよび撮像画像の一方と、テキストおよび撮像画像の他方と、を個別の所見情報として検査レポート記録部383の格納領域383cに格納する。これにより、術者U1は、同じ観察箇所で発した音声のコメントと撮像画像とを関連付けて検査レポートをリアルタイムで作成することができる。
 また、実施の形態1によれば、記録制御部394が所見情報の取得を一時的に停止する停止操作の入力を受け付けた場合、所見情報の取得を一時的に停止し、検査レポートの作成を開始する開始操作の入力を受け付けた場合、所見情報の取得を開始する。これにより、術者U1および看護師等の補助者等は、被検体の検査レポート作成に関係のない会話を行うことができる。
 また、実施の形態1によれば、表示制御部395が被検体の検査後に、複数の格納領域の各々の所見情報と、複数の解剖学的部位の各々の名称と、を対応付けて表示モニタ31に表示させる。そして、記録制御部394が複数の所見情報に対する術者U1の編集操作に応じて、所見情報の削除、所見情報の書き換えおよび所見情報の表示順の変更いずれか一つを編集する。これにより、術者U1は、被検体の検査終了後に、検査レポートの編集作業を行うことができるうえ、複数の解剖学的部位の各々の名称に所見情報が記録されるため、精度の高い検査レポートを作成することができる。
 また、実施の形態1によれば、表示制御部395が被検体の検査中に、表示モニタ31が現在表示する解剖学的部位の名称を次に表示すべき前記解剖学的部位の名称に変更する変更操作に応じて、表示モニタ31が表示する解剖学的部位の名称を次に表示すべき解剖学的部位の名称に変更して表示させる。これにより、術者U1は、被検体の検査を行いながら、解剖学的部位をリアルタイムで変更することができる。
 また、実施の形態1によれば、表示制御部395が術者U1によって発せられた音声による音声操作によって、表示モニタ31が表示する解剖学的部位の名称を次に表示すべき解剖学的部位の名称に変更して表示させる。これにより、術者U1は、被検体の検査を行いながら、音声を発するだけで解剖学的部位をリアルタイムで変更することができる。
 また、実施の形態1によれば、表示制御部395が姿勢検出部35によって検出された表示モニタ31の長手方向と重力方向とがなす角度の検出信号に基づいて、表示モニタ31に表示させるライブビュー画像の表示位置を制御する。これにより、術者U1は、検査レポート作成装置3を所望の方向でホルダ4に保持させた場合であっても、被検体の検査を行うことができる。
 なお、実施の形態1では、術者U1が音声を発することにより、表示モニタ31が表示する解剖学的部位の名称を次に表示すべき解剖学的部位の名称に変更して表示させていたが、例えば術者U1が内視鏡2の第2のボタン222dを操作する切替操作によって、表示制御部395が表示モニタ31によって表示される解剖学的部位の名称を次の解剖学的部位の名称に変更して表示させてもよい。これにより、術者U1は、被検体の検査を行いながら、簡易な操作によって解剖学的部位をリアルタイムで変更することができる。
 また、実施の形態1では、内視鏡2と検査レポート作成装置3とが通信ケーブル5を用いて通信可能に接続されていたが、例えば所定の無線通信規格によって内視鏡2と検査レポート作成装置3とが無線通信可能に接続してもよい。
 また、実施の形態1では、術者U1が発した音声のテキストを、所見情報としていたが、これに限定されることなく、例えばタッチパネル361を用いて手入力したテキストを見解情報として、内視鏡2が撮像した被検体における複数の解剖学的部位のいずれか一つの名称と関連付けて記録してもよい。
(実施の形態2)
 次に、実施の形態2について説明する。実施の形態2に係る内視鏡システムは、上述した実施の形態1に係る内視鏡システム1が実行する検査レポート作成処理と異なる。具体的には、実施の形態1では、術者U1が音声によって検査レポート作成の開始操作を行った後に、第2の取得部393が術者U1の音声の入力を取得していたが、実施の形態2では、内視鏡2が備える第2のボタン222dの押下され続けている場合に、第2の取得部393が術者U1の音声の入力を取得する。以下においては、実施の形態2に係る内視鏡システムが実行する検査レポート作成処理について説明する。なお、上述した実施の形態1に係る内視鏡システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
 〔検査レポート作成処理の概要〕
 図34は、実施の形態2に係る内視鏡システム1が実行する検査レポート作成処理の概要を示すフローチャートである。
 図34において、ステップS501~ステップS503は、上述した図15のステップS301~ステップS303の各々に対応する。ステップS503の後、検査レポート作成装置3は、ステップS504へ移行する。
 ステップS504において、判定部396は、通信部32を経由して内視鏡2の第2のボタン222dから受信する操作信号に基づいて、第2のボタン222dが押下されたか否かを判定する。判定部396によって第2のボタン222dが押下されていると判定された場合(ステップS504:Yes)、検査レポート作成装置3は、後述するステップS505へ移行する。これに対して、判定部396によって第2のボタン222dが押下されていないと判定された場合(ステップS504:No)、検査レポート作成装置3は、後述するステップS521へ移行する。
 ステップS505において、判定部396は、通信部32を経由して内視鏡2の第2のボタン222dから受信する操作信号に基づいて、第2のボタン222dが押下中であるか否かを判定する。判定部396によって第2のボタン222dが押下中であると判定された場合(ステップS505:Yes)、検査レポート作成装置3は、後述するステップS506へ移行する。これに対して、判定部396によって第2のボタン222dが押下中でないと判定された場合(ステップS505:No)、検査レポート作成装置3は、後述するステップS521へ移行する。
 ステップS506~ステップS518は、上述した図15のステップS305~ステップS317の各々に対応する。ステップS518の後、検査レポート作成装置3は、後述するステップS519へ移行する。
 ステップS519において、判定部396は、通信部32を経由して内視鏡2の第2のボタン222dから入力される操作信号に基づいて、第2のボタン222dが押下中であるか否かを判定する。判定部396によって第2のボタン222dが押下中であると判定された場合(ステップS519:Yes)、検査レポート作成装置3は、上述したステップS507へ移行する。これに対して、判定部396によって第2のボタン222dが押下中でないと判定された場合(ステップS519:No)、検査レポート作成装置3は、後述するステップS520へ移行する。
 ステップS520~ステップS523は、上述した図15のステップS320~ステップS322の各々に対応する。ステップS523の後、検査レポート作成装置3は、図7のメインルーチンへ戻る。
 以上説明した実施の形態2によれば、判定部396が第2のボタン222dから受信する操作信号に基づいて、第2のボタン222dが押下中であるか否かを判定し、第2の取得部393が第2のボタン222dが押下中であると判定した場合、第2の取得部393がテキストおよび撮像画像の少なくとも一方を取得する。これに対して、判定部396が第2のボタン222dが押下中でないと判定した場合、第2の取得部393がテキストおよび撮像画像の少なくとも一方の取得を停止する。これにより、術者U1は、第2のボタン222dを押下し続けているときのみ、被検体に対する所見情報の入力を行うことができるため、誤って発した音声が所見情報として検査レポート作成装置3に記録されることを防止することができる。
(実施の形態3)
 次に、実施の形態3について説明する。上述した実施の形態1,2では、術者U1が表示モニタ31によって表示される解剖学的部位の名称を音声によって手動で切り替えていたが、実施の形態3では、表示モニタ31によって表示される解剖学的部位の名称を自動で切り替える。具体的には、実施の形態3に係る検査レポート作成装置は、上述した実施の形態1に係る検査レポート作成装置3の構成と異なるうえ、実施の形態3に係る内視鏡システムが実行する検査レポート作成処理が異なる。以下においては、実施の形態3に係る検査レポート作成装置の構成を説明後、実施の形態3に係る内視鏡システムが実行する検査レポート作成処理について説明する。
 〔検査レポート作成装置の機能構成〕
 図35は、実施の形態3に係る検査レポート作成装置の機能構成を示すブロック図である。図35に示す検査レポート作成装置3Aは、上述した実施の形態1に係る検査レポート作成装置3の記録部38および制御部39に代えて、記録部38Aおよび制御部39Aを備える。
 記録部38Aは、上述した実施の形態1に係る記録部38の構成に加えて、学習済データ記録部384をさらに備える。学習済データ記録部384は、被検体内を撮像した複数の撮像画像と、この複数の撮像画像の各々に写る解剖学的部位の名称と、を組み合わせた学習データを、周知技術の機械学習、例えばディープラーニング(Deep Learning)等の機械学習可能な学習装置によって学習させた学習済データ(学習結果)を記録する。
 制御部39Aは、上述した実施の形態1に係る制御部39の構成に加えて、認識部400をさらに備える。認識部400は、学習済データ記録部384が記録する学習済データおよび周知技術のDNN(Deep Neural Network)等の機械学習を用いて、内視鏡2によって撮像された撮像データを入力データとし、撮像データに対応する撮像画像に写る解剖学的部位の名称を認識して解剖学的部位の名称を出力データとして出力する。
 〔検査レポート作成処理の概要〕
 図36は、実施の形態3に係る内視鏡システムが実行する検査レポート作成処理の概要を示すフローチャートである。
 ステップS601~ステップS604は、上述した図15のステップS301~ステップS304の各々に対応する。ステップS604の後、検査レポート作成装置3Aは、ステップS605へ移行する。
 ステップS605において、判定部396は、表示モニタ31が表示する現在の解剖学的部位の名称と、認識部400が認識した解剖学的部位と、に基づいて、内視鏡2の観察箇所の解剖学的部位が表示モニタ31によって表示される現在の解剖学的部位の名称から移動したか否かを判定する。判定部396によって内視鏡2の観察箇所の解剖学的部位が表示モニタ31によって表示される現在の解剖学的部位の名称から移動していると判定された場合(ステップS605:Yes)、検査レポート作成装置3Aは、後述するステップS606へ移行する。これに対して、判定部396によって内視鏡2の観察箇所の解剖学的部位が表示モニタ31によって表示される現在の解剖学的部位の名称から移動していないと判定された場合(ステップS605:No)、検査レポート作成装置3Aは、後述するステップS612へ移行する。
 ステップS606~ステップS608は、上述した図15のステップS305~307の各々に対応する。
 ステップS609において、認識部400は、学習データ記録部384が記録する学習済データを用いて、第1の取得部391が内視鏡2から取得した撮像データに対応する撮影画像に写る解剖学的部位を認識する。
 ステップS610において、表示制御部395は、表示モニタ31が表示する現在の解剖学的部位の名称から認識部400が認識した解剖学的部位の名称へ変更する。
 ステップS611~ステップS623は、上述した図15のステップS310~ステップS322の各々に対応する。ステップS623の後、検査レポート作成装置3Aは、上述した図7のメインルーチンへ戻る。
 以上説明した実施の形態3によれば、認識部400が内視鏡2が撮像した撮像データに基づいて、内視鏡2が現在観察している被検体の解剖学的部位の名称を認識し、表示制御部395が表示モニタ31によって現在表示される解剖学的部位の名称を、認識部400が認識した認識結果に応じた解剖学的部位の名称に変更して表示モニタ31に表示させる。これにより、術者U1は、内視鏡2が観察する被検体の解剖学的部位の名称が自動で切り替わるため、被検体の検査を集中して行うことができる。
 なお、実施の形態3では、認識部400が学習データ記録部384によって記録された学習済データを用いて、内視鏡2の現在の解剖学的部位の名称を認識していたが、例えば内視鏡2が撮像する撮像データに含まれる輝度、彩度および画素値および形状等と、周知技術のパターンマッチング等と、を用いて、内視鏡2の現在の解剖学的部位の名称を認識してもよい。
(その他の実施の形態)
 上述した本開示の実施の形態1~3に係る内視鏡システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態1~3に係る内視鏡システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態1~3に係る内視鏡システムで説明した構成要素を適宜組み合わせてもよい。
 また、本開示の実施の形態1~3に係る内視鏡システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
 また、本開示の実施の形態1~3に係る内視鏡システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
 また、本開示の実施の形態1~3に係る内視鏡システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
 なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本開示の実施の形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
 以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
 1 内視鏡システム
 2 内視鏡
 3,3A 検査レポート作成装置
 4 ホルダ
 5 通信ケーブル
 21 挿入部
 22 操作部
 31 表示モニタ
 32 通信部
 33 音声入力部
 34 音声出力部
 35 姿勢検出部
 36 入力部
 37 外部通信部
 38,38A 記録部
 39,39A :制御部
 222c 第1のボタン
 222d 第2のボタン
 361 タッチパネル
 381 プログラム記録部
 382 音声辞書データ記録部
 383 検査レポート記録部
 383a 設定情報
 383b 被検体情報
 383c1~383c 格納領域
 384 学習済データ記録部
 390 設定部
 391 第1の取得部
 392 変換部
 393 第2の取得部
 394 記録制御部
 395 表示制御部
 396 判定部
 397 撮像制御部
 398 作成部
 399 通信制御部
 400 認識部
 LV1 ライブビュー画像
 P1,P2,P10,P11,P31~P34 撮像画像
 U1 術者
 W1 検査画面
 W100 検査レポート画像
 W2 トップ画面

Claims (20)

  1.  被検体内に挿入される内視鏡と通信可能な検査レポート作成装置に、
     前記被検体に挿入された前記内視鏡が時系列に沿って撮像した撮像データを順次取得し、
     前記内視鏡の術者により入力されたテキストおよび前記撮像データに対応する撮像画像の少なくとも一方を含む所見情報を、前記内視鏡が撮像した前記被検体における複数の解剖学的部位のいずれか一つの名称と関連付けて記録し、
     前記解剖学的部位の名称毎に前記所見情報を関連付けた前記被検体の検査レポートを作成する、
     ことを実行させる、
     検査レポート作成プログラム。
  2.  前記検査レポート作成装置に、
     前記撮像データの取得後、前記複数の解剖学的部位のいずれか一つの前記名称を前記検査レポート作成装置が備える表示モニタに表示させ、かつ、前記撮像データに対応するライブビュー画像を時系列に沿って前記表示モニタに順次表示させ、
     前記表示モニタが前記複数の解剖学的部位のいずれか一つの名称を表示している際に、前記術者が発した音声をテキストに変換し、
     前記テキストおよび前記撮像データに対応する前記撮像画像の少なくとも一方を含む前記所見情報を前記表示モニタが表示する前記解剖学的部位の名称と関連付けて記録する、
     ことを実行させる、
     請求項1に記載の検査レポート作成プログラム。
  3.  前記検査レポート作成装置に、
     前記表示モニタが表示する前記解剖学的部位の名称が切り替わる毎に、前記所見情報が関連付けされる前記解剖学的部位の名称が切り替わる、
     ことを実行させる、
     請求項2に記載の検査レポート作成プログラム。
  4.  前記検査レポート作成装置に、
     前記表示モニタが表示する前記解剖学的部位の名称が切り替わる毎に、前記所見情報を記録する格納領域を前記解剖学的部位の名称に対応付けられた格納領域に切り替える、
     ことを実行させる、
     請求項2に記載の検査レポート作成プログラム。
  5.  前記検査レポート作成装置に、
     前記検査レポートを前記表示モニタおよび外部機器の少なくとも一方へ出力する、
     ことを実行させる、
     請求項2~4のいずれか一つに記載の検査レポート作成プログラム。
  6.  前記検査レポート作成装置に、
     前記被検体の検査中に、前記ライブビュー画像および前記所見情報を並べて前記表示モニタに表示させる、
     ことを実行させる、
     請求項2~5のいずれか一つに記載の検査レポート作成プログラム。
  7.  前記検査レポート作成装置に、
     前記術者が発した音声を前記テキストに変換する毎または前記内視鏡から撮影を指示する撮影指示信号を受信する毎に前記所見情報を記録する、
     ことを実行させる、
     請求項2~6のいずれか一つに記載の検査レポート作成プログラム。
  8.  前記検査レポート作成装置に、
     前記所見情報を前記表示モニタに表示させ、
     前記被検体の検査中に、前記表示モニタが表示する複数の前記所見情報のいずれか1つに対するドラッグ操作に応じた操作信号を受信した場合、該操作信号に従って前記表示モニタが表示する複数の前記所見情報の表示位置を入れ替える、
     ことを実行させる、
     請求項2~7のいずれか一つに記載の検査レポート作成プログラム。
  9.  前記検査レポート作成装置に、
     前記被検体の検査前に、前記表示モニタが表示する前記複数の解剖学的部位の各々の名称および前記被検体の検査中に前記表示モニタに表示させる表示順を設定する、
     ことを実行させる、
     請求項2~8のいずれか一つに記載の検査レポート作成プログラム。
  10.  前記検査レポート作成装置に、
     前記テキストの内容が前記検査レポートの作成を開始する指示である場合、前記テキストまたは前記撮像画像の取得を開始する、
     ことを実行させる、
     請求項2~9のいずれか一つに記載の検査レポート作成プログラム。
  11.  前記テキストの内容が前記検査レポートの作成を一時停止する指示である場合、前記所見情報の取得を一時的に停止し、
     前記テキストの内容が前記検査レポートの作成を再開する指示である場合、前記所見情報の取得を開始する、
     ことを実行させる、
     請求項2~9のいずれか一つに記載の検査レポート作成プログラム。
  12.  前記検査レポート作成装置に、
     前記内視鏡から受信する操作信号に基づいて、前記内視鏡の所定の操作部材が押下中であるか否かを判定し、
     前記操作部材が押下中であると判定した場合、前記テキストおよび前記撮像画像の少なくとも一方を取得する一方、前記操作部材が押下中でないと判定した場合、前記テキストおよび前記撮像画像の少なくとも一方の取得を停止する、
     ことを実行させる、
     請求項2~9のいずれか一つに記載の検査レポート作成プログラム。
  13.  前記検査レポート作成装置に、
     前記テキストまたは前記撮像画像を取得した時刻を、前記所見情報に関連付けて記録し、
     前記時刻を前記表示モニタに表示させる、
     ことを実行させる、
     請求項2~12のいずれか一つに記載の検査レポート作成プログラム。
  14.  前記検査レポート作成装置に、
     前記テキストおよび前記撮像画像の一方を前記所見情報として前記解剖学的部位の名称と関連付けて記録してから、所定時間内に前記テキストおよび前記撮像画像の他方を取得したか否かを判定し、
     前記所定時間内に前記テキストおよび前記撮像画像の他方を取得したと判定した場合、前記テキストおよび前記撮像画像の一方と、前記テキストおよび前記撮像画像の他方と、を1組とする前記所見情報として前記解剖学的部位の名称と関連付けて記録する一方、
     前記所定時間内に前記テキストおよび前記撮像画像の他方を取得していないと判定した場合、前記テキストおよび前記撮像画像の一方と、前記テキストおよび前記撮像画像の他方と、を個別の前記所見情報として前記解剖学的部位の名称と関連付けて記録する、
     ことを実行させる、
     請求項2~13のいずれか一つに記載の検査レポート作成プログラム。
  15.  前記検査レポート作成装置に、
     前記被検体の検査中に取得した前記テキストの内容が前記表示モニタにおける前記解剖学的部位の名称の表示を変更する指示である場合、前記表示モニタに表示させる前記解剖学的部位の名称を次に表示すべき前記解剖学的部位の名称に変更する、
     ことを実行させる、
     請求項2~14のいずれか一つに記載の検査レポート作成プログラム。
  16.  前記検査レポート作成装置に、
     前記被検体の検査中に、前記内視鏡に設けられた操作部材から前記表示モニタにおける前記解剖学的部位の名称の表示を変更する変更操作信号を取得した場合、前記表示モニタに表示させる前記解剖学的部位の名称を次に表示すべき前記解剖学的部位の名称に変更する、
     ことを実行させる、
     請求項2~15のいずれか一つに記載の検査レポート作成プログラム。
  17.  前記検査レポート作成装置に、
     前記撮像データに基づいて、前記内視鏡が現在観察している前記被検体の前記解剖学的部位の名称を認識し、
     前記表示モニタが表示中の前記解剖学的部位の名称を、前記認識した認識結果に応じた前記解剖学的部位の名称に変更して前記表示モニタに表示させる、
     ことを実行させる、
     請求項2~16のいずれか一つに記載の検査レポート作成プログラム。
  18.  前記検査レポート作成装置に、
     前記表示モニタの長手方向と重力方向とがなす角度の検出信号を取得し、
     前記検出信号に基づいて、前記表示モニタに表示させる前記ライブビュー画像の表示位置を制御する、
     ことを実行させる、
     請求項2~17のいずれか一つに記載の検査レポート作成プログラム。
  19.  被検体に挿入された内視鏡が時系列に沿って撮像した撮像データを順次取得する取得部と、
     前記内視鏡の術者により入力されたテキストおよび前記撮像データに対応する撮像画像の少なくとも一方を含む所見情報を、前記内視鏡が撮像した前記被検体における複数の解剖学的部位のいずれか一つの名称と関連付けて記録する記録制御部と、
     前記解剖学的部位の名称毎に前記所見情報を関連付けた前記被検体の検査レポートを作成する作成部と、
     を備える、
     検査レポート作成装置。
  20.  被検体内に挿入され、該被検体内を時系列に沿って撮像して撮像データを生成する内視鏡と、
     前記内視鏡と通信可能な検査レポート作成装置と、
     前記内視鏡の操作部の一方に取り付けられ、前記検査レポート作成装置を保持可能なホルダと、
     を備え、
     前記検査レポート作成装置は、
     被検体に挿入された前記内視鏡が時系列に沿って撮像した前記撮像データを順次取得する取得部と、
     前記内視鏡の術者により入力されたテキストおよび前記撮像データに対応する撮像画像の少なくとも一方を含む所見情報を、前記内視鏡が撮像した前記被検体における複数の解剖学的部位のいずれか一つの名称と関連付けて記録する記録制御部と、
     前記解剖学的部位の名称毎に前記所見情報を関連付けた前記被検体の検査レポートを作成する作成部と、
     を備える、
     内視鏡システム。
PCT/JP2021/026698 2021-07-15 2021-07-15 検査レポート作成プログラム、検査レポート作成装置および内視鏡システム WO2023286256A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/026698 WO2023286256A1 (ja) 2021-07-15 2021-07-15 検査レポート作成プログラム、検査レポート作成装置および内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/026698 WO2023286256A1 (ja) 2021-07-15 2021-07-15 検査レポート作成プログラム、検査レポート作成装置および内視鏡システム

Publications (1)

Publication Number Publication Date
WO2023286256A1 true WO2023286256A1 (ja) 2023-01-19

Family

ID=84919226

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/026698 WO2023286256A1 (ja) 2021-07-15 2021-07-15 検査レポート作成プログラム、検査レポート作成装置および内視鏡システム

Country Status (1)

Country Link
WO (1) WO2023286256A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221583A (ja) * 2005-02-14 2006-08-24 Olympus Corp 医療支援システム
JP2015066236A (ja) * 2013-09-30 2015-04-13 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
JP2016021216A (ja) * 2014-06-19 2016-02-04 レイシスソフトウェアーサービス株式会社 所見入力支援システム、装置、方法およびプログラム
JP2017056123A (ja) * 2015-09-18 2017-03-23 Hoya株式会社 電子内視鏡用画像記録システム
JP2017099509A (ja) * 2015-11-30 2017-06-08 オリンパス株式会社 内視鏡業務支援システム
JP2017108792A (ja) * 2015-12-14 2017-06-22 オリンパス株式会社 内視鏡業務支援システム
WO2018235420A1 (ja) * 2017-06-19 2018-12-27 オリンパス株式会社 医療情報処理システム
US20190238791A1 (en) * 2018-01-30 2019-08-01 Manish Eknath Ingle Surgical Visualization And Recording System

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221583A (ja) * 2005-02-14 2006-08-24 Olympus Corp 医療支援システム
JP2015066236A (ja) * 2013-09-30 2015-04-13 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
JP2016021216A (ja) * 2014-06-19 2016-02-04 レイシスソフトウェアーサービス株式会社 所見入力支援システム、装置、方法およびプログラム
JP2017056123A (ja) * 2015-09-18 2017-03-23 Hoya株式会社 電子内視鏡用画像記録システム
JP2017099509A (ja) * 2015-11-30 2017-06-08 オリンパス株式会社 内視鏡業務支援システム
JP2017108792A (ja) * 2015-12-14 2017-06-22 オリンパス株式会社 内視鏡業務支援システム
WO2018235420A1 (ja) * 2017-06-19 2018-12-27 オリンパス株式会社 医療情報処理システム
US20190238791A1 (en) * 2018-01-30 2019-08-01 Manish Eknath Ingle Surgical Visualization And Recording System

Similar Documents

Publication Publication Date Title
US9662042B2 (en) Endoscope system for presenting three-dimensional model image with insertion form image and image pickup image
US8353816B2 (en) Endoscopy system and method therefor
US11950760B2 (en) Endoscope apparatus, endoscope operation method, and program
JPH04307024A (ja) 電子内視鏡装置
EP2491849B1 (en) Information processing device and capsule endoscope system
JP5455550B2 (ja) 電子内視鏡用プロセッサ
EP2508116B1 (en) Image-display device and capsule-type endoscope system
WO2007023631A1 (ja) 内視鏡挿入形状解析装置及び内視鏡挿入形状解析システム
JP2007054401A (ja) 内視鏡挿入形状解析装置
JPWO2019123986A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
US11694725B2 (en) Information processing apparatus and information processing method
CN105283114B (zh) 胶囊型内窥镜系统
WO2023286256A1 (ja) 検査レポート作成プログラム、検査レポート作成装置および内視鏡システム
JP2017056123A (ja) 電子内視鏡用画像記録システム
JP5341257B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理プログラムおよび内視鏡システム
JP2018047067A (ja) 画像処理プログラム、画像処理方法および画像処理装置
JP4468525B2 (ja) 内視鏡システム
JP2009112507A (ja) 情報制御方法及び装置、並びに内視鏡システム
WO2017026323A1 (ja) 内視鏡システム
JP4459564B2 (ja) 画像信号処理装置を有する内視鏡システム
JP4827414B2 (ja) 電子内視鏡システムとファイリングシステム
JP6559531B2 (ja) 信号処理装置及び信号処理方法
JP6664070B2 (ja) 内視鏡プロセッサ、並びに、内視鏡プロセッサの信号処理方法及び制御プログラム
JP3333071B2 (ja) 内視鏡用ビデオプロセッサおよび内視鏡用画像処理方法
KR101601410B1 (ko) 휴대용 내시경 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21950193

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE