WO2019012586A1 - 医用画像処理装置及び医用画像処理方法 - Google Patents
医用画像処理装置及び医用画像処理方法 Download PDFInfo
- Publication number
- WO2019012586A1 WO2019012586A1 PCT/JP2017/025154 JP2017025154W WO2019012586A1 WO 2019012586 A1 WO2019012586 A1 WO 2019012586A1 JP 2017025154 W JP2017025154 W JP 2017025154W WO 2019012586 A1 WO2019012586 A1 WO 2019012586A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- image
- mark
- medical image
- predetermined
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
Definitions
- the present invention relates to a medical image processing apparatus and a medical image processing method, and more particularly to a medical image processing apparatus and a medical image processing method for detecting an area suspected of being a lesion by image analysis.
- a diagnostic support system has also been proposed in which image processing is performed on a medical image, a region having a suspected lesion is detected by image processing, and a mark is superimposed on the region having a suspected lesion. There is.
- Japanese Patent Application Laid-Open No. 2004-159739 discloses an apparatus for displaying an image by superimposing a mark on an area meeting a pre-specified condition, and an image processing apparatus capable of selecting display / non-display of the mark. Proposed. Therefore, the doctor who is the user can make a non-display selection so as not to superimpose the mark on the area suspected of the lesion detected by the image processing, as desired. After selecting the non-display selection, in order to receive diagnostic support again, the user has to make a display selection that superimposes the mark on the area suspected of being a lesion.
- the user if the user forgets to return from the hidden selection to the display selection, or forgets that the device is in the hidden selection state, the user marks that a suspected lesion area has been detected. Can not receive diagnostic support because it is not displayed. In that case, the user may not know that the region suspected of being a lesion has been detected by the image processing by the image processing, and may continue the diagnosis while misunderstanding that the diagnosis support is received thereafter. is there.
- the medical image processing apparatus analyzes the medical image and detects an area suspected of being a lesion in the medical image, and the image analysis unit detects an area within the image based on predetermined information.
- a mark display determination unit that determines whether or not to display a predetermined mark indicating presence on the medical image, and the image analysis unit detects the area, and the mark display determination is performed When it is determined that the unit displays the predetermined mark, a first display image in which the predetermined mark is superimposed on the medical image is generated, and the mark display determination unit determines that the predetermined mark is not displayed. If it does, the image generation unit generates a second display image in which the predetermined mark is not superimposed on the medical image, and the notification informing that the mark display determination unit does not display the predetermined mark Department and To.
- the medical image processing method analyzes a medical image to detect a region suspected of being a lesion in the medical image, and the region is present in the image based on predetermined information. It is determined whether or not to display a predetermined mark indicating that the image is superimposed on the medical image, and if it is determined that the area is detected and the predetermined mark is displayed, the predetermined mark is displayed. The first display image superimposed on the medical image is generated, and when it is determined that the mark display determination unit does not display the predetermined mark, the second mark is not superimposed on the medical image. The display control unit generates a display image, and notifies that the mark display determination unit has determined that the predetermined mark is not to be displayed.
- FIG. 1 is a block diagram of an endoscope system 1 according to an embodiment of the present invention.
- the endoscope system 1 includes an endoscope 2, a video processor 3 connected to the endoscope 2, a diagnosis support device 4, and a display device 5.
- the endoscope 2 has an elongated flexible insertion portion 2a, an operation portion 2b connected to the proximal end of the insertion portion 2a, and a universal cord 2c extending from the operation portion 2b. ing.
- An imaging element 2d is provided at the tip of the insertion portion 2a, and the imaging element 2d receives light incident from an observation window provided at the tip of the insertion portion 2a and outputs an imaging signal.
- an illumination window is also provided at the tip of the insertion portion 2a.
- a curved portion not shown is also provided on the proximal end side of the distal end portion of the insertion portion 2a.
- the operation unit 2 b is provided with a plurality of operation members (not shown) operated by the user, such as a bending knob for bending the bending portion, a freeze button for imaging, and the like.
- a signal line (not shown) for driving the imaging device 2d and transmitting an imaging signal from the imaging device 2d is inserted.
- the endoscope 2 and the video processor 3 can be connected by connecting the connector 2 e provided at the proximal end of the universal cord 2 c to the connector 2 f provided in the video processor 3.
- the video processor 3 has a control unit 11, an image processing unit 12, a storage device 13, and an operation panel 14.
- the control unit 11 includes a central processing unit (hereinafter referred to as a CPU), a ROM, and a RAM.
- the user can operate the operation panel 14 to instruct the video processor 3 to perform a desired function.
- the CPU reads out and executes a program corresponding to the instructed function from the ROM, and thereby the control unit 11 operates each unit in the video processor 3 to realize the instructed function.
- the image processing unit 12 is a circuit that outputs a drive signal for driving the imaging device 2 d under the control of the control unit 11 and generates an image signal based on the imaging signal from the imaging device 2 d.
- the storage device 13 is a hard disk drive or the like that stores various programs and data.
- the operation panel 14 has various buttons, a display device with a touch panel, and the like, and the user instructs execution of each function of the endoscope system 1 by operating the operation button or the like of the operation panel 14 or the operation unit 2b. can do.
- the user operates the operation button of the operation unit 2b to obtain image data of an endoscopic image obtained based on an imaging signal from the imaging device 2d in the storage device 13, or a removable memory card (not shown), etc. Can be recorded on any portable media.
- the user can set various parameters for image generation and the like by operating the operation panel 14. Furthermore, by operating the operation panel 14, the user can also perform instructions and settings for the diagnosis support device 4 which is a medical image processing device. Further, an instruction to the diagnosis support device 4 and setting can be performed by providing a separate operation panel to the diagnosis support device 4.
- the light source device that generates illumination light for illuminating the subject is omitted.
- the light source device has a light source such as a lamp or a light emitting diode, and the light of the light source passes through a light guide (not shown) inserted into the endoscope 2 and illuminates the illumination light from the illumination window at the tip of the insertion portion 2a. It is emitted as
- the image data of the endoscopic image generated by the image processing unit 12 of the video processor 3 is output to the diagnosis support device 4 via the cable 3a.
- the video processor 3 and the diagnosis support apparatus 4 can transmit and receive various types of information through communication between devices via the cable 3b. Therefore, the diagnosis support device 4 can acquire desired information from the video processor 3 by communication, and in this case, receives predetermined information from the video processor 3.
- the predetermined information is, as will be described later, information relating to the conditions under which the diagnosis support apparatus 4 performs the diagnosis support.
- predetermined information for example, operation information or setting information of the video processor such as an observation mode, arrow pointer display state, enlarged display state, etc. is supplied from the video processor 3 to the diagnosis support apparatus 4. That is, the predetermined information is information on the operation on the endoscope 2 or the operation of the endoscope 2.
- the video processor 3 transmits predetermined information to the diagnosis support device 4 in response to a request from the diagnosis support device 4.
- the video processor 3 When the video processor 3 has information such as whether or not the operation for enlarged display is performed, such information is used as predetermined information from the video processor 3 to the diagnostic support device 4 Supplied.
- the user inserts the insertion portion 2a into the subject and performs an endoscopic examination while viewing various endoscopic images while performing various operations.
- the video processor 3 executes an operation according to the user's operation on the operation panel 14 or the like, and outputs predetermined information to the diagnosis support device 4.
- the diagnostic support device 4 performs image analysis processing on the image data of the endoscopic image received from the video processor 3 to detect a region suspected of having a lesion in the image and detect a region having a suspected lesion. An image in which a predetermined mark is superimposed on a region suspected of being a lesion of the endoscopic image is generated, and the cable 4 a is output to the display device 5. The configuration of the diagnosis support device 4 will be described later. While the image generated in the video processor 3 is displayed on the display screen of the display device 5, a predetermined mark 33 (FIG. 3) can be displayed as support information by the diagnosis support device 4.
- the video processor 3 and the diagnosis support device 4 are separate units here, even if the video processor 3 and the diagnosis support device 4 are configured as one medical image processing device 3A, as indicated by a two-dot chain line. Good. Furthermore, in that case, the function of the diagnosis support device 4 may be included in the control unit 11 or the image processing unit 12 of the video processor 3.
- the diagnosis support device 4 may be a personal computer (hereinafter referred to as a PC), in which case the PC has software or hardware for realizing the function of the diagnosis support device 4 and the output image is a PC It may be displayed on a monitor connected to or connected to a PC.
- a PC personal computer
- FIG. 2 is a block diagram showing the configuration of the diagnosis support apparatus 4.
- the diagnosis support apparatus 4 as a medical image processing apparatus includes an image analysis unit 21, an image generation unit 22, and a display condition determination unit 23.
- the image analysis unit 21, the image generation unit 22 and the display condition determination unit 23 of the diagnosis support device 4 are configured by an FPGA (Field Programmable Gate Array).
- Each of the image analysis unit 21, the image generation unit 22, and the display condition determination unit 23 may be configured by a hardware circuit, or all of the image analysis unit 21, the image generation unit 22, and the display condition determination unit 23 Alternatively, a part may be configured by a circuit including a CPU and realized by a software program.
- the image analysis unit 21 receives the image data IM of the endoscopic image from the video processor 3 via the cable 3a, and a predetermined image analysis process determines whether or not there is a region suspected of having a lesion in the image. Perform detection. That is, the image analysis unit 21 analyzes the medical image to detect an area suspected of being a lesion in the medical image.
- the medical image is an endoscope image obtained by an endoscope.
- the image processing performed by the image analysis unit 21 is a known process, and for example, it is determined from a feature amount such as luminance and color tone of the image whether or not there is a pixel region matching a predetermined condition, If the above condition is satisfied, the pixel area is determined as an area suspected of being a lesion.
- the image analysis unit 21 may analyze RAW data of the input endoscopic image, or may analyze image data subjected to image processing. Furthermore, although the image analysis unit 21 may determine the presence or absence of a lesion based on the above-described feature amount, the presence or absence of a lesion may be determined by processing using a method using a neural network such as deep learning. You may
- the image generation unit 21 when the image analysis unit 21 detects a region suspected of being a lesion by image analysis together with the image data IM, the image generation unit 21 generates, for example, lesion detection information AI including information such as the position and shape of the lesion in the image. Output to unit 22.
- the image analysis unit 21 also outputs information Ad of a part of the lesion detection information AI to the display condition determination unit 23 as predetermined information.
- Some information Ad is information resulting from image analysis such as the size of the area suspected of the detected lesion.
- the display condition determination unit 23 is a mark non-display that does not display a predetermined mark superimposed on an image even if an image in which a region suspected of a lesion is detected is input based on the predetermined information VI from the video processor 3 It is determined whether the condition is satisfied. In other words, based on the predetermined information VI, the display condition determination unit 23 does not display or display the predetermined mark indicating that the region having the lesion is present in the image in a superimposed manner.
- the mark display determination unit is configured to determine whether to do so.
- Condition information IS indicating the mark non-display condition is set in advance in the display condition determination unit 23.
- the display condition determination unit 23 displays the mark non-display state information DI as an image. It is output to the generation unit 22.
- the image generation unit 22 When the image non-display state information DI is received, the image generation unit 22 generates an image on which a predetermined mark is not superimposed even if the lesion detection information AI is received from the image analysis unit 21, and the image is generated via the cable 4a. The image data is output to the display device 5.
- the endoscope system 1 when using the endoscope system 1, a user may perform many times finding and discrimination of a lesion, and therefore, utilizes various functions during endoscopic examination.
- the endoscope system 1 may have two modes of a normal light observation mode and a special light observation mode as an observation mode, or may have a magnified observation function.
- the special light observation mode is usually used when the doctor distinguishes the detected lesion after finding the lesion, the user can select the special light observation mode because the predetermined mark interferes with the observation of the lesion. I do not want to display a predetermined mark at the time of.
- the user may want to magnify the image for identification.
- the predetermined mark is displayed even when the lesion is enlarged, the user is not wanting to display the predetermined mark when enlarging because the observation is disturbed.
- the user sets in advance such conditions under which a predetermined mark is not displayed in the display condition determination unit 23 as a mark non-display condition.
- the mark non-display condition differs depending on the user. Therefore, even if the image analysis unit 21 detects a region suspected of being a lesion, condition information that does not display a predetermined mark can be set in the display condition determination unit 23.
- the endoscope system When 1 is operating in the special light observation mode, the image generation unit 22 superimposes a predetermined mark even if the image analysis unit 21 detects a region suspected of a lesion and outputs the lesion detection information AI. Do not generate an image.
- the image generation unit 22 Based on the lesion detection information AI and the mark non-display state information DI, the image generation unit 22 generates, from the image data IM, an image signal of an image on which a predetermined mark is superimposed or an image on which the predetermined mark is not superimposed. .
- the image analysis unit 21 detects an area suspected of having a lesion and the display condition determination unit 23 determines to display a predetermined mark
- the image generation unit 22 superimposes the predetermined mark on the medical image. If the display condition determination unit 23 determines that the predetermined mark 33 is not displayed, a display image in which the predetermined mark is not superimposed on the medical image is generated.
- the endoscope system 1 has many functions, but here, an operation when displaying a predetermined mark when the diagnosis support device 4 detects a lesion will be described.
- the user inserts the insertion portion 2a of the endoscope 2 into the subject, and performs an examination or the like while displaying the endoscopic image obtained by the imaging device 2d on the display device 5.
- the user performs lesion detection and lesion discrimination while looking at the endoscopic image displayed on the display device 5.
- the diagnosis support device 4 receives the image data of the endoscopic image, and the image analysis unit 21 performs detection of a region suspected of a lesion in real time.
- the image analysis unit 21 detects a region suspected of being a lesion
- the image analysis unit 21 outputs, to the image generation unit 22, lesion detection information AI including information such as the position of the lesion to the image generation unit 22.
- the image generation unit 22 generates an image added to a predetermined mark based on the information of the position and size of the lesion included in the lesion detection information AI, and outputs the image to the display device 5.
- FIG. 3 is a diagram showing an example of an image displayed on the display screen 31 of the display device 5 when a region suspected of being a lesion is detected.
- FIG. 3 shows an intraluminal image displayed on the display screen 31, and in the central octagonal area 32 in the display screen 31, an endoscopic image in the intraluminal cavity is displayed.
- the black round area in the middle shows the dark part at the back of the lumen.
- a square frame image (indicated by a dotted line) surrounding the region LS suspected of being a lesion is shown as a predetermined mark 33. Is displayed.
- the predetermined mark 33 is not displayed when the image analysis unit 21 does not detect the area in which the lesion is suspected.
- a predetermined message display 34 is displayed on the display screen 31 to indicate that the function of detecting a region suspected of being a lesion by the image analysis unit 21 is in operation.
- the character string “analysis ON” is displayed at the lower left of the display screen 31.
- the message display 34 is displayed in white in a conspicuous manner so that the color of the character string of "analysis ON” is displayed (in FIG. 3, since the background is shown in white, "analysis ON” The letters are shown in black). Note that if the background area of the display screen 31 is white, the color of the “analysis ON” character string is displayed in black so as to be noticeable.
- the user can recognize that the diagnosis support device 4 is operating normally. That is, the user can recognize that the endoscopic examination is being performed while using the diagnostic support by viewing the character display of "analysis ON".
- FIG. 4 is a diagram showing an example of an image displayed on the display screen 31 of the display device 5 when the user sets the observation mode to the special light observation mode.
- the image generation unit 22 displays an image of the region LS in which the lesion is suspected. Even if it is detected inside, the image which does not overlap the predetermined mark 33 is generated.
- the image generation unit 22 performs the enlarged display of the endoscopic image.
- the image analysis unit 21 outputs information for detecting a region suspected of being a lesion, an image is generated in which the predetermined mark 33 is not superimposed.
- FIG. 5 is a diagram showing an example of an image displayed on the display screen 31 of the display device 5 when the user places the image in the magnified observation state.
- the user can magnify and observe the image by performing operations such as zoom observation and near point observation.
- the predetermined mark 33 is not displayed. If the user continues to observe another part of the subject while the user is in the special light observation mode, the special light observation mode is set, so even if the image analysis unit 21 detects a lesion, The predetermined mark is not displayed on the image. Therefore, the user may continue the diagnosis or the like while misunderstanding that the diagnosis support is received.
- the image generation unit 22 performs a predetermined display on the display device 5.
- the predetermined display is a display different from when the image analysis unit 21 has a function of detecting a region suspected of being a lesion.
- the display state of the message display 34 is such that the user can recognize that the predetermined mark 33 is not displayed even if the area suspected of the lesion is currently detected. Be changed.
- the characters “analysis ON” are displayed in another color, for example, red (indicated by white characters in FIG. 4). That is, the characters “analysis ON” are displayed in a different display form from when the function of the image analysis unit 21 for detecting a region suspected of a lesion is effective.
- the user can recognize that the predetermined mark is not displayed when observing in the special light observation mode, the diagnosis and the like are continued while misunderstanding that the diagnosis support is received. There is no risk of Similarly, when viewing an endoscopic image in an enlarged state, as shown in FIG. 5, the character of “analysis ON” is indicated by another color, for example, red (in FIG. It is displayed in).
- the image generation unit 22 configures a notification unit that notifies that the display condition determination unit 23 which is a mark display determination unit does not display the predetermined mark 33.
- the predetermined mark 33 is automatically displayed or not displayed in the region LS in which the lesion is suspected. Then, when the character “analysis ON” is displayed in another color, the user recognizes that the predetermined mark is not displayed even if the area suspected of the lesion is detected, and the examination is performed. There is no risk of continuing the diagnosis etc. while being misunderstood that the diagnosis support is received.
- the lesion detection by the diagnosis support device 4 by changing the observation mode to the normal observation mode or returning the enlarged state to the non-magnified observation state You can receive support from
- the display state of the message display 34 is changed, and even if the image analysis unit 21 detects an area suspected of a lesion, the user is notified that the predetermined mark is not displayed. It is also possible to change the text of the message on the message display 34, though it is informed.
- FIG. 6 is a diagram showing an example of changing the character string of the message display. That is, the character "analysis ON” is displayed in a different character display "Not Display” from when the function of the image analysis unit 21 for detecting a region suspected of a lesion is effective.
- the user may detect the region suspected of having a lesion, It can be recognized that the predetermined mark is not displayed.
- FIG. 7 is a view showing an example in which a predetermined figure, here, a round mark 35 of a specific color is displayed on the screen.
- the round mark 35 is displayed at the corner of the display screen 31.
- the image generation unit 22 generates a round mark 35 as a predetermined figure.
- the user can recognize that the predetermined mark is not displayed even if the image analysis unit 21 detects the area in which the lesion is suspected.
- the image analysis unit 21 detects the area in which the lesion is suspected, on the screen of the display device 5 to notify the user that the predetermined mark is not displayed. Although it is performed by displaying on the screen, it may be notified by sound or the like.
- the diagnosis support apparatus 4 is provided with a sound generation unit 24 having a speaker, a buzzer and the like, and the image generation unit 22 detects an area where the image analysis unit 21 is suspected of having a lesion.
- the sound generation unit 24 may be driven to notify the user that the predetermined mark is not displayed by the predetermined sound or the buzzer sound. That is, the image generation unit 22 and the sound generation unit 24 constitute a notification unit that generates a predetermined sound when the display condition determination unit 23 which is a mark display determination unit determines that the predetermined mark 33 is not displayed.
- the diagnosis support device 4 acquires information on the operation state of the endoscope system 1 from the video processor 3 by communication, and displays the display condition based on the information on the operation state from the video processor 3.
- information on the operation state of the endoscope system 1 may be acquired from image data. That is, the display condition determination unit 23 may be image data of a medical image as the predetermined information.
- the display condition determination unit 23 acquires the image data IM, analyzes the image, and determines, for example, the observation mode or the enlarged observation state from the image analysis result. It may be determined that
- the overlapping mark 33 may overlap the area substantially adjacent to the area 32 without directly overlapping the lesion.
- the image analysis unit 21 continues to operate, but in the case of a predetermined condition, the display condition determination unit 23 performs image analysis on an image including a region suspected of being a lesion.
- a signal not shown may be output to the image analysis unit 21 so as not to operate the unit 21 or to stop it.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Abstract
診断支援装置4は、医用画像を解析して、医用画像中の病変の疑いのある領域を検出する画像解析部21と、所定の情報VIに基づいて、前記領域が画像内に存在していることを示す所定のマーク33を医用画像上に重畳して表示するか否かを判定する表示条件判定部23と、画像解析部21が前記領域を検出し、かつ表示条件判定部23が所定のマーク33を表示すると判定した場合は、所定のマーク33を医用画像上に重畳した表示画像を生成し、表示条件判定部23が所定のマーク33を表示しないと判定した場合は、所定のマーク33を医用画像上に重畳しない表示画像を生成すると共に、表示条件判定部23が所定のマーク33を表示しないと判定したことを告知する画像生成部22を有する。
Description
本発明は、医用画像処理装置及び医用画像処理方法に関し、特に、画像解析により病変の疑いのある領域を検出する医用画像処理装置及び医用画像処理方法に関する。
従来より、被検体の画像に基づいて、病気の発見、診断などが行われる。医者は、モニタに表示される内視鏡画像、CT(Computed Tomography)画像などを見て、病変の発見あるいは鑑別を行う。
近年は、医用画像に対して画像処理を施して、画像処理により病変の疑いのある領域を検出し、病変の疑いのある領域にマークを重畳して画像を表示する診断支援システムも提案されている。
日本国特開2004-159739号公報には、予め指定された条件に合致する領域にマークを重畳して画像を表示する装置において、そのマークの表示/非表示を選択可能とする画像処理装置が提案されている。よって、ユーザである医者は、所望のときに、画像処理により検出された病変の疑いのある領域にマークを重畳しない非表示選択をすることができる。非表示選択を選択した後に、診断支援を再び受けるためには、ユーザは、病変の疑いのある領域にマークを重畳する表示選択をしなければならない。
しかし、もしも、ユーザが非表示選択から表示選択に戻すことをし忘れたり、装置が非表示選択状態にあることを忘れたりすると、ユーザは、病変の疑いのある領域が検出されたことがマークにより表示されないため、診断支援を受けることはできない。その場合、ユーザは、画像処理により病変の疑いがある領域が画像処理により検出されたことを知り得ず、その後も、診断支援を受けていると誤解したままで診断などを続けてしまう虞がある。
そこで、本発明は、病変の疑いのある領域が画像内に存在しているときであっても、画像処理によって検出すべきでない状態もしくは、画像処理によって検出していてもその検出がされていることが告知されない状態であることをユーザが認識できる医用画像処理装置及び医用画像処理方法を提供することを目的とする。
本発明の一態様の医用画像処理装置は、医用画像を解析して、前記医用画像中の病変の疑いのある領域を検出する画像解析部と、所定の情報に基づいて、前記領域が画像内に存在していることを示す所定のマークを前記医用画像上に重畳して表示するか否かを判定するマーク表示判定部と、前記画像解析部が前記領域を検出し、かつ前記マーク表示判定部が前記所定のマークを表示すると判定した場合は、前記所定のマークを前記医用画像上に重畳した第1の表示画像を生成し、前記マーク表示判定部が前記所定のマークを表示しないと判定した場合は、前記所定のマークを前記医用画像上に重畳しない第2の表示画像を生成する画像生成部と、前記マーク表示判定部が前記所定のマークを表示しないと判定したことを告知する告知部とを有する。
本発明の一態様の医用画像処理方法は、医用画像を解析して、前記医用画像中の病変の疑いのある領域を検出し、所定の情報に基づいて、前記領域が画像内に存在していることを示す所定のマークを前記医用画像上に重畳して表示するか否かを判定し、前記領域が検出され、かつ前記所定のマークを表示すると判定された場合は、前記所定のマークを前記医用画像上に重畳した第1の表示画像を生成し、前記マーク表示判定部が前記所定のマークを表示しないと判定された場合は、前記所定のマークを前記医用画像上に重畳しない第2の表示画像を生成し、前記マーク表示判定部が前記所定のマークを表示しないと判定したことを告知する。
以下、本発明の実施の形態について図面を用いて説明する。
(システム構成)
図1は、本発明の実施の形態に関わる内視鏡システム1の構成図である。
図1は、本発明の実施の形態に関わる内視鏡システム1の構成図である。
内視鏡システム1は、内視鏡2と、内視鏡2に接続されたビデオプロセッサ3と、診断支援装置4と、表示装置5とを有して構成されている。
内視鏡2は、ここでは、細長で可撓性を有する挿入部2aと、挿入部2aの基端に接続された操作部2bと、操作部2bから延出するユニバーサルコード2cとを有している。
挿入部2aの先端部には、撮像素子2dが設けられており、撮像素子2dは、挿入部2aの先端部に設けられた観察窓から入射する光を受け、撮像信号を出力する。
また、図示しないが、挿入部2aの先端部には、照明窓も設けられている。さらに、図示しない湾曲部も、挿入部2aの先端部の基端側に設けられている。
また、図示しないが、挿入部2aの先端部には、照明窓も設けられている。さらに、図示しない湾曲部も、挿入部2aの先端部の基端側に設けられている。
操作部2bには、湾曲部を湾曲するための湾曲ノブ、撮像のためのフリーズボタン、等の、ユーザにより操作される複数の操作部材(図示せず)が設けられている。
内視鏡2内には、撮像素子2dを駆動及び撮像素子2dからの撮像信号を伝達するための信号線(図示せず)が挿通されている。
内視鏡2内には、撮像素子2dを駆動及び撮像素子2dからの撮像信号を伝達するための信号線(図示せず)が挿通されている。
ユニバーサルコード2cの基端部に設けられたコネクタ2eを、ビデオプロセッサ3に設けられたコネクタ2fに接続することによって、内視鏡2とビデオプロセッサ3とを接続することができる。
ビデオプロセッサ3は、制御部11と、画像処理部12と、記憶装置13と、操作パネル14とを有している。
制御部11は、中央処理装置(以下、CPUという)、ROM、RAMを含む。ユーザは、操作パネル14を操作して、所望の機能の実行をビデオプロセッサ3に指示することができる。指示された機能に応じたプログラムをCPUがROMから読み出して実行することによって、制御部11は、ビデオプロセッサ3内の各部を動作させて、指示された機能が実現される。
制御部11は、中央処理装置(以下、CPUという)、ROM、RAMを含む。ユーザは、操作パネル14を操作して、所望の機能の実行をビデオプロセッサ3に指示することができる。指示された機能に応じたプログラムをCPUがROMから読み出して実行することによって、制御部11は、ビデオプロセッサ3内の各部を動作させて、指示された機能が実現される。
画像処理部12は、制御部11の制御の下、撮像素子2dを駆動する駆動信号を出力すると共に、撮像素子2dからの撮像信号に基づいて画像信号を生成する回路である。
記憶装置13は、各種プログラム及びデータを記憶するハードディスクドライブ装置などである。
記憶装置13は、各種プログラム及びデータを記憶するハードディスクドライブ装置などである。
操作パネル14は、各種ボタン及びタッチパネル付きの表示装置などを有し、ユーザは、操作パネル14あるいは操作部2bの操作ボタンなどを操作することによって、内視鏡システム1の各機能の実行を指示することができる。
ユーザは、操作部2bの操作ボタンを操作することによって、撮像素子2dからの撮像信号に基づき得られた内視鏡画像の画像データを、記憶装置13に、あるいは図示しない着脱可能なメモリカードなどの可搬媒体に記録することができる。
また、ユーザは、操作パネル14を操作することによって、画像生成の各種パラメータの設定なども行うことができる。
さらに、操作パネル14を操作することによって、ユーザは、医用画像処理装置である診断支援装置4に対する指示、及び設定を行うこともできる。また、診断支援装置4に対する指示、及び設定は診断支援装置4に別途操作パネルを設けて行うこともできる。
さらに、操作パネル14を操作することによって、ユーザは、医用画像処理装置である診断支援装置4に対する指示、及び設定を行うこともできる。また、診断支援装置4に対する指示、及び設定は診断支援装置4に別途操作パネルを設けて行うこともできる。
なお、ここでは、被検体を照明するための照明光を生成する光源装置については、省略している。光源装置は、ランプ、発光ダイオードなどの光源を有し、光源の光は、内視鏡2に挿通されたライトガイド(図示せず)を通り、挿入部2aの先端部の照明窓から照明光として出射される。
ビデオプロセッサ3の画像処理部12において生成された内視鏡画像の画像データは、ケーブル3aを介して診断支援装置4に出力される。
また、ビデオプロセッサ3と診断支援装置4は、ケーブル3bを介して機器間通信により各種情報の送受信が可能となっている。よって、診断支援装置4は、通信により所望の情報を、ビデオプロセッサ3から取得することができ、ここでは、所定の情報を、ビデオプロセッサ3から受信する。所定の情報は、後述するように、診断支援装置4が、診断支援を行うときの条件に関する情報である。
また、ビデオプロセッサ3と診断支援装置4は、ケーブル3bを介して機器間通信により各種情報の送受信が可能となっている。よって、診断支援装置4は、通信により所望の情報を、ビデオプロセッサ3から取得することができ、ここでは、所定の情報を、ビデオプロセッサ3から受信する。所定の情報は、後述するように、診断支援装置4が、診断支援を行うときの条件に関する情報である。
所定の情報として、例えば、観察モード、アローポインタ表示状態、拡大表示状態、等のビデオプロセッサの動作情報あるいは設定情報が、ビデオプロセッサ3から診断支援装置4へ供給される。すなわち、所定の情報は、内視鏡2に対する操作あるいは内視鏡2の動作に関する情報である。ビデオプロセッサ3は、診断支援装置4からの要求に応じて、所定の情報を診断支援装置4へ送信する。
例えば、内視鏡システム1が通常光観察モードに設定されて動作しているのか、特殊光観察モードに設定されて動作しているのか、画面上にアローポインタなどのカーソルを表示する状態で動作しているのか、拡大表示のための操作がされているのか、などの情報をビデオプロセッサ3が有しているので、これらの情報が、所定の情報として、ビデオプロセッサ3から診断支援装置4へ供給される。
ユーザは、被検体内に挿入部2aを挿入して、各種操作を行いながら、内視鏡画像を見て内視鏡検査を行う。ビデオプロセッサ3は、動作中、操作パネル14などへのユーザの操作に応じた動作を実行すると共に、所定の情報を、診断支援装置4に出力する。
診断支援装置4は、ビデオプロセッサ3から受信した内視鏡画像の画像データを画像解析処理して、画像中に病変の疑いのある領域を検出し、病変の疑いのある領域を検出すると、内視鏡画像の病変の疑いのある領域に所定のマークを重畳した画像を生成して、その画像信号をケーブル4aを表示装置5に出力する。診断支援装置4の構成については、後述する。
表示装置5の表示画面には、ビデオプロセッサ3において生成された画像が表示されると共に、診断支援装置4による支援情報として、所定のマーク33(図3)が表示可能となっている。
表示装置5の表示画面には、ビデオプロセッサ3において生成された画像が表示されると共に、診断支援装置4による支援情報として、所定のマーク33(図3)が表示可能となっている。
なお、ここでは、ビデオプロセッサ3と診断支援装置4は、別体であるが、二点鎖線で示すように、ビデオプロセッサ3と診断支援装置4を1つの医用画像処理装置3Aとして構成してもよい。さらに、その場合、診断支援装置4の機能を、ビデオプロセッサ3の制御部11あるいは画像処理部12に含ませてもよい。
さらになお、診断支援装置4は、パーソナルコンピュータ(以下、PCという)でもよく、その場合は、PCが、診断支援装置4の機能を実現するソフトウエアあるいはハードウエアを有し、出力画像を、PCの有するあるいはPCに接続されたモニタに表示するようにしてもよい。
(診断支援装置の構成)
図2は、診断支援装置4の構成を示すブロック図である。
図2は、診断支援装置4の構成を示すブロック図である。
医用画像処理装置としての診断支援装置4は、画像解析部21と、画像生成部22と、表示条件判定部23とを有する。ここでは、診断支援装置4の画像解析部21、画像生成部22及び表示条件判定部23は、FPGA(Field Programmable Gate Array)で構成されている。
なお、画像解析部21、画像生成部22及び表示条件判定部23の各々を、ハードウエア回路で構成してもよいし、あるいは画像解析部21、画像生成部22及び表示条件判定部23の全てあるいは一部を、CPUを含む回路で構成し、ソフトウエアプログラムにより実現してもよい。
画像解析部21は、ケーブル3aを介してビデオプロセッサ3から内視鏡画像の画像データIMを受信し、所定の画像解析処理により、画像中に、病変の疑いのある領域があるか否かの検出を行う。すなわち、画像解析部21は、医用画像を解析して、医用画像中の病変の疑いのある領域を検出する。ここでは、医用画像は、内視鏡により得られた内視鏡画像である。
画像解析部21で行われる画像処理は、公知の処理であり、例えば、画像の輝度、色調などの特徴量から所定の条件に一致する画素領域が画像中にあるか否かを判定し、所定の条件に一致するときは、その画素領域を、病変の疑いのある領域と判定する。
画像解析部21は、入力された内視鏡画像のRAWデータを解析してもよいし、画像処理された画像データを解析してもよい。
さらに、画像解析部21は、上述したような特徴量に基づいて病変の有無を判定してもよいが、ディープラーニングなどのニューラルネットワークを利用した手法を用いた処理により病変の有無を判定するようにしてもよい。
さらに、画像解析部21は、上述したような特徴量に基づいて病変の有無を判定してもよいが、ディープラーニングなどのニューラルネットワークを利用した手法を用いた処理により病変の有無を判定するようにしてもよい。
さらに、画像解析部21は、画像データIMと共に、画像解析により病変の疑いのある領域を検出した場合、例えば画像中の、病変の位置、形状などの情報を含む病変検出情報AIを、画像生成部22へ出力する。
また、画像解析部21は、病変検出情報AIの一部の情報Adを、所定の情報として表示条件判定部23に出力する。
一部の情報Adは、検出された病変の疑いのある領域のサイズなどの画像解析の結果情報である。後述する表示条件判定部23は、種々の情報に基づいて、所定の判定を行うが、その一部の情報Adも、その判定のための情報として利用可能となっている。
一部の情報Adは、検出された病変の疑いのある領域のサイズなどの画像解析の結果情報である。後述する表示条件判定部23は、種々の情報に基づいて、所定の判定を行うが、その一部の情報Adも、その判定のための情報として利用可能となっている。
表示条件判定部23は、ビデオプロセッサ3からの所定の情報VIに基づき、病変の疑いのある領域が検出される画像が入力されていても、画像上に所定のマークを重畳表示しないマーク非表示条件が成立するか否かを判定する。言い換えれば、表示条件判定部23は、所定の情報VIに基づいて、病変の疑いのある領域が画像内に存在していることを示す所定のマークを医用画像上に重畳して表示しないあるいは表示するかを判定するマーク表示判定部を構成する。
表示条件判定部23には、マーク非表示条件を示す条件情報ISが、予め設定されている。例えば、マーク非表示条件として、内視鏡2あるいはビデオプロセッサ3に対して内視鏡画像を拡大表示する操作が行われていると、表示条件判定部23は、マーク非表示状態情報DIを画像生成部22に出力する。
表示条件判定部23には、マーク非表示条件を示す条件情報ISが、予め設定されている。例えば、マーク非表示条件として、内視鏡2あるいはビデオプロセッサ3に対して内視鏡画像を拡大表示する操作が行われていると、表示条件判定部23は、マーク非表示状態情報DIを画像生成部22に出力する。
画像生成部22は、マーク非表示状態情報DIを受信すると、画像解析部21から病変検出情報AIを受信していても、所定のマークを重畳しない画像を生成して、ケーブル4aを介してその画像データを表示装置5へ出力する。
ところで、ユーザは、内視鏡システム1を利用しているとき、病変の発見と鑑別を何度も行う場合があるため、内視鏡検査中に種々の機能を利用する。例えば、内視鏡システム1が、観察モードとして、通常光観察モードと特殊光観察モードの2つのモードを有していたり、拡大観察機能を有していたりする場合がある。
特殊光観察モードは、通常、病変を発見した後に、発見した病変の鑑別を医者が行うときに利用されるので、所定のマークは病変の観察の邪魔になるため、ユーザは、特殊光観察モードのときには所定のマークを表示させたくない。
また、ユーザは、鑑別のために、画像を拡大したい場合もある。病変を拡大しているときにも所定のマークが表示されていると、観察の邪魔になるので、ユーザは、拡大時には所定のマークを表示させたくない。
ユーザは、内視鏡システム1の動作状態に応じて、所定のマークを表示させないこのような条件を、マーク非表示条件として、表示条件判定部23に予め設定する。
ユーザによって、マーク非表示条件は異なる。よって、画像解析部21が病変の疑いのある領域を検出しても、所定のマークを表示しない条件情報を表示条件判定部23に設定可能である。
よって、画像解析部21が病変の疑いのある領域を検出していても、所定のマークを表示させない条件として、特殊光観察モードの動作状態を表示条件判定部23に設定すると、内視鏡システム1が特殊光観察モードで動作しているときは、画像生成部22は、画像解析部21が病変の疑いのある領域を検出し病変検出情報AIを出力していても、所定のマークを重畳しない画像を生成する。
よって、画像生成部22は、病変検出情報AI及びマーク非表示状態情報DIに基づいて、所定のマークを重畳した画像、あるいは所定のマークを重畳しない画像の画像信号を、画像データIMから生成する。
すなわち、画像生成部22は、画像解析部21が病変の疑いのある領域を検出し、かつ表示条件判定部23が所定のマークを表示すると判定した場合は、所定のマークを医用画像上に重畳した表示画像を生成し、表示条件判定部23が所定のマーク33を表示しないと判定した場合は、所定のマークを医用画像上に重畳しない表示画像を生成する。
(作用)
次に、内視鏡システム1の動作について説明する。上述したように、内視鏡システム1は、多くの機能を有しているが、ここでは、診断支援装置4が病変を検出したときに所定のマークを表示するときの動作について説明する。
次に、内視鏡システム1の動作について説明する。上述したように、内視鏡システム1は、多くの機能を有しているが、ここでは、診断支援装置4が病変を検出したときに所定のマークを表示するときの動作について説明する。
ユーザは、内視鏡2の挿入部2aを被検体内に挿入し、撮像素子2dにより得られた内視鏡画像を、表示装置5に表示させながら、検査などを行う。ユーザは、表示装置5に表示される内視鏡画像を見ながら、病変の発見と、病変の鑑別を行う。
診断支援装置4は、内視鏡画像の画像データを受信し、画像解析部21は病変の疑いのある領域の検出をリアルタイムで行う。
画像解析部21は、病変の疑いのある領域を検出すると、画像生成部22へ病変の位置などの情報を含む病変検出情報AIを画像生成部22へ出力する。画像生成部22は、病変検出情報AIに含まれる病変の位置及びサイズの情報に基づいて、所定のマークに付加した画像を生成して、表示装置5へ出力する。
画像解析部21は、病変の疑いのある領域を検出すると、画像生成部22へ病変の位置などの情報を含む病変検出情報AIを画像生成部22へ出力する。画像生成部22は、病変検出情報AIに含まれる病変の位置及びサイズの情報に基づいて、所定のマークに付加した画像を生成して、表示装置5へ出力する。
図3は、病変の疑いのある領域が検出されたときの、表示装置5の表示画面31に表示される画像の例を示す図である。図3は、表示画面31に表示される管腔内の画像を示し、表示画面31中の中央の8角形の領域32に、管腔内の内視鏡画像が表示される。中央部の黒色の丸い領域は、管腔の奥の暗い部分を示す。
画像解析部21は、画像中に病変の疑いのある領域を検出すると、図3に示すように、所定のマーク33としての、病変の疑いのある領域LSを囲む四角い枠画像(点線で示す)が表示される。画像解析部21が病変の疑いのある領域を検出していないとき、所定のマーク33は表示されない。
また、画像解析部21により病変の疑いのある領域の検出を行う機能が動作中であることを示す所定のメッセージ表示34が、表示画面31上に表示される。図3では、「解析ON」の文字列が表示画面31の左下に表示されている。「解析ON」の文字列の色は、背景が黒色であれば、メッセージ表示34は目立つように白色で表示される(なお、図3では、背景を白色で示しているので、「解析ON」の文字は黒で示している)。なお、表示画面31の背景領域が白色であれは、「解析ON」の文字列の色は、目立つように黒色で表示される。
背景が黒色の中に、白色の「解析ON」の文字列が表示されているとき、ユーザは、診断支援装置4が通常動作をしていることを認識することができる。
すなわち、ユーザは、「解析ON」の文字表示を見て、診断支援を利用しながら、内視鏡検査を行っていることを認識することができる。
すなわち、ユーザは、「解析ON」の文字表示を見て、診断支援を利用しながら、内視鏡検査を行っていることを認識することができる。
図4は、ユーザが観察モードを特殊光観察モードに設定したときの、表示装置5の表示画面31に表示される画像の例を示す図である。
マーク非表示条件として、特殊光観察モードが表示条件判定部23に設定されている場合、上述したように、画像生成部22は、特殊光観察モードにおいては、病変の疑いのある領域LSが画像内に検出されていても、所定のマーク33を重畳しない画像を生成する。
マーク非表示条件として、特殊光観察モードが表示条件判定部23に設定されている場合、上述したように、画像生成部22は、特殊光観察モードにおいては、病変の疑いのある領域LSが画像内に検出されていても、所定のマーク33を重畳しない画像を生成する。
また、例えば、マーク非表示条件として、画像の拡大表示状態が表示条件判定部23に設定されている場合、上述したように、画像生成部22は、内視鏡画像の拡大表示をしているときは、画像解析部21が病変の疑いのある領域を検出している情報を出力していても、所定のマーク33を重畳しない画像を生成する。
図5は、ユーザが画像を拡大観察状態にしたときの、表示装置5の表示画面31に表示される画像の例を示す図である。ユーザは、ズーム観察、近点観察などの操作をすることによって、画像を拡大して観察することができる。
拡大観察状態においても、病変の疑いのある領域LSが画像内にあるが、所定のマーク33は、表示されない。
もしも、ユーザが特殊光観察モードの状態のままで、さらに被検体内の別の部位の観察を続けて行うと、特殊光観察モードであるので、画像解析部21が病変を検出しても、所定のマークは画像上に表示されない。そのため、ユーザは、診断支援を受けていると誤解したままで診断などを続けてしまう虞がある。
もしも、ユーザが特殊光観察モードの状態のままで、さらに被検体内の別の部位の観察を続けて行うと、特殊光観察モードであるので、画像解析部21が病変を検出しても、所定のマークは画像上に表示されない。そのため、ユーザは、診断支援を受けていると誤解したままで診断などを続けてしまう虞がある。
そこで、画像生成部22は、表示条件判定部23が所定のマーク33を表示しないと判定したときに、表示装置5に所定の表示を行う。その所定の表示は、画像解析部21が病変の疑いのある領域を検出する機能が有効であるときとは異なる表示である。具体的には、図4では、現在は、病変の疑いのある領域が検出されても所定のマーク33が表示されない状態であることを、ユーザが認識できるように、メッセージ表示34の表示状態が変更される。
図4では、「解析ON」の文字が、別の色、例えば赤色(図4では白抜き文字で示されている)で表示される。すなわち、「解析ON」の文字が、画像解析部21が病変の疑いのある領域を検出する機能が有効であるときとは、異なる表示形態で表示される。
図4では、「解析ON」の文字が、別の色、例えば赤色(図4では白抜き文字で示されている)で表示される。すなわち、「解析ON」の文字が、画像解析部21が病変の疑いのある領域を検出する機能が有効であるときとは、異なる表示形態で表示される。
よって、ユーザは、特殊光観察モードで観察しているときは、所定のマークが表示されない状態であることを認識することができるので、診断支援を受けていると誤解したままで診断などを続けてしまう虞がない。
同様に、拡大状態で内視鏡画像を見ているときも、図5に示すように、「解析ON」の文字が、別の色、例えば赤色(図5では白抜き文字で示されている)で表示される。
同様に、拡大状態で内視鏡画像を見ているときも、図5に示すように、「解析ON」の文字が、別の色、例えば赤色(図5では白抜き文字で示されている)で表示される。
よって、画像生成部22は、マーク表示判定部である表示条件判定部23が所定のマーク33を表示しないと判定したことを告知する告知部を構成する。
よって、マーク非表示条件の成立の有無に応じて、所定のマーク33が病変の疑いのある領域LSに自動的に表示されたり、表示されない状態になる。
そして、ユーザは、「解析ON」の文字が、別の色で表示されているときは、病変の疑いのある領域が検出されても所定のマークが表示されない状態であることを認識して検査を行うことができ、診断支援を受けていると誤解したままで診断などを続けてしまう虞がない。
そして、ユーザは、「解析ON」の文字が、別の色で表示されているときは、病変の疑いのある領域が検出されても所定のマークが表示されない状態であることを認識して検査を行うことができ、診断支援を受けていると誤解したままで診断などを続けてしまう虞がない。
ユーザは、診断支援装置4による病変検出の支援を受けたいときは、観察モードを通常観察モードに変更したり、拡大状態を非拡大観察状態に戻したりすることによって、診断支援装置4による病変検出の支援を受けることができる。
なお、上述した例では、メッセージ表示34の表示状態を変更して、たとえ画像解析部21が病変の疑いのある領域を検出していても、所定のマークは表示されない状態であることをユーザに知らしめているが、メッセージ表示34のメッセージの文字を変更するようにしてもよい。
図6は、メッセージ表示の文字列の変更例を示す図である。すなわち、「解析ON」の文字が、画像解析部21が病変の疑いのある領域を検出する機能が有効であるときとは、異なる文字表示「Not Display」で表示される。
よって、ユーザは、「解析ON」に代わって、メッセージ表示34Aとして、「Not Display」という文字列が表示されているとき、画像解析部21が病変の疑いのある領域を検出していても、所定のマークは表示されない状態であることを認識することができる。
さらに、特定のマークを表示するようにしてもよい。
図7は、画面上に、所定の図形、ここでは特定の色の丸形マーク35を表示する例を示す図である。丸形マーク35は、表示画面31の隅に表示されている。画像生成部22が、所定の図形としての丸形マーク35を生成する。
図7は、画面上に、所定の図形、ここでは特定の色の丸形マーク35を表示する例を示す図である。丸形マーク35は、表示画面31の隅に表示されている。画像生成部22が、所定の図形としての丸形マーク35を生成する。
よって、ユーザは、所定の図形表示がされているとき、画像解析部21が病変の疑いのある領域を検出していても、所定のマークは表示されない状態であることを認識することができる。
なお、以上の例では、画像解析部21が病変の疑いのある領域を検出していても、所定のマークは表示されない状態であることを、ユーザに告知するために、表示装置5の画面上への表示により行っているが、音などで告知するようにしてもよい。
図2において、点線で示すように、診断支援装置4に、スピーカ、ブザーなどを有する音発生部24を設け、画像生成部22は、画像解析部21が病変の疑いのある領域を検出していても、所定のマークは表示されない状態であることを、音発生部24を駆動して、所定の音、ブザー音により、ユーザに告知するようにしてもよい。すなわち、画像生成部22と音発生部24は、マーク表示判定部である表示条件判定部23が所定のマーク33を表示しないと判定したときに、所定の音を発生する告知部を構成する。
以上のように、上述した実施の形態によれば、病変の疑いのある領域が画像内に存在しているときであっても、画像処理によって検出すべきでない状態もしくは、画像処理によって検出していてもその検出がされていることが告知されない状態であることをユーザが認識できる医用画像処理装置及び医用画像処理方法を提供することができる。
なお、上述した例では、診断支援装置4は、通信によりビデオプロセッサ3から内視鏡システム1の動作状態に関する情報を取得して、そのビデオプロセッサ3からの動作状態に関する情報に基づいて表示条件の判定を行っているが、内視鏡システム1の動作状態に関する情報は、画像データから取得するようにしてもよい。すなわち、表示条件判定部23は、所定の情報として、医用画像の画像データでもよい。
例えば、図2において、二点鎖線で示すように、表示条件判定部23は、画像データIMを取得し、画像を解析し、その画像解析結果から、例えば観察モードを判定したり、拡大観察状態であることを判定したりするようにしてもよい。
さらになお、重畳するマーク33は、病変部に直接的に重畳しなくても、領域32に実質的に隣接する領域に重畳してもよい。
上述した例では、画像解析部21は動作し続けたままとなっているが、所定の条件の場合には、表示条件判定部23は、病変の疑いのある領域を含む画像に対して画像解析部21を動作させない、または停止させるように、図示しない信号を画像解析部21に出力するようにしてもよい。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
Claims (13)
- 医用画像を解析して、前記医用画像中の病変の疑いのある領域を検出する画像解析部と、
所定の情報に基づいて、前記領域が画像内に存在していることを示す所定のマークを前記医用画像上に重畳して表示するか否かを判定するマーク表示判定部と、
前記画像解析部が前記領域を検出し、かつ前記マーク表示判定部が前記所定のマークを表示すると判定した場合は、前記所定のマークを前記医用画像上に重畳した第1の表示画像を生成し、前記マーク表示判定部が前記所定のマークを表示しないと判定した場合は、前記所定のマークを前記医用画像上に重畳しない第2の表示画像を生成する画像生成部と、
前記マーク表示判定部が前記所定のマークを表示しないと判定したことを告知する告知部と、
を有する、医用画像処理装置。 - 前記医用画像は、内視鏡により得られた内視鏡画像である、請求項1に記載の医用画像処理装置。
- 前記所定の情報は、前記内視鏡に対する操作あるいは前記内視鏡の動作に関する情報である、請求項2に記載の医用画像処理装置。
- 前記所定の情報は、前記画像解析部の画像解析の結果情報である、請求項1に記載の医用画像処理装置。
- 前記所定の情報は、前記医用画像である、請求項1に記載の医用画像処理装置。
- 前記告知部は、前記マーク表示判定部が前記所定のマークを表示しないと判定したときに、表示装置に所定の表示を行う、請求項1に記載の医用画像処理装置。
- 前記所定の表示は、前記画像解析部が前記領域を検出する機能が有効であるときとは異なる表示である、請求項6に記載の医用画像処理装置。
- 前記異なる表示は、前記画像解析部が前記領域を検出する機能が有効であるときとは、異なる表示形態である、請求項7に記載の医用画像処理装置。
- 前記異なる表示は、前記画像解析部が前記領域を検出する機能が有効であるときとは、異なる文字表示である、請求項7に記載の医用画像処理装置。
- 前記所定の表示は、所定の図形表示である、請求項6に記載の医用画像処理装置。
- 前記告知部は、前記マーク表示判定部が前記所定のマークを表示しないと判定したときに、所定の音を発生する、請求項1に記載の医用画像処理装置。
- 前記画像解析部が前記領域を検出しても、前記所定のマークを表示しない条件情報は、前記マーク表示判定部に設定可能である、請求項1に記載の医用画像処理装置。
- 医用画像を解析して、前記医用画像中の病変の疑いのある領域を検出し、
所定の情報に基づいて、前記領域が画像内に存在していることを示す所定のマークを前記医用画像上に重畳して表示するか否かを判定し、
前記領域が検出され、かつ前記所定のマークを表示すると判定された場合は、前記所定のマークを前記医用画像上に重畳した第1の表示画像を生成し、前記マーク表示判定部が前記所定のマークを表示しないと判定された場合は、前記所定のマークを前記医用画像上に重畳しない第2の表示画像を生成し、
前記マーク表示判定部が前記所定のマークを表示しないと判定したことを告知する、
医用画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/025154 WO2019012586A1 (ja) | 2017-07-10 | 2017-07-10 | 医用画像処理装置及び医用画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/025154 WO2019012586A1 (ja) | 2017-07-10 | 2017-07-10 | 医用画像処理装置及び医用画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019012586A1 true WO2019012586A1 (ja) | 2019-01-17 |
Family
ID=65001880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/025154 WO2019012586A1 (ja) | 2017-07-10 | 2017-07-10 | 医用画像処理装置及び医用画像処理方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2019012586A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021033303A1 (ja) * | 2019-08-22 | 2021-02-25 | Hoya株式会社 | 訓練データ生成方法、学習済みモデル及び情報処理装置 |
US20210233648A1 (en) * | 2018-11-01 | 2021-07-29 | Fujifilm Corporation | Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus |
US20210358616A1 (en) * | 2018-10-22 | 2021-11-18 | Koninklijke Philips N.V. | Device, system and method for monitoring a subject |
JP2022530132A (ja) * | 2019-04-25 | 2022-06-27 | 天津御▲錦▼人工智能医▲療▼科技有限公司 | 画像認識に基づく結腸鏡検査品質評価ワークステーション |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002002002A1 (fr) * | 2000-06-30 | 2002-01-10 | Hitachi Medical Corporation | Dispositif d'assistance au diagnostic par image |
JP2009078161A (ja) * | 2008-11-21 | 2009-04-16 | Hitachi Medical Corp | 画像診断支援装置 |
WO2016199273A1 (ja) * | 2015-06-11 | 2016-12-15 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
WO2017073337A1 (ja) * | 2015-10-27 | 2017-05-04 | オリンパス株式会社 | 内視鏡装置 |
-
2017
- 2017-07-10 WO PCT/JP2017/025154 patent/WO2019012586A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002002002A1 (fr) * | 2000-06-30 | 2002-01-10 | Hitachi Medical Corporation | Dispositif d'assistance au diagnostic par image |
JP2009078161A (ja) * | 2008-11-21 | 2009-04-16 | Hitachi Medical Corp | 画像診断支援装置 |
WO2016199273A1 (ja) * | 2015-06-11 | 2016-12-15 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
WO2017073337A1 (ja) * | 2015-10-27 | 2017-05-04 | オリンパス株式会社 | 内視鏡装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210358616A1 (en) * | 2018-10-22 | 2021-11-18 | Koninklijke Philips N.V. | Device, system and method for monitoring a subject |
US20210233648A1 (en) * | 2018-11-01 | 2021-07-29 | Fujifilm Corporation | Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus |
US12020808B2 (en) * | 2018-11-01 | 2024-06-25 | Fujifilm Corporation | Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus |
JP2022530132A (ja) * | 2019-04-25 | 2022-06-27 | 天津御▲錦▼人工智能医▲療▼科技有限公司 | 画像認識に基づく結腸鏡検査品質評価ワークステーション |
JP7182019B2 (ja) | 2019-04-25 | 2022-12-01 | 天津御▲錦▼人工智能医▲療▼科技有限公司 | 画像認識に基づく結腸鏡検査品質評価ワークステーション |
WO2021033303A1 (ja) * | 2019-08-22 | 2021-02-25 | Hoya株式会社 | 訓練データ生成方法、学習済みモデル及び情報処理装置 |
JPWO2021033303A1 (ja) * | 2019-08-22 | 2021-12-02 | Hoya株式会社 | 訓練データ生成方法、学習済みモデル及び情報処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200243185A1 (en) | Information processing apparatus, information processing method, program, and medical observation system | |
US11602263B2 (en) | Insertion system, method and computer-readable storage medium for displaying attention state information over plurality of times | |
WO2018221033A1 (ja) | 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置 | |
US11690494B2 (en) | Endoscope observation assistance apparatus and endoscope observation assistance method | |
US8502861B2 (en) | Image display apparatus | |
WO2019012586A1 (ja) | 医用画像処理装置及び医用画像処理方法 | |
US20160073927A1 (en) | Endoscope system | |
JP6001219B1 (ja) | 内視鏡システム | |
JP2010035637A (ja) | 画像表示装置およびこれを用いた内視鏡システム | |
US20240304311A1 (en) | Medical image processing apparatus, medical image proces sing method, program, and diagnosis support apparatus | |
WO2020110214A1 (ja) | 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム | |
WO2020165978A1 (ja) | 画像記録装置、画像記録方法および画像記録プログラム | |
WO2020054543A1 (ja) | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
WO2020054604A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP6062112B2 (ja) | 内視鏡システム | |
JP7189969B2 (ja) | 画像処理装置、画像処理装置の作動方法及び画像処理プログラム | |
US20220338717A1 (en) | Endoscopic examination support device, endoscopic examination support method, and endoscopic examination support program | |
WO2022145424A1 (ja) | コンピュータプログラム、学習モデルの生成方法、及び手術支援装置 | |
WO2024171356A1 (ja) | 内視鏡用画像処理装置および内視鏡用画像処理装置の作動方法 | |
JP2009112507A (ja) | 情報制御方法及び装置、並びに内視鏡システム | |
EP3192429A1 (en) | Video processor for endoscope, and endoscope system equipped with same | |
JP2020171599A (ja) | 画像生成装置、コンピュータプログラム及び画像生成方法 | |
JP7561382B2 (ja) | 大腸内視鏡観察支援装置、作動方法、及びプログラム | |
US20240136034A1 (en) | Information processing apparatus, information processing method, endoscope system, and report creation support device | |
JP7533905B2 (ja) | 大腸内視鏡観察支援装置、作動方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17917825 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17917825 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |