WO2018198525A1 - 内視鏡画像観察支援システム - Google Patents
内視鏡画像観察支援システム Download PDFInfo
- Publication number
- WO2018198525A1 WO2018198525A1 PCT/JP2018/007591 JP2018007591W WO2018198525A1 WO 2018198525 A1 WO2018198525 A1 WO 2018198525A1 JP 2018007591 W JP2018007591 W JP 2018007591W WO 2018198525 A1 WO2018198525 A1 WO 2018198525A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- images
- endoscopic
- displayed
- unit
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
Definitions
- the present invention relates to a system that supports observation of an endoscopic image photographed by a capsule endoscope.
- Patent Document 1 selects a reference image and a determination target image from a plurality of images captured by a capsule endoscope, and covers the determination target image with the reference image based on deformation information between the reference image and the determination target image. And an image processing technique for determining whether or not the determination target image can be deleted based on the coverage.
- the present invention has been made in view of such circumstances, and an object thereof is to provide a technique for efficiently performing image observation by a radiogram interpreter.
- an endoscopic image observation support system is a system that supports observation of an endoscopic image captured by a capsule endoscope, and includes a plurality of captured images.
- An image processing unit that classifies an endoscopic image into a reference image and a similar image similar to the reference image, an image display unit that displays a part of the plurality of reference images in a predetermined display mode, and a display
- An operation receiving unit that receives the selected reference image selection operation, and an image extraction unit that extracts a plurality of reference images taken before and / or after the selected reference image.
- the image display unit displays a plurality of reference images extracted by the image extraction unit.
- FIG. 1 is a diagram for explaining an outline of an image observation support system for a capsule endoscope according to an embodiment.
- the endoscopic image observation support system 1 supports observation of a capsule endoscopic image by a radiogram interpreter.
- an image taken by an endoscope inserted by a doctor in the patient's body is observed in real time on a display for diagnosis. This is different from normal endoscopy in that a large number of images taken in the past by an endoscope are collectively observed.
- the patient has an antenna (not shown) attached to the abdomen, and swallows the capsule endoscope 3 with a built-in micro camera from the mouth with the receiving device 4 attached to the waist with a belt. .
- the capsule endoscope 3 periodically captures still images while passing through the digestive tract, and transmits an image file in which an image ID and shooting time information are added to the captured image to the receiving device 4 via the antenna.
- the recording device 5 is built in the receiving device 4, and the receiving device 4 records the received image file on the recording medium 5.
- the capsule endoscope 3 captures the inside of the body every 0.5 seconds, about 60,000 endoscopic image files are recorded on the recording medium 5 when the in-vivo photographing is completed in about 8 hours.
- the image ID is information for identifying an image, and may be information to which a serial number indicating the shooting order is added. For example, “1” may be added to the image ID of the first captured endoscope image, and “2” may be added to the image ID of the second captured endoscope image. By generating the image ID in this way, the serial number included in the image ID represents the shooting order, and duplication of the image ID can be avoided.
- the image ID and the shooting time information may be added to the shot image by the receiving device 4 when the receiving device 4 receives the shot image. In any case, an image photographed by the capsule endoscope 3 is recorded in the recording medium 5 in association with the image ID and photographing time information.
- the data terminal of the receiving device 4 is connected to the data reading device connected to the management server 10, and the data reading device is recorded on the recording medium 5 about 60,000 sheets. Are read out and transmitted to the management server 10.
- the data reading device may be an external device connected to the management server 10 with a USB cable or the like.
- the recording medium 5 may be a memory card that can be attached to and detached from the receiving device 4, and the recording medium 5 may be detached from the receiving device 4 and attached to the data reading device to read the endoscope image file. Good.
- the recording medium 5 may be loaded in a data reading slot provided in the management server 10 and read an endoscope image file.
- the management server 10 performs predetermined image processing on the endoscopic image read from the recording medium 5 and records it in the recording device 12.
- the recording device 12 may be composed of an HDD (Hard Disk Drive) or a flash memory. Since the endoscopic image recorded on the recording medium 5 is an uncompressed RAW (raw) image or a RAW image subjected to only reversible compression, the data size is very large. Therefore, the management server 10 performs a predetermined irreversible compression process on the endoscopic image that is a RAW image, reduces the data size, and records it in the recording device 12. In the embodiment, the management server 10 is in charge of image processing of the endoscope RAW image. However, even if another device, for example, the terminal device 20 performs image processing on the endoscope RAW image and records it in the recording device 12. Good.
- the recording device 12 may be provided in the terminal device 20.
- the plurality of terminal devices 20 are connected to the management server 10 via a network 2 such as a LAN (local area network).
- the terminal device 20 is, for example, a personal computer assigned to a doctor or an engineer (hereinafter sometimes simply referred to as “user”), and is connected to the display device 22 so that the screen can be output. It may be a laptop computer integrated with the apparatus or a portable tablet.
- the terminal device 20 accesses the management server 10 and displays the endoscopic image recorded in the recording device 12 on the display device 22. When the terminal device 20 executes the playback application, the endoscope image may be displayed on the display device 22 by directly accessing the recording device 12.
- the management server 10 has a function of executing an analysis application and analyzing the endoscope image when compressing the endoscope RAW image.
- Image analysis by the analysis application is performed on all the endoscope RAW images taken in one capsule endoscopy, and the result of the image analysis is added as additional information to the compressed endoscope image. .
- One of the purposes of capsule endoscopy is to search for bleeding points in the digestive tract.
- the management server 10 acquires the endoscope RAW image from the recording medium 5
- the management server 10 executes an analysis application and performs image processing to identify an endoscope RAW image that may have taken a bleeding state. For example, when the redness of the endoscopic image exceeds a predetermined threshold, the management server 10 determines that the image has a possibility of photographing a bleeding state, and compresses the endoscopic RAW image. Flag information indicating a reddish image is added.
- the analysis application compares the endoscope RAW images taken continuously in time, and performs processing for specifying an image (similar image) having a small change.
- image summarization processing This processing is referred to as “image summarization processing”.
- a reference image is set, and the ratio of the coverage area of the reference image to the determination target image to be determined whether or not it is similar to the reference image is calculated as the coverage.
- the determination target image is an image taken after the reference image.
- the analysis application determines the determination target image as a similar image of the reference image when the coverage is equal to or greater than the threshold value.
- the management server 10 adds flag information indicating the reference image when compressing the endoscope RAW image that is the reference image, and compresses the similar image when compressing the endoscope RAW image that is the similar image. Flag information indicating that is added.
- the reproduction application executed in the management server 10 or the terminal device 20 has a reproduction mode for shortening the reproduction time of the endoscopic image with reference to the flag information added by the image summarization process. By selecting this playback mode, the observation time can be shortened.
- the playback application of the embodiment is configured to have four playback modes.
- the first reproduction mode is a manual reproduction mode that uses an operation of a user interface connected to the terminal device 20.
- the first playback mode the user can rotate and display the endoscope image one frame at a time by rotating the mouse wheel.
- the first reproduction mode is used when specifying an image in which a lesion is captured most clearly among a plurality of images in which the lesion is captured.
- the endoscopic image is continuously played and displayed in the forward direction (the direction from the old image to the new image), and when the user rotates the wheel forward, The mirror image is continuously reproduced and displayed in the reverse direction (the direction from the new image at the photographing time to the old image).
- the second playback mode is an automatic playback mode in which endoscopic images are continuously played back in the forward or reverse direction at a set playback speed.
- the second reproduction mode is used for normal endoscopic image observation.
- the third reproduction mode In the third reproduction mode, the reference image identified by the image summarization process is continuously reproduced and displayed in the forward direction or the reverse direction at the set reproduction speed, and the similar image is forward or faster than the set reproduction speed. This is an automatic playback mode for continuous playback display in the reverse direction. In the third reproduction mode, a similar image having a small change with respect to the reference image is reproduced at high speed, thereby realizing a reduction in observation time compared to the second reproduction mode.
- the fourth playback mode is an automatic playback mode in which the display of the similar image specified by the image summarization process is omitted, and only the reference image is played back in the forward direction or the backward direction at the set playback speed.
- the display of similar images is omitted, and the observation time is shortened compared to the third playback mode.
- a fourth back playback mode which is a back mode, may be set for the fourth playback mode.
- the fourth back reproduction mode is an automatic reproduction mode in which display of the reference image is omitted and only similar images are reproduced and displayed in the forward direction or the reverse direction at a set reproduction speed.
- the fourth back reproduction mode is used for confirming that there is no observation omission after observation in the fourth reproduction mode.
- the first to third reproduction modes are continuous reproduction modes for sequentially reproducing and displaying time-sequential endoscopic images
- the fourth reproduction mode (fourth back reproduction mode) is a time-continuous endoscope.
- This is a thinning reproduction mode in which mirror images are thinned and reproduced and displayed.
- the reproduction application performs an endoscope image reproduction process according to the reproduction mode selected by the user.
- the playback application may be executed on the management server 10 or may be executed on the terminal device 20.
- the terminal device 20 is connected to a user interface such as a keyboard and a mouse.
- the terminal device 20 has a function of supporting interpretation work by a radiogram interpreter in cooperation with the management server 10.
- the terminal device 20 displays an endoscopic image interpretation screen on the display device 22, and the user observes the endoscopic image reproduced and displayed on the interpretation screen, and captures an endoscopic image obtained by photographing a lesion or the like. .
- FIG. 2 shows the configuration of the management server 10 and the recording device 12.
- the management server 10 includes a RAW image acquisition unit 30, an image processing unit 32, a screen generation unit 40, an operation reception unit 42, an image extraction unit 44, an image display unit 46, and a reproduction processing unit 48.
- the image processing unit 32 includes a redness determination unit 34, an image summary processing unit 36, and a compression processing unit 38.
- Each function of the management server 10 may be realized by executing various applications such as an analysis application and a reproduction application. In the embodiment, the management server 10 executes various applications, but the terminal device 20 may execute various applications.
- the recording device 12 includes an endoscope image recording unit 60, an examination information recording unit 62, and an observation content recording unit 64.
- the endoscopic image recording unit 60 records the endoscopic image that has been subjected to image processing by the image processing unit 32.
- the examination information recording unit 62 records information related to the endoscopic examination.
- the observation content recording unit 64 records the observation content of the endoscopic image, for example, an image captured by the user or input finding information.
- the configuration of the management server 10 can be realized by an arbitrary processor, memory, or other LSI in terms of hardware, and is realized by a program loaded in the memory in terms of software.
- Draw functional blocks Accordingly, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
- the RAW image acquisition unit 30 acquires about 60,000 endoscope RAW images transmitted from the data reading device and temporarily stores them in the recording device 12.
- the image processing unit 32 performs the following image processing on all endoscope RAW images.
- the redness determination unit 34 searches for a reddish endoscope RAW image by image analysis, and identifies an image whose redness is stronger than a predetermined threshold.
- the redness determination unit 34 provides the image ID of the identified redness image to the compression processing unit 38.
- the image summarization processing unit 36 performs image summarization processing for classifying all endoscopic images into a reference image and a similar image similar to the reference image.
- FIG. 3 shows a flowchart of the image summarization process.
- the image summarization processing unit 36 sets the first photographed image as a reference image (S10). If the set reference image is not the last photographed image (N in S12), the image summarization processing unit 36 sets the image photographed next to the reference image as the determination target image (S14), and the similarity determination (S16).
- the image summarization processing unit 36 obtains a covered area including a deformed image obtained by deforming the reference image in the determination target image, and calculates the ratio of the covered area in the determination target image as the coverage ratio. At this time, when the coverage is equal to or higher than the threshold, the image summary processing unit 36 determines the determination target image as a similar image of the reference image (Y in S16). If the image determined to be a similar image is not the last captured image (N in S12), the image summary processing unit 36 sets the image captured next to the image as the determination target image (S14) and sets it as the reference image. Similarity determination is performed as to whether or not they are similar (S16). If the moving speed of the capsule endoscope 3 is slow, tens of images taken after the reference image may be determined as similar images.
- the image summary processing unit 36 determines the determination target image as a dissimilar image (N in S16).
- the image summary processing unit 36 sets an image determined as a dissimilar image as a new reference image (S10), and if the set reference image is not the last photographed image (N of S12), Next, the captured image is used as a determination target image (S14), and similarity determination is performed as to whether or not the image is similar to the reference image (S16).
- the image summarization processing unit 36 performs this image summarization processing on all about 60,000 images. When the processing for the last photographed image is completed (Y in S12), the image summarization processing ends. . In this way, the image summary processing unit 36 classifies the plurality of captured endoscopic images into a reference image and a similar image. According to this image summarization process, reference images that are temporally adjacent to each other are dissimilar.
- the number ratio between the reference image and the similar image can be adjusted by setting a threshold value. If the threshold value is increased, the reference image increases, and if the threshold value is decreased, the reference image decreases.
- setting the threshold value is important for suppressing the oversight of the lesion. However, according to the past results, about 60,000 endoscopic images are displayed. Of these, it has been found that by setting a threshold value for extracting about 20,000 images as a reference image, it is possible to prevent oversight of a lesion image by interpretation of only the reference image.
- the image summary processing unit 36 provides the image ID of the classified reference image and the image ID of the similar image to the compression processing unit 38, respectively.
- the image analysis processing by the redness determination unit 34 and the image summary processing unit 36 is performed when the compression processing unit 38 compresses the endoscope RAW image.
- the compression processing unit 38 performs irreversible compression processing on the endoscope RAW image, generates an image file to which the image ID and shooting time information are added, and records the image file in the endoscope image recording unit 60.
- the compression processing unit 38 may compress the endoscope RAW image in an image format such as JPEG.
- the compression processing unit 38 adds information indicating the analysis result provided from the redness determination unit 34 and the image summary processing unit 36 to the compressed image file. Specifically, the compression processing unit 38 adds information indicating a reddish image to the compressed image having the image ID provided from the redness determination unit 34. This information may be added as flag information. The compression processing unit 38 adds flag information indicating the reference image to the reference image based on the result of the image summarization processing performed by the image summarization processing unit 36, and determines that the similar image is a similar image. The flag information shown is added. Since the reference image or the similar image has a front-back relationship, the flag value 1 may represent the reference image, and the flag value 0 may represent the similar image.
- the redness determination unit 34 and the image summary processing unit 36 perform image processing on the endoscope RAW image before the compression processing unit 38 compresses the endoscope RAW image.
- the redness determination unit 34 and the image summary processing unit 36 may perform image analysis on each compressed image, and information indicating the analysis result may be added to the compressed image.
- the image file processed by the image processing unit 32 is recorded in the endoscopic image recording unit 60, and the user uses the image file recorded in the endoscopic image recording unit 60 to record the endoscopic image. Make observations.
- a doctor B who is a user logs in by inputting a user ID and a password to the terminal device 20.
- the management server 10 provides the examination information recorded in the examination information recording unit 62 to the terminal device 20, and the display device 22 displays a list of capsule endoscope examinations.
- examination information such as patient ID, patient name, examination ID, examination date and time is displayed, and the user selects an examination for which an interpretation report is created.
- the screen generation unit 40 displays an interpretation screen for the user to interpret the endoscopic image. It is generated and displayed on the display device 22.
- FIG. 4 shows an example of an endoscopic image interpretation screen.
- a reproduction area 100 for reproducing and displaying an endoscope image is provided at the upper center of the interpretation screen.
- the interpretation screen is displayed on the display device 22 with the playback mode selection button 102a in the upper left corner of the screen being selected.
- the screen generation unit 40 When the overview mode selection button 102b is selected, the screen generation unit 40 generates the overview screen shown in FIG.
- the playback number switching button 108 is an operation button for switching the number of images displayed in the playback area 100.
- FIG. 4 shows an example in which the single image display is selected, but the user can select the two image display or the four image display by operating the reproduction number switching button 108.
- the second playback mode selection button 110 is an operation button for selecting the second playback mode.
- the third playback mode selection button 112 is an operation button for selecting the third playback mode.
- the fourth reproduction mode selection button 114 is an operation button for selecting a fourth reproduction mode for reproducing and displaying only the reference image.
- the fourth back reproduction mode selection button 116 is an operation button for selecting a fourth back reproduction mode for reproducing and displaying only similar images. In the fourth reproduction mode, the reproduction display of similar images is omitted. Therefore, when the user selects and interprets the fourth reproduction mode, the image is also interpreted in the fourth back reproduction mode, and all endoscopic images are displayed. It is recommended to observe
- the user selects one of the second playback mode selection button 110, the third playback mode selection button 112, the fourth playback mode selection button 114, and the fourth back playback mode selection button 116, and sets the playback mode.
- the second playback mode selection button 110 is selected.
- a playback button 104a and a reverse playback button 104b are displayed in a playback button display area 104 provided below the playback area 100.
- an endoscopic image is displayed in the forward direction ( When the image is reproduced and displayed in the direction from the old image at the photographing time to the new image and the reverse reproduction button 104b is selected, the endoscopic image is reversed in the reproduction area 100 (the direction from the new image at the photographing time to the old image). ) Is displayed.
- the playback speed adjustment unit 106 includes a slider for adjusting the playback speed (display time of one endoscopic image).
- the reproduction processing unit 48 reproduces and displays an endoscopic image in the reproduction region 100 according to the reproduction mode selected in the reproduction mode selection region 130 and the reproduction speed set by the reproduction speed adjustment unit 106.
- the playback processing unit 48 starts playback display, but a pause button is displayed instead at the location of the selected playback button 104a or reverse playback button 104b.
- the playback processing unit 48 pauses the playback display of the endoscopic image.
- the playback processing unit 48 frame-displays the endoscopic image in the first playback mode according to the rotation of the mouse wheel.
- the image is captured and displayed in the captured image display area 128.
- the captured image displayed in the captured image display area 128 becomes an option for an image to be attached to the interpretation report later. In this example, it is shown that five captured images 128a to 128e are selected.
- the mark display area 120 is displayed as a time bar in which the left end is the shooting start time and the right end is the shooting end time, and the slider 122 indicates the temporal position of the endoscopic image displayed in the playback area 100.
- the time position represented by the slider 122 is also displayed in the time display area 124 as relative time information from the shooting start time.
- the red image display button 126 is a button for displaying a red mark at the shooting time of the reddish image in the mark display area 120. By displaying the red mark in the mark display area 120, the user can recognize the presence of an image that is highly likely to have been taken of bleeding.
- the enlargement display button 118 is a button for enlarging the reproduction area 100.
- the captured image display area 128 is not displayed, and the reproduction area 100 is enlarged accordingly.
- the user can add a mark to the mark display area 120 to indicate the start position of the part.
- the user operates a marking button (not shown) when a new part image is reproduced while observing an endoscopic image reproduced and displayed in the reproduction area 100, and the start position of each part is indicated in the mark display area. Mark on 120.
- the marking process it is possible to easily know the start position of the part when reviewing the endoscopic image.
- the marking process is performed, so that smooth image observation can be performed.
- the marking is generally performed on an image obtained by photographing the entrance of the stomach, duodenum, jejunum, and large intestine.
- the overview mode is a display mode in which a part of a plurality of reference images specified by the image summarization process is displayed side by side, and images extracted from the plurality of reference images are displayed on the overview screen.
- FIG. 5 shows an example of an overview screen of an endoscopic image.
- images extracted from a plurality of reference images are displayed in a grid pattern.
- the image display unit 46 extracts and displays a part of about 20,000 reference images. Specifically, an image extracted at a predetermined interval from about 20,000 reference images arranged in time order is displayed on the overview screen.
- the number of sheets to be extracted may be freely set by the user with an upper limit of 2000 sheets. Assuming that the number of reference images is N and the number of images included in the overview screen is M, the image display unit 46 extracts one image for each (N / M) images from the reference images arranged in time series. .
- the image display unit 46 extracts one reference image for every 10 images in the order of shooting time, and arranges them on the overview screen.
- the extracted images are arranged in a grid pattern in the image display area 132, and the user can switch the extracted images by operating the page feed buttons 140a and 140b.
- the endoscopic image displayed on the overview screen is a reference image, and reference images that are temporally adjacent are limited to dissimilar ones, so that the user can efficiently grasp the outline of the entire examination. Moreover, since the overview screen shows the whole examination from a bird's-eye view, it is easy to use when specifying the start position of each part, that is, when performing a marking process.
- FIG. 6 shows a state in which the user selects one image and displays images before and after the selected image.
- the operation accepting unit 42 accepts an operation for selecting a reference image displayed in the image display area 132 and accepts an operation for displaying images taken before and after the selected reference image.
- the operation accepting unit 42 may automatically accept the display operation of the preceding and succeeding images when the reference image is selected.
- the user selects the image 148 displayed in the image display area 132 by operating the mouse.
- the image extraction unit 44 extracts a plurality of reference images taken before and / or after the selected reference image.
- a predetermined number of reference images photographed before the image 148 in order of near time and a predetermined number of reference images photographed after the image 148 in order of near time are extracted.
- the image display unit 46 displays the plurality of reference images extracted by the image extraction unit 44 side by side as still images in the front and rear image display area 150.
- the image 148 is arranged at a substantially central position of the front and rear image display area 150, the reference image taken before the image 148 on the left side, and the reference image taken after the image 148 on the right side. They are arranged according to the shooting time order.
- the plurality of reference images are arranged to be scrollable in the left-right direction, and the user can display the reference images that are not displayed by scrolling the plurality of reference images using a mouse or the like. Can be made.
- the user can easily observe the reference images taken before and after the image 148 in the front and rear image display area 150.
- the image display area 132 when the reference images extracted for every 10 sheets are displayed, the nine sheets of reference displayed on the left and right sides of the image 148 in the front and rear image display area 150 are displayed.
- the image is an image that is not displayed in the image display area 132.
- the marking process can be performed efficiently.
- the user may first perform the marking process on the overview screen shown in FIG. 6 and then observe the image on the interpretation screen shown in FIG.
- FIG. 7 shows another example of the front and rear image display.
- the image display unit 46 continuously reproduces a plurality of reference images extracted by the image extraction unit 44 and displays them as moving images in the moving image reproduction area 152.
- the images before and after the selected image 148 are displayed as moving images, so that the user can check the images before and after in a short time.
- the image extracting unit 44 may extract more reference images than when displaying the still images shown in FIG.
- the image display unit 46 moves the plurality of reference images extracted by the image extraction unit 44 in the time axis direction in the preceding and following image display region 154 in conjunction with the moving image displayed in the moving image reproduction region 152. May also be displayed.
- the image display unit 46 may limit the reference image to be displayed as a still image to a part of the plurality of reference images extracted by the image extraction unit 44. That is, when a still image is displayed in conjunction with a moving image, a plurality of reference images extracted by the image extraction unit 44 may be thinned out and displayed as a still image moving in the time axis direction.
- the moving image playback area 152 is superimposed on the image display area 132, but the screen generator 40 divides the overview screen so that the moving image playback area 152 and the image display area 132 are displayed separately. May be.
- the user selects one reference image on the overview screen to display the preceding and succeeding images.
- the user selects the reference image as the start point and the reference image as the end point, respectively.
- the image display unit 46 may display a reference image in the meantime.
- the user uses the front and rear images for the marking process.
- the user can naturally use the images for the lesion image.
- SYMBOLS 1 Endoscopic image observation support system, 10 ... Management server, 12 ... Recording device, 20 ... Terminal device, 22 ... Display device, 32 ... Image processing part, 36. ..Image summary processing unit, 40... Screen generation unit, 42... Operation accepting unit, 44... Image extraction unit, 46. Front and rear image display area, 152... Video playback area, 154.
- the present invention can be used in a technical field that supports observation of an endoscopic image photographed by a capsule endoscope.
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
画像処理部(32)は、撮影された複数の内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する。画像表示部(46)は、オーバービューモードで、複数の基準画像のうちの一部を表示する。操作受付部(42)は、表示された基準画像の選択操作を受け付ける。画像抽出部(44)は、選択操作された基準画像に対して時間的に前および/または後に撮影された複数の基準画像を抽出する。画像表示部(46)は、画像抽出部(44)により抽出された複数の基準画像を表示する。
Description
本発明は、カプセル内視鏡により撮影された内視鏡画像の観察を支援するシステムに関する。
特許文献1は、カプセル内視鏡で撮影された複数の画像から基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて基準画像による判定対象画像の被覆率を算出し、被覆率に基づいて判定対象画像の削除可否の判定を行う画像処理技術を開示する。
カプセル内視鏡検査では数万枚の画像が撮影される。読影者は、再生表示される内視鏡画像を観察して異常所見を含む画像を抽出するが、画像数が膨大であるために読影にかかる負担は大きい。そのため読影者による画像観察を効率よく実施させるための技術の開発が望まれている。
本発明はこうした状況に鑑みなされたものであり、その目的は、読影者による画像観察を効率的に実施させるための技術を提供することにある。
上記課題を解決するために、本発明のある態様の内視鏡画像観察支援システムは、カプセル内視鏡により撮影された内視鏡画像の観察を支援するシステムであって、撮影された複数の内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する画像処理部と、所定の表示モードで、複数の基準画像のうちの一部を表示する画像表示部と、表示された基準画像の選択操作を受け付ける操作受付部と、選択操作された基準画像に対して時間的に前および/または後に撮影された複数の基準画像を抽出する画像抽出部とを備える。画像表示部は、画像抽出部により抽出された複数の基準画像を表示する。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
図1は、実施例にかかるカプセル内視鏡の画像観察支援システムの概要を説明するための図である。内視鏡画像観察支援システム1は、読影者によるカプセル内視鏡画像の観察を支援する。通常の内視鏡を使用した検査では、医師が患者体内に挿入した内視鏡により撮影される画像をディスプレイでリアルタイムに観察して診断を行うが、カプセル内視鏡検査は、読影者がカプセル内視鏡により過去に撮影された大量の画像をまとめて観察する点で、通常の内視鏡検査と異なる。
カプセル内視鏡検査において、患者は腹部にアンテナ(図示せず)を貼り付けられ、受信装置4をベルトで腰に付けた状態で、超小型カメラを内蔵したカプセル内視鏡3を口から飲み込む。カプセル内視鏡3は消化管を通過しながら静止画像を周期的に撮影して、撮影画像に、画像IDおよび撮影時刻情報を付加した画像ファイルをアンテナ経由で受信装置4に送信する。
受信装置4には、記録媒体5が内蔵されており、受信装置4は受信した画像ファイルを記録媒体5に記録する。カプセル内視鏡3が0.5秒ごとに体内を撮影する場合、約8時間で体内の撮影を終了すると、約6万枚の内視鏡画像ファイルが記録媒体5に記録される。
画像IDは画像を識別するための情報であり、撮影順を示すシリアルな番号を付加された情報であってよい。たとえば最初に撮影された内視鏡画像の画像IDには「1」が付加され、2番目に撮影された内視鏡画像の画像IDには「2」が付加されてよい。このように画像IDを生成することで、画像IDに含まれるシリアル番号が撮影順を表現するとともに、画像IDの重複を回避できる。なお画像IDおよび撮影時刻情報は、受信装置4が撮影画像を受信したときに、受信装置4により撮影画像に付加されてもよい。いずれにしてもカプセル内視鏡3で撮影された画像は、画像IDおよび撮影時刻情報を対応付けられて記録媒体5に記録される。
患者からアンテナと受信装置4が回収されると、受信装置4のデータ端子が、管理サーバ10に接続したデータ読出装置に接続され、データ読出装置が、記録媒体5に記録された約6万枚の内視鏡画像ファイルを読み出し、管理サーバ10に送信する。データ読出装置は、管理サーバ10にUSBケーブルなどで接続される外部装置であってよい。なお記録媒体5は、受信装置4に着脱可能なメモリカードであってもよく、記録媒体5が受信装置4から取り外されてデータ読出装置に装着され、内視鏡画像ファイルを読み出されてもよい。記録媒体5は、管理サーバ10に設けられたデータ読出用スロットに装着されて内視鏡画像ファイルを読み出されてもよい。
管理サーバ10は、記録媒体5から読み出された内視鏡画像に所定の画像処理を施して、記録装置12に記録する。記録装置12は、HDD(ハードディスクドライブ)で構成されてよく、またフラッシュメモリで構成されてもよい。記録媒体5に記録された内視鏡画像は、無圧縮のRAW(生の)画像であるか、または可逆圧縮のみを施したRAW画像であるため、データサイズは非常に大きい。そこで管理サーバ10は、RAW画像である内視鏡画像に所定の非可逆圧縮処理を施し、データサイズを低減して記録装置12に記録する。なお実施例では管理サーバ10が内視鏡RAW画像の画像処理を担当するが、他の機器、たとえば端末装置20が内視鏡RAW画像に画像処理を施して、記録装置12に記録してもよい。なお記録装置12は、端末装置20に設けられてもよい。
複数の端末装置20はLAN(ローカルエリアネットワーク)などのネットワーク2によって管理サーバ10に接続される。端末装置20はたとえば医師や技師(以下、単に「ユーザ」と呼ぶこともある)に割り当てられたパーソナルコンピュータなどであって、画面出力可能に表示装置22に接続されるが、端末装置20は表示装置と一体となったラップトップコンピュータであってもよく、また携帯型タブレットであってもよい。端末装置20は管理サーバ10にアクセスして、記録装置12に記録された内視鏡画像を表示装置22に表示する。なお端末装置20が再生アプリケーションを実行する場合には、記録装置12に直接アクセスして、内視鏡画像を表示装置22に表示してもよい。
管理サーバ10は、内視鏡RAW画像を圧縮する際に、解析アプリケーションを実行して内視鏡画像を解析する機能をもつ。解析アプリケーションによる画像解析は、一つのカプセル内視鏡検査において撮影された全ての内視鏡RAW画像に対して実施され、画像解析の結果は、圧縮した内視鏡画像に付加情報として付加される。
カプセル内視鏡検査の目的の一つは、消化管における出血点を探すことにある。管理サーバ10は、記録媒体5から内視鏡RAW画像を取得すると、解析アプリケーションを実行して画像処理することで、出血状態を撮影した可能性のある内視鏡RAW画像を特定する。たとえば管理サーバ10は、内視鏡画像の赤みが所定の閾値を超える場合に、出血状態を撮影した可能性のある画像であることを判定し、その内視鏡RAW画像を圧縮する際に、赤み画像であることを示すフラグ情報を付加する。
また消化管内におけるカプセル内視鏡3の移動速度には差があり、移動速度の遅い箇所では、撮影される内視鏡画像の変化も小さい。そのため読影者が、ほぼ変化のない複数の画像を含む全ての画像を等しく観察することは、効率的でなく、負担が大きい。そこで解析アプリケーションは、時間的に連続して撮影された内視鏡RAW画像を比較して、変化が小さい画像(類似画像)を特定する処理を行う。以下、この処理を「画像要約処理」と呼ぶ。
画像要約処理では、基準画像を設定し、基準画像に類似しているか否かを判定する対象となる判定対象画像に占める基準画像の被覆領域の割合を被覆率として算出する。判定対象画像は、基準画像よりも後に撮影された画像である。解析アプリケーションは、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する。管理サーバ10は、基準画像である内視鏡RAW画像を圧縮する際に、基準画像であることを示すフラグ情報を付加し、類似画像である内視鏡RAW画像を圧縮する際に、類似画像であることを示すフラグ情報を付加する。
管理サーバ10ないしは端末装置20において実行される再生アプリケーションは、画像要約処理により付加されたフラグ情報を参照して、内視鏡画像の再生時間を短縮する再生モードを有しており、読影者が、この再生モードを選択することで、観察時間の短縮化を実現できる。
実施例の再生アプリケーションは、4つの再生モードを有して構成される。
(第1再生モード)
第1再生モードは、端末装置20に接続されたユーザインタフェースの操作を利用した手動再生モードである。第1再生モードでは、ユーザがマウスのホイールを回転させることで、内視鏡画像を1枚ずつコマ送り表示させることができる。そのため第1再生モードは、病変を撮影した複数枚の画像のなかで最も鮮明に病変を撮影した画像を特定する際に利用される。ユーザがホイールを奥向きに回転させると、内視鏡画像は順方向(撮影時刻の古い画像から新しい画像に向かう方向)に連続再生表示され、ユーザがホイールを手前向きに回転させると、内視鏡画像は逆方向(撮影時刻の新しい画像から古い画像に向かう方向)に連続再生表示される。
(第1再生モード)
第1再生モードは、端末装置20に接続されたユーザインタフェースの操作を利用した手動再生モードである。第1再生モードでは、ユーザがマウスのホイールを回転させることで、内視鏡画像を1枚ずつコマ送り表示させることができる。そのため第1再生モードは、病変を撮影した複数枚の画像のなかで最も鮮明に病変を撮影した画像を特定する際に利用される。ユーザがホイールを奥向きに回転させると、内視鏡画像は順方向(撮影時刻の古い画像から新しい画像に向かう方向)に連続再生表示され、ユーザがホイールを手前向きに回転させると、内視鏡画像は逆方向(撮影時刻の新しい画像から古い画像に向かう方向)に連続再生表示される。
(第2再生モード)
第2再生モードは、設定された再生速度で内視鏡画像を順方向または逆方向に連続再生表示する自動再生モードである。第2再生モードは、通常の内視鏡画像観察に利用される。
第2再生モードは、設定された再生速度で内視鏡画像を順方向または逆方向に連続再生表示する自動再生モードである。第2再生モードは、通常の内視鏡画像観察に利用される。
(第3再生モード)
第3再生モードは、画像要約処理により特定された基準画像を設定された再生速度で順方向または逆方向に連続再生表示しつつ、類似画像を、設定された再生速度よりも高速で順方向または逆方向に連続再生表示する自動再生モードである。第3再生モードは、基準画像に対して変化の小さい類似画像を高速再生することで、第2再生モードと比べて観察時間の短縮を実現する。
第3再生モードは、画像要約処理により特定された基準画像を設定された再生速度で順方向または逆方向に連続再生表示しつつ、類似画像を、設定された再生速度よりも高速で順方向または逆方向に連続再生表示する自動再生モードである。第3再生モードは、基準画像に対して変化の小さい類似画像を高速再生することで、第2再生モードと比べて観察時間の短縮を実現する。
(第4再生モード)
第4再生モードは、画像要約処理により特定された類似画像の表示を省略して、設定された再生速度で基準画像のみを順方向または逆方向に再生表示する自動再生モードである。第4再生モードは、類似画像の表示を省略することで、第3再生モードと比べて観察時間の短縮を実現する。なお第4再生モードに対して、裏モードである第4裏再生モードが設定されてよい。第4裏再生モードは、基準画像の表示を省略して、設定された再生速度で類似画像のみを順方向または逆方向に再生表示する自動再生モードである。第4裏再生モードは、第4再生モードでの観察後に、観察漏れのないことを確認するために利用される。
第4再生モードは、画像要約処理により特定された類似画像の表示を省略して、設定された再生速度で基準画像のみを順方向または逆方向に再生表示する自動再生モードである。第4再生モードは、類似画像の表示を省略することで、第3再生モードと比べて観察時間の短縮を実現する。なお第4再生モードに対して、裏モードである第4裏再生モードが設定されてよい。第4裏再生モードは、基準画像の表示を省略して、設定された再生速度で類似画像のみを順方向または逆方向に再生表示する自動再生モードである。第4裏再生モードは、第4再生モードでの観察後に、観察漏れのないことを確認するために利用される。
第1~第3再生モードは、時間的に連続する内視鏡画像を順番に再生表示する連続再生モードであり、第4再生モード(第4裏再生モード)は、時間的に連続する内視鏡画像を間引いて再生表示する間引き再生モードである。再生アプリケーションは、ユーザにより選択された再生モードに応じて、内視鏡画像の再生処理を実施する。再生アプリケーションは、管理サーバ10で実行されてもよく、また端末装置20で実行されてもよい。
端末装置20には、キーボードやマウスなどのユーザインタフェースが接続されている。端末装置20は、管理サーバ10と協働して、読影者による読影作業を支援する機能をもつ。端末装置20は、表示装置22に内視鏡画像の読影画面を表示させ、ユーザは読影画面において再生表示される内視鏡画像を観察して、病変等を撮影した内視鏡画像をキャプチャする。
図2は、管理サーバ10および記録装置12の構成を示す。管理サーバ10は、RAW画像取得部30、画像処理部32、画面生成部40、操作受付部42、画像抽出部44、画像表示部46および再生処理部48を備える。画像処理部32は、赤み判定部34、画像要約処理部36および圧縮処理部38を有する。管理サーバ10の各機能は、解析アプリケーション、再生アプリケーションなど、各種アプリケーションを実行することによって実現されてよい。なお実施例では、管理サーバ10が各種アプリケーションを実行するが、端末装置20が各種アプリケーションを実行してもよい。
記録装置12は、内視鏡画像記録部60、検査情報記録部62および観察内容記録部64を備える。内視鏡画像記録部60は、画像処理部32により画像処理を施された内視鏡画像を記録する。検査情報記録部62は、内視鏡検査に関する情報を記録する。観察内容記録部64は、内視鏡画像の観察内容、たとえばユーザがキャプチャした画像や入力した所見情報などを記録する。
管理サーバ10の構成はハードウエア的には、任意のプロセッサ、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
RAW画像取得部30は、データ読出装置から送信される約6万枚の内視鏡RAW画像を取得し、記録装置12に一時記憶する。画像処理部32は、すべての内視鏡RAW画像に対して、以下に示す画像処理を実施する。
<赤み画像の特定>
赤み判定部34は、赤みを帯びた内視鏡RAW画像を画像解析により探索し、赤みが所定の閾値より強い画像を特定する。赤み判定部34は、特定した赤み画像の画像IDを、圧縮処理部38に提供する。
赤み判定部34は、赤みを帯びた内視鏡RAW画像を画像解析により探索し、赤みが所定の閾値より強い画像を特定する。赤み判定部34は、特定した赤み画像の画像IDを、圧縮処理部38に提供する。
<画像要約処理>
画像要約処理部36は、全ての内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する画像要約処理を実施する。
図3は、画像要約処理のフローチャートを示す。まず画像要約処理部36は、最初に撮影された画像を基準画像として設定する(S10)。設定した基準画像が最後に撮影された画像でなければ(S12のN)、画像要約処理部36は、基準画像の次に撮影された画像を判定対象画像として設定し(S14)、類否判定を実施する(S16)。
画像要約処理部36は、全ての内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する画像要約処理を実施する。
図3は、画像要約処理のフローチャートを示す。まず画像要約処理部36は、最初に撮影された画像を基準画像として設定する(S10)。設定した基準画像が最後に撮影された画像でなければ(S12のN)、画像要約処理部36は、基準画像の次に撮影された画像を判定対象画像として設定し(S14)、類否判定を実施する(S16)。
類否判定処理では、画像要約処理部36は、判定対象画像において、基準画像を変形した変形画像が含まれる被覆領域を求め、判定対象画像に占める被覆領域の割合を被覆率として算出する。このとき画像要約処理部36は、被覆率が閾値以上である場合に、判定対象画像を基準画像の類似画像として判定する(S16のY)。画像要約処理部36は、類似画像と判定した画像が最後に撮影された画像でなければ(S12のN)、当該画像の次に撮影された画像を判定対象画像として(S14)、基準画像に類似しているか否かの類似判定を実施する(S16)。カプセル内視鏡3の移動速度が遅ければ、基準画像の後に撮影された数十枚の画像が類似画像として判定されることもある。
一方で、画像要約処理部36は、被覆率が閾値未満である場合に、判定対象画像を非類似画像として判定する(S16のN)。画像要約処理部36は、非類似画像と判定した画像を、新たな基準画像として設定し(S10)、設定した基準画像が最後に撮影された画像でなければ(S12のN)、当該画像の次に撮影された画像を判定対象画像として(S14)、基準画像に類似しているか否かの類似判定を実施する(S16)。画像要約処理部36は、この画像要約処理を、約6万枚の全ての画像に対して実施し、最後に撮影された画像に対する処理が完了すると(S12のY)、画像要約処理を終了する。このように画像要約処理部36は、撮影された複数の内視鏡画像を、基準画像と類似画像とに分類する。この画像要約処理によれば、時間的に隣り合う基準画像同士は、非類似となる。
基準画像と類似画像の枚数比は、閾値の設定によって調整可能である。閾値を大きくすれば、基準画像が多くなり、また閾値を小さくすれば、基準画像が少なくなる。第4再生モードでは、基準画像のみを再生表示するため、閾値の設定は、病変の見落とし等を抑制するために重要であるが、これまでの実績により、約6万枚の内視鏡画像のうち、約2万枚を基準画像として抽出するような閾値を設定することで、基準画像のみの読影により病変画像の見落としを防げることが分かってきている。画像要約処理部36は、分類した基準画像の画像IDおよび類似画像の画像IDを、それぞれ圧縮処理部38に提供する。
<内視鏡RAW画像の圧縮処理>
赤み判定部34および画像要約処理部36による画像解析処理は、圧縮処理部38による内視鏡RAW画像の圧縮処理の際に実施される。圧縮処理部38は、内視鏡RAW画像に非可逆の圧縮処理を施して、画像IDおよび撮影時刻情報を付加した画像ファイルを生成し、内視鏡画像記録部60に記録する。たとえば圧縮処理部38は、JPEGなどの画像フォーマットで内視鏡RAW画像を圧縮してよい。
赤み判定部34および画像要約処理部36による画像解析処理は、圧縮処理部38による内視鏡RAW画像の圧縮処理の際に実施される。圧縮処理部38は、内視鏡RAW画像に非可逆の圧縮処理を施して、画像IDおよび撮影時刻情報を付加した画像ファイルを生成し、内視鏡画像記録部60に記録する。たとえば圧縮処理部38は、JPEGなどの画像フォーマットで内視鏡RAW画像を圧縮してよい。
圧縮処理部38は、圧縮した画像ファイルに、赤み判定部34および画像要約処理部36から提供された解析結果を示す情報を付加する。具体的に圧縮処理部38は、赤み判定部34から提供される画像IDをもつ圧縮画像に、赤み画像であることを示す情報を付加する。この情報は、フラグ情報として付加されてよい。また圧縮処理部38は、画像要約処理部36による画像要約処理の結果をもとに、基準画像に、基準画像であることを示すフラグ情報を付加し、類似画像に、類似画像であることを示すフラグ情報を付加する。基準画像であるか類似画像であるかは表裏の関係にあるため、フラグ値1が基準画像を、フラグ値0が類似画像を表現してもよい。
実施例では、赤み判定部34および画像要約処理部36が、圧縮処理部38による内視鏡RAW画像の圧縮処理の前に、内視鏡RAW画像に対してそれぞれ画像処理を実施している。変形例では、赤み判定部34および画像要約処理部36が、圧縮画像に対して、それぞれ画像解析を実施して、解析結果を示す情報が圧縮画像に付加されてよい。内視鏡画像記録部60には、画像処理部32により画像処理された画像ファイルが記録され、ユーザは、内視鏡画像記録部60に記録された画像ファイルを用いて、内視鏡画像の観察を実施する。
以下、読影時に表示装置22に表示される画面について説明する。
ユーザである医師Bは、端末装置20にユーザIDおよびパスワードを入力してログインする。ユーザがログインすると、管理サーバ10が検査情報記録部62に記録された検査情報を端末装置20に提供し、表示装置22には、カプセル内視鏡検査の一覧が表示される。検査一覧画面には、患者ID、患者氏名、検査ID、検査日時などの検査情報が表示され、ユーザは、読影レポート作成の対象となる検査を選択する。検査一覧から患者IDが「1111」、患者氏名「A」、検査IDが「0001」の検査が選択されると、画面生成部40は、ユーザが内視鏡画像を読影するための読影画面を生成して、表示装置22に表示させる。
ユーザである医師Bは、端末装置20にユーザIDおよびパスワードを入力してログインする。ユーザがログインすると、管理サーバ10が検査情報記録部62に記録された検査情報を端末装置20に提供し、表示装置22には、カプセル内視鏡検査の一覧が表示される。検査一覧画面には、患者ID、患者氏名、検査ID、検査日時などの検査情報が表示され、ユーザは、読影レポート作成の対象となる検査を選択する。検査一覧から患者IDが「1111」、患者氏名「A」、検査IDが「0001」の検査が選択されると、画面生成部40は、ユーザが内視鏡画像を読影するための読影画面を生成して、表示装置22に表示させる。
図4は、内視鏡画像の読影画面の例を示す。読影画面中央上部には、内視鏡画像を再生表示するための再生領域100が設けられる。読影画面は、画面左上隅にある再生モード選択ボタン102aが選択された状態で、表示装置22に表示される。なおオーバービューモード選択ボタン102bが選択されると、画面生成部40は、図5に示すオーバービュー画面を生成して、表示装置22に表示させる。
再生枚数切替ボタン108は、再生領域100に表示する画像枚数を切り替えるための操作ボタンである。図4には、1枚表示が選択されている例を示しているが、ユーザは再生枚数切替ボタン108を操作することで、2枚表示または4枚表示を選択できる。
再生モード選択領域130には、再生モードを選択するための操作ボタンが配置される。第2再生モード選択ボタン110は、第2再生モードを選択するための操作ボタンである。第3再生モード選択ボタン112は、第3再生モードを選択するための操作ボタンである。第4再生モード選択ボタン114は、基準画像のみを再生表示する第4再生モードを選択するための操作ボタンである。第4裏再生モード選択ボタン116は、類似画像のみを再生表示する第4裏再生モードを選択するための操作ボタンである。第4再生モードでは、類似画像の再生表示が省略されるため、ユーザは、第4再生モードを選択して読影した場合には、第4裏再生モードでも読影して、全ての内視鏡画像を観察することが推奨される。
ユーザは、第2再生モード選択ボタン110、第3再生モード選択ボタン112、第4再生モード選択ボタン114および第4裏再生モード選択ボタン116のいずれかを選択して、再生モードを設定する。なおデフォルトの状態では、第2再生モード選択ボタン110が選択されている。再生領域100の下方に設けられた再生ボタン表示領域104には再生ボタン104aと逆再生ボタン104bとが表示され、再生ボタン104aが選択されると、再生領域100において内視鏡画像が順方向(撮影時刻の古い画像から新しい画像に向かう方向)に再生表示され、逆再生ボタン104bが選択されると、再生領域100において内視鏡画像が逆方向(撮影時刻の新しい画像から古い画像に向かう方向)に再生表示される。再生速度調節部106は、再生速度(1枚の内視鏡画像の表示時間)を調節するためのスライダを備える。
再生処理部48は、再生モード選択領域130において選択された再生モード、および再生速度調節部106により設定された再生速度にしたがって、再生領域100に内視鏡画像を再生表示する。再生ボタン104aまたは逆再生ボタン104bが選択されると、再生処理部48は再生表示を開始するが、選択された再生ボタン104aまたは逆再生ボタン104bの場所には、代わりに一時停止ボタンが表示される。内視鏡画像の再生表示中に、ユーザが一時停止ボタンを操作すると、再生処理部48は、内視鏡画像の再生表示を一時停止する。この状態でユーザがマウスホイールを操作すると、再生処理部48が、マウスホイールの回転に応じて、第1再生モードで内視鏡画像をコマ送り表示する。
ユーザは再生領域100に表示された画像にマウスポインタを合わせてマウスの左ボタンをダブルクリックすると、その画像がキャプチャされてキャプチャ画像表示領域128に表示される。キャプチャ画像表示領域128に表示されるキャプチャ画像は、後に読影レポートに添付する画像の選択肢となる。この例では、5枚のキャプチャ画像128a~128eが選択されている様子が示される。
マーク表示領域120は、左端を撮影開始時刻、右端を撮影終了時刻とするタイムバーとして表示され、スライダ122は、再生領域100に表示されている内視鏡画像の時間的な位置を示す。スライダ122により表現される時間位置は、時間表示領域124に撮影開始時刻からの相対的な時間情報としても表示される。ユーザがマーク表示領域120の任意の箇所にマウスポインタをあててマウスの左ボタンをクリックすると、その時間位置における内視鏡画像が再生領域100に表示される。またユーザがスライダ122をドラッグしてマーク表示領域120内の任意の位置でドロップしても、その時間位置における内視鏡画像が再生領域100に表示される。
赤色画像表示ボタン126は、マーク表示領域120において、赤み画像の撮影時刻に赤色マークを表示させるためのボタンである。マーク表示領域120に赤色マークが表示されることで、ユーザは、出血を撮影した可能性の高い画像の存在を認識できる。
拡大表示ボタン118は、再生領域100を拡大するためのボタンである。拡大表示ボタン118が操作されると、キャプチャ画像表示領域128は非表示とされて、その分だけ再生領域100が拡大される。
なおユーザはマーク表示領域120に、部位の開始位置を示すためのマークを付加できる。ユーザは、再生領域100で再生表示される内視鏡画像を観察しながら、新たな部位画像が再生されるとマーキングボタン(図示せず)を操作して、各部位の開始位置をマーク表示領域120上にマーキングする。このマーキング処理を行うことで、内視鏡画像を見直す際に、部位の開始位置を容易に知ることができる。また医師Bとは異なるユーザが内視鏡画像を観察する際にも、マーキング処理を行われていることで、円滑な画像観察を行えるようになる。マーキングは、胃、十二指腸、空腸、大腸の入口を撮影した画像に対して行われることが一般的である。
画面左上隅にあるオーバービューモード選択ボタン102bが選択されると、画面生成部40はオーバービュー画面を生成して、画像表示部46が、複数の内視鏡画像を表示装置22に表示させる。オーバービューモードは、画像要約処理により特定された複数の基準画像のうちの一部を並べて表示する表示モードであり、オーバービュー画面には、複数の基準画像から抽出された画像が表示される。
図5は、内視鏡画像のオーバービュー画面の例を示す。画像表示領域132には、複数の基準画像から抽出された画像が格子状に並べて表示される。たとえば約6万枚の内視鏡画像から約2万枚の基準画像が特定されているとき、画像表示部46は約2万枚の基準画像のうちの一部を抽出して表示し、具体的には時間順に並べた約2万枚の基準画像から所定の間隔をあけて抽出した画像を、オーバービュー画面に表示する。抽出する枚数は、2千枚を上限として、ユーザにより自由に設定されてよい。基準画像の枚数をN枚、オーバービュー画面に含める画像枚数をM枚とすると、画像表示部46は、時系列に並べた基準画像から(N/M)枚ごとに1枚の画像を抽出する。たとえばN=2万枚、M=2千枚であるとき、画像表示部46は、撮影時刻順に基準画像を10枚ごとに1枚抽出し、オーバービュー画面に配列する。抽出画像は、画像表示領域132において格子状に配列され、ユーザはページ送りボタン140a、140bを操作して、抽出画像を切り替えることができる。
オーバービュー画面に表示される内視鏡画像は基準画像であり、時間的に隣り合う基準画像同士は互いに非類似のものに限定されるため、ユーザは、検査全体の概要を効率よく把握できる。またオーバービュー画面は検査全体を俯瞰的に示すため、各部位の開始位置の特定、つまりマーキング処理を行う際に使い勝手がよい。
実施例のオーバービュー画面では、ユーザが一つの画像を選択して所定の操作を行うと、その画像に時間的に前後する複数枚の静止画像が表示される機能が設定されている。
図6は、ユーザが一つの画像を選択して、選択した画像の前後画像を表示した状態を示す。操作受付部42は、画像表示領域132に表示された基準画像の選択操作を受け付け、選択した基準画像の前後に撮影された画像を表示するための操作を受け付ける。なお操作受付部42は、基準画像が選択操作されたことをもって、その前後画像の表示操作も自動的に受け付けることとしてもよい。この例では、ユーザがマウス操作により、画像表示領域132に表示された画像148を選択している。
図6は、ユーザが一つの画像を選択して、選択した画像の前後画像を表示した状態を示す。操作受付部42は、画像表示領域132に表示された基準画像の選択操作を受け付け、選択した基準画像の前後に撮影された画像を表示するための操作を受け付ける。なお操作受付部42は、基準画像が選択操作されたことをもって、その前後画像の表示操作も自動的に受け付けることとしてもよい。この例では、ユーザがマウス操作により、画像表示領域132に表示された画像148を選択している。
画像抽出部44は、選択された基準画像に対して時間的に前および/または後に撮影された複数の基準画像を抽出する。ここでは画像148に対して、時間的に近い順に画像148よりも前に撮影された所定数の基準画像と、時間的に近い順に画像148よりも後に撮影された所定数の基準画像とを抽出する。画像表示部46は、画像抽出部44により抽出された複数の基準画像を、前後画像表示領域150に静止画像として並べて表示する。
ここでは画像148を前後画像表示領域150の略中央位置に配置し、その左方に画像148よりも前に撮影された基準画像を、その右方に画像148よりも後に撮影された基準画像を、撮影時刻順にしたがって配置している。なお前後画像表示領域150において、複数の基準画像は左右方向にスクロール可能に配置され、ユーザは、マウス等を用いて複数の基準画像をスクロールさせることで、非表示となっている基準画像を表示させることができる。
ユーザは、前後画像表示領域150において画像148の前後に撮影された基準画像を容易に観察できる。なお上記したように画像表示領域132において、10枚ごとに抽出された基準画像が表示されている場合、前後画像表示領域150の画像148の左側および右側のそれぞれに表示される9枚分の基準画像は、画像表示領域132には表示されていない画像となる。
たとえば前後画像表示領域150に表示する画像を、画像148の前後で撮影された類似画像まで含める場合、前後画像表示領域150には、画像148と似たような画像が並ぶ状況が生じうる。実施例では前後画像表示領域150に基準画像のみを表示することで、隣り合う基準画像同士は非類似となるため、ユーザは、効率よく画像148の近傍の内視鏡画像を観察できるようになる。たとえばユーザは、各部位の入口付近と思われる画像148を選択して、その前後に撮影された基準画像を前後画像表示領域150に表示させることで、各部位の開始位置を示す画像を特定して、効率よくマーキング処理を行うことができる。ユーザは、まず図6に示すオーバービュー画面でマーキング処理を行ってから、図4に示す読影画面で画像観察を行ってもよい。
図7は、前後画像表示の別の例を示す。この例では、画像表示部46が、画像抽出部44により抽出された複数の基準画像を連続再生して、動画再生領域152に動画像として表示する。動画再生領域152において、選択された画像148の前後画像が動画表示されることで、ユーザは、前後画像を短時間で確認できるようになる。なお前後画像を動画表示する場合には、図6に示した静止画表示する場合と比べて、画像抽出部44が、より多くの基準画像を抽出してもよい。
このとき画像表示部46は、画像抽出部44により抽出された複数の基準画像を、動画再生領域152に表示する動画像と連動して、前後画像表示領域154において時間軸方向に移動する静止画像としても表示してよい。前後画像を、動画像および静止画像の双方の形式で表示することで、ユーザは、好みの形式で前後画像を確認できる。なお画像表示部46は、静止画像として表示する基準画像を、画像抽出部44により抽出された複数の基準画像のうちの一部に限定してもよい。つまり静止画像を動画像と連動表示する際には、画像抽出部44により抽出された複数の基準画像を間引いて、時間軸方向に移動する静止画像として表示させてもよい。
図7では、動画再生領域152を画像表示領域132に重畳させているが、画面生成部40はオーバービュー画面を分割して、動画再生領域152と画像表示領域132とを別個に表示させるようにしてもよい。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
実施例では、オーバービュー画面において、ユーザが1枚の基準画像を選択操作することで、その前後画像を表示することとしたが、ユーザが、始点となる基準画像と終点となる基準画像をそれぞれ選択操作すると、画像表示部46が、その間の基準画像を表示するようにしてもよい。また実施例では、ユーザが前後画像をマーキング処理に利用することを説明したが、病変画像の観察にも当然に利用することが可能である。
1・・・内視鏡画像観察支援システム、10・・・管理サーバ、12・・・記録装置、20・・・端末装置、22・・・表示装置、32・・・画像処理部、36・・・画像要約処理部、40・・・画面生成部、42・・・操作受付部、44・・・画像抽出部、46・・・画像表示部、48・・・再生処理部、150・・・前後画像表示領域、152・・・動画再生領域、154・・・前後画像表示領域。
本発明は、カプセル内視鏡により撮影された内視鏡画像の観察を支援する技術分野に利用できる。
Claims (6)
- カプセル内視鏡により撮影された内視鏡画像の観察を支援する観察支援システムであって、
撮影された複数の内視鏡画像を、基準画像と、基準画像に類似する類似画像とに分類する画像処理部と、
所定の表示モードで、複数の基準画像のうちの一部を表示する画像表示部と、
表示された基準画像の選択操作を受け付ける操作受付部と、
選択操作された基準画像に対して時間的に前および/または後に撮影された複数の基準画像を抽出する画像抽出部と、を備え、
前記画像表示部は、前記画像抽出部により抽出された複数の基準画像を表示する、
ことを特徴とする内視鏡画像観察支援システム。 - 前記画像処理部は、時間的に隣り合う基準画像同士が非類似となるように、撮影された複数の内視鏡画像を、基準画像と類似画像とに分類する、
ことを特徴とする請求項1に記載の内視鏡画像観察支援システム。 - 前記画像表示部は、前記画像抽出部により抽出された複数の基準画像を、静止画像として並べて表示する、
ことを特徴とする請求項1に記載の内視鏡画像観察支援システム。 - 前記画像表示部は、前記画像抽出部により抽出された複数の基準画像を、動画像として表示する、
ことを特徴とする請求項1に記載の内視鏡画像観察支援システム。 - 前記画像表示部は、前記画像抽出部により抽出された複数の基準画像を、表示する動画像と連動して、時間軸方向に移動する静止画像としても表示する、
ことを特徴とする請求項4に記載の内視鏡画像観察支援システム。 - 前記画像表示部は、静止画像として表示する基準画像を、前記画像抽出部により抽出された複数の基準画像のうちの一部に限定する、
ことを特徴とする請求項5に記載の内視鏡画像観察支援システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017090655A JP2020127440A (ja) | 2017-04-28 | 2017-04-28 | 内視鏡画像観察支援システム |
JP2017-090655 | 2017-04-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018198525A1 true WO2018198525A1 (ja) | 2018-11-01 |
Family
ID=63919822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/007591 WO2018198525A1 (ja) | 2017-04-28 | 2018-02-28 | 内視鏡画像観察支援システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2020127440A (ja) |
WO (1) | WO2018198525A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009013940A1 (ja) * | 2007-07-20 | 2009-01-29 | Olympus Corporation | 画像抽出装置、画像抽出プログラムおよび画像抽出方法 |
JP2010094185A (ja) * | 2008-10-14 | 2010-04-30 | Olympus Medical Systems Corp | 画像表示装置 |
JP2013183874A (ja) * | 2012-03-07 | 2013-09-19 | Olympus Corp | 画像処理装置、プログラム及び画像処理方法 |
-
2017
- 2017-04-28 JP JP2017090655A patent/JP2020127440A/ja active Pending
-
2018
- 2018-02-28 WO PCT/JP2018/007591 patent/WO2018198525A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009013940A1 (ja) * | 2007-07-20 | 2009-01-29 | Olympus Corporation | 画像抽出装置、画像抽出プログラムおよび画像抽出方法 |
JP2010094185A (ja) * | 2008-10-14 | 2010-04-30 | Olympus Medical Systems Corp | 画像表示装置 |
JP2013183874A (ja) * | 2012-03-07 | 2013-09-19 | Olympus Corp | 画像処理装置、プログラム及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020127440A (ja) | 2020-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11556731B2 (en) | Endoscopic image observation system, endosopic image observation device, and endoscopic image observation method | |
JP5385138B2 (ja) | 画像処理装置、該動作方法及び該プログラム | |
JP5784859B2 (ja) | 画像管理装置 | |
WO2006022269A1 (ja) | 画像表示装置、画像表示方法、および画像表示プログラム | |
US11482318B2 (en) | Medical information processing system | |
US10918260B2 (en) | Endoscopic image observation support system | |
JP2008295490A (ja) | カプセル内視鏡画像表示装置 | |
EP3005934A1 (en) | Medical device | |
JP6425868B1 (ja) | 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 | |
WO2018230074A1 (ja) | 内視鏡画像観察支援システム | |
US20200268237A1 (en) | Image observation support system, image observation support method and recording medium | |
JP6335412B1 (ja) | 内視鏡画像観察支援システム | |
JP4445742B2 (ja) | 画像表示装置、画像表示方法、及び画像表示プログラム | |
WO2018198525A1 (ja) | 内視鏡画像観察支援システム | |
JP2018183420A (ja) | 内視鏡画像観察支援システム | |
JP4663698B2 (ja) | 画像表示装置、画像表示方法および画像表示プログラム | |
JP2019088553A (ja) | 内視鏡画像観察支援システム | |
JP6637291B2 (ja) | 医療支援システムおよび検査画像検索方法 | |
WO2019116630A1 (ja) | 内視鏡画像観察支援システム | |
JP2019030502A (ja) | 内視鏡画像観察支援システム | |
JP4598458B2 (ja) | 画像表示装置、画像表示方法および画像表示プログラム | |
WO2022195725A1 (ja) | 情報処理装置および画像表示方法 | |
JP2019041880A (ja) | 内視鏡画像観察支援システム | |
JP2008023358A (ja) | 画像表示装置、画像表示方法および画像表示プログラム | |
JP2002099894A (ja) | 医療用画像ファイルシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18791618 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18791618 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |