WO2015033634A1 - 画像表示装置、画像表示方法、及び画像表示プログラム - Google Patents

画像表示装置、画像表示方法、及び画像表示プログラム Download PDF

Info

Publication number
WO2015033634A1
WO2015033634A1 PCT/JP2014/064967 JP2014064967W WO2015033634A1 WO 2015033634 A1 WO2015033634 A1 WO 2015033634A1 JP 2014064967 W JP2014064967 W JP 2014064967W WO 2015033634 A1 WO2015033634 A1 WO 2015033634A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
sub
display screen
main
Prior art date
Application number
PCT/JP2014/064967
Other languages
English (en)
French (fr)
Inventor
啓 高杉
岩城 秀和
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to CN201480004217.8A priority Critical patent/CN104902800A/zh
Priority to EP14841794.2A priority patent/EP3045100A1/en
Priority to JP2015502427A priority patent/JP5756939B1/ja
Publication of WO2015033634A1 publication Critical patent/WO2015033634A1/ja
Priority to US14/801,060 priority patent/US9424643B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/321Display for diagnostics, e.g. diagnostic result display, self-test user interface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/08Biomedical applications

Definitions

  • the present invention relates to an image display device including a display unit that displays a display screen, an image display method, and an image display program.
  • a capsule endoscope system has been proposed in which an in-vivo image inside a subject is acquired using a capsule endoscope that captures the inside of the subject, and a doctor or the like observes the in-vivo image (for example, (See Patent Documents 1 and 2).
  • Capsule endoscopes move through body cavities, such as the stomach and small intestine, in accordance with their peristaltic movement until they are spontaneously discharged after being swallowed from the subject's mouth for observation (examination). Then, with the movement, the inside of the subject is imaged every predetermined time.
  • the capsule endoscope sequentially transmits image data captured in the body to the outside by wireless communication while moving in the body cavity.
  • the capsule endoscope system includes a receiving device and an image display device.
  • the receiving apparatus sequentially receives the image data transmitted from the capsule endoscope and sequentially records the image data on a portable recording medium inserted in the receiving apparatus.
  • the image display device captures image data recorded on the recording medium when the portable recording medium is inserted into the image display device. Then, the image display device switches the in-vivo images corresponding to the captured image data frame by frame and displays (frame reproduction). A doctor or the like diagnoses the subject by checking the in-vivo images displayed as described above.
  • JP 2006-288612 A Japanese Patent No. 5385138
  • the present invention has been made in view of the above, and can display a display screen on which a unique image can be easily found even when the number of unique images included in an image group acquired in time series is small.
  • an image display device includes an image including a plurality of images acquired in time series in an image display device including a display unit that displays a display screen.
  • An image acquisition unit that acquires a group
  • an image extraction unit that extracts a main image group including a main image satisfying a predetermined condition from the image group acquired by the image acquisition unit, and the image included in the main image group
  • an image association unit for associating a sub-image that has not been extracted by the image extraction unit in the image group, and a second region different from the first region, wherein the main image group is disposed in the first region.
  • a display control unit configured to generate a display screen in which a sub-image group including the sub-image is arranged in an area and display the display screen on the display unit, wherein the main image group includes a time along the first direction. Arranged in the first area in a series, and the sub-picture For each sub-image associated with the main image by the image association unit, the group is arranged in time series along a second direction orthogonal to the first direction so as to be aligned with the main image.
  • the display control unit is arranged in a region, wherein the display control unit moves the main image group along the first direction, and at least a part of the main image group along the second direction.
  • the display screen is changed so that at least a part of the image group moves.
  • the image display device is characterized in that, in the above invention, the image associating unit associates the sub-image with the main image closest to the sub-image in time series.
  • the display control unit generates the display screen in which the image size of the sub-image is smaller than the main image.
  • the display control unit may reduce the image size of the sub-image as the arrangement position of the sub-image in the second region is further away from the first region. A display screen is generated.
  • the display control unit arranges the main image group in the first area including a center position of the display screen, and the main image in the first area.
  • the display screen having a smaller image size of the main image is generated as the position of the image is further away from the center position.
  • an instruction to start changing the display screen in a mode in which the main image group moves along the first direction, and in the first direction an instruction receiving unit that receives an instruction to stop changing the display screen in a manner in which the main image group moves along the display control unit, and the display control unit, when the instruction receiving unit receives the start instruction,
  • the display screen is sequentially generated in such a manner that the main image group moves along the first direction without arranging the sub image group in the second region, and the instruction receiving unit receives the stop instruction.
  • the display screen is generated in such a manner that the sub image group is arranged in the second region and the movement of the main image group is stopped.
  • the display control unit includes a gap between each of the main images included in the main image group and each of the sub images included in the sub image group.
  • the display screen is not generated.
  • the display control unit generates the display screen in which the main image is emphasized with respect to the sub-image.
  • the display control unit is not arranged when all the main images included in the main image group are not arranged in the display screen. Presence information indicating that the main image exists is included in the display screen.
  • the display control unit is not arranged when all of the sub-images included in the sub-image group are not arranged in the display screen. Presence information indicating that the sub-image exists is included in the display screen.
  • the presence information is information indicating the number of the main images or the sub-images that are not arranged.
  • an image display method is an image acquisition step of acquiring an image group including a plurality of images acquired in time series in an image display method performed by an image display device including a display unit that displays a display screen.
  • An image extraction step of extracting a main image group including a main image satisfying a predetermined condition from the image group acquired in the image acquisition step; and for each main image included in the main image group, Among them, an image association step for associating sub-images not extracted in the image extraction step, a sub-image group including the sub-image in a second region different from the first region, wherein the main image group is arranged in a first region.
  • An image group is arranged in the first region in time series along a first direction, and the sub-image group is aligned with the main image for each sub-image associated with the main image in the image association step.
  • an image display program causes an image display apparatus to execute the image display method described above.
  • the image display device of the present invention even when there are few unique images included in an image group acquired in time series, it is possible to display a display screen that makes it easy to find the unique images. .
  • the image display method according to the present invention is a method performed by the above-described image display device, the same effects as those of the above-described image display device can be obtained.
  • the image display program according to the present invention is a program executed by the above-described image display device, the same effects as those of the above-described image display device can be obtained.
  • FIG. 1 is a schematic diagram showing an image display system according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing the image display device shown in FIG.
  • FIG. 3 is a flowchart showing an image display method according to Embodiment 1 of the present invention.
  • FIG. 4 is a diagram showing an example of the display screen generated in step S6 shown in FIG.
  • FIG. 5 is a diagram showing an example of screen transition of the display screen in step S9 shown in FIG.
  • FIG. 6 is a diagram showing an example of screen transition of the display screen in step S9 shown in FIG.
  • FIG. 7 is a virtual representation of step S9 shown in FIG.
  • FIG. 8 is a diagram showing an example of a display screen displayed on the display unit in step S12 shown in FIG. FIG.
  • FIG. 9 is a diagram showing an example of a display screen displayed on the display unit in step S12 shown in FIG.
  • FIG. 10 is a diagram showing a modification of the first embodiment of the present invention.
  • FIG. 11 is a diagram showing an example of a display screen generated by the display control unit according to Embodiment 2 of the present invention.
  • FIG. 12 is a diagram showing an example of a display screen generated by the display control unit according to Embodiment 3 of the present invention.
  • FIG. 13 is a diagram showing an example of a display screen generated by the display control unit according to Embodiment 4 of the present invention.
  • FIG. 14 is a diagram showing an example of screen transition of the display screen by the display control unit according to Embodiment 5 of the present invention.
  • FIG. 15 is a diagram showing an example of a display screen generated by the display control unit according to Embodiment 5 of the present invention.
  • FIG. 16 is a diagram showing an example of a display screen generated by the display control unit according to Embodiment 6 of the present invention.
  • FIG. 17 is a diagram for explaining a display screen generation method according to Embodiment 7 of the present invention.
  • FIG. 18 is a diagram virtually representing a display screen generated by the display control unit according to Embodiment 7 of the present invention.
  • FIG. 19 is a diagram showing a modification of the first to seventh embodiments of the present invention.
  • FIG. 1 is a schematic diagram showing an image display system 1 according to Embodiment 1 of the present invention.
  • the image display system 1 is a system that acquires an in-vivo image inside the subject 100 using a swallowable capsule endoscope 2 and causes a doctor or the like to observe the in-vivo image.
  • the image display system 1 includes a receiving device 3, an image display device 4, a portable recording medium 5 and the like in addition to the capsule endoscope 2.
  • the recording medium 5 is a portable recording medium for transferring data between the receiving device 3 and the image display device 4, and is configured to be detachable from the receiving device 3 and the image display device 4. Yes.
  • the capsule endoscope 2 is a capsule endoscope device that is formed in a size that can be introduced into the organ of the subject 100, and is introduced into the organ of the subject 100 by oral ingestion or the like, and is peristaltic. In-vivo images are sequentially taken while moving inside the organ by means of, for example. Then, the capsule endoscope 2 sequentially transmits image data generated by imaging.
  • the receiving device 3 includes a plurality of receiving antennas 3a to 3h, and receives image data from the capsule endoscope 2 inside the subject 100 via at least one of the plurality of receiving antennas 3a to 3h. Then, the receiving device 3 stores the received image data in the recording medium 5 inserted in the receiving device 3.
  • the receiving antennas 3a to 3h may be arranged on the body surface of the subject 100 as shown in FIG. 1, or may be arranged on a jacket worn by the subject 100. Further, the number of receiving antennas provided in the receiving device 3 may be one or more, and is not particularly limited to eight.
  • FIG. 2 is a block diagram showing the image display device 4.
  • the image display device 4 is configured as a workstation that acquires image data in the subject 100 and displays an image corresponding to the acquired image data.
  • the image display device 4 includes a reader / writer 41, a memory unit 42, an input unit 43, a display unit 44, a control unit 45, and the like.
  • the reader / writer 41 controls the image data stored in the recording medium 5 under the control of the control unit 45 (images are taken in time series by the capsule endoscope 2). (Acquired in-vivo image group including a plurality of in-vivo images). Further, the reader / writer 41 transfers the captured in-vivo image group to the control unit 45. The in-vivo image group transferred to the control unit 45 is stored in the memory unit 42. That is, the reader / writer 41 has a function as an image acquisition unit according to the present invention.
  • the memory unit 42 stores the in-vivo image group transferred from the reader / writer 41. Further, the memory unit 42 stores various programs (including an image display program) executed by the control unit 45, information necessary for processing of the control unit 45, and the like.
  • the input unit 43 is configured using a keyboard, a mouse, and the like, and accepts user operations.
  • the input unit 43 has a function as an instruction receiving unit according to the present invention.
  • the display unit 44 is configured using a liquid crystal display or the like, and displays a display screen including in-vivo images under the control of the control unit 45.
  • the control unit 45 is configured using a CPU (Central Processing Unit) or the like, reads a program (including an image display program) stored in the memory unit 42, and controls the operation of the entire image display device 4 according to the program. As shown in FIG. 2, the control unit 45 includes an image extraction unit 451, an image processing unit 452, an image association unit 453, a display control unit 454, and the like.
  • the image extraction unit 451 executes a main image group including a main image (display in-vivo image) satisfying a predetermined image extraction condition from the display in-vivo image group subjected to image processing by the image processing unit 452 and stored in the memory unit 42. Extract. Then, the image extraction unit 451 stores the extracted main image group in the memory unit 42.
  • the image extraction condition includes, for example, a threshold value regarding the similarity between in-vivo images that are continuous in time series.
  • the image processing unit 452 performs image processing for each in-vivo image stored in the memory unit 42 to generate a display in-vivo image. Then, the image processing unit 452 stores the display in-vivo image group including the generated display in-vivo image in the memory unit 42.
  • the image processing unit 452 calculates information necessary for the above-described image extraction by the image extraction unit 451. Specifically, the image processing unit 452 reads the display in-vivo image group stored in the memory unit 42 and extracts the color information of each display in-vivo image. Then, the image processing unit 452 calculates, for each display in-vivo image, the similarity between the display in-vivo images that are continuous in time series in the display in-vivo image group based on the color information of each display in-vivo image. The image processing unit 452 calculates a motion vector between adjacent images in the display in-vivo image group, and displays the similarity between the display in-vivo images based on the calculated motion vector of each display in-vivo image. You may calculate for every in-vivo image. Then, the image processing unit 452 stores the information on the similarity calculated as described above in the memory unit 42 in association with the corresponding display in-vivo image.
  • the image association unit 453 includes, for each main image included in the main image group extracted by the image extraction unit 451, a sub image included in the sub image group that is not extracted by the image extraction unit 451 among the in-vivo image group for display. Associate images (in-vivo images for display). Then, the image association unit 453 associates related information indicating which main image is associated with the sub image and causes the memory unit 42 to store the related information.
  • the display control unit 454 reads information stored in the memory unit 42 in response to a user operation on the input unit 43, generates a display screen on which the main image and the sub-image are arranged, and displays the display screen on the display unit 44. To display.
  • FIG. 3 is a flowchart showing the image display method according to the first embodiment.
  • the reader / writer 41 takes in the in-vivo image group stored in the recording medium 5 under the control of the control unit 45 when the recording medium 5 is inserted into the reader / writer 41 (step S1: image acquisition step). ).
  • the in-vivo image group captured by the reader / writer 41 is stored in the memory unit 42.
  • the image processing unit 452 reads the in-vivo image group stored in the memory unit 42 and generates a display in-vivo image group by image processing. Further, the image processing unit 452 extracts color information of each in-vivo image for display, and based on the color information, displays the similarity between the in-vivo images for display that are continuous in time series within the display in-vivo image group It calculates for every in-vivo image (step S2). The image processing unit 452 stores the information on the calculated similarity in the memory unit 42 in association with the corresponding display in-vivo image.
  • the control unit 45 constantly monitors whether or not an in-vivo image display instruction has been given by a user operation on the input unit 43 (step S3).
  • the image extraction unit 451 reads information on the similarity for each in-display image stored in the memory unit 42.
  • the image extraction unit 451 also displays a display in-vivo image whose similarity is equal to or less than a predetermined threshold from the group of display in-vivo images stored in the memory unit 42 (similarity between time-series consecutive display in-vivo images. Display in-vivo image) is extracted as a main image (step S4: image extraction step). Then, the image extraction unit 451 stores the main image group including the extracted main image in the memory unit 42.
  • the image association unit 453 associates the sub-image not extracted in step S4 with each main image extracted in step S4 (step S5: image association step). Then, the image association unit 453 stores related information indicating which main image is associated with the sub image in the memory unit 42. Specifically, the image associating unit 453 grasps the number of frames of the sub-images between the main images that are continuous in time series, and if it is an even number, the first half of the sub-images in time series is immediately preceding the main image. In association with the image, the latter half of the sub-image is associated with the immediately following main image in time series.
  • the image associating unit 453 sets the number of sub-image frames between the main images to “2”. Since it is an even number, the second frame sub-image is associated with the first frame main image, and the third frame sub-image is associated with the fourth frame main image.
  • the image association unit 453 displays the sub-images so that the rear side increases by one frame in time series. It is divided into a sub-image on the front side in time series and a sub-image on the rear side in time series. Then, the image associating unit 453 associates the front side sub-image with the immediately preceding main image in time series, and associates the back side sub-image with the immediately following main image in time series. For example, when the display in-vivo images in the fourth and eighth frames in the display in-vivo image group are the main images, the image association unit 453 displays the number of sub-image frames between the main images as “3”.
  • the sub-image of the fifth frame is associated with the main image of the fourth frame
  • the sub-image of the sixth and seventh frames is associated with the main image of the eighth frame. If the number of sub-image frames between successive main images in time series is “1”, the sub-image is associated with the immediately following main image.
  • FIG. 4 is a diagram showing an example of the display screen W1 generated in step S6 shown in FIG.
  • the octagonal figure indicates the in-vivo image for display.
  • P ⁇ indicates the in-vivo image for display of the ⁇ frame (for example, “P8” indicates the eighth frame). Display in-vivo images).
  • the display control unit 454 reads five frames of main images from the memory unit 42 in order from the smallest frame number.
  • the display control unit 454 opens the main image for the five frames with a predetermined gap in the first area extending in the left-right direction (the direction along the first direction) through the center position in the display screen. Arrange in time series. For example, if the main images corresponding to five frames in order from the smallest frame number are the main images P1, P4, P8, P12, P13, the display control unit 454 displays the main images P1, P4, P8, P12, P13 is read from the memory unit 42. Then, as shown in FIG. 4, the display control unit 454 arranges the main images P1, P4, P8, P12, and P13 in chronological order from the left in the first area Ar1 in the display screen W1.
  • the display control unit 454 reads out the sub-image associated with the read out main image for five frames based on the related information stored in the memory unit 42. Then, the display control unit 454 chronologically arranges the sub-image associated with the main image with a predetermined gap along the second direction orthogonal to the first direction so as to be aligned with the main image. It arrange
  • the display control unit 454 relates to the main image, and for the sub-image before the main image in time series, the second region above the main image on the display screen (hereinafter referred to as the second upper image). Place the area).
  • the sub-image that is associated with the main image and that is later in time series than the main image is arranged in the second region below (hereinafter referred to as the second lower region) with respect to the main image on the display screen.
  • the display control unit 454 is closest to the main image in time series. Only the sub-image is arranged in the second upper area or the second lower area. As described above, the display control unit 454 arranges the sub image group in the second region for each sub image associated with the main image in the image association unit 453 when arranging the sub image group in the second region.
  • the sub-image P2 is a display in-vivo image that is associated with the main image P1 and that is later in time series than the main image P1. Therefore, as shown in FIG. 4, the display control unit 454 arranges the sub-image P2 below the main image P1 in the second lower region Ar2D below the first region Ar1 in the display screen W1. To do. Further, for example, the sub-images P6 and P7 are related to the main image P8 and are display in-vivo images that are chronologically prior to the main image P8. Further, there are two sub-images associated with the main image P8 and temporally preceding the main image P8. For this reason, as shown in FIG.
  • the display control unit 454 displays the sub-image P7 that is closest in time series to the main image P8 in the second upper area Ar2U that is above the first area Ar1 in the display screen W1. It is arranged above the main image P8, and the sub-image P6 is not arranged in the display screen W1.
  • the display control unit 454 performs the above processing in FIG.
  • the sub-images P3, P7, and P11 are arranged above the main images P4, P8, and P12 (second upper region Ar2U) in the display screen W1, respectively, and the main images P1, P4, and P8 in the display screen W1.
  • P13, sub-images P2, P5, P9, and P14 are respectively arranged on the lower side (second lower region Ar2D).
  • the display control unit 454 prompts the display of the display in-vivo image. Place the play icon on the display screen. For example, in the example shown in FIG. 4, the sub image P6 associated with the main image P8, the sub image P10 associated with the main image P12, and the sub image P15 associated with the main image P13 are arranged in the display screen W1. It has not been.
  • the display control unit 454 places the sub-images at the positions where the sub-images P6, P10, and P15 should be arranged in the display screen W1 (the upper side of the sub-images P7 and P11, the lower side of the sub-image P14).
  • Reproduction icons As that prompt the display of P6, P10, and P15 are respectively arranged.
  • the main image of six frames or more in the main image group is not arranged in the display screen W1.
  • the display control unit 454 reproduces the display icon that prompts the display of the main image after the 6th frame at the position (right side of the main image P13) where the main image after the 6th frame should be arranged in the display screen W1.
  • Place Am The reproduction icons Am and As described above correspond to the presence information according to the present invention.
  • the display control unit 454 causes the display unit 44 to display the generated display screen W1 (step S7).
  • Steps S6 and S7 described above correspond to the display step according to the present invention.
  • the display control unit 454 determines whether or not a reproduction operation has been performed by a user operation on the input unit 43 (step S8).
  • the reproduction operation is an operation of positioning the mouse cursor at the display position of the reproduction icons As and Am and clicking the mouse button.
  • step S8: No the display control unit 454 continues to display the display screen W1 in step S7.
  • step S8: Yes the display control unit 454 changes (scrolls) the display screen W1 as described below (step S9: display change step).
  • 5 and 6 are diagrams illustrating an example of screen transition of the display screen W1 in step S9.
  • 5 and 6 show screen transitions of the display screen W1 shown in FIG. 4 (FIGS. 5A and 6A are the same as FIG. 4), and FIG. 5 shows the reproduction icon Am.
  • FIG. 6 shows a case where the reproduction icon As is operated. Specifically, when the playback icon Am arranged at the left end or the right end in the display screen W1 is operated, the display control unit 454 moves the main image and the sub image together in the right direction or the left direction. In this manner, the display screen W1 is scrolled.
  • the display control unit 454 displays the display screen W1 in FIG.
  • the main images P1, P4, P8, P12, and P13 and the sub-images P2, P3, P5, P7, P9, P11, and P14 are integrally generated to sequentially generate the display screen W1.
  • the display control unit 454 gradually shifts the main image P1 and the sub-image P2 associated with the main image P1 from the left side of the display screen W1, and the main image P13 which is later in time series with respect to the main image P13.
  • the display screen W1 in which the image P19 and the sub-images P18 and P20 associated with the main image P19 gradually appear from the right side of the display screen W1 is generated.
  • the display control unit 454 sequentially displays the generated display screens W1 of FIGS. 5B, 5C, and 5D on the display unit 44 in accordance with the display frame rate of the display unit 44. Display.
  • each display screen W1 is sequentially displayed on the display unit 44, whereby the display screen W1 is scrolled in such a manner that the main image and the sub image smoothly move to the left side.
  • the display control unit 454 causes the main image and the sub image to be integrated upward or downward (first).
  • the display screen W1 is scrolled in such a manner that the display screen W1 moves in a direction along a second direction orthogonal to the direction of the first direction.
  • the display control unit 454 displays As shown in FIG.
  • the display control unit 454 gradually moves the sub-images P2, P5, P9, and P14 arranged on the lower side of the display screen W1 from the lower side of the display screen W1, and the main image on the display screen W1.
  • a display screen W1 in which the sub-images P6 and P10 that are associated with P8 and P12 but have not been arranged in the display screen W1 gradually appear from the upper side of the display screen W1 is generated.
  • the display control unit 454 sequentially transfers the generated display screens W1 of FIGS. 6B, 6C, and 6D to the display unit 44 according to the display frame rate of the display unit 44. Display.
  • each display screen W1 is sequentially displayed on the display unit 44, whereby the display screen W1 is scrolled in such a manner that the main image and the sub-image move smoothly downward.
  • the display control unit 454 moves the display screen W1 while the display screen W1 is being scrolled.
  • the reproduction icons Am and As are not arranged.
  • FIG. 7 is a diagram representing step S9 virtually.
  • in-vivo images P1 to P71 for display from the first frame to the 71st frame are shown.
  • Step S9 described above can be virtually represented as shown in FIG.
  • the main images P1, P4, P8, P12, P13, P19, P33, P40, P51, P57, and P71 are arranged in time series with a predetermined gap along the first direction D1.
  • a virtual screen W1 ′ that is arranged and arranged in time series with a predetermined gap along the second direction D2 so that the sub-images associated with the main image are aligned with the main image.
  • step S9 described above the image area FAr is moved along the first direction D1 or the second direction D2 on the virtual screen W1 ′ in accordance with the operation of the reproduction icons Am and As, and within the image area FAr.
  • a part of the virtual screen W1 ′ (main image or sub-image) positioned at the position is displayed on the display unit 44 as the display screen W1.
  • all images of the main image and the sub image arranged in the display screen W1 have the same image size.
  • step S ⁇ b> 10 the display control unit 454 determines whether or not a stop operation has been performed by a user operation on the input unit 43 (step S ⁇ b> 10).
  • the stop operation is an operation of clicking a mouse button while the display screen W1 is scrolling in step S9.
  • step S10: No the display control unit 454 determines whether there is a main image or a sub image to be displayed by scrolling the display screen W1 (step S11). If it is determined that there is still a main image or sub-image to be displayed (step S11: Yes), the display control unit 454 proceeds to step S9 and continues scrolling the display screen W1.
  • step S10 Yes
  • step S11 No
  • step S12 the display control unit 454 displays the display screen W1.
  • step S12 FIGs illustrating an example of the display screen W1 displayed on the display unit 44 in step S12.
  • FIG. 8 shows a display displayed on the display unit 44 when the mouse click operation is performed in the state shown in FIG. 5D when the display screen W1 is scrolling along the first direction D1.
  • Screen W1 is shown.
  • FIG. 9 shows the display screen W1 displayed on the display unit 44 when there is no more sub-image to be displayed as a result of scrolling the display screen W1 along the second direction D2 (the state shown in FIG. 6D). Show.
  • the display control unit 454 performs the click operation as shown in FIG. A display screen W1 in which the reproduction icons Am and As are arranged on the display screen W1 displayed on the display unit 44 at the time is generated, and the display screen W1 is displayed on the display unit 44.
  • the sub image P6 associated with the main image P8 the sub image P10 associated with the main image P12, the sub image P15 associated with the main image P13, and the sub image associated with the main image P19.
  • P16, P17, P21 to P25 are not arranged in the display screen W1. Therefore, as shown in FIG.
  • the display control unit 454 displays the positions (sub-images P7, P11, and P18) where the sub-images P6, P10, P15 to P17, and P21 to P25 should be arranged in the display screen W1.
  • Reproduction icons As for prompting the display of the sub-images P6, P10, P15 to P17, and P21 to P25 are respectively arranged on the upper side of the sub-images P14 and P20.
  • the first frame in the main image group and the main image after the seventh frame are not arranged in the display screen W1. For this reason, as shown in FIG.
  • the display control unit 454 causes the first frame in the display screen W1 and the positions where the main images after the seventh frame should be arranged (the left side of the main image P4 and the main image P19). On the right side), reproduction icons Am for prompting the display of the first frame and the main image after the seventh frame are arranged.
  • the display control unit 454 displays the sub-image to be displayed further as shown in FIG. A display screen W1 in which the reproduction icons Am and As are arranged on the display screen W1 displayed on the display unit 44 until there is no image is generated, and the display screen W1 is displayed on the display unit 44.
  • the sub image P2 associated with the main image P1 the sub image P5 associated with the main image P4, the sub image P9 associated with the main image P8, and the sub image associated with the main image P13. P14 and P15 are not arranged in the display screen W1. Therefore, as shown in FIG.
  • the display control unit 454 displays the positions (main images P1, P4, P8, P13) where the sub-images P2, P5, P9, P14, and P15 should be arranged in the display screen W1.
  • the reproduction icons As for prompting the display of the sub-images P2, P5, P9, P14, and P15 are respectively arranged on the lower side.
  • the main image of six frames or more in the main image group is not arranged in the display screen W1.
  • the display control unit 454 displays the main image after the 6th frame at a position (right side of the main image P13) where the main image after the 6th frame is to be arranged in the display screen W1.
  • a reproduction icon Am that prompts the display of is arranged.
  • step S ⁇ b> 12 the control unit 45 determines whether or not an instruction to end the display of the in-vivo image is given by a user operation on the input unit 43 (step S ⁇ b> 13).
  • step S13: No the controller 45 proceeds to step S8.
  • step S13: Yes the control unit 45 ends the present process (in-vivo image display process).
  • the image display device 4 according to the first embodiment described above includes the image extraction unit 451. For this reason, a bleeding part, a lesion, and the like in the subject 100 are imaged from an in-vivo image group (a display in-vivo image group processed by the image processing unit 452) captured in time series by the capsule endoscope 2. It is possible to extract a unique image as a main image.
  • the image display device 4 according to the first embodiment includes a display control unit 454. For this reason, a doctor or the like can observe the display screen W1 in which the main image group including the unique image is arranged in time series along the first direction D1.
  • the display screen W1 is scrolled in such a manner that the main image group moves along the first direction D1, even when there are few unique images (for example, only one frame), the display time of the particular image (when scrolling) The time during which the user moves through the display screen is relatively long, and doctors and the like can easily find the unique image. Furthermore, even if a unique image is not extracted as the main image, the doctor or the like finds the unique image because it is arranged as a sub-image in the second upper and lower areas Ar2U and Ar2D in the display screen W1. Is possible.
  • the image display device 4 according to the first embodiment even when there are few specific images included in the in-vivo image group captured in time series by the capsule endoscope 2, the specific display is performed. There is an effect that it is possible to display the display screen W1 in which an image can be easily found.
  • the image display device 4 includes an image association unit 453 that associates a sub-image that has not been extracted by the image extraction unit 451 with the main image having the latest frame number of the sub-image.
  • the display control unit 454 arranges the sub image group in the second upper and lower regions Ar2U and Ar2D
  • the display associating unit 453 sets the second upper and lower regions Ar2U, Ar for each sub image associated with the main image.
  • Ar2D is arranged. That is, the sub-images associated with the main image are collectively arranged in the second upper and lower areas Ar2U and Ar2D.
  • the doctor or the like summarizes the second upper and lower regions Ar2U and Ar2D.
  • the doctor or the like summarizes the second upper and lower regions Ar2U and Ar2D.
  • the display control unit 454 causes the second image orthogonal to the first direction D1 to align the sub-image associated with the main image by the image association unit 453 with the main image.
  • the sub-image associated with the main image has a sub-image captured when it is close in time (close to the frame number) with respect to the main image, and is arranged in the immediate vicinity of the main image, and is separated in time ( The sub-image captured when the frame number is distant) is arranged at a position distant from the main image.
  • the in-vivo image for display (main image) that is likely to be a unique image can be arranged at the position (center position in the vertical direction) that is most easily observed by a doctor or the like on the display screen W1. Further, the in-display image (sub-image) that is unlikely to be a peculiar image can be arranged at a position away from the vertical center position in the display screen W1. For this reason, a doctor or the like can find a unique image more quickly.
  • the display control unit 454 scrolls the display screen W1 along the first direction D1, and also scrolls the display screen W1 along the second direction D2 in which the sub-image is arranged. To do. For this reason, when a doctor or the like finds a main image having a portion to be concerned about and a part of the sub-image associated with the main image is not arranged in the display screen W1, the input is performed. By operating the unit 43, the display screen W1 can be scrolled along the second direction D2, and all of the sub-images associated with the main image can be confirmed.
  • FIG. 10 is a diagram showing a modification of the first embodiment of the present invention.
  • FIG. 10 shows a screen transition of the display screen W1 shown in FIG. 4 (display screen W1 displayed in step S7 shown in FIG. 3) when the reproduction icon As is operated (FIG. 10).
  • A is the same figure as FIG. 4).
  • the display control unit 454 integrates all the main images and sub-images arranged on the display screen W1 along the second direction D2.
  • the display screen W1 is scrolled in such a manner that the display screen W1 moves.
  • the display control unit 454 is a mode in which only the main image and the sub image arranged in the same row as the operated reproduction icon As are moved upward or downward (direction along the second direction).
  • the display screen W1 may be scrolled.
  • the display control unit 454 displays As shown in FIGS. 10 (b) to 10 (d), the images P1 to P5 and P11 to P14 arranged in a column different from the reproduction icon As do not move, and the same column as the reproduction icon As.
  • the display controller 454 gradually moves the sub-image P9 arranged on the lower side of the display screen W1 from the lower side of the display screen W1, and is associated with the main image P8 on the display screen W1.
  • a display screen W1 in which the sub-image P6 that has not been arranged in the display screen W1 gradually appears from the upper side of the display screen W1 is generated.
  • the display control unit 454 causes the display unit 44 to sequentially display the generated display screens W1 of FIGS. 10B to 10D according to the display frame rate of the display unit 44.
  • each display screen W1 is sequentially displayed on the display unit 44, so that the display screen W1 is scrolled in such a manner that the main image P8 and the sub-images P6, P7, and P9 in a row smoothly move downward. It becomes.
  • the display control unit 454 does not arrange the reproduction icons Am and As in the display screen W1 while the display screen W1 is scrolled.
  • the main image and the sub image of all the columns described in the first embodiment described above can be obtained. Compared with the aspect of moving together, it is possible to grasp at a glance the position where the in-display image to be confirmed is arranged. Also, the main image (display in-vivo image that is likely to be a unique image) arranged in a column different from the operated reproduction icon As is always arranged on the display screen W1 during the scrolling. be able to.
  • the display control unit 454 sets all the main and sub images arranged in the display screen W1 to have the same image size.
  • the image sizes of the main image and the sub image arranged in the display screen W1 are different.
  • the configuration of the image display system according to the second embodiment is the same as that of the first embodiment described above.
  • only the image sizes of the main image and the sub image in the display screen W1 according to the second embodiment will be described.
  • FIG. 11 is a diagram showing an example of the display screen W1 generated by the display control unit 454 according to Embodiment 2 of the present invention.
  • FIG. 11 shows the display screen W1 generated in step S6 shown in FIG.
  • the display control unit 454 according to the second embodiment generates a display screen W1 in which the image size of the sub image is smaller than that of the main image.
  • the display control unit 454 assumes that the image sizes of the main images are all the same, and the image sizes of the sub images are also the same.
  • the display control unit 454 changes the image sizes of the sub-images P2, P3, P5 to P7, P9 to P11, P14, and P15 to the main images P1, P4, P8, P12, as shown in FIG.
  • a display screen W1 smaller than P13 is generated.
  • the image sizes of the main image and the sub image are only different from those in the first embodiment, and the arrangement of the main image and the sub image in the display screen W1 and the display screen W1
  • the method of scrolling is the same as in Embodiment 1 described above.
  • the display control unit 454 generates a display screen W1 in which the image size of the sub image is smaller than that of the main image. For this reason, the main image that is likely to be a unique image is displayed larger than the sub image that is unlikely to be the main image, so that the main image can be noticed. It will be easy.
  • Embodiment 3 Next, a third embodiment of the present invention will be described.
  • the same reference numerals are given to the same configurations and steps as those in the second embodiment described above, and the detailed description thereof is omitted or simplified.
  • the third embodiment is different from the second embodiment described above in that information indicating the number of main images and sub-images that are not arranged in the display screen W1 is arranged in the display screen W1. .
  • the configuration of the image display apparatus according to Embodiment 3 is the same as that of Embodiment 2 described above. Below, only the said information arrange
  • FIG. 12 is a diagram showing an example of the display screen W1 generated by the display control unit 454 according to Embodiment 3 of the present invention.
  • FIG. 12 shows the display screen W1 generated in step S6 shown in FIG.
  • the display control unit 454 according to the third embodiment does not scroll the display screen W1 (steps S6 and S12 illustrated in FIG. 3) and stores information (main image group and sub image) stored in the memory unit 42. Group and related information). Further, the display control unit 454 is arranged on the main image group or sub-image group stored in the memory unit 42 based on the information, the main image not arranged in the display screen W1, or the display screen W1. The number of sub-images associated with the main image but not arranged in the display screen W1 is recognized. Then, the display control unit 454 arranges information indicating the number at a position adjacent to the reproduction icons Am and As in the display screen W1.
  • the display control unit 454 performs time series subsequent to the main image other than the main images P1, P4, P8, P12, and P13 arranged on the display screen W1 based on the above information. It is recognized that the number of frames of the main image is “12574”. Then, the display control unit 454 arranges the number “12574” at a position adjacent to the rightmost reproduction icon Am in the display screen W1.
  • the display control unit 454 arranges the number “12574” at a position adjacent to the rightmost reproduction icon Am in the display screen W1.
  • the display control unit 454 does not arrange information indicating the number of the sub-images or the reproduction icon As in the display screen W1.
  • the information indicating the number corresponds to the presence information according to the present invention.
  • the third embodiment is different from the second embodiment described above only in that the information indicating the number is arranged in the display screen W1, and the arrangement of the main image and the sub image in the display screen W1.
  • the method of scrolling the display screen W1 is the same as in the second embodiment.
  • the display control unit 454 does not arrange the main image (sub image) included in the main image group (sub image group) in the display screen W1 when not arranged.
  • Information indicating the number of images (sub-images) is included in the display screen W1. For this reason, doctors and the like determine how long it takes to confirm all the main images (sub-images) by scrolling the display screen W1 from the information indicating the number displayed on the display screen W1. Can be predicted.
  • the display control unit 454 sets the image sizes of the main images and the sub images to be the same, and sets the image sizes of the main images to be the same, and also sets the image sizes of the sub images to be the same. It was.
  • the image size of each main image and the image size of each sub-image are also different.
  • the configuration of the image display system according to the fourth embodiment is the same as that of the second embodiment described above. Hereinafter, only the image sizes of the main image and the sub image in the display screen W1 according to the fourth embodiment will be described.
  • FIG. 13 is a diagram showing an example of the display screen W1 generated by the display control unit 454 according to Embodiment 4 of the present invention.
  • FIG. 13 shows the display screen W1 generated in step S6 shown in FIG.
  • the display control unit 454 according to the fourth embodiment has the largest image size of the main image at the center position of the display screen W1, and the image size of each main image arranged other than the center position is changed from the center position to the A smaller display screen W1 is generated as the length to the arrangement position of each main image becomes longer.
  • the display control unit 454 sets the image size of the sub-image to the length from the position where the main image is arranged to the arrangement position of the sub-image. A longer display screen W1 is generated as the length increases.
  • step S6 the display control unit 454 maximizes the image size of the main image P8 arranged at the center position of the display screen W1, and each main image arranged on the left and right of the main image P8.
  • the display control unit 454 sets the image size of each of the sub-images P7, P9 arranged above and below the main image P8.
  • Display screen W1 in which the image size of the sub image P6 arranged on the sub image P7 is smaller than that of the sub image P7 is generated.
  • the relationship between the image sizes of the other main image P1 and sub-image P2, main image P4 and sub-images P3 and P5, main image P12 and sub-images P10 and P11, main image P13 and sub-images P14 and P15 is This is the same as the image size relationship of the sub-images P6, P7, and P9.
  • the image sizes of the main image and the sub image are only different from those of the second embodiment described above.
  • the arrangement of the main image and the sub image in the display screen W1 and the display screen W1 The method of scrolling is the same as in the second embodiment described above.
  • the display control unit 454 generates a display screen W1 in which the sub-image size in the second upper and lower regions Ar2U and Ar2D is smaller as the sub-image arrangement position is further away from the first region Ar1. To do. Therefore, by reducing the image size of the in-display image (sub-image) that is unlikely to be a peculiar image, attention is paid to the in-display image (main image) that is likely to be a peculiar image. This makes it easier for doctors and the like to find unique images.
  • the display control unit 454 arranges the main image group in the first area Ar1 including the center position of the display screen W1, and the arrangement position of the main image in the first area Ar1 is determined from the center position.
  • a display screen W1 in which the image size of the main image is smaller as the distance is increased is generated. For this reason, the image size of the in-vivo image for display arranged at the position where the doctor or the like in the display screen W1 is most focused (the center position of the display screen W1) is maximized, and the position where the doctor or the like is difficult to focus on (the display screen W1).
  • the image size of the in-vivo image for display arranged at the outer edge side position can be minimized. Therefore, the display screen W1 is easy for a doctor or the like to observe the in-display image.
  • FIG. 14 is a diagram showing an example of screen transition of the display screen W1 by the display control unit 454 according to Embodiment 5 of the present invention.
  • FIG. 14 shows a screen transition of the display screen W1 shown in FIG. 4 (display screen W1 displayed in step S7 shown in FIG. 3) when the reproduction icon Am is operated (FIG. 14).
  • (A) is the same figure as FIG. 4).
  • the display control unit 454 according to the fifth embodiment does not display (display) the sub image group.
  • the display screen W1 is scrolled in such a manner that the main image group is moved leftward or rightward.
  • the display control unit 454 displays the display screen W1 in FIG. b) to FIG. 14D, the main images P1, P4, P8, P12, and P13 are integrated into the left side without arranging the sub-image group in the second upper and lower regions Ar2U and Ar2D.
  • the display screen W1 in the moving mode is sequentially generated.
  • the display control unit 454 causes the display unit 44 to sequentially display the generated display screens W1 of FIGS. 14B to 14D in accordance with the display frame rate of the display unit 44.
  • FIG. 15 is a diagram showing an example of the display screen W1 generated by the display control unit 454 according to Embodiment 5 of the present invention.
  • FIG. 15 shows the display screen W1 when the stop operation is performed in the state shown in FIG. 14D (step S10: Yes shown in FIG. 3). Further, the display control unit 454 displays a display when there is a stop operation (step S10: Yes shown in FIG. 3) or when there is no main image to be displayed any more (step S11: No shown in FIG. 3). The scrolling of the screen W1 is stopped.
  • the display control unit 454 is the same as in the first embodiment described above in which the reproduction icons Am and As and the sub-image associated with the main image are arranged on the display screen W1 displayed on the display unit 44 at the time of the stop.
  • a display screen W1 (FIGS. 8 and 15) is generated, and the display screen W1 is displayed on the display unit 44.
  • the display control unit 454 does not arrange the sub-image group on the display screen W1 during the scrolling of the display screen W1 along the first direction D1, and the display screen W1 when the scrolling is stopped. A sub-image group is arranged in. For this reason, while scrolling the display screen W1 along the first direction D1 in which the main image group is arranged, the sub-image group that does not require attention from the doctor or the like is hidden, and only the main image group is noticed. It is possible to effectively find a unique image.
  • FIG. 16 is a diagram showing an example of the display screen W1 generated by the display control unit 454 according to Embodiment 6 of the present invention.
  • FIG. 16 shows the display screen W1 generated in step S6 shown in FIG.
  • the display control unit 454 according to the sixth embodiment converts main images P1, P4, P8, P12, and P13 in the display screen W1 into sub-images P2, P3, P5 to P7, and P9 to In order to identify P11 and P14, a display screen W1 in which the outer edges of the main images P1, P4, P8, P12, and P13 are emphasized by a thick frame or the like is generated.
  • the display control unit 454 is not limited to the display screen W1 generated in step S6, and when the display screen W1 is scrolled (step S9 shown in FIG. 3) or the scrolling. 3 is generated (step S12 shown in FIG. 3), the display screen W1 in which each outer edge of each main image is emphasized by a thick frame or the like is generated.
  • the display control unit 454 generates a display screen W1 in which the main image is emphasized with respect to the sub image. For this reason, it is possible to draw attention to the main image by highlighting the main image that is likely to be a peculiar image with respect to the sub image that is unlikely to be a peculiar image. It will be easier to find.
  • the display control unit 454 generates the display screen W1 in which the main image and the sub image are arranged while leaving a predetermined gap.
  • the seventh embodiment there is no gap between the main image and the sub image in the display screen W1.
  • the configuration of the image display system according to the seventh embodiment is the same as that of the first embodiment described above.
  • the display screen W1 according to the seventh embodiment will be described.
  • FIG. 17 is a diagram for explaining a method of generating the display screen W1 according to Embodiment 7 of the present invention.
  • the in-vivo image P for display is not a rectangular shape, but an octagonal image having no pixel data (pixel values) in the rectangular corner areas C1 to C4. For this reason, even if an attempt is made to arrange the main image and the sub-image without any gaps in the display screen W1, gaps are generated in the areas C1 to C4.
  • the image processing unit 452 for each display in-vivo image P included in the display in-vivo image group, is a region symmetrical to the four corner regions C1 to C4 with respect to the boundary lines B1 to B4. Pixels included in C1 ′ to C4 ′ are extracted, and pixel values of those pixels are acquired.
  • the boundary lines B1 to B4 mean boundaries that respectively divide the four corner areas C1 to C4 from the in-display-image P. Then, the image processing unit 452 interpolates the corresponding four corner areas C1 to C4 using the pixel values of the pixels in the acquired areas C1 ′ to C4 ′.
  • the pixel value of an arbitrary interpolation pixel in the region C1 is applied as the pixel value of an arbitrary interpolation pixel in the region C1 .
  • the other regions C2 to C4 are the same as the region C1 described above.
  • FIG. 18 is a diagram virtually representing the display screen W1 generated by the display control unit 454 according to Embodiment 7 of the present invention.
  • FIG. 18 similarly to FIG. 7, display in-vivo images P1 ′ to P71 ′ in which the four corner areas C1 to C4 from the first frame to the 71st frame are interpolated are illustrated.
  • the display control unit 454 according to the seventh embodiment generates a display screen W1 in which the display in-vivo images P ′ interpolated by the image processing unit 452 are arranged without gaps, and the display screen W1 is displayed on the display unit 44. To display.
  • the display screen W1 generated by the display control unit 454 is virtually expressed, the display screen W1 is displayed as an in-vivo image P ′ (in-vivo image for display in FIG. 18) as shown in FIG. (Only P1 ′ to P71 ′ are illustrated) is a part of the virtual screen W1 ′ arranged without a gap.
  • the seventh embodiment is different from the first embodiment described above in that the main image and the sub image are arranged without a gap, and the arrangement and display of the main image and the sub image on the display screen W1.
  • the method of scrolling the screen W1 is the same as that in the first embodiment.
  • the display control unit 454 generates a display screen W1 in which there is no gap between each main image included in the main image group and each sub image included in the sub image group. For this reason, when there is a gap between the main image and the sub-image in the display screen W1, the doctor or the like has to follow each image with his eyes, but there is a gap between the main image and the sub-image in the display screen W1. Therefore, it is possible to look down on the entire main image and sub-image arranged without the gap. Therefore, the display screen W1 is easy for a doctor or the like to observe the in-display image.
  • the image display device 4 acquires the in-vivo image group captured in time series by the capsule endoscope 2 using the recording medium 5 and the reader / writer 41. Not limited to this.
  • the in-vivo image group is stored in advance in a separately installed server.
  • the image display device is provided with a communication unit that communicates with the server.
  • the image display device may acquire the in-vivo image group by communicating with the server through the communication unit.
  • the image acquisition unit according to the present invention corresponds to the communication unit.
  • the threshold value relating to the similarity between consecutive in-vivo images is used as the image extraction condition, but this is not a limitation.
  • a threshold relating to a predetermined color level of red or other color in the in-vivo image a threshold relating to the average color level of the in-vivo image, or a predetermined color spread level (predetermined color in the in-vivo image).
  • the threshold value regarding the number of pixels may be adopted.
  • the image processing unit 452 performs red or other color in the in-vivo image described above for each in-display image based on the color information of each in-display image.
  • the predetermined color level, the average color level of the in-vivo image, or the spread level of the predetermined color in the in-vivo image is calculated.
  • the image display device when a main image is extracted from the display in-vivo image group, an extraction method different from that of the first to seventh embodiments described above may be employed.
  • the image display device control unit
  • the image display device is likely to have a region of interest (a bleeding part, a lesion, or the like) from the display in-vivo image based on the color feature amount or texture feature amount of the pixel of the display in-vivo image. Area).
  • the image display device (control unit) compares the attention areas of the in-vivo images that are continuous in time series, and compares the similarity (an index indicating the similarity of the comparison target area) and the difference (comparison target area).
  • the image display device extracts a display in-vivo image having a predetermined similarity, dissimilarity, movement amount, or statistic as a main image. 2010-142287).
  • the display screen W1 is scrolled when the playback icons Am and As are operated by a user operation.
  • the present invention is not limited to this.
  • the display screen W1 may be scrolled in the moving direction of the mouse.
  • the scrolling speed of the display screen W1 (moving speed of the main image or the like) may be changed according to the moving speed of the mouse (the faster the moving speed of the mouse, the faster the scrolling speed).
  • FIG. 19 is a diagram showing a modification of the first to seventh embodiments of the present invention.
  • the sub-images associated with the main image are arranged in time series along the second direction D2 orthogonal to the first direction D1 so as to be aligned with the main image.
  • a main image and a sub image may be arranged as shown in FIG.
  • the arrangement relationship between the main image P33 shown in FIG. 19 and the sub-images P26 to P32 and P34 to P36 associated with the main image P33 will be described.
  • two sub-images with an upper limit close to the frame number with respect to the main image P33 in the case of FIG.
  • sub-images P31 and P32 and sub-images P34 and P35 are arranged in the first direction on the upper side and the lower side of the main image P33 with an image size smaller than the image size of the main image P33.
  • four sub-images at the upper limit before and after the first sub-image in time series are arranged side by side in the first direction on the upper side and the lower side of the first sub-image with an image size smaller than that of the first sub-image.
  • the second sub-image eight sub-images at the upper limit before and after the second sub-image in time series (in the case of FIG. 19, only the sub-image P26, hereinafter referred to as the third sub-image) are represented as the second sub-image.
  • the third sub-image When there are images before and after the third sub-image in time series, they are arranged in the same manner as the arrangement method of the first to third sub-images.
  • the arrangement relationship between the other main image shown in FIG. 19 and the sub-image associated with the main image is the same as that of the main image P33 and the sub-images P26 to P32 and P34 to P36 associated with the main image P33. This is the same as the arrangement relationship.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)

Abstract

 画像表示装置4は、取得された画像群から所定の条件を満たす主画像を含む主画像群を抽出する画像抽出部451と、主画像群に含まれる主画像毎に、画像抽出部451にて抽出されなかった副画像を関連付ける画像関連付け部453と、第1領域に主画像群を配置し、第1領域とは異なる第2領域に副画像を含む副画像群を配置した表示画面を生成し、当該表示画面を表示部44に表示させる表示制御部454とを備える。主画像群は、第1の方向に沿って時系列で第1領域に配置される。副画像群は、画像関連付け部453にて主画像に関連付けられた副画像毎に、当該主画像と並ぶように、第1の方向に直交する第2の方向に沿って時系列で第2領域に配置される。表示制御部454は、第1の方向に沿って主画像群が移動する態様、並びに、第2の方向に沿って主画像群の少なくとも一部、及び副画像群の少なくとも一部が移動する態様で表示画面を変更する。

Description

画像表示装置、画像表示方法、及び画像表示プログラム
 本発明は、表示画面を表示する表示部を備えた画像表示装置、画像表示方法、及び画像表示プログラムに関する。
 従来、被検体内を撮像するカプセル型内視鏡を用いて、被検体内部の体内画像を取得し、当該体内画像を医師等に観察させるカプセル型内視鏡システムが提案されている(例えば、特許文献1,2参照)。
 カプセル型内視鏡は、観察(検査)のために被検体の口から飲み込まれた後、自然排出されるまでの間、体腔内、例えば胃、小腸等の臓器の内部をその蠕動運動に従って移動し、当該移動に伴い、所定時間毎に被検体内を撮像する。また、カプセル型内視鏡は、体腔内を移動する間、体内で撮像した画像データを順次、無線通信により外部に送信する。
 そして、カプセル型内視鏡システムは、上記カプセル型内視鏡の他、受信装置と、画像表示装置とを備える。
 受信装置は、カプセル型内視鏡から送信された画像データを順次、受信するとともに、当該受信装置に挿着された可搬型の記録媒体に順次、記録させる。
 画像表示装置は、当該画像表示装置に上記可搬型の記録媒体が挿着された際に、当該記録媒体に記録された画像データを取り込む。そして、画像表示装置は、取り込んだ画像データに対応する体内画像を1フレームずつ切り替えて表示(コマ再生)する。
 医師等は、上記のように表示された体内画像を確認することで、被検体を診断する。
特開2006-288612号公報 特許第5385138号公報
 しかしながら、特許文献1,2に記載の技術では、被検体内の出血部や病変等が撮像されている特異な画像が少ない(例えば1フレームのみ)場合、表示される体内画像が1フレームずつ順次、切り替わるため、医師等は、特異な画像が表示されていることに気付かずに再生を続けてしまう虞がある。
 本発明は、上記に鑑みてなされたものであって、時系列で取得された画像群に含まれる特異な画像が少ない場合でも、当該特異な画像を見付け易い表示画面を表示することができる画像表示装置、画像表示方法、及び画像表示プログラムを提供することにある。
 上述した課題を解決し、目的を達成するために、本発明に係る画像表示装置は、表示画面を表示する表示部を備えた画像表示装置において、時系列で取得された複数の画像を含む画像群を取得する画像取得部と、前記画像取得部にて取得された前記画像群から所定の条件を満たす主画像を含む主画像群を抽出する画像抽出部と、前記主画像群に含まれる前記主画像毎に、前記画像群のうち前記画像抽出部にて抽出されなかった副画像を関連付ける画像関連付け部と、第1領域に前記主画像群を配置し、前記第1領域とは異なる第2領域に前記副画像を含む副画像群を配置した表示画面を生成し、当該表示画面を前記表示部に表示させる表示制御部とを備え、前記主画像群は、第1の方向に沿って時系列で前記第1領域に配置され、前記副画像群は、前記画像関連付け部にて前記主画像に関連付けられた副画像毎に、当該主画像と並ぶように、前記第1の方向に直交する第2の方向に沿って時系列で前記第2領域に配置され、前記表示制御部は、前記第1の方向に沿って前記主画像群が移動する態様、並びに、前記第2の方向に沿って前記主画像群の少なくとも一部、及び前記副画像群の少なくとも一部が移動する態様で前記表示画面を変更することを特徴とする。
 また、本発明に係る画像表示装置は、上記発明において、前記画像関連付け部は、前記副画像を当該副画像に対して時系列的に直近の前記主画像に関連付けることを特徴とする。
 また、本発明に係る画像表示装置は、上記発明において、前記表示制御部は、前記副画像の画像サイズが前記主画像よりも小さい前記表示画面を生成することを特徴とする。
 また、本発明に係る画像表示装置は、上記発明において、前記表示制御部は、前記第2領域における前記副画像の配置位置が前記第1領域から離間するほど当該副画像の画像サイズが小さい前記表示画面を生成することを特徴とする。
 また、本発明に係る画像表示装置は、上記発明において、前記表示制御部は、前記表示画面の中心位置を含む前記第1領域に前記主画像群を配置し、前記第1領域における前記主画像の配置位置が前記中心位置から離間するほど当該主画像の画像サイズが小さい前記表示画面を生成することを特徴とする。
 また、本発明に係る画像表示装置は、上記発明において、前記第1の方向に沿って前記主画像群が移動する態様での前記表示画面の変更の開始指示、及び、前記第1の方向に沿って前記主画像群が移動する態様での前記表示画面の変更の停止指示を受け付ける指示受付部を備え、前記表示制御部は、前記指示受付部が前記開始指示を受け付けた場合には、前記第2領域に前記副画像群を配置せずに、前記第1の方向に沿って前記主画像群が移動する態様で前記表示画面を順次、生成し、前記指示受付部が前記停止指示を受け付けた場合には、前記第2領域に前記副画像群を配置するとともに、前記主画像群の移動を停止させた態様で前記表示画面を生成することを特徴とする。
 また、本発明に係る画像表示装置は、上記発明において、前記表示制御部は、前記主画像群に含まれる各前記主画像、及び前記副画像群に含まれる各前記副画像の間に隙間がない前記表示画面を生成することを特徴とする。
 また、本発明に係る画像表示装置は、上記発明において、前記表示制御部は、前記副画像に対して前記主画像を強調した前記表示画面を生成することを特徴とする。
 また、本発明に係る画像表示装置は、上記発明において、前記表示制御部は、前記表示画面内に前記主画像群に含まれる前記主画像の全てを配置していない場合に、配置していない前記主画像が存在することを示す存在情報を前記表示画面に含めることを特徴とする。
 また、本発明に係る画像表示装置は、上記発明において、前記表示制御部は、前記表示画面内に前記副画像群に含まれる前記副画像の全てを配置していない場合に、配置していない前記副画像が存在することを示す存在情報を前記表示画面に含めることを特徴とする。
 また、本発明に係る画像表示装置は、上記発明において、前記存在情報は、前記配置していない前記主画像または前記副画像の数を示す情報であることを特徴とする。
 また、本発明に係る画像表示方法は、表示画面を表示する表示部を備えた画像表示装置が行う画像表示方法において、時系列で取得された複数の画像を含む画像群を取得する画像取得ステップと、前記画像取得ステップで取得した前記画像群から所定の条件を満たす主画像を含む主画像群を抽出する画像抽出ステップと、前記主画像群に含まれる前記主画像毎に、前記画像群のうち前記画像抽出ステップで抽出しなかった副画像を関連付ける画像関連付けステップと、第1領域に前記主画像群を配置し、前記第1領域とは異なる第2領域に前記副画像を含む副画像群を配置した表示画面を生成し、当該表示画面を前記表示部に表示させる表示ステップと、前記表示画面を変更する表示変更ステップとを含み、前記表示ステップでは、前記主画像群を第1の方向に沿って時系列で前記第1領域に配置し、前記副画像群を前記画像関連付けステップで前記主画像に関連付けた副画像毎に、当該主画像と並ぶように、前記第1の方向に直交する第2の方向に沿って時系列で前記第2領域に配置し、前記表示変更ステップでは、前記第1の方向に沿って前記主画像群が移動する態様、並びに、前記第2の方向に沿って前記主画像群の少なくとも一部、及び前記副画像群の少なくとも一部が移動する態様で前記表示画面を変更することを特徴とする。
 また、本発明に係る画像表示プログラムは、上述した画像表示方法を画像表示装置に実行させることを特徴とする。
 本発明に係る画像表示装置によれば、時系列で取得された画像群に含まれる特異な画像が少ない場合でも、当該特異な画像を見付け易い表示画面を表示することができる、という効果を奏する。
 本発明に係る画像表示方法は、上述した画像表示装置が行う方法であるため、上述した画像表示装置と同様の効果を奏する。
 本発明に係る画像表示プログラムは、上述した画像表示装置にて実行されるプログラムであるため、上述した画像表示装置と同様の効果を奏する。
図1は、本発明の実施の形態1に係る画像表示システムを示す模式図である。 図2は、図1に示した画像表示装置を示すブロック図である。 図3は、本発明の実施の形態1に係る画像表示方法を示すフローチャートである。 図4は、図3に示したステップS6で生成される表示画面の一例を示す図である。 図5は、図3に示したステップS9による表示画面の画面遷移の一例を示す図である。 図6は、図3に示したステップS9による表示画面の画面遷移の一例を示す図である。 図7は、図3に示したステップS9を仮想的に表現した図である。 図8は、図3に示したステップS12で表示部に表示される表示画面の一例を示す図である。 図9は、図3に示したステップS12で表示部に表示される表示画面の一例を示す図である。 図10は、本発明の実施の形態1の変形例を示す図である。 図11は、本発明の実施の形態2に係る表示制御部にて生成される表示画面の一例を示す図である。 図12は、本発明の実施の形態3に係る表示制御部にて生成される表示画面の一例を示す図である。 図13は、本発明の実施の形態4に係る表示制御部にて生成される表示画面の一例を示す図である。 図14は、本発明の実施の形態5に係る表示制御部による表示画面の画面遷移の一例を示す図である。 図15は、本発明の実施の形態5に係る表示制御部にて生成される表示画面の一例を示す図である。 図16は、本発明の実施の形態6に係る表示制御部にて生成される表示画面の一例を示す図である。 図17は、本発明の実施の形態7に係る表示画面の生成方法を説明するための図である。 図18は、本発明の実施の形態7に係る表示制御部にて生成される表示画面を仮想的に表現した図である。 図19は、本発明の実施の形態1~7の変形例を示す図である。
 以下、図面を参照して、本発明に係る画像表示装置、画像表示方法、及び画像表示プログラムの好適な実施の形態を詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。
(実施の形態1)
 〔画像表示システムの概略構成〕
 図1は、本発明の実施の形態1に係る画像表示システム1を示す模式図である。
 画像表示システム1は、飲み込み型のカプセル型内視鏡2を用いて、被検体100内部の体内画像を取得し、当該体内画像を医師等に観察させるシステムである。
 この画像表示システム1は、図1に示すように、カプセル型内視鏡2の他、受信装置3と、画像表示装置4と、可搬型の記録媒体5等を備える。
 記録媒体5は、受信装置3と画像表示装置4との間におけるデータの受け渡しを行うための可搬型の記録メディアであり、受信装置3及び画像表示装置4に対してそれぞれ着脱可能に構成されている。
 カプセル型内視鏡2は、被検体100の臓器内部に導入可能な大きさに形成されたカプセル型の内視鏡装置であり、経口摂取等によって被検体100の臓器内部に導入され、蠕動運動等によって臓器内部を移動しつつ、体内画像を順次、撮像する。そして、カプセル型内視鏡2は、撮像することにより生成した画像データを順次、送信する。
 受信装置3は、複数の受信アンテナ3a~3hを備え、これら複数の受信アンテナ3a~3hのうち少なくとも一つを介して被検体100内部のカプセル型内視鏡2からの画像データを受信する。そして、受信装置3は、当該受信装置3に挿着された記録媒体5内に、受信した画像データを蓄積する。
 なお、受信アンテナ3a~3hは、図1に示したように被検体100の体表上に配置されていてもよいし、被検体100に着用させるジャケットに配置されていてもよい。また、受信装置3が備える受信アンテナ数は、1つ以上であればよく、特に8つに限定されない。
 〔画像表示装置の構成〕
 図2は、画像表示装置4を示すブロック図である。
 画像表示装置4は、被検体100内の画像データを取得し、取得した画像データに対応する画像を表示するワークステーションとして構成されている。
 この画像表示装置4は、図2に示すように、リーダライタ41と、メモリ部42と、入力部43と、表示部44と、制御部45等を備える。
 リーダライタ41は、当該リーダライタ41に記録媒体5が挿着された際に、制御部45による制御の下、記録媒体5に保存された画像データ(カプセル型内視鏡2により時系列で撮像(取得)された複数の体内画像を含む体内画像群)を取り込む。また、リーダライタ41は、取り込んだ体内画像群を制御部45に転送する。そして、制御部45に転送された体内画像群は、メモリ部42に記憶される。
 すなわち、リーダライタ41は、本発明に係る画像取得部としての機能を有する。
 メモリ部42は、リーダライタ41から転送された体内画像群を記憶する。また、メモリ部42は、制御部45が実行する各種プログラム(画像表示プログラムを含む)や制御部45の処理に必要な情報等を記憶する。
 入力部43は、キーボード及びマウス等を用いて構成され、ユーザ操作を受け付ける。
 そして、入力部43は、本発明に係る指示受付部としての機能を有する。
 表示部44は、液晶ディスプレイ等を用いて構成され、制御部45による制御の下、体内画像を含む表示画面を表示する。
 制御部45は、CPU(Central Processing Unit)等を用いて構成され、メモリ部42に記憶されたプログラム(画像表示プログラムを含む)を読み出し、当該プログラムに従って画像表示装置4全体の動作を制御する。
 この制御部45は、図2に示すように、画像抽出部451と、画像処理部452と、画像関連付け部453と、表示制御部454等を備える。
 画像抽出部451は、画像処理部452により画像処理が施されメモリ部42に記憶された表示用体内画像群から所定の画像抽出条件を満たす主画像(表示用体内画像)を含む主画像群を抽出する。そして、画像抽出部451は、抽出した主画像群をメモリ部42に記憶させる。
 ここで、画像抽出条件としては、例えば、時系列で連続する体内画像間の類似度に関する閾値等が挙げられる。
 画像処理部452は、メモリ部42に記憶された体内画像毎に画像処理を施し、表示用体内画像をそれぞれ生成する。そして、画像処理部452は、生成した表示用体内画像を含む表示用体内画像群をメモリ部42に記憶させる。
 また、画像処理部452は、画像抽出部451による上述した画像抽出に必要な情報を算出する。
 具体的に、画像処理部452は、メモリ部42に記憶された表示用体内画像群を読み出し、各表示用体内画像の色情報を抽出する。そして、画像処理部452は、各表示用体内画像の色情報に基づいて、表示用体内画像群内において時系列で連続する表示用体内画像間の類似度を表示用体内画像毎に算出する。
 なお、画像処理部452は、表示用体内画像群内における隣接画像間の動きベクトルを算出し、この算出した各表示用体内画像の動きベクトルに基づいて、表示用体内画像間の類似度を表示用体内画像毎に算出しても構わない。
 そして、画像処理部452は、上記のように算出した類似度に関する情報を、対応する表示用体内画像に関連付けてメモリ部42に記憶させる。
 画像関連付け部453は、画像抽出部451にて抽出された主画像群に含まれる主画像毎に、表示用体内画像群のうち画像抽出部451にて抽出されなかった副画像群に含まれる副画像(表示用体内画像)を関連付ける。そして、画像関連付け部453は、どの主画像に関連付けたかを示す関連情報を副画像に関連付けてメモリ部42に記憶させる。
 表示制御部454は、入力部43へのユーザ操作に応じて、メモリ部42に記憶された情報を読み出し、主画像や副画像が配置された表示画面を生成し、当該表示画面を表示部44に表示させる。
 〔画像表示装置の動作〕
 次に、上述した画像表示装置4の動作(画像表示方法)について説明する。
 図3は、本実施の形態1に係る画像表示方法を示すフローチャートである。
 先ず、リーダライタ41は、当該リーダライタ41に記録媒体5が挿着された際に、制御部45による制御の下、記録媒体5に保存された体内画像群を取り込む(ステップS1:画像取得ステップ)。そして、リーダライタ41にて取り込まれた体内画像群は、メモリ部42に記憶される。
 続いて、画像処理部452は、メモリ部42に記憶された体内画像群を読み出し、画像処理により表示用体内画像群を生成する。また、画像処理部452は、各表示用体内画像の色情報を抽出し、当該色情報に基づいて、表示用体内画像群内において時系列で連続する表示用体内画像間の類似度を表示用体内画像毎に算出する(ステップS2)。そして、画像処理部452は、算出した類似度に関する情報を、対応する表示用体内画像に関連付けてメモリ部42に記憶させる。
 続いて、制御部45は、入力部43へのユーザ操作により、体内画像の表示指示があったか否かを常時、監視する(ステップS3)。
 体内画像の表示指示があったと判断された場合(ステップS3:Yes)、画像抽出部451は、メモリ部42に記憶された表示用体内画像毎の類似度に関する情報を読み出す。また、画像抽出部451は、メモリ部42に記憶された表示用体内画像群から、類似度が所定の閾値以下となる表示用体内画像(時系列で連続する表示用体内画像間での類似度が低い表示用体内画像)を主画像として抽出する(ステップS4:画像抽出ステップ)。そして、画像抽出部451は、抽出した主画像を含む主画像群をメモリ部42に記憶させる。
 続いて、画像関連付け部453は、ステップS4で抽出された主画像毎に、ステップS4で抽出されなかった副画像を関連付ける(ステップS5:画像関連付けステップ)。そして、画像関連付け部453は、どの主画像に関連付けたかを示す関連情報を、副画像に関連付けてメモリ部42に記憶させる。
 具体的に、画像関連付け部453は、時系列で連続する主画像間にある副画像のフレーム数を把握し、偶数である場合には、当該副画像の時系列的に前半分を直前の主画像に関連付け、当該副画像の時系列的に後半分を直後の主画像に関連付ける。
 例えば、表示用体内画像群のうち1,4フレーム目の表示用体内画像が主画像である場合には、画像関連付け部453は、当該主画像間にある副画像のフレーム数が「2」の偶数であるため、2フレーム目の副画像を1フレーム目の主画像に関連付け、3フレーム目の副画像を4フレーム目の主画像に関連付ける。
 一方、時系列で連続する主画像間にある副画像のフレーム数が奇数である場合には、画像関連付け部453は、時系列的に後側が1フレーム分多くなるように、当該副画像を、時系列的に前側の副画像と、時系列的に後側の副画像とに区分する。そして、画像関連付け部453は、時系列的に前側の副画像を直前の主画像に関連付け、時系列的に後側の副画像を直後の主画像に関連付ける。
 例えば、表示用体内画像群のうち4,8フレーム目の表示用体内画像が主画像である場合には、画像関連付け部453は、当該主画像間にある副画像のフレーム数が「3」の奇数であるため、5フレーム目の副画像を4フレーム目の主画像に関連付け、6,7フレーム目の副画像を8フレーム目の主画像に関連付ける。
 なお、時系列で連続する主画像間にある副画像のフレーム数が「1」である場合には、当該副画像は、直後の主画像に関連付けられるものである。
 続いて、表示制御部454は、メモリ部42に記憶された情報(主画像群、副画像群、及び関連情報)に基づいて、以下に示すように、表示画面を生成する(ステップS6)。
 図4は、図3に示したステップS6で生成される表示画面W1の一例を示す図である。
 なお、図4において、八角形の図形は表示用体内画像を示しており、当該表示用体内画像中の「P○」は○フレーム目の表示用体内画像(例えば、「P8」は8フレーム目の表示用体内画像)を示している。
 具体的に、表示制御部454は、フレーム番号の小さいものから順に、5フレーム分の主画像をメモリ部42から読み出す。そして、表示制御部454は、表示画面中の中心位置を通り左右方向(第1の方向に沿う方向)に延在する第1領域に、当該5フレーム分の主画像を所定の隙間を空けつつ時系列で配置する。
 例えば、フレーム番号の小さいものから順に5フレーム分の主画像が主画像P1,P4,P8,P12,P13である場合には、表示制御部454は、当該主画像P1,P4,P8,P12,P13をメモリ部42から読み出す。そして、表示制御部454は、図4に示すように、表示画面W1中の第1領域Ar1に、当該主画像P1,P4,P8,P12,P13を左から順に時系列で配置する。
 また、表示制御部454は、メモリ部42に記憶された関連情報に基づいて、上記読み出した5フレーム分の主画像に関連付けられた副画像を読み出す。そして、表示制御部454は、主画像に関連付けられた副画像を、当該主画像と並ぶように、第1の方向に直交する第2の方向に沿って所定の隙間を空けつつ時系列で、表示画面中の第1領域とは異なる第2領域に配置する。
 ここで、表示制御部454は、主画像に関連付けられ当該主画像よりも時系列的に前の副画像については、表示画面における当該主画像に対して上側の第2領域(以下、第2上領域と記載)に配置する。また、主画像に関連付けられ当該主画像よりも時系列的に後の副画像については表示画面における当該主画像に対して下側の第2領域(以下、第2下領域と記載)に配置する。さらに、表示制御部454は、主画像に関連付けられ当該主画像よりも時系列的に前あるいは後の副画像が2フレーム分以上ある場合には、当該主画像に対して時系列的に直近の副画像のみを第2上領域あるいは第2下領域に配置する。
 以上のように、表示制御部454は、副画像群を第2領域に配置する際、画像関連付け部453にて主画像に関連付けられた副画像毎に第2領域に配置する。
 例えば、副画像P2は、主画像P1に関連付けられており、かつ、主画像P1よりも時系列的に後の表示用体内画像である。このため、表示制御部454は、図4に示すように、副画像P2を、表示画面W1中の第1領域Ar1の下側にある第2下領域Ar2Dにおいて、主画像P1の下側に配置する。
 また、例えば、副画像P6,P7は、主画像P8に関連付けられており、かつ、主画像P8よりも時系列的に前の表示用体内画像である。また、主画像P8に関連付けられ主画像P8よりも時系列的に前の副画像が2フレーム分ある。このため、表示制御部454は、図4に示すように、主画像P8の時系列的に直近の副画像P7を、表示画面W1中の第1領域Ar1の上側にある第2上領域Ar2Uにおいて、主画像P8の上側に配置し、副画像P6については表示画面W1中に配置しない。
 以上のように、フレーム番号の小さいものから順に5フレーム分の主画像が主画像P1,P4,P8,P12,P13である場合には、表示制御部454は、上記の処理により、図4に示すように、表示画面W1中の主画像P4,P8,P12の上側(第2上領域Ar2U)に副画像P3,P7,P11をそれぞれ配置し、表示画面W1中の主画像P1,P4,P8,P13の下側(第2下領域Ar2D)に副画像P2,P5,P9,P14をそれぞれ配置する。
 さらに、表示制御部454は、メモリ部42に記憶された表示用体内画像群のうち、表示画面中に配置していない表示用体内画像がある場合には、当該表示用体内画像の表示を促す再生アイコンを表示画面中に配置する。
 例えば、図4に示す例では、主画像P8に関連付けられた副画像P6、主画像P12に関連付けられた副画像P10、及び主画像P13に関連付けられた副画像P15は、表示画面W1中に配置されていない。このため、表示制御部454は、表示画面W1中の当該副画像P6,P10,P15が配置されるはずの位置(副画像P7,P11の上側、副画像P14の下側)に、当該副画像P6,P10,P15の表示を促す再生アイコンAsをそれぞれ配置する。
 また、主画像群のうち6フレーム以降の主画像についても表示画面W1中に配置されていない。このため、表示制御部454は、表示画面W1中の当該6フレーム以降の主画像が配置されるはずの位置(主画像P13の右側)に、当該6フレーム以降の主画像の表示を促す再生アイコンAmを配置する。
 上述した再生アイコンAm,Asは、本発明に係る存在情報に相当する。
 続いて、表示制御部454は、生成した表示画面W1を表示部44に表示させる(ステップS7)。
 以上説明したステップS6,S7は、本発明に係る表示ステップに相当する。
 続いて、表示制御部454は、入力部43へのユーザ操作により再生操作があったか否かを判断する(ステップS8)。
 ここで、再生操作とは、再生アイコンAs,Amの表示位置にマウスカーソルを位置付け、マウスボタンをクリックする操作である。
 再生操作がないと判断した場合(ステップS8:No)、表示制御部454は、ステップS7において表示画面W1の表示を継続させる。
 一方、再生操作があったと判断した場合(ステップS8:Yes)、表示制御部454は、以下に示すように、表示画面W1を変更(スクロール)する(ステップS9:表示変更ステップ)。
 図5及び図6は、ステップS9による表示画面W1の画面遷移の一例を示す図である。
 なお、図5及び図6は図4に示した表示画面W1の画面遷移を示しており(図5(a)及び図6(a)は図4と同一の図)、図5は再生アイコンAmが操作された場合を示し、図6は再生アイコンAsが操作された場合を示している。
 具体的に、表示画面W1中の左端または右端に配置された再生アイコンAmが操作された場合には、表示制御部454は、主画像及び副画像が一体となって右方向または左方向に移動する態様で表示画面W1をスクロールする。
 例えば、ステップS7で図4に示した表示画面W1を表示している際に表示画面W1中の右端に配置された再生アイコンAmが操作された場合には、表示制御部454は、図5に示すように、主画像P1,P4,P8,P12,P13、及び副画像P2,P3,P5,P7,P9,P11,P14が一体となって左側に移動する態様の表示画面W1を順次、生成する。
 この際、表示制御部454は、主画像P1及び当該主画像P1に関連付けられた副画像P2が徐々に表示画面W1の左側から外れていき、主画像P13に対して時系列的に後の主画像P19及び当該主画像P19に関連付けられた副画像P18,P20が徐々に表示画面W1の右側から現れてくる表示画面W1を生成する。
 そして、表示制御部454は、生成した図5(b)、図5(c)、及び図5(d)の各表示画面W1を、表示部44の表示フレームレートに従って、順次、表示部44に表示させる。このように各表示画面W1が順次、表示部44に表示されることで、主画像及び副画像が滑らかに左側に移動する態様で表示画面W1がスクロールすることとなる。
 一方、表示画面W1中の上側または下側に配置された再生アイコンAsが操作された場合には、表示制御部454は、主画像及び副画像が一体となって上方向または下方向(第1の方向に直交する第2の方向に沿う方向)に移動する態様で表示画面W1をスクロールする。
 例えば、ステップS7で図4に示した表示画面W1を表示している際に表示画面W1中の副画像P7の上側に配置された再生アイコンAsが操作された場合には、表示制御部454は、図6に示すように、主画像P1,P4,P8,P12,P13、及び副画像P2,P3,P5,P7,P9,P11,P14が一体となって下側に移動する態様の表示画面W1を順次、生成する。
 この際、表示制御部454は、表示画面W1中の下側に配置された副画像P2,P5,P9,P14が徐々に表示画面W1の下側から外れていき、表示画面W1中の主画像P8,P12に関連付けられていながら表示画面W1中に配置されていなかった副画像P6,P10が徐々に表示画面W1の上側から現れてくる表示画面W1を生成する。
 そして、表示制御部454は、生成した図6(b)、図6(c)、及び図6(d)の各表示画面W1を、表示部44の表示フレームレートに従って、順次、表示部44に表示させる。このように各表示画面W1が順次、表示部44に表示されることで、主画像及び副画像が滑らかに下側に移動する態様で表示画面W1がスクロールすることとなる。
 ここで、表示制御部454は、図5(b)~図5(d)または図6(b)~図6(d)に示すように、表示画面W1のスクロール中は、表示画面W1中に再生アイコンAm,Asを配置しない。
 図7は、ステップS9を仮想的に表現した図である。
 なお、図7では、1フレーム目から71フレーム目までの表示用体内画像P1~P71を図示している。
 上述したステップS9は、図7に示すように仮想的に表現することができる。
 例えば、図7に示すように、主画像P1,P4,P8,P12,P13,P19,P33,P40,P51,P57,P71が第1の方向D1に沿って所定の隙間を空けつつ時系列で配置され、これら主画像に関連付けられた副画像が当該主画像と並ぶように第2の方向D2に沿って所定の隙間を空けつつ時系列で配置された仮想画面W1´を想定する。
 そして、上述したステップS9では、再生アイコンAm,Asの操作に応じて、仮想画面W1´上で画像領域FArを第1の方向D1や第2の方向D2に沿って動かしながら、画像領域FAr内に位置する仮想画面W1´の一部(主画像や副画像)を表示画面W1として表示部44に表示する。
 なお、本実施の形態1では、図7に示すように、表示画面W1中に配置する主画像及び副画像の全ての画像を同一の画像サイズとしている。
 図3に戻って、ステップS9の後、表示制御部454は、入力部43へのユーザ操作により停止操作があったか否かを判断する(ステップS10)。
 ここで、停止操作とは、ステップS9で表示画面W1がスクロールしている際に、マウスボタンをクリックする操作である。
 停止操作がないと判断した場合(ステップS10:No)、表示制御部454は、表示画面W1をスクロールして未だ表示させる主画像または副画像があるか否かを判断する(ステップS11)。
 そして、未だ表示させる主画像または副画像があると判断した場合(ステップS11:Yes)、表示制御部454は、ステップS9へ移行し、表示画面W1のスクロールを継続する。
 一方、停止操作があったと判断した場合(ステップS10:Yes)、または、これ以上表示させる主画像または副画像がないと判断した場合(ステップS11:No)、表示制御部454は、表示画面W1のスクロールを停止する(ステップS12)。
 図8及び図9は、ステップS12で表示部44に表示される表示画面W1の一例を示す図である。
 なお、図8は、第1の方向D1に沿って表示画面W1がスクロールしている際、図5(d)に示す状態でマウスのクリック操作がなされた場合に表示部44に表示される表示画面W1を示している。図9は、第2の方向D2に沿って表示画面W1がスクロールした結果、これ以上表示させる副画像がない場合(図6(d)の状態)に表示部44に表示される表示画面W1を示している。
 例えば、第1の方向D1に沿って表示画面W1がスクロールしている際にマウスのクリック操作がなされた場合には、表示制御部454は、図8に示すように、当該クリック操作がなされた時点で表示部44に表示させた表示画面W1に再生アイコンAm,Asを配置した表示画面W1を生成し、当該表示画面W1を表示部44に表示させる。
 図8に示す例では、主画像P8に関連付けられた副画像P6、主画像P12に関連付けられた副画像P10、主画像P13に関連付けられた副画像P15、及び主画像P19に関連付けられた副画像P16,P17,P21~P25(図7参照)は、表示画面W1中に配置されていない。このため、表示制御部454は、図8に示すように、表示画面W1中の当該副画像P6,P10,P15~P17,P21~P25が配置されるはずの位置(副画像P7,P11,P18の上側、副画像P14,P20の下側)に、当該副画像P6,P10,P15~P17,P21~P25の表示を促す再生アイコンAsをそれぞれ配置する。
 また、主画像群のうち最初のフレーム、及び7フレーム以降の主画像についても表示画面W1中に配置されていない。このため、表示制御部454は、図8に示すように、表示画面W1中の当該最初のフレーム及び7フレーム以降の主画像が配置されるはずの位置(主画像P4の左側、及び主画像P19の右側)に、当該最初のフレーム及び7フレーム以降の主画像の表示を促す再生アイコンAmをそれぞれ配置する。
 また、例えば、第2の方向D2に沿って表示画面W1がスクロールした結果、これ以上表示させる副画像がない場合には、表示制御部454は、図9に示すように、これ以上表示させる副画像がない状態まで表示部44に表示させた表示画面W1に再生アイコンAm,Asを配置した表示画面W1を生成し、当該表示画面W1を表示部44に表示させる。
 図9に示す例では、主画像P1に関連付けられた副画像P2、主画像P4に関連付けられた副画像P5、主画像P8に関連付けられた副画像P9、及び主画像P13に関連付けられた副画像P14,P15は、表示画面W1中に配置されていない。このため、表示制御部454は、図9に示すように、表示画面W1中の当該副画像P2,P5,P9,P14,P15が配置されるはずの位置(主画像P1,P4,P8,P13の下側)に、当該副画像P2,P5,P9,P14,P15の表示を促す再生アイコンAsをそれぞれ配置する。
 また、主画像群のうち6フレーム以降の主画像についても表示画面W1中に配置されていない。このため、表示制御部454は、図9に示すように、表示画面W1中の6フレーム以降の主画像が配置されるはずの位置(主画像P13の右側)に、当該6フレーム以降の主画像の表示を促す再生アイコンAmを配置する。
 図3に戻って、ステップS12の後、制御部45は、入力部43へのユーザ操作により、体内画像の表示の終了指示があったか否かを判断する(ステップS13)。
 体内画像の表示の終了指示がないと判断した場合(ステップS13:No)、制御部45は、ステップS8へ移行する。
 一方、体内画像の表示の終了指示があったと判断した場合(ステップS13:Yes)、制御部45は、本処理(体内画像の表示処理)を終了する。
 以上説明した本実施の形態1に係る画像表示装置4は、画像抽出部451を備える。このため、カプセル型内視鏡2により時系列で撮像された体内画像群(画像処理部452にて処理された表示用体内画像群)から、被検体100内の出血部や病変等が撮像された特異な画像を主画像として抽出することを可能とする。
 また、本実施の形態1に係る画像表示装置4は、表示制御部454を備える。このため、特異な画像を含む主画像群を第1の方向D1に沿って時系列で配置した表示画面W1を医師等に観察させることができる。そして、第1の方向D1に沿って主画像群が移動する態様で表示画面W1をスクロールするため、特異な画像が少ない(例えば1フレームのみ)場合でも、当該特異な画像の表示時間(スクロール時での表示画面中を移動する時間)が比較的に長い時間となり、医師等は、当該特異な画像を見付け易いものとなる。さらに、特異な画像が主画像として抽出されなかった場合でも、副画像として表示画面W1中の第2上,下領域Ar2U,Ar2Dに配置されるため、医師等は、当該特異な画像を見付けることを可能とする。
 以上のことから、本実施の形態1に係る画像表示装置4によれば、カプセル型内視鏡2により時系列で撮像された体内画像群に含まれる特異な画像が少ない場合でも、当該特異な画像を見付け易い表示画面W1を表示することができる、という効果を奏する。
 また、本実施の形態1に係る画像表示装置4は、画像抽出部451にて抽出されなかった副画像を、当該副画像の直近のフレーム番号の主画像に関連付ける画像関連付け部453を備える。そして、表示制御部454は、副画像群を第2上,下領域Ar2U,Ar2Dに配置する際、画像関連付け部453にて主画像に関連付けられた副画像毎に第2上,下領域Ar2U,Ar2Dに配置する。すなわち、主画像に関連付けられた副画像は、第2上,下領域Ar2U,Ar2Dに纏めて配置されることとなる。
 このため、医師等は、気になる箇所のある主画像(例えば出血部や病変等が含まれていそうな表示用体内画像)を見付けた場合に、第2上,下領域Ar2U,Ar2Dに纏めて配置され、当該主画像に対して時間的に近い時に撮像された副画像を確認することで、当該主画像及び副画像を比較して、気になっていた箇所を重点的に確認することができる。
 さらに、本実施の形態1では、表示制御部454は、画像関連付け部453にて主画像に関連付けられた副画像を、当該主画像と並ぶように、第1の方向D1に直交する第2の方向D2に沿って時系列で第2上,下領域Ar2U,Ar2Dに配置する。
 すなわち、主画像群は、表示画面W1における上下方向の中心位置に配置される。また、主画像に関連付けられた副画像は、当該主画像に対して時間的に近い(フレーム番号が近い)時に撮像された副画像が当該主画像の直近に配置され、時間的に離れた(フレーム番号が離れている)時に撮像された副画像が当該主画像から離れた位置に配置される。
 したがって、特異な画像である可能性の高い表示用体内画像(主画像)を表示画面W1中の医師等が最も観察し易い位置(上下方向の中心位置)に配置することができる。また、特異な画像である可能性の低い表示用体内画像(副画像)を表示画面W1中の上下方向の中心位置から離れた位置に配置することができる。このため、医師等は、特異な画像をより迅速に見付けることができる。
 また、本実施の形態1では、表示制御部454は、第1の方向D1に沿って表示画面W1をスクロールする他、副画像が配置される第2の方向D2に沿って表示画面W1をスクロールする。
 このため、医師等は、気になる箇所のある主画像を見付けた場合であって、当該主画像に関連付けられた副画像の一部が表示画面W1中に配置されていない場合には、入力部43を操作することで、第2の方向D2に沿って表示画面W1をスクロールし、当該主画像に関連付けられた副画像の全てを確認することができる。
(実施の形態1の変形例)
 図10は、本発明の実施の形態1の変形例を示す図である。
 なお、図10は、再生アイコンAsが操作された場合での図4に示した表示画面W1(図3に示したステップS7で表示される表示画面W1)の画面遷移を示している(図10(a)は図4と同一の図)。
 上述した実施の形態1では、表示制御部454は、再生アイコンAsが操作された場合に、表示画面W1に配置された主画像及び副画像の全てが一体となって第2の方向D2に沿って移動する態様で表示画面W1をスクロールしていたが、これに限られない。
 表示制御部454は、操作された再生アイコンAsと同一の列に配置された主画像及び副画像のみが一体となって上方向または下方向(第2の方向に沿う方向)に移動する態様で表示画面W1をスクロールしても構わない。
 例えば、ステップS7で図4に示した表示画面W1を表示している際に表示画面W1中の副画像P7の上側に配置された再生アイコンAsが操作された場合には、表示制御部454は、図10(b)~図10(d)に示すように、当該再生アイコンAsと異なる列に配置された画像P1~P5,P11~P14は移動せずに、当該再生アイコンAsと同一の列に配置された主画像P8及び副画像P7,P9のみが一体となって下側に移動する態様の表示画面W1を順次、生成する。
 この際、表示制御部454は、表示画面W1中の下側に配置された副画像P9が徐々に表示画面W1の下側から外れていき、表示画面W1中の主画像P8に関連付けられていながら表示画面W1中に配置されていなかった副画像P6が徐々に表示画面W1の上側から現れてくる表示画面W1を生成する。
 そして、表示制御部454は、生成した図10(b)~図10(d)の各表示画面W1を、表示部44の表示フレームレートに従って順次、表示部44に表示させる。このように各表示画面W1が順次、表示部44に表示されることで、一列の主画像P8及び副画像P6,P7,P9が滑らかに下側に移動する態様で表示画面W1がスクロールすることとなる。
 ここで、表示制御部454は、図10(b)~図10(d)に示すように、表示画面W1のスクロール中は、表示画面W1中に再生アイコンAm,Asを配置しない。
 以上のように、一列の主画像及び副画像のみが一体となって移動する態様で表示画面W1をスクロールすることで、上述した実施の形態1で説明した全ての列の主画像及び副画像が一体となって移動する態様と比較して、確認すべき表示用体内画像が配置されている位置を一目で把握することができる。
 また、操作された再生アイコンAsとは異なる列に配置された主画像(特異な画像である可能性の高い表示用体内画像)については、当該スクロール中、常時、表示画面W1に配置しておくことができる。
(実施の形態2)
 次に、本発明の実施の形態2について説明する。
 以下の説明では、上述した実施の形態1と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
 上述した実施の形態1では、表示制御部454は、表示画面W1中に配置する主画像及び副画像の全ての画像を同一の画像サイズとしていた。
 これに対して本実施の形態2では、表示画面W1中に配置する主画像及び副画像の画像サイズを異なるものとしている。
 そして、本実施の形態2に係る画像表示システムの構成は、上述した実施の形態1と同様の構成である。
 以下では、本実施の形態2に係る表示画面W1中の主画像及び副画像の画像サイズのみを説明する。
 図11は、本発明の実施の形態2に係る表示制御部454にて生成される表示画面W1の一例を示す図である。
 なお、図11は、図3に示したステップS6で生成される表示画面W1を示している。
 本実施の形態2に係る表示制御部454は、副画像の画像サイズが主画像よりも小さい表示画面W1を生成する。
 ここで、表示制御部454は、各主画像の画像サイズは全て同一とし、各副画像の画像サイズも全て同一とする。
 例えば、表示制御部454は、ステップS6では、図11に示すように、副画像P2,P3,P5~P7,P9~P11,P14,P15の画像サイズを主画像P1,P4,P8,P12,P13よりも小さい表示画面W1を生成する。
 なお、本実施の形態2では、主画像及び副画像の画像サイズが上述した実施の形態1と異なるのみであり、表示画面W1中の主画像及び副画像の配置の仕方、及び表示画面W1のスクロールの仕方は、上述した実施の形態1と同様である。
 以上説明した本実施の形態2によれば、上述した実施の形態1と同様の効果の他、以下の効果がある。
 本実施の形態2では、表示制御部454は、副画像の画像サイズが主画像よりも小さい表示画面W1を生成する。
 このため、特異な画像である可能性の高い主画像を当該可能性の低い副画像に対して大きく表示することで、主画像に注目させることができ、医師等は、特異な画像をさらに見付け易いものとなる。
(実施の形態3)
 次に、本発明の実施の形態3について説明する。
 以下の説明では、上述した実施の形態2と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
 本実施の形態3では、上述した実施の形態2に対して、表示画面W1中に配置されていない主画像や副画像の数を示す情報を表示画面W1中に配置した点が異なるのみである。
 そして、本実施の形態3に係る画像表示装置の構成は、上述した実施の形態2と同様の構成である。
 以下では、本実施の形態3に係る表示画面W1に配置する上記情報のみを説明する。
 図12は、本発明の実施の形態3に係る表示制御部454にて生成される表示画面W1の一例を示す図である。
 なお、図12は、図3に示したステップS6で生成される表示画面W1を示している。
 本実施の形態3に係る表示制御部454は、表示画面W1をスクロールしていない状態(図3に示したステップS6,S12)で、メモリ部42に記憶された情報(主画像群、副画像群、及び関連情報)を読み出す。また、表示制御部454は、当該情報に基づいて、メモリ部42に記憶された主画像群や副画像群のうち、表示画面W1中に配置していない主画像や、表示画面W1に配置された主画像に関連付けられていながら表示画面W1中に配置していない副画像の数を認識する。そして、表示制御部454は、表示画面W1中の再生アイコンAm,Asに隣接した位置に当該数を示す情報を配置する。
 図12に示す例では、表示制御部454は、上記情報に基づいて、表示画面W1に配置した主画像P1,P4,P8,P12,P13以外で、当該主画像に対して時系列的に後の主画像のフレーム数が「12574」であることを認識する。そして、表示制御部454は、表示画面W1中の右端の再生アイコンAmに隣接した位置に「12574」の数字を配置する。
 ここで、図12に示す例では、表示画面W1に配置された主画像P1,P4,P8,P12,P13に関連付けられていながら表示画面W1中に配置していない副画像が存在しない。このため、表示制御部454は、表示画面W1中に当該副画像の数を示す情報や再生アイコンAsを配置していない。
 上述した数を示す情報は、本発明に係る存在情報に相当する。
 なお、本実施の形態3では、上述した実施の形態2に対して上記数を示す情報を表示画面W1中に配置する点が異なるのみであり、表示画面W1中の主画像及び副画像の配置の仕方、及び表示画面W1のスクロールの仕方は、上述した実施の形態2と同様である。
 以上説明した本実施の形態3によれば、上述した実施の形態2と同様の効果の他、以下の効果がある。
 本実施の形態3では、表示制御部454は、表示画面W1内に主画像群(副画像群)に含まれる主画像(副画像)の全てを配置していない場合に、配置していない主画像(副画像)の数を示す情報を表示画面W1に含める。
 このため、医師等は、表示画面W1に表示された上記数を示す情報から、表示画面W1をスクロールして全ての主画像(副画像)を確認するためにどの程度の時間が掛かるか等を予測することができる。
(実施の形態4)
 次に、本発明の実施の形態4について説明する。
 以下の説明では、上述した実施の形態2と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
 上述した実施の形態2では、表示制御部454は、主画像と副画像との画像サイズを異なるものとしながら、各主画像の画像サイズを全て同一とし、各副画像の画像サイズも全て同一としていた。
 これに対して本実施の形態4では、各主画像の画像サイズや各副画像の画像サイズも異なるものとしている。
 そして、本実施の形態4に係る画像表示システムの構成は、上述した実施の形態2と同様の構成である。
 以下では、本実施の形態4に係る表示画面W1中の主画像及び副画像の画像サイズのみを説明する。
 図13は、本発明の実施の形態4に係る表示制御部454にて生成される表示画面W1の一例を示す図である。
 なお、図13は、図3に示したステップS6で生成される表示画面W1を示している。
 本実施の形態4に係る表示制御部454は、表示画面W1の中心位置にある主画像の画像サイズを最も大きく、当該中心位置以外に配置する各主画像の画像サイズを、当該中心位置から当該各主画像の配置位置までの長さが長くなるほど小さい表示画面W1を生成する。また、表示制御部454は、互いに関連付けられた主画像及び副画像に注目した場合に、当該副画像の画像サイズを、当該主画像を配置した位置から当該副画像の配置位置までの長さが長くなるほど小さい表示画面W1を生成する。
 例えば、表示制御部454は、ステップS6では、図13に示すように、表示画面W1の中心位置に配置する主画像P8の画像サイズを最も大きくし、主画像P8の左右に配置する各主画像P4,P12の画像サイズを主画像P8よりも小さくし、主画像P4の左側及び主画像P12の右側に配置する各主画像P1,P13の画像サイズを主画像P4,P12よりも小さくした表示画面W1を生成する。また、表示制御部454は、互いに関連付けられた主画像P8及び副画像P6,P7,P9に注目した場合に、主画像P8の上下に配置する各副画像P7,P9の画像サイズを主画像P8よりも小さくし、副画像P7の上に配置する副画像P6の画像サイズを副画像P7よりも小さくした表示画面W1を生成する。他の主画像P1及び副画像P2、主画像P4及び副画像P3,P5、主画像P12及び副画像P10,P11、主画像P13及び副画像P14,P15の画像サイズの関係も、主画像P8及び副画像P6,P7,P9の画像サイズの関係と同様である。
 なお、本実施の形態4では、主画像及び副画像の画像サイズが上述した実施の形態2と異なるのみであり、表示画面W1中の主画像及び副画像の配置の仕方、及び表示画面W1のスクロールの仕方は、上述した実施の形態2と同様である。
 以上説明した本実施の形態4によれば、上述した実施の形態2と同様の効果の他、以下の効果がある。
 本実施の形態4では、表示制御部454は、第2上,下領域Ar2U,Ar2Dにおける副画像の配置位置が第1領域Ar1から離間するほど当該副画像の画像サイズが小さい表示画面W1を生成する。
 このため、特異な画像である可能性の低い表示用体内画像(副画像)の画像サイズを小さくすることで、特異な画像である可能性の高い表示用体内画像(主画像)に注目させることができ、医師等は、特異な画像をさらに見付け易いものとなる。
 また、本実施の形態4では、表示制御部454は、表示画面W1の中心位置を含む第1領域Ar1に主画像群を配置し、第1領域Ar1における主画像の配置位置が当該中心位置から離間するほど当該主画像の画像サイズが小さい表示画面W1を生成する。
 このため、表示画面W1中の医師等が最も注目する位置(表示画面W1の中心位置)に配置する表示用体内画像の画像サイズを最も大きくし、医師等が注目し難い位置(表示画面W1の外縁側の位置)に配置する表示用体内画像の画像サイズを最も小さくすることができる。したがって、医師等にとって表示用体内画像を観察し易い表示画面W1とすることができる。
(実施の形態5)
 次に、本発明の実施の形態5について説明する。
 以下の説明では、上述した実施の形態1と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
 本実施の形態5では、上述した実施の形態1に対して、再生アイコンAmが操作され、表示画面W1をスクロールする際に生成する表示画面W1が異なるのみである。
 そして、本実施の形態5に係る画像表示装置の構成は、上述した実施の形態1と同様の構成である。
 以下では、本実施の形態5に係るスクロールする際に生成する表示画面W1のみを説明する。
 図14は、本発明の実施の形態5に係る表示制御部454による表示画面W1の画面遷移の一例を示す図である。
 なお、図14は、再生アイコンAmが操作された場合での図4に示した表示画面W1(図3に示したステップS7で表示される表示画面W1)の画面遷移を示している(図14(a)は図4と同一の図)。
 本実施の形態5に係る表示制御部454は、表示画面W1中の左端または右端の再生アイコンAmが操作された場合(図3に示したステップS8:Yes)、副画像群を非表示(表示画面W1中に配置しない)としつつ、主画像群を左方向または右方向に移動する態様で表示画面W1をスクロールする。
 例えば、ステップS7で図4に示した表示画面W1を表示している際に表示画面W1中の右端に配置された再生アイコンAmが操作された場合には、表示制御部454は、図14(b)~図14(d)に示すように、副画像群を第2上,下領域Ar2U,Ar2Dに配置せずに、主画像P1,P4,P8,P12,P13が一体となって左側に移動する態様の表示画面W1を順次、生成する。そして、表示制御部454は、生成した図14(b)~図14(d)の各表示画面W1を、表示部44の表示フレームレートに従って順次、表示部44に表示させる。
 図15は、本発明の実施の形態5に係る表示制御部454にて生成される表示画面W1の一例を示す図である。
 なお、図15は、図14(d)に示した状態で停止操作がなされた場合(図3に示したステップS10:Yes)での表示画面W1を示している。
 また、表示制御部454は、停止操作があった場合(図3に示したステップS10:Yes)、または、これ以上表示させる主画像がない場合(図3に示したステップS11:No)、表示画面W1のスクロールを停止する。そして、表示制御部454は、当該停止した時点で表示部44に表示させた表示画面W1に再生アイコンAm,Asや主画像に関連付けられた副画像を配置した上述した実施の形態1と同様の表示画面W1(図8、図15)を生成し、当該表示画面W1を表示部44に表示させる。
 以上説明した実施の形態5によれば、上述した実施の形態1と同様の効果の他、以下の効果がある。
 本実施の形態5では、表示制御部454は、第1の方向D1に沿う表示画面W1のスクロール中には表示画面W1に副画像群を配置せず、当該スクロールを停止した際に表示画面W1に副画像群を配置する。
 このため、主画像群が配置される第1の方向D1に沿う表示画面W1のスクロール中には、医師等の注目を要しない副画像群を非表示とし、主画像群のみに注目させ、医師等に特異な画像を効果的に見付けさせることができる。
(実施の形態6)
 次に、本発明の実施の形態6について説明する。
 以下の説明では、上述した実施の形態1と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
 本実施の形態6では、上述した実施の形態1に対して、表示画面W1中の主画像を副画像と識別可能に強調して表示する点が異なるのみである。
 そして、本実施の形態6に係る画像表示装置の構成は、上述した実施の形態1と同様の構成である。
 以下では、本実施の形態6に係る表示画面W1中の主画像の強調表示のみを説明する。
 図16は、本発明の実施の形態6に係る表示制御部454にて生成される表示画面W1の一例を示す図である。
 なお、図16は、図3に示したステップS6で生成される表示画面W1を示している。
 本実施の形態6に係る表示制御部454は、図16に示すように、表示画面W1中の主画像P1,P4,P8,P12,P13を、副画像P2,P3,P5~P7,P9~P11,P14に対して識別可能とするために、当該主画像P1,P4,P8,P12,P13の外縁を太枠等により強調した表示画面W1を生成する。
 なお、具体的な図示は省略したが、表示制御部454は、ステップS6で生成する表示画面W1に限られず、表示画面W1をスクロールしている際(図3に示したステップS9)や当該スクロールを停止した際(図3に示したステップS12)にも、各主画像の各外縁を太枠等により強調した表示画面W1を生成する。
 以上説明した本実施の形態6によれば、上述した実施の形態1と同様の効果の他、以下の効果がある。
 本実施の形態6では、表示制御部454は、副画像に対して主画像を強調した表示画面W1を生成する。
 このため、特異な画像である可能性の高い主画像を当該可能性の低い副画像に対して強調して表示することで、主画像に注目させることができ、医師等は、特異な画像をさらに見付け易いものとなる。
(実施の形態7)
 次に、本発明の実施の形態7について説明する。
 以下の説明では、上述した実施の形態1と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
 上述した実施の形態1では、表示制御部454は、所定の隙間を空けつつ主画像及び副画像を配置した表示画面W1を生成していた。
 これに対して本実施の形態7では、表示画面W1中の主画像及び副画像に隙間がないものとしている。
 そして、本実施の形態7に係る画像表示システムの構成は、上述した実施の形態1と同様の構成である。
 以下では、本実施の形態7に係る表示画面W1について説明する。
 図17は、本発明の実施の形態7に係る表示画面W1の生成方法を説明するための図である。
 ところで、表示用体内画像Pは、図17に示すように、矩形状ではなく、矩形状の四隅の領域C1~C4に画素データ(画素値)を持たない八角形状の画像である。このため、表示画面W1中に主画像及び副画像を隙間なく配置しようとしても、上記領域C1~C4の部分に隙間が生じてしまう。
 そこで、本実施の形態7に係る画像処理部452は、表示用体内画像群に含まれる表示用体内画像P毎に、各境界線B1~B4に対して四隅の領域C1~C4と対称な領域C1´~C4´に含まれる画素を抽出し、それらの画素の画素値を取得する。
 ここで、各境界線B1~B4とは、表示用体内画像Pから四隅の領域C1~C4をそれぞれ区画する境界を意味するものである。
 そして、画像処理部452は、取得した領域C1´~C4´内の画素の画素値を用いて、対応する四隅の領域C1~C4を補間する。具体的には、領域C1内の任意の補間画素の画素値として、境界線B1に対して当該補間画素と対称な位置にある領域C1´内の画素の画素値を適用する。他の領域C2~C4についても上述した領域C1と同様である。
 このような補間処理により、図17に示すように、四隅の領域C1~C4が補間された表示用体内画像P´が生成される。
 図18は、本発明の実施の形態7に係る表示制御部454にて生成される表示画面W1を仮想的に表現した図である。
 なお、図18では、図7と同様に、1フレーム目から71フレーム目までの四隅の領域C1~C4が補間された表示用体内画像P1´~P71´を図示している。
 そして、本実施の形態7に係る表示制御部454は、画像処理部452にて補間された表示用体内画像P´を隙間なく配置した表示画面W1を生成し、当該表示画面W1を表示部44に表示させる。
 例えば、表示制御部454にて生成される表示画面W1を仮想的に表現した場合には、表示画面W1は、図18に示すように、表示用体内画像P´(図18では表示用体内画像P1´~P71´のみを図示)が隙間なく配置された仮想画面W1´の一部となる。
 なお、本実施の形態7では、主画像及び副画像を隙間なく配置した点が上述した実施の形態1と異なるのみであり、表示画面W1中の主画像及び副画像の配置の仕方、及び表示画面W1のスクロールの仕方は、上述した実施の形態1と同様である。
 以上説明した本実施の形態7によれば、上述した実施の形態1と同様の効果の他、以下の効果がある。
 本実施の形態7では、表示制御部454は、主画像群に含まれる各主画像、及び副画像群に含まれる各副画像の間に隙間がない表示画面W1を生成する。
 このため、医師等は、表示画面W1内の主画像及び副画像間に隙間がある場合には各画像を目で追わなければならないところ、表示画面W1内の主画像及び副画像間に隙間がないので、当該隙間なく配置された主画像及び副画像の全体を俯瞰することができる。したがって、医師等にとって表示用体内画像を観察し易い表示画面W1とすることができる。 
(実施の形態7の変形例)
 上述した実施の形態7において、表示画面W1に各表示用体内画像P´を隙間なく配置する際、隣接する表示用体内画像P´同士の境界を目立たなくするために、当該境界に補間処理を施しても構わない。
 例えば、当該補間処理としては、表示用体内画像P´における上記境界に隣接する端部領域の画素の画素値を用いて補間する方法が挙げられる(例えば、特開2012-185583号公報参照)。
(その他の実施形態)
 ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1~7によってのみ限定されるべきものではない。
 上述した実施の形態1~7では、画像表示装置4は、カプセル型内視鏡2にて時系列で撮像された体内画像群を、記録媒体5及びリーダライタ41を用いて取得していたが、これに限られない。
 例えば、別途、設置したサーバーに体内画像群を予め保存しておく。また、画像表示装置にサーバーと通信を行う通信部を設ける。そして、通信部によりサーバーと通信を行うことで画像表示装置が体内画像群を取得する構成としても構わない。この場合には、本発明に係る画像取得部は、上記通信部に相当する。
 上述した実施の形態1~7では、画像抽出条件として、時系列で連続する体内画像間の類似度に関する閾値を採用していたが、これに限られない。
 例えば、画像抽出条件として、体内画像内における赤色またはその他の色の所定の色レベルに関する閾値、体内画像の平均色のレベルに関する閾値、あるいは、体内画像内における所定の色の広がりレベル(所定の色の画素数)に関する閾値を採用しても構わない。このような画像抽出条件を採用した場合には、画像処理部452は、各表示用体内画像の色情報に基づいて、各表示用体内画像毎に、上述した体内画像内における赤色またはその他の色の所定の色レベル、体内画像の平均色のレベル、あるいは、体内画像内における所定の色の広がりレベルを算出する。
 上述した実施の形態1~7において、表示用体内画像群から主画像を抽出する際には、上述した実施の形態1~7と異なる抽出方法を採用しても構わない。
 例えば、画像表示装置(制御部)は、表示用体内画像の画素の色特徴量やテクスチャ特徴量等に基づいて、表示用体内画像から注目領域(出血部や病変等が存在する可能性の高い領域)を検出する。また、画像表示装置(制御部)は、時系列で連続する表示用体内画像の各注目領域を比較し、類似度(比較対象の領域の類似性を示す指標)、相違度(比較対象の領域の相違性を示す指標)、移動量(比較対象の領域内で同じ対象の対応付けを行った際の座標の変化量)、あるいは、統計量(比較対象の領域内の画素値の平均値、分散値、歪度、尖度、ヒストグラム等)を算出する。そして、画像表示装置(画像抽出部)は、所定の類似度、相違度、移動量、あるいは統計量を有する表示用体内画像を主画像として抽出する(以上の抽出方法については、例えば、特開2010-142287号公報参照)。
 上述した実施の形態1~7では、ユーザ操作により再生アイコンAm,Asが操作された場合に、表示画面W1をスクロールしていたが、これに限られない。
 例えば、ユーザ操作によりマウスボタンが押されたままマウスが移動された際に、当該マウスの移動方向に表示画面W1をスクロールする構成としても構わない。この際、マウスの移動速度に応じて、表示画面W1をスクロールする速度(主画像等の移動速度)を変更(マウスの移動速度が速いほどスクロールの速度を速くする)しても構わない。
 図19は、本発明の実施の形態1~7の変形例を示す図である。
 上述した実施の形態1~7では、主画像に関連付けられた副画像を、当該主画像と並ぶように、第1の方向D1に直交する第2の方向D2に沿って時系列で配置していたが、これに限られない。
 例えば、図19に示すように主画像及び副画像を配置しても構わない。
 以下、図19に示す主画像P33、及び当該主画像P33に関連付けられた副画像P26~P32,P34~P36の配置の関係を説明する。
 具体的に、主画像P33に対してフレーム番号の近い上限で2つの副画像(図19の場合には、副画像P31,P32、及び副画像P34,P35、以下、第1副画像と記載)を、主画像P33の画像サイズよりも小さい画像サイズで、主画像P33の上側及び下側にそれぞれ第1の方向に並べて配置する。また、第1副画像よりも時系列的に前及び後の上限で4つの副画像(図19の場合には、副画像P27~P30、及び副画像P36、以下、第2副画像と記載)を、第1副画像よりも小さい画像サイズで、第1副画像の上側及び下側にそれぞれ第1の方向に並べて配置する。さらに、第2副画像よりも時系列的に前及び後の上限で8つの副画像(図19の場合には、副画像P26のみ、以下、第3副画像と記載)を、第2副画像よりも小さい画像サイズで、第2副画像の上側及び下側にそれぞれ第1の方向に並べて配置する。第3副画像よりも時系列的に前及び後の画像がある場合には、上記第1~第3副画像の配置方法と同様に配置する。
 なお、図19に示す他の主画像及び当該主画像に関連付けられた副画像の配置の関係も、上記主画像P33、及び当該主画像P33に関連付けられた副画像P26~P32,P34~P36の配置の関係と同様である。
 1 画像表示システム
 2 カプセル型内視鏡
 3 受信装置
 3a~3h 受信アンテナ
 4 画像表示装置
 5 記録媒体
 41 リーダライタ
 42 メモリ部
 43 入力部
 44 表示部
 45 制御部
 451 画像抽出部
 452 画像処理部
 453 画像関連付け部
 454 表示制御部
 100 被検体
 Ar1 第1領域
 Ar2D 第2下領域
 Ar2U 第2上領域
 Am,As 再生アイコン
 B1~B4 境界線
 C1~C4,C1´~C4´ 領域
 D1 第1の方向
 D2 第2の方向
 FAr 画像領域
 P,P´ 表示用体内画像
 P1,P1´,P4,P4´,P8,P8´,P12,P12´,P13,P13´,P19,P19´,P33,P33´,P40,P40´,P51,P51´,P57,P57´,P71,P71´ 主画像(表示用体内画像)
 P2,P2´,P3,P3´,P5~P7,P5´~P7´,P9~P11,P9´~P11´,P14~P18,P14´~P18´,P20~P32,P20´~P32´,P34~P39,P34´~P39´,P41~P50,P41´~P50´,P52~P56,P52´~P56´,P58~P70,P58´~P70´ 副画像(表示用体内画像)
 W1 表示画面
 W1´ 仮想画面

Claims (12)

  1.  表示画面を表示する表示部を備えた画像表示装置において、
     時系列で取得された複数の画像を含む画像群を取得する画像取得部と、
     前記画像取得部にて取得された前記画像群から所定の条件を満たす主画像を含む主画像群を抽出する画像抽出部と、
     前記主画像群に含まれる前記主画像毎に、前記画像群のうち前記画像抽出部にて抽出されなかった副画像を関連付ける画像関連付け部と、
     第1領域に前記主画像群を配置し、前記第1領域とは異なる第2領域に前記副画像を含む副画像群を配置した表示画面を生成し、当該表示画面を前記表示部に表示させる表示制御部とを備え、
     前記主画像群は、
     第1の方向に沿って時系列で前記第1領域に配置され、
     前記副画像群は、
     前記画像関連付け部にて前記主画像に関連付けられた副画像毎に、当該主画像と並ぶように、前記第1の方向に直交する第2の方向に沿って時系列で前記第2領域に配置され、

     前記表示制御部は、
     前記第1の方向に沿って前記主画像群が移動する態様、並びに、前記第2の方向に沿って前記主画像群の少なくとも一部、及び前記副画像群の少なくとも一部が移動する態様で前記表示画面を変更する
     ことを特徴とする画像表示装置。
  2.  前記画像関連付け部は、
     前記副画像を当該副画像に対して時系列的に直近の前記主画像に関連付ける
     ことを特徴とする請求項1に記載の画像表示装置。
  3.  前記表示制御部は、
     前記第2領域における前記副画像の配置位置が前記第1領域から離間するほど当該副画像の画像サイズが小さい前記表示画面を生成する
     ことを特徴とする請求項1または2に記載の画像表示装置。
  4.  前記表示制御部は、
     前記表示画面の中心位置を含む前記第1領域に前記主画像群を配置し、前記第1領域における前記主画像の配置位置が前記中心位置から離間するほど当該主画像の画像サイズが小さい前記表示画面を生成する
     ことを特徴とする請求項1~3のいずれか一つに記載の画像表示装置。
  5.  前記第1の方向に沿って前記主画像群が移動する態様での前記表示画面の変更の開始指示、及び、前記第1の方向に沿って前記主画像群が移動する態様での前記表示画面の変更の停止指示を受け付ける指示受付部を備え、
     前記表示制御部は、
     前記指示受付部が前記開始指示を受け付けた場合には、前記第2領域に前記副画像群を配置せずに、前記第1の方向に沿って前記主画像群が移動する態様で前記表示画面を順次、生成し、
     前記指示受付部が前記停止指示を受け付けた場合には、前記第2領域に前記副画像群を配置するとともに、前記主画像群の移動を停止させた態様で前記表示画面を生成する
     ことを特徴とする請求項1~4のいずれか一つに記載の画像表示装置。
  6.  前記表示制御部は、
     前記主画像群に含まれる各前記主画像、及び前記副画像群に含まれる各前記副画像の間に隙間がない前記表示画面を生成する
     ことを特徴とする請求項1~5のいずれか一つに記載の画像表示装置。
  7.  前記表示制御部は、
     前記副画像に対して前記主画像を強調した前記表示画面を生成する
     ことを特徴とする請求項1~6のいずれか一つに記載の画像表示装置。
  8.  前記表示制御部は、
     前記表示画面内に前記主画像群に含まれる前記主画像の全てを配置していない場合に、配置していない前記主画像が存在することを示す存在情報を前記表示画面に含める
     ことを特徴とする請求項1~7のいずれか一つに記載の画像表示装置。
  9.  前記表示制御部は、
     前記表示画面内に前記副画像群に含まれる前記副画像の全てを配置していない場合に、配置していない前記副画像が存在することを示す存在情報を前記表示画面に含める
     ことを特徴とする請求項1~8のいずれか一つに記載の画像表示装置。
  10.  前記存在情報は、
     前記配置していない前記主画像または前記副画像の数を示す情報である
     ことを特徴とする請求項8または9に記載の画像表示装置。
  11.  表示画面を表示する表示部を備えた画像表示装置が行う画像表示方法において、
     時系列で取得された複数の画像を含む画像群を取得する画像取得ステップと、
     前記画像取得ステップで取得した前記画像群から所定の条件を満たす主画像を含む主画像群を抽出する画像抽出ステップと、
     前記主画像群に含まれる前記主画像毎に、前記画像群のうち前記画像抽出ステップで抽出しなかった副画像を関連付ける画像関連付けステップと、
     第1領域に前記主画像群を配置し、前記第1領域とは異なる第2領域に前記副画像を含む副画像群を配置した表示画面を生成し、当該表示画面を前記表示部に表示させる表示ステップと、
     前記表示画面を変更する表示変更ステップとを含み、
     前記表示ステップでは、
     前記主画像群を第1の方向に沿って時系列で前記第1領域に配置し、前記副画像群を前記画像関連付けステップで前記主画像に関連付けた副画像毎に、当該主画像と並ぶように、前記第1の方向に直交する第2の方向に沿って時系列で前記第2領域に配置し、
     前記表示変更ステップでは、
     前記第1の方向に沿って前記主画像群が移動する態様、並びに、前記第2の方向に沿って前記主画像群の少なくとも一部、及び前記副画像群の少なくとも一部が移動する態様で前記表示画面を変更する
     ことを特徴とする画像表示方法。
  12.  請求項11に記載の画像表示方法を画像表示装置に実行させる
     ことを特徴とする画像表示プログラム。
PCT/JP2014/064967 2013-09-09 2014-06-05 画像表示装置、画像表示方法、及び画像表示プログラム WO2015033634A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201480004217.8A CN104902800A (zh) 2013-09-09 2014-06-05 图像显示装置、图像显示方法以及图像显示程序
EP14841794.2A EP3045100A1 (en) 2013-09-09 2014-06-05 Image display device, image display method, and image display program
JP2015502427A JP5756939B1 (ja) 2013-09-09 2014-06-05 画像表示装置、画像表示方法、及び画像表示プログラム
US14/801,060 US9424643B2 (en) 2013-09-09 2015-07-16 Image display device, image display method, and computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013186585 2013-09-09
JP2013-186585 2013-09-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/801,060 Continuation US9424643B2 (en) 2013-09-09 2015-07-16 Image display device, image display method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2015033634A1 true WO2015033634A1 (ja) 2015-03-12

Family

ID=52628124

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/064967 WO2015033634A1 (ja) 2013-09-09 2014-06-05 画像表示装置、画像表示方法、及び画像表示プログラム

Country Status (5)

Country Link
US (1) US9424643B2 (ja)
EP (1) EP3045100A1 (ja)
JP (1) JP5756939B1 (ja)
CN (1) CN104902800A (ja)
WO (1) WO2015033634A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6437943B2 (ja) * 2016-03-07 2018-12-12 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6629639B2 (ja) * 2016-03-07 2020-01-15 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2020133204A1 (en) * 2018-12-28 2020-07-02 Qualcomm Incorporated Apparatus and method to correct the angle and location of the camera

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006061626A (ja) * 2004-08-30 2006-03-09 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2006288612A (ja) 2005-04-08 2006-10-26 Olympus Corp 画像表示装置
WO2009008125A1 (ja) * 2007-07-12 2009-01-15 Olympus Medical Systems Corp. 画像処理装置、該動作方法及び該プログラム
JP2010094185A (ja) * 2008-10-14 2010-04-30 Olympus Medical Systems Corp 画像表示装置
JP2010142287A (ja) 2008-12-16 2010-07-01 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2012185583A (ja) 2011-03-03 2012-09-27 Olympus Medical Systems Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2013075244A (ja) * 2013-02-01 2013-04-25 Olympus Medical Systems Corp 画像表示装置、画像表示方法、および画像表示プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3012342B2 (ja) * 1990-01-19 2000-02-21 オリンパス光学工業株式会社 医療用画像表示装置
WO2005062715A2 (en) * 2003-12-31 2005-07-14 Given Imaging Ltd. System and method for displaying an image stream
JP4594835B2 (ja) * 2005-09-09 2010-12-08 オリンパスメディカルシステムズ株式会社 画像表示装置
JP4441464B2 (ja) * 2005-09-09 2010-03-31 オリンパスメディカルシステムズ株式会社 画像表示装置
JP5085370B2 (ja) * 2008-02-19 2012-11-28 オリンパス株式会社 画像処理装置および画像処理プログラム
EP2177149A1 (en) 2008-10-14 2010-04-21 Olympus Medical Systems Corporation Image display device, image display method, and image display program
US20100165088A1 (en) * 2008-12-29 2010-07-01 Intromedic Apparatus and Method for Displaying Capsule Endoscope Image, and Record Media Storing Program for Carrying out that Method
US20120113239A1 (en) * 2010-11-08 2012-05-10 Hagai Krupnik System and method for displaying an image stream

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006061626A (ja) * 2004-08-30 2006-03-09 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2006288612A (ja) 2005-04-08 2006-10-26 Olympus Corp 画像表示装置
WO2009008125A1 (ja) * 2007-07-12 2009-01-15 Olympus Medical Systems Corp. 画像処理装置、該動作方法及び該プログラム
JP5385138B2 (ja) 2007-07-12 2014-01-08 オリンパスメディカルシステムズ株式会社 画像処理装置、該動作方法及び該プログラム
JP2010094185A (ja) * 2008-10-14 2010-04-30 Olympus Medical Systems Corp 画像表示装置
JP2010142287A (ja) 2008-12-16 2010-07-01 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2012185583A (ja) 2011-03-03 2012-09-27 Olympus Medical Systems Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2013075244A (ja) * 2013-02-01 2013-04-25 Olympus Medical Systems Corp 画像表示装置、画像表示方法、および画像表示プログラム

Also Published As

Publication number Publication date
US9424643B2 (en) 2016-08-23
JP5756939B1 (ja) 2015-07-29
EP3045100A1 (en) 2016-07-20
US20150324983A1 (en) 2015-11-12
JPWO2015033634A1 (ja) 2017-03-02
CN104902800A (zh) 2015-09-09

Similar Documents

Publication Publication Date Title
EP2316327B1 (en) Image display device, image display method, and image display program
US8502861B2 (en) Image display apparatus
JP5385138B2 (ja) 画像処理装置、該動作方法及び該プログラム
WO2018020558A1 (ja) 画像処理装置、画像処理方法およびプログラム
EP1787574B1 (en) Image display device, image display method, and image display program
US20150334276A1 (en) System and method for displaying an image stream
US20100083178A1 (en) Image display apparatus, image display method, and computer program product
US10607340B2 (en) Remote image transmission system, display apparatus, and guide displaying method thereof
JP5756939B1 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
EP3005934A1 (en) Medical device
CN107105151B (zh) 图像处理装置、图像处理方法以及存储介质
JP5822545B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
US20220117662A1 (en) Systems and methods for facilitating insertion of a surgical instrument into a surgical space
JP5231160B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP5684300B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP5361246B2 (ja) 内視鏡装置およびプログラム
US20070016018A1 (en) Review mode graphical user interface for an ultrasound imaging system
JP7100505B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム
JP2013078382A (ja) パノラマ画像作製プログラム
KR100900533B1 (ko) 캡슐 내시경 영상의 화면 표시방법과 이를 수행하기 위한 프로그램이 기록된 기록매체
JP6128664B2 (ja) パノラマ画像作成プログラム
WO2016056408A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
EP2400465A2 (en) Virtual endoscopy apparatus, method for driving thereof and medical examination apparatus
JP2012170751A (ja) 画像表示装置、方法、及びプログラム、並びにカプセル型内視鏡システム
EP1659948A1 (en) Review mode graphical user interface for an ultrasound imaging system

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015502427

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14841794

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014841794

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014841794

Country of ref document: EP