WO2010109726A1 - 画像処理システム、外部装置およびその画像処理方法 - Google Patents

画像処理システム、外部装置およびその画像処理方法 Download PDF

Info

Publication number
WO2010109726A1
WO2010109726A1 PCT/JP2009/070188 JP2009070188W WO2010109726A1 WO 2010109726 A1 WO2010109726 A1 WO 2010109726A1 JP 2009070188 W JP2009070188 W JP 2009070188W WO 2010109726 A1 WO2010109726 A1 WO 2010109726A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
identification information
image
unit
displayed
Prior art date
Application number
PCT/JP2009/070188
Other languages
English (en)
French (fr)
Inventor
武志 西山
勝義 谷口
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to EP09842336.1A priority Critical patent/EP2412299B1/en
Priority to JP2010533783A priority patent/JP4865912B2/ja
Priority to CN200980158331.5A priority patent/CN102361585B/zh
Priority to US12/886,856 priority patent/US8328712B2/en
Publication of WO2010109726A1 publication Critical patent/WO2010109726A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00059Operational features of endoscopes provided with identification means for the endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/41Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/414Evaluating particular organs or parts of the immune or lymphatic systems
    • A61B5/416Evaluating particular organs or parts of the immune or lymphatic systems the spleen
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/07Endoradiosondes
    • A61B5/073Intestinal transmitters

Definitions

  • the present invention relates to an image processing system, an external device, and an image processing method thereof, and more particularly, to an image processing system including an in-subject introduction device including an imaging unit, the external device, and an image processing method thereof.
  • apparatuses for observing the inside of a subject such as a person or an animal include a tube-type endoscope and a capsule-type endoscope (hereinafter simply referred to as an in-subject introduction apparatus).
  • Tube-type endoscopes include electronic endoscopes with a CCD (Charge Coupled Device) sensor at the tip, and fiberscopes in which a bundle of optical fibers is passed through the tube.
  • An image inside the subject is acquired by inserting from the mouth or anus of the subject (for example, see Patent Document 1 shown below).
  • the in-subject introduction apparatus is of a size that can be swallowed by a person, an animal, or the like. For example, it is orally introduced into the subject and periodically images the inside of the subject.
  • An image inside the subject obtained by imaging is transmitted as a radio signal to an external receiving device.
  • An observer reproduces a plurality of images obtained by a tube-type endoscope or an in-subject introducing device individually or continuously on a display device, and observes the images to diagnose the inside of the subject.
  • Patent Document 4 A medical system in which a so-called overview function is mounted on a display device has been proposed (see, for example, Patent Document 4 shown below).
  • the present invention has been made in view of the above problems, and an image processing system capable of avoiding a reduction in the amount of information that can be presented to an observer at a time even when a compound eye intra-subject introduction device is used,
  • An object is to provide an external device and an image processing method thereof.
  • an image processing system distinguishes between a plurality of imaging means for imaging the inside of a subject and generating image data, and an imaging means for generating the image data in the image data.
  • An identification information adding means for adding the identification information, an output means for outputting the image data to which the identification information is added to the outside, an in-subject introduction apparatus, and an input means for inputting the image data;
  • List display means for displaying the image data as a list for each identification information, and switching for switching the image data of the identification information being displayed from the image data of one identification information being displayed by the list display means to the image data of the other identification information
  • an external device provided with the means.
  • the external device includes the image data of the one identification information and the image data of the other identification information generated by imaging the inside of the subject from different directions.
  • Synchronization means for synchronizing is provided, and the list display means displays a list of image data for each identification information based on synchronization by the synchronization means.
  • the in-subject introduction apparatus includes imaging time addition means for adding imaging time to each image data to which identification information is added, and the synchronization means includes the image data
  • the image data of the one identification information and the image data of the other identification information are synchronized by adding or subtracting a predetermined time to the imaging time added to the image data of one identification information.
  • the external apparatus includes a selection unit that selects image data to be displayed from among a series of image data for each identification information, and the list display unit is selected.
  • the image data is displayed in a list for each identification information.
  • the list display means displays a first list display area for displaying a list of image data of the one identification information and a list of image data of the other identification information.
  • 2 List time area is displayed on different screens.
  • the selecting unit selects image data to be displayed based on an image processing result between successive image data among a series of image data for each identification information, and the synchronization
  • the means is synchronized with the image data of the one identification information It is characterized in that empty image data of the other identification information is generated.
  • the selecting unit selects image data to be displayed based on an image processing result between preceding and following image data among a series of image data of the one identification information, The image data of the other identification information synchronized with the selected image data is selected.
  • the selecting unit selects the image data to be displayed based on the image processing result between the preceding and succeeding image data among the series of image data for each identification information, When the image data of the other identification information to be synchronized with the image data of the one identification information is not selected, the image of the one identification information among the image data of the other identification information not selected.
  • the image data to be synchronized with the data is further selected as a display target.
  • the selecting unit selects the image data to be displayed based on the image processing result between the preceding and succeeding image data among the series of image data for each identification information, When the image data of the other identification information to be synchronized with the image data of the one identification information is not selected, the image data of the one identification information is excluded from the image data to be displayed. It is said.
  • the external device includes a starting point image selecting unit that selects image data that is the starting point of the synchronization, and the synchronizing unit receives the image data selected by the starting point image selecting unit.
  • the image data of the one identification information and the image data of the other identification information are synchronized.
  • the switching unit individually switches the identification information of the image data to be displayed, and the list display unit displays the identification information by the switching unit among the image data to be displayed in a list.
  • the image data switched from one identification information to the other identification information is switched to the image data of the other identification information synchronized with the image data of the one identification information and displayed in a list.
  • the above-described image processing system is characterized in that the list display means displays an image for visually identifying the imaging means that acquired the individual image data to be displayed in the vicinity of each image data. .
  • the external device includes a determination unit that determines whether the image data of the one identification information is appropriate for observation, and the list display unit includes the one identification unit.
  • the image data of information is switched to the image data of the other identification information synchronized with the image data and displayed as a list.
  • the external device inputs a rotation instruction input means for inputting a rotation instruction for the image data displayed in the list, and rotation correction for rotating the image data to which the rotation instruction is input.
  • the list display means displays the rotation-corrected image data included in the list.
  • the list display means displays a screen including a list display area for displaying a list of image data for each identification information, and cannot be displayed in the list display area at one time.
  • the image data is displayed in the list display area on the next page.
  • the image processing system according to the present invention described above is characterized in that the list display means displays a list of reduced images of the image data.
  • the external apparatus also includes a plurality of imaging means for imaging the inside of the subject and generating image data, and identification information for adding to the image data identification information for identifying the imaging means that generated the image data
  • An input means for inputting the image data from an in-subject introduction apparatus comprising an information addition means, a list display means for displaying a list of the image data for each identification information, and the list display means as a display target Switching means for switching from the image data of one identification information being displayed to the image data of the other identification information.
  • the image processing method adds a plurality of imaging means for imaging the inside of the subject to generate image data, and identification information for identifying the imaging means for generating the image data to the image data.
  • image data for each imaging means can be appropriately switched and displayed as a list. It is possible to realize an image processing system, an external device, and an image processing method thereof that can avoid reducing the amount of information that can be presented at once.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a medical system according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a schematic internal configuration of a capsule medical device according to Embodiments 1 to 4 of the present invention or a modification thereof and a receiving device that performs wireless communication therewith.
  • FIG. 3 is a perspective view showing a schematic appearance of a capsule medical device according to Embodiments 1 to 4 of the present invention or a modification thereof.
  • FIG. 4 is a block diagram showing a schematic configuration example of the display device according to the first embodiment of the present invention.
  • FIG. 5 is a diagram showing an example of an overview screen according to the first embodiment of the present invention.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a medical system according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a schematic internal configuration of a capsule medical device according to Embodiments 1 to 4 of the present invention or a modification thereof and a
  • FIG. 6 is a flowchart showing a schematic operation example of the capsule medical device according to the first embodiment of the present invention.
  • FIG. 7 is a flowchart showing a schematic operation example of the receiving apparatus according to Embodiment 1 of the present invention.
  • FIG. 8 is a flowchart showing a schematic operation example of the display device according to the first embodiment of the present invention.
  • FIG. 9 is a diagram showing an example of an overview screen according to the modified example 1-1 of the first embodiment of the present invention.
  • FIG. 10 shows a modification 1-2a of the first embodiment of the present invention, in which the same specific part (projection) in the lumen is imaged by the first imaging unit and the second imaging unit arranged in opposite directions to each other. It is a conceptual diagram which shows the flow in the case.
  • FIG. 10 shows a modification 1-2a of the first embodiment of the present invention, in which the same specific part (projection) in the lumen is imaged by the first imaging unit and the second imaging unit arranged in opposite directions to each other.
  • FIG. 11 is a diagram for explaining the order along the time axis T between the image data by the first imaging unit and the image data by the second imaging unit in Modification 1-2a of Embodiment 1 of the present invention. is there.
  • FIG. 12 is a block diagram showing a schematic configuration example of a display device according to Modification 1-2a of Embodiment 1 of the present invention.
  • FIG. 13 is a flowchart showing a schematic operation example of the display device according to the modified example 1-2a of the first embodiment of the present invention.
  • FIG. 14 is a flowchart showing a specific example of the synchronization process shown in step S135-2a of FIG.
  • FIG. 15 is a diagram showing an example of an overview screen according to modification 1-2a of the first embodiment of the present invention.
  • FIG. 12 is a block diagram showing a schematic configuration example of a display device according to Modification 1-2a of Embodiment 1 of the present invention.
  • FIG. 13 is a flowchart showing a schematic operation example of the
  • FIG. 16 is a diagram showing an example of an overview screen according to modification 1-2b of the first embodiment of the present invention.
  • FIG. 17 is a block diagram showing a schematic configuration example of a display device according to Modification 1-2b of Embodiment 1 of the present invention.
  • FIG. 18 is a flowchart showing a schematic operation example of the display device according to the modified example 1-2b of the first embodiment of the present invention.
  • FIG. 19 is a flowchart showing a specific example of the image data selection process shown in step S130-2b of FIG.
  • FIG. 20 is a diagram showing another example of an overview screen according to modification 1-2b of the first embodiment of the present invention.
  • FIG. 21 is a diagram showing an example of an overview screen according to modification 1-2c of the first embodiment of the present invention.
  • FIG. 22 is a flowchart showing a specific example of the synchronization selection process according to the modified example 1-2c of the first embodiment of the present invention.
  • FIG. 23 is a diagram showing an example of an overview screen according to the modified example 1-2d of the first embodiment of the present invention.
  • FIG. 24 is a flowchart showing a specific example of the synchronization selection process according to the modified example 1-2d of the first embodiment of the present invention.
  • FIG. 25 is a diagram showing an example of an overview screen according to Modification 1-3 of Embodiment 1 of the present invention.
  • FIG. 26 is a diagram showing an example of an overview screen according to Modification 1-4 of Embodiment 1 of the present invention.
  • FIG. 27 is a diagram showing an example of an overview screen according to modification 1-5 of the first embodiment of the present invention.
  • FIG. 28 is a diagram showing an example of an overview screen according to the modification 1-6 of the first embodiment of the present invention.
  • FIG. 29 is a diagram showing an example of an overview screen according to modification 1-7 of the first embodiment of the present invention.
  • FIG. 30 is a diagram showing an example of an overview screen before synchronization according to Modification 1-8 of Embodiment 1 of the present invention.
  • FIG. 31 is a diagram showing an example of an overview screen after synchronization according to Modification 1-8 of Embodiment 1 of the present invention.
  • FIG. 32 is a block diagram illustrating a schematic configuration example of the display device according to the second embodiment of the present invention.
  • FIG. 33 is a diagram showing an example of an overview screen according to the second embodiment of the present invention.
  • FIG. 34 is a flowchart showing a schematic operation example of the display device according to the second embodiment of the present invention.
  • FIG. 35 is a flowchart showing a specific example of the reduced image switching process shown in step S241 of FIG.
  • FIG. 36 is a diagram for explaining how image data with different sharpness is obtained when the same specific part is moved between the first imaging unit and the second imaging unit in the second embodiment of the present invention.
  • FIG. 37 is a block diagram showing a schematic configuration example of a display device according to Modification 2-1 of Embodiment 2 of the present invention.
  • FIG. 38 is a flowchart showing a schematic operation example of the display device according to the modified example 2-1 of the second embodiment of the present invention.
  • FIG. 39 is a flowchart showing a specific example of the image definition determination process shown in step S236-1 in FIG.
  • FIG. 40 is a diagram showing an example of an overview screen according to modification 2-2 of the second embodiment of the present invention.
  • FIG. 41 is a diagram showing an example of an overview screen according to the modification 2-3 of the second embodiment of the present invention.
  • FIG. 42 is a block diagram showing a schematic configuration example of a display device according to Embodiment 3 of the present invention.
  • FIG. 43 is a diagram showing an example of an overview screen according to the third embodiment of the present invention.
  • FIG. 44 is a flowchart showing a schematic operation example of the display device according to the third embodiment of the present invention.
  • FIG. 45 is a block diagram showing a schematic configuration example of a display device according to Modification 3-1a of Embodiment 3 of the present invention.
  • FIG. 46 is a diagram showing an example of an overview screen according to the modified example 3-1a of the third embodiment of the present invention.
  • FIG. 47 is a flowchart showing a schematic operation of the display device according to the modified example 3-1a of the third embodiment of the present invention.
  • FIG. 48 is a block diagram showing a schematic configuration example of a display device according to Modification 3-1b of Embodiment 3 of the present invention.
  • FIG. 49 is a diagram showing an example of an overview screen according to the modified example 3-1b of the third embodiment of the present invention.
  • FIG. 50 is a flowchart showing a schematic operation example of the display device according to the modification 3-1b of the third embodiment of the invention.
  • FIG. 51 is a diagram showing another example of an overview screen according to the modification 3-1b of the third embodiment of the present invention.
  • FIG. 52 is a diagram showing an example of an overview screen according to Modification 3-1c of Embodiment 3 of the present invention.
  • FIG. 53 is a diagram showing an example of an overview screen according to Modification 3-1d of Embodiment 3 of the present invention.
  • FIG. 54 is a diagram showing an example of an overview screen before synchronization according to Modification 3-2 of Embodiment 3 of the present invention.
  • FIG. 55 is a diagram showing an example of an overview screen before synchronization according to the modified example 3-3 of the third embodiment of the present invention.
  • FIG. 56 is a diagram showing an example of an overview screen before synchronization according to the modified example 3-4 of the third embodiment of the present invention.
  • FIG. 57 is a block diagram showing a schematic configuration example of a display device according to Embodiment 4 of the present invention.
  • FIG. 58 is a diagram showing an example of an overview screen according to the fourth embodiment of the present invention.
  • FIG. 59 is a flowchart showing a schematic operation example of the display device according to the fourth embodiment of the present invention.
  • each drawing only schematically shows the shape, size, and positional relationship to the extent that the contents of the present invention can be understood. Therefore, the present invention is illustrated in each drawing. It is not limited to only the shape, size, and positional relationship. Moreover, in each figure, a part of hatching in a cross section is abbreviate
  • the subject 900 is orally introduced into the subject 900, and the subject 900 is subjected to an imaging operation while moving in the lumen 902 (see FIG. 1) from the esophagus to the anus of the subject 900.
  • a capsule-type intra-subject introduction device hereinafter referred to as a capsule medical device
  • the present invention is not limited to this, and various modifications can be made when using a capsule medical device that floats on a liquid stored in the stomach, small intestine, large intestine, etc. of the subject 900.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a medical system 1 according to the first embodiment.
  • the medical system 1 includes, for example, a capsule medical device 100 that is orally introduced into a subject 900 and wireless communication with the capsule medical device 100 by performing wireless communication with the capsule medical device 100.
  • a receiving device 130 that transmits and receives image data, control commands, and the like, and a display device 150 that performs predetermined processing on the image data received by the receiving device 130 from the capsule medical device 100 and displays the image data to an observer.
  • the receiving device 130 and the display device 150 are external devices arranged outside the subject 900.
  • a portable recording medium 140 such as a flash memory (registered trademark) or a smart card (registered trademark) can be attached to and detached from the receiving device 130.
  • image data received from the capsule medical device 100 is stored in the portable recording medium 140.
  • the observer moves the image data received from the capsule medical device 100 in the receiving device 130 to the display device 150 by replacing the portable recording medium 140 from the receiving device 130 to the display device 150.
  • the present invention is not limited to this, and the image data received by the receiving device 130 may be transmitted to the display device 150 via the communication cable 159 or the like in substantially real time.
  • the observer uses the display device 150 to execute predetermined processing such as reproduction processing and conversion processing of image data stored in the portable recording medium 140.
  • an information processing device such as a personal computer or a workstation, or a display such as a liquid crystal display or an organic EL display can be used.
  • FIG. 2 is a block diagram showing a schematic internal configuration of the capsule medical device 100 and the receiving device 130 that performs wireless communication therewith.
  • FIG. 3 is a perspective view showing a schematic appearance of the capsule medical device 100.
  • the capsule medical device 100 includes two imaging units that illuminate and image the inside of the subject 900 (hereinafter referred to as a first imaging unit 101A and a second imaging unit 101B for convenience), a first A processing unit 102 that performs processing on image data generated by each of the imaging unit 101A and the second imaging unit 101B and other various processing, a memory unit 103 that stores image data processed by the processing unit 102, and reception A transmission / reception unit 104 and an antenna 105 that transmit and receive signals to and from the device 130, and one or more batteries 106 that supply power to the capsule medical device 100 are provided.
  • a first imaging unit 101A and a second imaging unit 101B for convenience
  • a first A processing unit 102 that performs processing on image data generated by each of the imaging unit 101A and the second imaging unit 101B and other various processing
  • a memory unit 103 that stores image data processed by the processing unit 102
  • reception A transmission / reception unit 104 and an antenna 105 that transmit and receive signals to and from the device 130
  • the first imaging unit 101A and the second imaging unit 101B, the processing unit 102, the memory unit 103, the transmission / reception unit 104, and the battery 106 are accommodated in a water-tight casing 108 including a container 108a and caps 108A and 108B.
  • the container 108a has a hollow cylindrical shape.
  • each of the caps 108A and 108B has a hollow hemispherical shape, and is fitted into two openings provided in the container 108a to seal the inside of the housing 108 in a watertight manner.
  • At least the caps 108A and 108B are formed of a transparent resin or the like.
  • Each of the first imaging unit 101A and the second imaging unit 101B is an imaging unit that images the inside of the subject 900 and generates image data.
  • the LED 101c that illuminates the inside of the subject 900 and a CCD (Charge Coupled) that is a light receiving element. Device) arranged in a matrix, CCD array 101a, objective lens 101b arranged on the light receiving surface side of each CCD array 101a, drive circuit (not shown) for driving LED 101c, and drive circuit for driving CCD array 101a (Not shown).
  • Each of the first imaging unit 101A and the second imaging unit 101B operates periodically (for example, twice per second), thereby imaging the inside of the subject 900 and generating image data.
  • the generated image data is read by the drive circuit and input to the processing unit 102 in substantially real time.
  • the processing unit 102 performs predetermined signal processing on the input image data, and inputs the processed image data to the transmission / reception unit 104.
  • the transmission / reception unit 104 mainly functions as an output unit that outputs the image data generated by the first imaging unit 101A or the second imaging unit 101B to the external receiving device 130. Therefore, the image data that has undergone predetermined signal processing by the processing unit 102 is then wirelessly transmitted from the transmission / reception unit 104 to the reception device 130 via the antenna 105 in substantially real time.
  • Image data that has undergone predetermined image signal processing is stored in the memory unit 103, and after the capsule medical device 100 is taken out from the subject 900, the image data is taken out from the memory unit 103. You may comprise as follows.
  • the LED 101c and the CCD array 101a of the first imaging unit 101A are arranged inside the casing 108 so that the illumination / imaging direction Dr_A faces the outside of the casing 108 through the transparent cap 108A. Placed in.
  • the LED 101c and the CCD array 101a of the second imaging unit 101B are arranged so that the illumination / imaging direction Dr_B faces the outside of the casing 108 through the transparent cap 108B, as shown in FIGS.
  • the CCD array 101 a is disposed at the approximate center of the cross section perpendicular to the longitudinal direction of the housing 108.
  • the plurality of LEDs 101c are arranged in point or line symmetry so as to surround the CCD array 101a in the cross section.
  • a loop antenna is used as the antenna 105 of the capsule medical device 100.
  • the present invention is not limited to this, and various antennas such as a dipole antenna can be used regardless of the presence or absence of directivity.
  • image data wirelessly transmitted from the capsule medical device 100 includes a plurality of antennas 120a to 120i (hereinafter referred to as arbitrary antennas) arranged on the body surface of the subject 900.
  • 120a to 120i is 120
  • the receiving device 130 arranged outside the subject 900 via the cable 121.
  • the reception device 130 transmits / receives a signal to / from the capsule medical device 100 via the antenna 120, and a signal (particularly image data) input from the transmission / reception circuit 131.
  • a signal processing circuit 132 that executes predetermined processing, a memory 134 that stores image data and the like that have been subjected to predetermined processing, and a GUI that allows an observer to input various operations and instructions to the capsule medical device 100 and the receiving device 130 (Graphical User Interface)
  • An operation unit 135 and a display unit 136 that realize a function are provided.
  • the plurality of antennas 120 are composed of, for example, a dipole antenna or a loop antenna, and are fixed to a jacket 122 on which the subject 900 can be worn.
  • the number and arrangement pattern of the antennas 120 and the fixing destination of the antennas 120 can be variously modified.
  • Image data input from the capsule medical device 100 via the antenna 120 is input to the signal processing circuit 132 via the transmission / reception circuit 131, subjected to predetermined signal processing in the signal processing circuit 132, and then stored in the temporary memory 134. Accumulated. Thereafter, the image data stored in the memory 134 is accumulated in the portable recording medium 140 via the interface (I / F) unit 137 or displayed via the communication cable 159 from the interface (I / F) unit 137. It is transmitted to the device 150 in substantially real time.
  • the interface unit 137 can be variously modified according to the data input / output method, such as a USB (Universal Serial Bus) interface or a communication interface used for a LAN (Local Area Network).
  • the display device 150 includes an information processing device such as a personal computer or a workstation, or a display such as a liquid crystal display or an organic EL display.
  • an information processing device such as a personal computer or a workstation
  • a display such as a liquid crystal display or an organic EL display.
  • FIG. 4 is a block diagram illustrating a schematic configuration example of the display device 150 according to the first embodiment.
  • the display device 150 is input from the interface unit 152 via the control unit 151 that controls internal operations and data input / output, and the portable recording medium 140 or the communication cable 159.
  • a memory unit 153 that temporarily stores image data and the like, an image processing unit 154 that executes a predetermined process on the input image data and generates a GUI screen that is provided to the observer, and a GUI screen generated by the image processing unit 154
  • an input unit 156 for inputting various instructions based on the GUI screen displayed on the display unit 155 by the observer.
  • the interface unit 152 functions as an input unit that inputs the image data output from the capsule medical device 100 via the receiving device 130.
  • Image data input from the interface unit 152 is temporarily stored in the memory unit 153 via the control unit 151. Thereafter, the image data is appropriately input to the image processing unit 154, and predetermined processing is performed.
  • the processed image data may be stored again in the memory unit 153, for example.
  • the image processing unit 154 performs a predetermined process to be described later on the input image data, and then generates a GUI screen to be provided to the observer using the processed image data.
  • the generated GUI screen is input to the display unit 155 via the control unit 151 and displayed on the display unit 155.
  • the display unit 155 and the input unit 156 provide a viewer with a GUI function using the GUI screen being displayed.
  • the observer inputs various operations from the input unit 156 such as a mouse and a keyboard, selects a target function, and displays / reproduces a desired image on the display unit 155.
  • the observer diagnoses the inside of the subject 900 by reading the displayed / reproduced image.
  • the image processing unit 154 includes an image data input unit 154a that inputs image data from the control unit 151 and the like, an image selection unit 154c that selects image data to be displayed, and selected image data.
  • a screen generation unit 154f that generates a GUI screen using 15B.
  • the image data input to the image processing unit 154 is first input to the image selection unit 154c by the image data input unit 154a.
  • the image sorting unit 154c sorts image data to be displayed based on the image processing result between the preceding and succeeding image data among the image data input from the image data input unit 154a.
  • the image processing result it is possible to use, for example, the similarity, correlation, motion vector, or the like between the preceding and following image data calculated from the feature points in the image data. That is, for example, the image selection unit 154c performs image processing on the image data input from the image data input unit 154a, and based on the similarity, correlation, motion vector, and the like between the preceding and subsequent image data obtained by this image processing.
  • the image data to be displayed is selected.
  • the image selection unit 154c functions as a selection unit that selects image data to be displayed from among a series of image data for each camera ID.
  • the selected image data is input to, for example, the average color bar generation unit 154d, the scene change determination unit 154e, and the screen generation unit 154f.
  • the average color bar generation unit 154d calculates the average color of the image data.
  • the average color bar generation unit 154d generates the average color bars 15A and 15B by connecting the calculated average color images according to the order of the image data for each imaging unit, that is, for each camera ID. To do.
  • the average color bar generation unit 154d may divide the image data into a plurality of areas and calculate an average color for each of the plurality of divided areas. For example, the image data is divided into four areas arranged in the vertical direction, the average color is calculated for each divided area, and the average color bars 15A and 15B are generated by connecting the calculated average color images for the same divided areas. May be.
  • the average color bars 15A and 15B are strip-like images of a plurality of lanes in which average color images for each divided region are arranged along the time axis (time series) of image data.
  • the scene change determination unit 154e determines image data in which a scene change has occurred from the image data input from the image selection unit 154c, and inputs the result to the screen generation unit 154f.
  • the present invention is not limited to this, and the scene change determination unit 154e may input the images of the average color bars 15A and 15B generated by the average color bar generation unit 154d and determine image data from which a scene change has occurred. . Further, it may be configured such that an observer appropriately selects an image in which a scene change has occurred.
  • the image data in which the scene change has occurred is, for example, image data when passing through a specific part (such as a pylorus, cecum, liver curve, spleen curve, or sigmoid colon) in the lumen 902 inside the subject 900.
  • a series of image data is divided into a plurality of regions (this is called a scene) divided by specific parts in the lumen 902 inside the subject 900.
  • FIG. 5 shows an example of GUI screens (overview screens 10A and 10B) generated by the screen generation unit 154f in the first embodiment.
  • the GUI screen according to the first embodiment mainly includes an overview screen 10A and an overview screen 10B.
  • 14A the average color bar 15A linked to the time scale bar 13A
  • a scene being displayed in the view image display area 11A is displayed in the displayed scene column 16A indicating the number of scenes in all scenes (see scenes A1 to A7 / B1 to B7 in FIG. 5), and an overview image display area 11A.
  • a scene switching button 17A for switching a scene to be displayed is incorporated.
  • a selection frame 11a indicating that selection is being performed is added to the reduced image being selected.
  • the viewer is provided with a function to indicate the scale bar 13B and the position at which the reduced image being selected in the overview image display area 11B is captured on the imaging time axis of the entire image data and to switch the page to be displayed.
  • a slider 14B, an average color bar 15B linked to the time scale bar 13B, A displayed scene column 16B indicating the number of scenes displayed in the entire view image display area 11B and a scene switching button 17B for switching the scene displayed in the overview image display area 11B are incorporated.
  • a selection frame 11b indicating that selection is being performed is added to the reduced image being selected.
  • the screen generation unit 154f (replaced to the screen generation units 154f, 254f, 354f, or 454f as appropriate in the following description) and the overview screen 10A / 10B generated by this (the overview screens 10A-1, 10B-1 are appropriately described later) 10A-2a, 10B-2a, 10A-2b, 10B-2b, 10A-2c, 10B-2c, 10A-2d, 10B-2d, 10A-3, 10A-4, 10-5, 10-6, 10 -7, 10A-8, 10B-8, 20, 20-2, 20-3, 30, 30-1a, 30-1b, 30-1c, 30-1d, 30-2, 30-3, 30-4
  • the display unit 155 functions as a list display unit that displays a list of image data.
  • the observer can know the overall image inside the subject 900 in each scene by viewing the list of reduced images being displayed in the overview image display areas 11A / 11B of the overview screens 10A / 10B.
  • the observer operates the pointer 19 using the mouse, keyboard, joystick, or the like of the input unit 156 and clicks the view switching button 12A, thereby changing the GUI screen displayed on the display unit 155 to the overview screen 10A and Switch to one of 10B. That is, the view switching button 12A / 12B, the input unit 156 for operating / inputting the view switching button 12A / 12B, and the screen generation unit 154f that operates based on the switching instruction from the view switching button 12A / 12B are displaying the image data to be displayed. It functions as switching means for switching from image data of one camera ID to image data of the other camera ID.
  • the image data is generated for each imaging unit (first eye (that is, first imaging unit 101A) or second eye (that is, second imaging unit 101B)) and for each scene.
  • first eye that is, first imaging unit 101A
  • second eye that is, second imaging unit 101B
  • the image data is generated for each imaging unit (first eye (that is, first imaging unit 101A) or second eye (that is, second imaging unit 101B)) and for each scene.
  • first eye that is, first imaging unit 101A
  • second imaging unit 101B that is, second imaging unit 101B
  • the symbol indicated by “#” is a number assigned to the image data for each scene in time series, and is an image ID for identifying each image data (or reduced image). is there.
  • the reduced image to be clicked is selected, and the selection frame 11a / 11b is added thereto.
  • the reduced image responds to the position of the slider 14A / 14B after the slide on the time axis of the time scale bar 13A / 13B. Is automatically selected.
  • the slider 14A / 14B is moved across the scene, the scene displayed in the overview image display area 11A / 11B is switched.
  • a list of reduced images in the operation destination scene is displayed in the overview image display area 11A / 11B and, for example, the head of the movement destination scene is displayed.
  • the slider 14A / 14B moves to a position on the time scale bar 13A / 13B corresponding to.
  • the first reduced image is automatically set as the initial selected image.
  • FIG. 6 is a flowchart showing a schematic operation example of the capsule medical device 100 according to the first embodiment.
  • FIG. 7 is a flowchart showing a schematic operation example of the receiving apparatus 130 according to the first embodiment.
  • FIG. 8 is a flowchart illustrating a schematic operation example of the display device 150 according to the first embodiment.
  • the capsule medical device 100 determines whether a predetermined time has elapsed from the determination in step S101 (step S105).
  • the capsule medical device 100 drives the second imaging unit 101B to Image data is acquired from the two imaging units 101B (step S106).
  • a time stamp indicating this time is added to the image data (step S107).
  • the image data acquired by the first imaging unit 101A and the second imaging unit 101B from the capsule medical device 100 is periodically wirelessly transmitted to the receiving device 130.
  • the operation of the capsule medical device 100 shown in FIG. 6 is continued until the power of the battery 106 in the capsule medical device 100 is exhausted.
  • the reception device 130 constantly monitors whether image data has been received from the capsule medical device 100 (No in step S111), and receives image data (step S111). Yes), the received image data to which the camera ID and the time stamp are added is stored in the portable recording medium 140 from the interface unit 137 or transmitted from the interface unit 137 to the display device 150 via the communication cable 159. (Step S112). Thereafter, the receiving apparatus 130 determines whether or not to continue the operation, for example, whether or not an operation end instruction is input from the operation unit 135 (step S113). If the operation is continued (Yes in step S113), Returning to step S111, the reception of the next image data is awaited. On the other hand, when the operation is not continued (No in step S113), the operation is terminated.
  • step S121 when the display device 150 inputs image data from the interface unit 152 using the portable recording medium 140 or the communication cable 159 as a medium (step S121), the display device 150 stores the image data in the memory via the control unit 151. The data is temporarily stored in the unit 153 or the like (step S122).
  • the display device 150 monitors whether or not a camera ID has been designated (No in step S123).
  • the observer clicks the view switching button 12A / 12B from the input unit 156 using a mouse or the like, thereby specifying the camera ID.
  • step S123 When the designation of the camera ID is input (Yes in step S123), the display device 150 reads the stored image data from the memory unit 153 or the like (step S124). The read image data is input to the image data input unit 154a in the image processing unit 154. In addition, the camera ID specified in step S123 is also input to the image data input unit 154a.
  • description will be made by focusing on the operation of the unit (see FIG. 4) that realizes each step.
  • the image data input unit 154a specifies each camera ID added to the input image data (step S125), and based on the camera ID, the image data is assigned to each imaging unit (101A / 101B), that is, a camera. Sort by ID (step S126).
  • the image processing unit 154 receives the image data from the control unit 151 at the time when the image data is taken in from the I / F unit 152, and performs image processing for each camera ID. As a result, the target of the representative image is determined for each camera ID.
  • the image sorting unit 154c identifies image data to be displayed based on the image processing result obtained by performing image processing on the input image data, and sorts this (step S131). Note that the selected image data is input to the average color bar generation unit 154d, the scene change determination unit 154e, and the screen generation unit 154f, respectively.
  • the average color bar generation unit 154d to which the selected image data is input selects the image data for each camera ID and calculates the average color of each image data (or for each divided area obtained by dividing the image data) (step S132). Based on this calculation result, the average color bar 15A / 15B in which the images of the average color are joined along the time series of the image data is generated (step S133). Note that the joining of images along the time series can be performed by following time stamps added to the selected image data, for example. Further, the average color may be calculated according to the color of the characteristic part included in each image data (or each divided region thereof). Further, the generated average color bar 15A / 15B is input to the screen generation unit 154f. However, the generated average color bar 15A / 15B may be input to the scene change determination unit 154e.
  • the scene change determination unit 154e determines the image data in which the scene change has occurred based on the image processing result between the preceding and succeeding image data among the image data input from the image selection unit 154c (step S134).
  • the scene change determination result is input to the screen generation unit 154f.
  • the screen generation unit 154f classifies the input selected image data, the scene change determination result, and the selected image data for each camera ID for each scene (step S135). Subsequently, the screen generating unit 154f generates the overview screen 10A / 10B shown in FIG. 5 from the image data divided for each scene and the image of the average color bar 15A / 15B (step S136). It outputs to the display part 155 via 151 (step S137). As a result, the overview screen 10A / 10B, which is a GUI screen, is displayed on the display unit 155, and a GUI function using this is provided to the observer.
  • the display device 150 determines whether or not to continue the operation, for example, whether or not an instruction to end the operation is input from the input unit 156 (step S138).
  • the operation is continued (Yes in step S138)
  • the next camera ID is awaited.
  • the operation is terminated.
  • each imaging unit (first eye (that is, the first imaging unit 101A) or second eye (that is, the second imaging unit 101B)) that generated the image data, and a scene. Since the reduced images for each image are displayed in a list on one screen, even in the medical system 1 using the compound medical device 100 with two eyes (for example, two eyes), the number and size of image data to be presented to the observer at a time There is no drop. As a result, even when a compound eye (for example, two eyes) capsule medical device 100 is used, it is possible to avoid a reduction in the amount of information that can be presented to the observer at one time.
  • the illumination / imaging direction is in the moving direction.
  • the imaging unit (for convenience of explanation, this is referred to as the first imaging unit 101A) images the specific part p1 before passing the part (specific part p1) such as a protrusion in the lumen 902, while illumination.
  • An imaging unit whose imaging direction is opposite to the moving direction (for convenience of description, this is referred to as the second imaging unit 101B) takes an image of the specific part p1 after passing through the specific part p1.
  • FIG. 10 is a conceptual diagram showing a flow when the same specific part (projection) p1 in the lumen 902 is imaged by the first imaging unit 101A and the second imaging unit 101B arranged in opposite directions. is there.
  • FIG. 11 is a diagram for explaining the order along the time axis T (the real time axis of the imaging operation) between the image data by the first imaging unit 101A and the image data by the second imaging unit 101B.
  • the image synchronization interval of one or both of the image data is changed based on the movement time t so that it can be processed as data.
  • Image data obtained by capturing the same position is displayed while matching the position on the overview image display area 11A-2a / 11B-2a with the view screen (see the overview screen 10B-2a in FIG.
  • the synchronization between image data to which different camera IDs are added is, for example, specifying an imaging unit (101A / 101B) facing in the direction opposite to the moving direction of the capsule medical device 100, and this imaging unit (moving direction in this description). This is possible by adding the moving time t to the imaging timing of the image data acquired by the imaging unit facing the camera (second imaging unit 101B).
  • the present invention is not limited to this, and various modifications may be made such as adding information (image number) indicating the order in time series to the image data, and synchronizing the image data of different camera IDs based on this information. Is possible.
  • the imaging timing specifies the timing of imaging such as the time stamp added to the image data and the elapsed time counted from the time when the capsule medical device 100 is activated (this is also added to the image data). Any information that can be used can be used.
  • the moving speed of the capsule medical device 100 may be different for each part (scene) in the lumen 902. Therefore, in the present modified example 1-2a, the image data is synchronized by changing the moving speed (that is, the moving time t) of the capsule medical device 100 for each scene.
  • the moving speed of the capsule medical device 100 within the lumen 902 can be specified, for example, through experiments, simulations, or experience.
  • the synchronization factor values such as the movement time t and the image number are designed so that the observer or administrator can appropriately change before or during use of the medical system. Flexibility can be increased.
  • the medical system according to the modification 1-2a can have the same configuration as the medical system 1 according to the first embodiment.
  • the display device 150 is replaced with the display device 150-2a shown in FIG.
  • the same components as those in the first embodiment or the modification thereof are denoted by the same reference numerals, and redundant description thereof is omitted.
  • FIG. 12 is a block diagram showing a schematic configuration example of the display device 150-2a according to the modification 1-2a.
  • the image processing unit 154 shown in FIG. 4 is replaced with an image processing unit 154-2a.
  • the scene change determination result by the scene change determination unit 154e is also input to the synchronization unit 154g.
  • the synchronization unit 154g specifies the camera ID of the imaging unit that faces in the direction opposite to the moving direction in the lumen 902 of the capsule medical device 100, based on the input scene change determination result, for example.
  • the synchronization unit 154g generates a new imaging time by adding a preset movement time t for each scene to the imaging time indicated by the time stamp of each image data to which the identified camera ID is added. Correspond to each image data. Thereby, the image data captured by the first imaging unit 101A and the image data captured by the second imaging unit 101B are synchronized.
  • the synchronization unit 154g includes the time stamp added to the image data of one camera ID (camera ID of the imaging unit facing in the direction opposite to the moving direction in the lumen 902 of the capsule medical device 100) of the image data.
  • the image data of this camera ID and the image data of the other camera ID are synchronized.
  • the present invention is not limited to this, and the moving time (predetermined time) t from the imaging time indicated by the time stamp added to the image data of the camera ID of the imaging unit facing the moving direction in the lumen 902 of the capsule medical device 100 May be synchronized with the image data of this camera ID and the image data of the other camera ID.
  • the synchronization unit 154g functions as a synchronization unit that synchronizes the image data of one camera ID and the image data of the other camera ID generated by imaging the same specific part p1 from different directions. To do. Therefore, the overview screen 10A-2a / 10B-2a displays a list of image data for each camera ID (a reduced image thereof) based on synchronization by the synchronization unit 154g.
  • FIG. 13 is a flowchart showing a schematic operation example of the display device 150-2a according to the modification 1-2a.
  • FIG. 14 is a flowchart showing a specific example of the synchronization process shown in step S135-2a of FIG.
  • the screen generation unit 154f generates an overview screen 10A-2a / 10B-2a (see FIG. 15) using the synchronized image data and the generated average color bar 15A / 15B (step S136-). 2a), this is output to the display part 155 via the control part 151 (step S137).
  • the overview screen 10A-2a / 10B-2a which is a GUI screen, is displayed on the display unit 155, and a GUI function using this is provided to the observer.
  • the display device 150-2a determines whether or not to continue the operation, for example, whether or not an operation end instruction has been input from the input unit 156 (step S138). If the operation is to be continued (Yes in step S138) ), Return to step S123, and wait for designation of the next camera ID. On the other hand, when the operation is not continued (No in step S138), the operation is terminated.
  • the synchronization unit 154g in the image processing unit 154-2a inputs the image data selected from the image selection unit 154c (step S141-2a), and the scene change.
  • the scene change determination result output from the determination unit 154e is input (step S142-2a).
  • the synchronization unit 154g specifies the camera ID of the imaging unit facing in the direction opposite to the moving direction of the capsule medical device 100 based on the input scene change determination result (step S143-2a).
  • the imaging unit facing in the direction opposite to the moving direction of the capsule medical device 100 can be specified from a motion vector in image data sequentially captured by each imaging unit.
  • the present invention is not limited to this, and various modifications such as identification based on a difference in imaging timing of image data in which a scene change has occurred can be made. That is, it is also possible to specify an imaging unit that previously captured image data that has undergone the same scene change as an imaging unit that faces the moving direction of the capsule medical device 100.
  • the scene change determination unit 154e and the synchronization unit 154g have an imaging unit in which an imaging direction is directed to a moving direction of the capsule medical device 100 based on an image processing result between successive image data in a series of image data for each camera ID. It functions as a specifying means for specifying.
  • the synchronization unit 154g extracts image data to which the camera ID specified in step S143-2a is added from the image data input from the image selection unit 154c (step S144-2a), and uses this as the scene change determination result. Based on the above, the scenes are classified (step S145-2a).
  • the synchronization unit 154g adds the moving time t set in advance for each scene to the imaging time indicated by the time stamp of the image data divided for each scene, and updates this to the image data.
  • the image data associated with the updated imaging time information is, for example, image data that is not an update target (that is, image data to which the camera ID of the imaging unit that faces the moving direction of the capsule medical device 100 is added). Accumulated in the memory unit 153 or the like.
  • the present invention is not limited to this, and a configuration for synchronizing two pieces of image data separately may be provided, such as setting a new flag and associating two pieces of synchronized image data.
  • FIG. 15 is a diagram showing an example of overview screens 10A-2a and 10B-2a according to Modification 1-2a.
  • a reduced image generated from image data selected from the image data # a1 to # a50 with camera ID 1.
  • a display portion having no synchronized image data is left blank.
  • the area 2a is blank. In other words, a portion where there is no image data to be synchronized is in a worm-eaten state.
  • Modification 1-2a in addition to the same effects as in the first embodiment, it is possible to display the image data obtained by capturing the same position with different eyes while synchronizing them. Therefore, the observer can easily observe the part in the subject 900 from a plurality of angles.
  • this case will be described in detail as modification 1-2b of the first embodiment with reference to the drawings.
  • the medical system according to the modification 1-2b has the same configuration as the medical system 1 according to the first embodiment. However, in Modification 1-2b, the display device 150 is replaced with a display device 150-2b shown in FIG. In the following description, the same components as those in the first embodiment or the modification thereof are denoted by the same reference numerals, and redundant description thereof is omitted.
  • FIG. 17 is a block diagram illustrating a schematic configuration example of the display device 150-2b according to the modification 1-2b.
  • the image processing unit 154 shown in FIG. 4 is replaced with an image processing unit 154-2b.
  • the image selection unit 154c is replaced with a synchronization selection unit 154h in the same configuration as the image processing unit 154.
  • the image data output from the image data input unit 154a is input to the scene change determination unit 154e and the synchronization selection unit 154h, respectively, and the scene change determination result by the scene change determination unit 154e is synchronized.
  • the data is input to the sorting unit 154h.
  • FIG. 18 is a flowchart showing a schematic operation example of the display device 150-2b according to the modification 1-2b.
  • FIG. 19 is a specific example of the image data selection process shown in step S130-2b of FIG. 18, and is a flowchart illustrating a schematic operation example of the synchronization selection unit 154h according to the modification 1-2b.
  • the scene change determination unit 154e determines the image data in which the scene change has occurred based on the image processing result between the preceding and succeeding image data among the image data input from the image data input unit 154a (step S129-). 2b).
  • the scene change determination result is input to the synchronization selection unit 154h.
  • the synchronous selection process for selecting the second image data is executed (step S130-2b). Details of the synchronization selection process will be described later with reference to FIG.
  • the average color bar generation unit 154d to which the selected image data is input calculates the average color of each image data (or for each divided area obtained by dividing the image data) (step S134-2b), and the average color is calculated based on the calculation result.
  • An average color bar 15A / 15B in which color images are joined in time series of image data is generated (step S135-2b).
  • the generated average color bar 15A / 15B is input to the screen generation unit 154f.
  • the screen generation unit 154f generates the overview screen 10A-2b / 10B-2b shown in FIG. 16 from the input selected image data and the average color bar 15A / 15B image (step S136-2b). This is output to the display unit 155 via the control unit 151 (step S137-2b). As a result, the overview screen 10A-2b / 10B-2b, which is a GUI screen, is displayed on the display unit 155, and a GUI function using this is provided to the observer.
  • step S138-2b determines whether or not to continue the operation, for example, whether or not an operation end instruction has been input from the input unit 156 (step S138-2b).
  • step S138-2b Yes
  • the process returns to step S123 and waits for the designation of the next camera ID.
  • the operation is terminated.
  • step S130-2b of FIG. 18 the synchronization selection unit 154h in the image processing unit 154-2b inputs image data from the image data input unit 154a (step S141-2b), and scene change determination The scene change determination result is input from the unit 154e (step S143-2b).
  • the synchronization selection unit 154h specifies the camera ID of the imaging unit facing in the direction opposite to the moving direction of the capsule medical device 100 (step S144-2b). Subsequently, the synchronization selection unit 154h extracts the image data of the camera ID specified in step S144-2b from the image data input from the image data input unit 154a (step S145-2b), and uses this as the scene change determination result. Based on the above, the scenes are classified (step S146-2b). Subsequently, the synchronization selection unit 154h adds the movement time t set in advance for each scene to the imaging time indicated by the time stamp of the image data divided for each scene, and updates this to the image data.
  • the image data associated with the updated imaging time information is, for example, image data that is not an update target (that is, image data to which the camera ID of the imaging unit that faces the moving direction of the capsule medical device 100 is added). Accumulated in the memory unit 153 or the like.
  • the synchronization selection unit 154h selects image data to be displayed based on the image processing result between the preceding and succeeding image data in the series of image data of one camera ID (step S148).
  • the image data of the other camera ID generated by imaging the same position as the image data of the selected camera ID from different directions is selected (step 150-2b).
  • Modification 1-2b in addition to the same effects as in the first embodiment, it is possible to display while synchronizing image data obtained by imaging the same position with different eyes Therefore, the observer can easily observe the part in the subject 900 from a plurality of angles.
  • the overview screens 10A-2b / 10B-2b generated by the screen generation unit 154f are as shown in FIG.
  • the present invention is not limited to this.
  • FIG. 21 is a diagram showing an example of overview screens 10A-2c and 10B-2c according to the modification 1-2c.
  • FIG. 22 is a flowchart showing a specific example of the synchronization selection process according to the modification 1-2c.
  • the synchronization selection unit 154h in the image processing unit 154-2b operates as shown in steps S141-2b to 151-2b in FIG.
  • step S150-2b and 155-2c when the image data of the other camera ID to be synchronized with the image data of one camera ID is not selected, one of the image data of the other camera ID not selected.
  • the image data to be synchronized with the image data of the camera ID is further selected as a display target (steps S150-2b and 155-2c).
  • Modification 1-2c in addition to the same effects as in the first embodiment, it is possible to display the image data obtained by imaging the same position with different eyes while synchronizing them. Therefore, the observer can easily observe the part in the subject 900 from a plurality of angles.
  • FIG. 23 is a diagram showing an example of overview screens 10A-2d and 10B-2d according to Modification 1-2d.
  • FIG. 24 is a flowchart showing a specific example of the synchronization selection process according to the modification 1-2d.
  • the synchronization selection unit 154h in the image processing unit 154-2b operates as shown in steps S141-2b to S148-2b in FIG.
  • the synchronization selection unit 154h according to the modification 1-2d selects image data to be displayed based on the image processing result between successive image data among a series of image data for each camera ID (step S148). -2b and 148-2d), when the image data of the other camera ID to be synchronized with the image data of one camera ID is not selected, the image data of one camera ID is selected from the image data to be displayed. Exclude (step S153-2d).
  • Modification 1-2d in addition to the same effects as in the first embodiment, it is possible to display while synchronizing image data obtained by imaging the same position with different eyes Therefore, the observer can easily observe the part in the subject 900 from a plurality of angles.
  • Modification 1-3 Further, in the above-described first embodiment and its modifications, it may be configured such that the observer can arbitrarily rotate individual reduced images in the overview image display area (for example, the overview image display area 11A).
  • this example will be described as modification 1-3 of the first embodiment with reference to the drawings.
  • Modification 1-3 will be described based on Embodiment 1 described above, but the present invention is not limited to this, and any one of Embodiment 1 and modifications thereof will be described. Needless to say, this modification 1-3 can also be applied to the above.
  • FIG. 25 is a diagram showing an example of an overview screen 10A-3 according to Modification 1-3.
  • 25A shows an example of the overview screen 10A-3 before rotating the reduced image
  • FIG. 25B shows an example of the overview screen 10A-3 after rotating the reduced image.
  • the target reduced image # A1 is displayed in a predetermined direction (see FIG. 25B). It rotates by a predetermined angle (for example, 30 ° or 90 °) clockwise, for example.
  • a predetermined angle for example, 30 ° or 90 °
  • the target reduced image may be rotated at an arbitrary rotation direction and rotation angle by dragging the corner of the reduced image in the desired rotation direction using the pointer 19.
  • the overview screen 10A-3 and the input unit 156 function as a rotation instruction input unit that inputs a rotation instruction of image data (reduced images) displayed in a list, and the screen generation unit 154f receives a rotation instruction. It functions as a rotation correction means for rotating and correcting the input image data.
  • Modification 1-4 In the first embodiment described above and its modification, the observer can arbitrarily change the size of the overview image display area and / or the number of reduced images displayed in a list in the overview image display area. You may comprise.
  • this example will be described as modification 1-4 of the first embodiment with reference to the drawings.
  • the present modification 1-4 will be described based on the first embodiment, but the present invention is not limited to this, and any one of the first embodiment and the modification thereof will be described. Needless to say, this modification 1-4 can also be applied.
  • FIG. 26 is a diagram showing an example of an overview screen 10A-4 according to Modification 1-4.
  • FIG. 26A shows an example of the overview screen 10A-4 before rotating the reduced image
  • FIG. 26B shows an example of the overview screen 10A-4 after rotating the reduced image.
  • FIG. 26A for example, when the observer operates the pointer 19 using the mouse or the like of the input unit 156 to drag the edge portion of the overview image display area 11A-4, FIG. As shown, the display range of the overview image display area 11A-4 changes according to the movement of the pointer 19.
  • the size of the reduced image is fixed, the number of reduced images displayed as a list changes according to the size of the overview image display area 11A-4. For example, when a reduced image in the same scene is displayed divided into a plurality of pages, the total page number of each scene increases / decreases in accordance with the change in the number of reduced images that can be displayed in the overview image display area 11A-4. To do.
  • the screens 10A and 10B) are not limited to this.
  • the overview image display area 11A and the overview image display area 11B are arranged in the horizontal direction, and the time scale bar 13A / 13B and a slider 14A / 14B, an average color bar 15A / 15B, a displayed scene column 16A / 16B, and a scene switching button 17A / 17B are arranged.
  • Modification 1-6 Further, in Modification 1-5 described above, the overview image display area 11A and the overview image display area 11B are displayed side by side. However, the present invention is not limited to this.
  • the overview image display area 11B to be displayed may be displayed vertically.
  • Modification 1-6 will be described based on Embodiment 1 described above. However, the present invention is not limited to this, and any of Embodiment 1 and Modifications of Embodiment 1 will be described. Needless to say, this modification 1-6 can also be applied to the above.
  • the overview image display area 11A and the overview image display area 11B are arranged in the vertical direction, and the time corresponding to each of the horizontal (eg, right) areas is displayed.
  • a scale bar 13A / 13B and a slider 14A / 14B, an average color bar 15A / 15B, a displayed scene column 16A / 16B, and a scene switching button 17A / 17B are arranged.
  • Modification 1--7 Further, in Modification 1-5 described above, the time scale bar 13A / 13B and the slider 14A / 14B and the average color bar 15A / 15B corresponding to the overview image display areas 11A and 11B are displayed below the respective areas. Placed in the side area. That is, the time scale bar 13A and the slider 14A, the time scale bar 13B and the slider 14B, and the average color bar 15A and the average color bar 15B are displayed side by side, but the present invention is not limited to this.
  • the time scale bar 13A, the slider 14A, the time scale bar 13B, the slider 14B, the average color bar 15A, and the average color bar 15B may be displayed vertically.
  • Modification 1-7 will be described based on Embodiment 1 described above, but the present invention is not limited to this, and any of Embodiment 1 and Modifications of Embodiment 1 will be described. Needless to say, the present modification example 1-7 can also be applied.
  • an overview image display area 11A and an overview image display area 11B are arranged in the horizontal direction, and an overview image is displayed below the overview image display area 11A.
  • the time scale bar 13A and the slider 14A, the time scale bar 13B and the slider 14B, and the average color bar 15A and the average color bar 15B are displayed vertically so as to extend below the display area 11B.
  • FIG. 30 is a diagram showing an example of overview screens 10A-8 and 10B-8 before synchronization according to Modification 1-8.
  • FIG. 31 is a diagram showing an example of overview screens 10A-8 and 10B-8 after synchronization according to Modification 1-8.
  • synchronization buttons 18A and 18B are provided as GUIs for the observer to input a synchronization instruction for movable data.
  • the image data (image data # a47 or # b47 in the example shown in FIGS. 30 and 31) that is the generation source of the reduced image in the selected state is used as the synchronization start point.
  • the GUI function provided by the overview screens 10A-8 and 10B-8 and the input unit 156 functions as a starting point image selecting unit that allows an observer to select image data as a starting point of synchronization.
  • the synchronization starting point frames 12a / 12b may be added.
  • the medical system according to the second embodiment can have the same configuration as the medical system 1 according to the first embodiment.
  • the display device 150 is replaced with the display device 250 shown in FIG.
  • the same components as those in the first embodiment or the modification thereof are denoted by the same reference numerals, and redundant description thereof is omitted.
  • FIG. 32 is a block diagram illustrating a schematic configuration example of the display device 250 according to the second embodiment.
  • the image processing unit 154 shown in FIG. 4 is replaced with an image processing unit 254.
  • the image processing unit 254 has the same configuration as the image processing unit 150-2b according to the above-described modification 1-2b (see FIG. 17), and the screen generation unit 154f is replaced with a screen generation unit 254f.
  • the screen generation unit 254f uses the selected image data output from the synchronization selection unit 154h and the images of the average color bars 15A and 15B output from the average color bar generation unit 154d as shown in FIG. An overview screen 20 is generated.
  • FIG. 33 is an example of an overview screen 20 according to the second embodiment. 33A shows the overview screen 20 before switching the reduced image, and FIG. 33B shows the overview screen 20 after switching the reduced image.
  • Scale bar 13A and slider 14A and average color bar 15A, time scale bar 13B and slider 14B and average color bar 15B for the image data of camera ID 2
  • scenes displayed in overview image display area 21 are all scenes.
  • a currently displayed scene column 26 indicating the number of the scene and a scene switching button 27 for switching a scene to be displayed in the overview image display area 21 are incorporated.
  • an image hereinafter, capsule image
  • 21a / 21b is displayed.
  • the shape, color, and the like may be changed for each camera ID.
  • FIG. 34 is a flowchart showing a schematic operation example of the display device 250 according to the second embodiment.
  • FIG. 35 is a flowchart showing a specific example of the reduced image switching process shown in step S241 of FIG.
  • the display device 250 receives image data from the interface unit 152 using the portable recording medium 140 or the communication cable 159 as a medium (step S 221), via the control unit 151.
  • Image data is temporarily stored in the memory unit 153 or the like (step S222).
  • the display device 250 waits until a display instruction for the overview screen 20 is input from the input unit 156 or the like (No in step S223). If there is a display instruction (Yes in step S223), the display device 250 Then, the stored image data is read from the memory unit 153 or the like (step S224). The read image data is input to the image data input unit 154a in the image processing unit 254.
  • the image data input unit 154a specifies the camera ID added to the input image data (step S225), and based on the camera ID, the image data is assigned to each imaging unit (101A / 101B), that is, the camera. Classification is performed for each ID (step S226).
  • the scene change determination result is input to the synchronization selection unit 154h.
  • the synchronization selection unit 154h executes a synchronization selection process for selecting image data while synchronizing them based on the scene change determination result input from the scene change determination unit 154e (step S230).
  • the synchronization selection process according to the present embodiment is the same as the synchronization selection process shown in the modified examples 1-2a to 1-2d of the first embodiment (see step S130-2b in FIG. 18 and FIG. 19, FIG. 22, or FIG. 24).
  • the image data selected in step S230 is input to the average color bar generation unit 154d and the screen generation unit 254f, respectively.
  • the generated average color bar 15B is input to the screen generation unit 254f.
  • the screen 20 is generated (step S238), and the generated overview screen 20 is output to the display unit 155 (step S239). Thereby, the overview screen 20 which is a GUI screen is displayed on the display unit 155, and a GUI function using this is provided to the observer.
  • the display device 250 determines whether or not an instruction to switch the reduced image displayed in the overview image display area 21 of the overview screen 20 is input by the observer using, for example, the mouse of the input unit 156 or the like. (Step S240) If it has been input (Yes in Step S240), a reduced image switching process for switching the reduced image displayed in the overview image display area 21 is executed (Step S241). The details of the reduced image switching process will be described later with reference to FIG.
  • step S240 when the reduced image switching instruction is not input (No in step S240), the display device 250 determines whether or not to continue the operation, for example, whether or not the operation end instruction is input from the input unit 156. If the operation is continued (Yes in step S242), the process returns to step S239. On the other hand, when the operation is not continued (No in step S242), the operation is terminated.
  • the screen generation unit 254f of the display device 250 first generates a reduced image that is being displayed with a switching instruction input, as shown in FIG.
  • the determined image data is specified (step S251), and then the camera ID and time stamp added to the specified image data are specified (step S252).
  • the screen generation unit 254f generates a reduced image of the image data specified in step S254 or step S255 (step S256), and also generates a capsule image (in accordance with the camera ID of the image data from which the reduced image is generated).
  • the capsule image 21a or 21b) of FIG. 33 is generated (step S257). That is, the overview screen 20, the input unit 156 for operating / inputting the overview screen 20, and the screen generation unit 254f function as switching means for individually switching the camera ID of the image data to be displayed.
  • the screen generation unit 254f switches the image data whose camera ID is switched by the switching unit from the image data to be displayed in a list to the image data synchronized with the switching destination camera ID and displays the list.
  • the screen generation unit 254f uses the reduced image generated in step S256 and the capsule image 21a / 21b generated in step S257, and the target in the overview image display area 21 of the overview screen 20 being displayed on the display unit 155.
  • the reduced image and capsule image are updated (step S258).
  • the reduced image # a34 and the capsule image 21a shown in FIG. 33A are updated to the reduced image # b34 and the capsule image 21b shown in FIG. 33B (step S258), and the process returns to the operation shown in FIG.
  • the second embodiment it is possible to individually switch the image data displayed in a list as necessary. Therefore, medical treatment using a compound eye (for example, two eyes) capsule medical device 100 is possible. Even in the system, the number and size of image data to be presented to the observer at once are not reduced. As a result, even when a compound eye (for example, two eyes) capsule medical device 100 is used, it is possible to avoid a reduction in the amount of information that can be presented to the observer at one time.
  • FIG. 36A is a diagram for explaining how image data with different sharpness is obtained when the same specific part p1 is moved between the first imaging unit 101A and the second imaging unit 101B.
  • the medical system according to the modification 2-1 can have the same configuration as the medical system 1 according to the first embodiment.
  • the display device 150 is replaced with a display device 250-1 shown in FIG.
  • the same components as those in the first and second embodiments and the modifications thereof are denoted by the same reference numerals, and redundant description thereof is omitted.
  • FIG. 37 is a block diagram showing a schematic configuration example of the display device 250-1 according to the modification 2-1. As shown in FIG. 37, in the display device 250-1, the image processing unit 154 shown in FIG. 4 is replaced with an image processing unit 254-1.
  • the image processing unit 254-1 includes a sharpness determination unit 254i in addition to the same configuration (see FIG. 32) as the image processing unit 254 according to the second embodiment.
  • the screen generation unit 254f includes the selected image data input from the image selection unit 154h, the sharpness determination result input from the sharpness determination unit 254i, and the average color bar input from the average color bar generation unit 154d.
  • An overview screen is generated using the images of 15A and 15B.
  • the overview screen according to the modification 2-1 is the same as the overview screen 20 shown in FIG. In the following description, the reference numeral of the overview screen according to the modification 2-1 is 20.
  • FIG. 38 is a flowchart showing a schematic operation example of the display device 250-1 according to the modification 2-1.
  • FIG. 39 is a flowchart showing a specific example of the image definition determination process shown in step S236-1 in FIG.
  • the present invention is not limited to this, and a blank (Null) or grayed-out image may be displayed instead of the image data determined to be inappropriate for observation.
  • the screen generation unit 254f uses the image data rearranged and arranged, the capsule images 21a / 21b corresponding to the image data, and the images of the average color bars 15A and 15B for each scene as shown in FIG.
  • the overview screen 20 is generated (step S239-1), and the generated overview screen 20 is output to the display unit 155 (step S240-1).
  • the overview screen 20 which is a GUI screen is displayed on the display unit 155, and a GUI function using this is provided to the observer.
  • the display device 250-1 determines whether or not an instruction to switch the reduced image displayed in the overview display area 21 of the overview screen 20 is input by the observer using, for example, the mouse of the input unit 156 or the like. If it has been input (Yes in step S241-1), a reduced image switching process for switching the reduced image displayed in the overview image display area 21 is executed (step S242-1). The details of the reduced image switching process will be described later with reference to FIG.
  • step S241-1 determines whether or not the display device 250-1 continues the operation, for example, whether the operation end instruction has been input from the input unit 156. If the operation is continued (Yes in step S243-1), the process returns to step S239-1. On the other hand, when the operation is not continued (No in step S243-1), the operation is terminated.
  • step S254i determines the sharpness determination result in step S253-1. Are output to the screen generation unit 254f for each image data (step S255-1), and then the process returns to the operation shown in FIG.
  • FIG. 40 is a diagram showing an example of an overview screen 20-2 according to the modification 2-2.
  • 40A shows an example of the overview screen 20-2 before rotating the reduced image # A2
  • FIG. 40B shows the overview screen 20-2 after rotating the reduced image # A2. An example is shown.
  • FIG. 41 is a diagram showing an example of an overview screen 20-3 according to Modification 2-3.
  • FIG. 41A shows an overview screen 20- before changing the size of the overview image display area 21-3 and / or the number of reduced images displayed as a list in the overview image display area 21-3.
  • FIG. 41B shows an example of an overview after changing the size of the overview image display area 21-3 and / or the number of reduced images displayed in a list in the overview image display area 21-3.
  • An example of the view screen 20-3 is shown.
  • the medical system according to the third embodiment can have the same configuration as the medical system 1 according to the first embodiment.
  • the display device 150 is replaced with a display device 350 shown in FIG.
  • the same components as those in the first and second embodiments and the modifications thereof are denoted by the same reference numerals, and redundant description thereof is omitted.
  • FIG. 42 is a block diagram illustrating a schematic configuration example of the display device 350 according to the third embodiment.
  • the image processing unit 354 has the same configuration (see FIG. 4) as the image processing unit 154 according to the first embodiment described above, and the screen generation unit 154f is replaced with a screen generation unit 354f.
  • the screen generation unit 354f uses the selected image data output from the image selection unit 154c and the average color bars 15A and 15B output from the average color bar generation unit 154d as shown in FIG. An overview screen 30 is generated.
  • FIG. 43 is an example of an overview screen 30 according to the third embodiment.
  • the bar 13B, the slider 14B, the average color bar 15B, the displayed scene column 26 indicating the number of scenes being displayed in the overview image display area 31, and the overview image display area 31 are displayed.
  • a scene switching button 27 for switching the scene to be performed.
  • an image hereinafter, capsule image
  • 21a / 21b may be displayed.
  • FIG. 44 is a flowchart showing a schematic operation example of the display device 350 according to the third embodiment.
  • the display device 350 inputs image data from the interface unit 152 using the portable recording medium 140 or the communication cable 159 as a medium (step S321), via the control unit 151.
  • Image data is temporarily stored in the memory unit 153 or the like (step S322).
  • the display device 350 waits until a display instruction for the overview screen 30 is input from the input unit 156 or the like (No in step S323). If there is a display instruction (Yes in step S323), the display device 350 Then, the stored image data is read from the memory unit 153 or the like (step S324). The read image data is input to the image data input unit 154a in the image processing unit 354.
  • the image data input unit 154a specifies the camera ID added to the input image data (step S325), and based on the camera ID, the image data is assigned to each imaging unit (101A / 101B), that is, the camera. Sort by ID (step S326).
  • the segmented image data is input to the scene change determination unit 154e.
  • the image sorting unit 154c identifies image data to be displayed based on the image processing result obtained by performing image processing on the input image data, and sorts the image data (step S328). Note that the selected image data is input to the average color bar generation unit 154d, the scene change determination unit 154e, and the screen generation unit 354f, respectively.
  • the average color bar generation unit 154d to which the selected image data is input selects the image data for each camera ID and calculates the average color of each image data (or for each divided area obtained by dividing the image data) (step S329). Based on this calculation result, average color bars 15A and 15B are generated in which the images of the average color are joined along the time series of the image data (step S330). The generated average color bars 15A and 15B are input to the screen generation unit 354f. However, the generated average color bars 15A and 15B may be input to the scene change determination unit 154e.
  • the scene change determination unit 154e determines image data in which a scene change has occurred based on the image processing result between the preceding and succeeding image data among the image data input from the image selection unit 154c (step S331).
  • the scene change determination result is input to the screen generation unit 354f.
  • the screen generation unit 354f generates the overview screen 30 shown in FIG. 43 from the image data divided and paired for each scene and the images of the average color bars 15A and 15B (step S334). It outputs to the display part 155 via the control part 151 (step S335), and the said operation
  • image data obtained by imaging with different eyes can be displayed side by side and displayed in a list, so that the observer can select a region in the subject 900. Can be easily observed from a plurality of angles.
  • Modification 3-1a The pairing between the image data of different camera IDs may be synchronized image data as exemplified in the modification 1-2a of the first embodiment. Hereinafter, this case will be described in detail as modification 3-1a of the third embodiment with reference to the drawings.
  • the medical system according to the modified example 3-1a can have the same configuration as the medical system 1 according to the first embodiment.
  • the display device 150 is replaced with a display device 350-1a shown in FIG.
  • the same reference numerals are given to the same configurations as those in the first, second, third, and modified examples thereof, and the redundant description is omitted.
  • FIG. 45 is a block diagram showing a schematic configuration example of the display device 350-1a according to the modification 3-1a.
  • the image processing unit 154 shown in FIG. 4 is replaced with an image processing unit 354-1a.
  • the image processing unit 354-1a includes a synchronization unit 154g in addition to the same configuration (see FIG. 42) as the image processing unit 354 according to Embodiment 3 described above.
  • the synchronization unit 154g is the same as the synchronization unit 154g (see FIG. 12) according to the modified example 1-2a of the first embodiment.
  • the screen generation unit 354f selects the selected image data input from the image selection unit 154c, the scene change determination result input from the scene change determination unit 154e, and the average color bar generation unit 154d.
  • the overview screen 30-1a as shown in FIG. 46 is generated using the images of the average color bars 15A and 15B input from.
  • FIG. 46 shows an example of an overview screen 30-1a according to the modification 3-1a.
  • a display portion having no synchronized image data is left blank. In other words, a portion where there is no image data to be synchronized is in a worm-eaten state.
  • FIG. 47 is a flowchart showing a schematic operation of the display device 350-1a according to the modification 3-1a.
  • image data obtained by imaging the same position with different eyes can be arranged side by side and displayed in a list, so that the observer can It is possible to easily observe the site in the specimen 900 from a plurality of angles.
  • Modification 3-1b The pairing between the image data with different camera IDs may be synchronized image data as exemplified in the modification 1-2b of the first embodiment. Hereinafter, this case will be described in detail as modification 3-1b of the third embodiment with reference to the drawings.
  • the medical system according to the modification 3-1b can have the same configuration as the medical system 1 according to the first embodiment.
  • the display device 150 is replaced with a display device 350-1b shown in FIG.
  • the same reference numerals are given to the same configurations as those in the first, second, third, and modified examples thereof, and the redundant description is omitted.
  • FIG. 48 is a block diagram showing a schematic configuration example of the display device 350-1b according to the modification 3-1b.
  • the image processing unit 154 shown in FIG. 4 is replaced with an image processing unit 354-1b.
  • the image processing unit 354-1b has the same configuration (see FIG. 42) as the image processing unit 354 according to the third embodiment described above, and the image selection unit 154c is replaced with a synchronization selection unit 154h.
  • the image data output from the image data input unit 154a is input to the scene change determination unit 154e and the synchronization selection unit 154h, respectively, and the scene change determination result by the scene change determination unit 154e is synchronized.
  • the data is input to the sorting unit 154h.
  • the synchronization selection unit 154h in Modification 3-1b is the same as the synchronization selection unit 154h in Modification 1-2b of Embodiment 1 described above, and thus detailed description thereof is omitted here.
  • the screen generation unit 354f selects the image data after synchronization input from the synchronization selection unit 154h and the scene change input from the scene change determination unit 154e via the synchronization selection unit 154h.
  • An overview screen 30-1b as shown in FIG. 49 is generated using the determination result and the images of the average color bars 15A and 15B input from the average color bar generating unit 154d.
  • FIG. 49 is an example of an overview screen 30-1b according to the modification 3-1b.
  • FIG. 50 is a flowchart showing a schematic operation example of the display device 350-1b according to the modification 3-1b.
  • the scene change determination unit 154e determines the image data in which the scene change has occurred based on the image processing result between the preceding and succeeding image data among the image data input from the image data input unit 154a (step S328-). 1b).
  • the scene change determination result is input to the synchronization selection unit 154h.
  • the synchronous selection process for selecting the second image data is executed (step S329-1b).
  • the details of the synchronization selection process are the same as the synchronization selection process (see FIG. 19) according to the modified example 1-2b of the first embodiment described above, and thus detailed description thereof is omitted here.
  • the sorted image data is input to the average color bar generation unit 154d and the screen generation unit 354f, respectively.
  • the average color bar generation unit 154d to which the selected image data is input selects the image data for each camera ID and calculates the average color of each image data (or for each divided area obtained by dividing the image data) (step S330-). 1b) Based on this calculation result, average color bars 15A and 15B are generated in which the images of the average color are joined along the time series of the image data (step S331-1b). The generated average color bars 15A and 15B are input to the screen generation unit 354f.
  • image data obtained by imaging the same position with different eyes can be arranged side by side and displayed in a list. It is possible to easily observe the site in the specimen 900 from a plurality of angles.
  • the overview screen 30-1b generated by the screen generation unit 354f (step S334-1b) is as shown in FIG.
  • Modification 3-1c The pairing between the image data of different camera IDs may be synchronized image data as exemplified in the modification 1-2c of the first embodiment described above. Hereinafter, this case will be described in detail as modification 3-1c of the third embodiment with reference to the drawings.
  • the modification 3-1c it is possible to apply the same configuration as the display device 350-1b shown in FIG. 48 and the same operation as the operation of the display device 350-1b shown in FIG. Further, the operation of the synchronization selection unit 154h according to the modification 3-1c, that is, the flow of the synchronization selection process shown in step S329-1b of FIG. 50 is the same as the operation shown in the modification 1-2c of the first embodiment (see FIG. The same operation as that shown in FIG. 22 can be applied.
  • FIG. 52 is an example of an overview screen 30-1c according to the modification 3-1c.
  • the product (OR) is taken, and the reduced images of the respective image data matching the product (OR) are paired and displayed.
  • image data obtained by imaging the same position with different eyes can be arranged side by side and displayed in a list. It is possible to easily observe the site in the specimen 900 from a plurality of angles.
  • Modification 3-1d Further, the pairing between the image data of different camera IDs may be synchronized image data as exemplified in Modification 1-2d of Embodiment 1 described above. Hereinafter, this case will be described in detail as modification 3-1d of the third embodiment with reference to the drawings.
  • the modification 3-1d it is possible to apply the same configuration as the display device 350-1b shown in FIG. 48 and the same operation as the operation of the display device 350-1b shown in FIG.
  • the operation of the synchronization selection unit 154h according to the modification 3-1d that is, the flow of the synchronization selection process shown in step S329-1b of FIG. 50 is the operation shown in the modification 1-2d of the above-described first embodiment ( The same operation as that shown in FIG. 22 can be applied.
  • FIG. 53 is an example of an overview screen 30-1d according to the modification 3-1d.
  • image data obtained by imaging the same position with different eyes can be arranged side by side and displayed in a list. It is possible to easily observe the site in the specimen 900 from a plurality of angles.
  • the pairing between the image data of different camera IDs may be, for example, a method as exemplified in Modification 1-8 of Embodiment 1 described above.
  • the starting image data in the example shown in FIG. 54,
  • FIG. 54 is a diagram showing an example of an overview screen 30-2 before synchronization according to the modification 3-2.
  • FIG. 55 is a diagram showing an example of an overview screen 30-3 before synchronization according to the modification 3-3.
  • the observer clicks one of the reduced images on the attention side among the reduced images displayed in the overview image display area 31-3 of the overview screen 30-3 using, for example, the mouse of the input unit 156 or the like. .
  • the observer can arbitrarily set using the mouse of the input unit 156 or the like.
  • FIG. 56 is a diagram showing an example of an overview screen 30-4 before synchronization according to the modification 3-4.
  • the image generation unit 345f performs a pairing process between image data of different camera IDs.
  • An image data group obtained as a result of these processes is displayed on the display unit 155.
  • the display form is not limited to the overview screen.
  • a different display area is provided for each imaging unit on the display screen of the display unit 155, and only the image data group that has been paired by the image generation unit 345f is displayed in the display area corresponding to each imaging unit. You may make it display sequentially.
  • This display screen is called a sequential display screen.
  • control unit 151 of the display device 850 may have a function of controlling to switch between the overview screen and the sequential display screen. As a result, it is possible to allow the observer to confirm only the image data group that has been paired by the image generation unit 345f, and as a result, the observer can easily and efficiently observe the inside of the subject. Become.
  • the medical system according to the fourth embodiment can have the same configuration as the medical system 1 according to the first embodiment.
  • the display device 150 is replaced with a display device 450 shown in FIG.
  • the same reference numerals are given to the same configurations as those in the first, second, third, and modified examples thereof, and the redundant description is omitted.
  • FIG. 57 is a block diagram illustrating a schematic configuration example of the display device 450 according to the fourth embodiment.
  • the image processing unit 454 has a configuration similar to that of the image processing unit 150-2b according to the above-described modification 1-2b (see FIG. 17), and the screen generation unit 154f is replaced with a screen generation unit 454f.
  • the screen generation unit 454f uses the selected image data output from the synchronization selection unit 154h and the images of the average color bars 15A and 15B output from the average color bar generation unit 154d as shown in FIG. An overview screen 40 is generated.
  • FIG. 58 is an example of an overview screen 40 according to the fourth embodiment.
  • a currently displayed scene column 26 indicating the number of the scene and a scene switching button 27 for switching a scene to be displayed in the overview image display area 21 are incorporated.
  • an image hereinafter, capsule image
  • 21a / 21b is displayed.
  • FIG. 59 is a flowchart showing a schematic operation example of the display device 450 according to the fourth embodiment.
  • the display device 450 inputs image data from the interface unit 152 using the portable recording medium 140 or the communication cable 159 as a medium (step S421), via the control unit 151.
  • Image data is temporarily stored in the memory unit 153 or the like (step S422).
  • the display device 450 waits until a display instruction for the overview screen 40 is input from the input unit 156 or the like (No in step S423). If there is a display instruction (Yes in step S423), the display device 450 Then, the stored image data is read from the memory unit 153 or the like (step S424). The read image data is input to the image data input unit 154a in the image processing unit 454.
  • the image data input unit 154a specifies the camera ID added to the input image data (step S425), and based on the camera ID, sets the image data for each imaging unit (101A / 101B), that is, the camera. Sort by ID (step S426).
  • the segmented image data is input to the scene change determination unit 154e.
  • the scene change determination unit 154e determines the image data in which the scene change has occurred based on the image processing result between the preceding and subsequent image data for each camera ID of the image data input from the image data input unit 154a. (Step S428).
  • the scene change determination result is input to the synchronization selection unit 154h.
  • the synchronization selection unit 154h executes a synchronization selection process for selecting image data while synchronizing them based on the scene change determination result input from the scene change determination unit 154e (step S429).
  • the synchronization selection process according to the present embodiment is the same as the synchronization selection process shown in the modified examples 1-2a to 1-2d of the first embodiment (see step S130-2b in FIG. 18 and FIG. 19, FIG. 22, or FIG. 24).
  • the image data selected in step S429 is input to the average color bar generation unit 154d and the screen generation unit 454f, respectively.
  • the average color bar generation unit 154d to which the selected image data is input selects the image data for each camera ID and calculates the average color of each image data (or for each divided area obtained by dividing the image data) (step S430). Based on the calculation result, average color bars 15A and 15B are generated in which the images of the average color are joined along the time series of the image data (step S431). The generated average color bars 15A and 15B are input to the screen generation unit 454f.
  • a capsule image 21a is generated on the basis of the camera ID of each input image data selected (step S433).
  • the average color bar 15A and An overview screen 40 for each scene as shown in FIG. 58 is generated using the image of 15B (step S434), and the generated overview screen 40 is output to the display unit 155 (step S435).
  • the overview screen 40 which is a GUI screen, is displayed on the display unit 155, and a GUI function using this is provided to the observer.
  • the fourth embodiment it is possible to display a list of image data obtained by imaging with different eyes side by side. Can be easily observed from a plurality of angles.
  • the above embodiment is merely an example for carrying out the present invention, and the present invention is not limited to these, and various modifications according to specifications and the like are within the scope of the present invention. It is obvious from the above description that various other embodiments are possible within the scope of the present invention.
  • the average color bars 15A and 15B may be generated from all obtained image data.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Vascular Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

 カプセル型医療装置100は、第1撮像ユニット101Aおよび第2撮像ユニット101Bを備える。カプセル型医療装置100の処理ユニット102は、画像データを生成した撮像ユニットを識別するためのカメラID画像データに付加する。画像データを入力した表示装置150は、画像データをカメラIDごとのオーバビュー画面10A/10Bにおいて一覧表示する。観察者は、オーバビュー画面10A/10Bにおけるビュー切替ボタン12A/12Bを入力部156を用いて選択することで、表示部155に表示されるオーバビュー画面がオーバビュー画面10B/10Aに切り替わる。

Description

画像処理システム、外部装置およびその画像処理方法
 本発明は、画像処理システム、外部装置およびその画像処理方法に関し、特に撮像手段を備えた被検体内導入装置を備えた画像処理システム、その外部装置およびその画像処理方法に関する。
 従来、人や動物などの被検体の内部を観察する装置には、チューブ型の内視鏡やカプセル型の内視鏡(以下、単に被検体内導入装置という)などが存在する。チューブ型の内視鏡には、先端部にCCD(Charge Coupled Device)センサが設けられた電子内視鏡やチューブ内に光ファイバの束が通されたファイバスコープなどが存在し、チューブを被検体の口や肛門等から挿入して被検体内部の画像を取得する(例えば以下に示す特許文献1参照)。一方、被検体内導入装置は、人や動物などが飲み込める程度の大きさであり、例えば経口で被検体内に導入され、定期的に被検体内部を撮像する。また、撮像して得られた被検体内部の画像は、無線信号として外部の受信装置へ送信される。観察者は、チューブ型の内視鏡や被検体内導入装置で得られた複数の画像を表示装置で個別または連続して再生し、これを観察することで被検体の内部を診断する。
 ところで近年では、複数(例えば2つ)の撮像ユニットを備えた、いわゆる複眼の被検体内導入装置が開示されている。この複眼の被検体内導入装置によれば、被検体内部を多角的に撮像することが可能となるため、より詳細で正確な診断が可能になる(例えば以下に示す特許文献3参照)。
 また、近年では、一度に多くの画像を確認することで、読影による診断の効率を向上したいという要望から、1度の検査で得られた複数の画像データを縮小し、これらを一覧表示する、いわゆるオーバビュー機能を表示装置に搭載した医療システムが提案されてきている(例えば以下に示す特許文献4参照)。
特許第3898781号公報 特開2003-70728号公報 特開2008-246147号公報 特開2007-75155号公報
 しかしながら、複眼の被検体内導入装置、例えば2眼の被検体内導入装置を用いた場合、1眼の被検体内導入装置を用いた場合と比較して、被検体内における同一区間を撮像して得られた画像の枚数が略倍となる。このため、オーバビュー機能を用いて1つの画面で観察者へ提示できる情報の量が実質的に減少してしまうという問題が存在した。すなわち、ある区間についての情報を一度に提示しようとすると、2眼の被検体内導入装置を用いた場合では1眼の被検体内導入装置を用いた場合の略2倍の画像を一度に表示しなければならない。このため、個々の画像をより縮小するか、表示する画像をより厳しい条件で絞り込む必要が生じ、結果的に、観察者へ提供する情報が減少してしまうという問題が存在した。
 そこで本発明は、上記の問題に鑑みてなされたものであり、複眼の被検体内導入装置を用いた場合でも観察者に一度に提示できる情報の量が低減することを回避できる画像処理システム、外部装置およびその画像処理方法を提供することを目的とする。
 かかる目的を達成するために、本発明による画像処理システムは、被検体内部を撮像して画像データを生成する複数の撮像手段と、前記画像データに当該画像データを生成した撮像手段を識別するための識別情報を付加する識別情報付加手段と、前記識別情報が付加された画像データを外部へ出力する出力手段と、を備えた被検体内導入装置と、前記画像データを入力する入力手段と、前記画像データを前記識別情報ごとに一覧表示する一覧表示手段と、前記一覧表示手段が表示対象とする画像データを表示中の一方の識別情報の画像データから他方の識別情報の画像データに切り替える切替手段と、を備えた外部装置と、を含むことを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記一方の識別情報の画像データと、前記被検体内部を異なる方向から撮像して生成された前記他方の識別情報の画像データと、を同期付けする同期手段を備え、前記一覧表示手段が、前記同期手段による同期付けに基づいて前記識別情報ごとの画像データを一覧表示することを特徴としている。
 上記した本発明による画像処理システムは、前記被検体内導入装置が、識別情報が付加された各画像データに撮像時刻を付加する撮像時刻付加手段を備え、前記同期手段が、前記画像データのうち一方の識別情報の画像データに付加された撮像時刻に所定時間を加算または減算することで前記一方の識別情報の画像データと前記他方の識別情報の画像データとを同期付けすることを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記識別情報ごとの一連の画像データのうち表示対象とする画像データを選別する選別手段を備え、前記一覧表示手段が、前記選別された画像データを前記識別情報ごとに一覧表示することを特徴としている。
 上記した本発明による画像処理システムは、前記一覧表示手段が、前記一方の識別情報の画像データの一覧を表示する第1一覧表示領域と、前記他方の識別情報の画像データの一覧を表示する第2一覧表時領域と、を異なる画面で表示することを特徴としている。
 上記した本発明による画像処理システムは、前記選別手段が、前記識別情報ごとの一連の画像データのうち前後する画像データ間の画像処理結果に基づいて表示対象とする画像データを選別し、前記同期手段が、前記一方の識別情報の画像データに対して同期付された他方の識別情報の画像データが表示対象として選別されていない場合、前記一方の識別情報の画像データに対して同期付けされる前記他方の識別情報の空の画像データを生成することを特徴としている。
 上記した本発明による画像処理システムは、前記選別手段が、前記一方の識別情報の一連の画像データのうち前後する画像データ間の画像処理結果に基づいて表示対象とする画像データを選別すると共に、該選別された画像データと同期付けされた前記他方の識別情報の画像データを選別することを特徴としている。
 上記した本発明による画像処理システムは、前記選別手段が、前記識別情報ごとの一連の画像データのうち前後する画像データ間の画像処理結果に基づいて表示対象とする画像データをそれぞれ選別すると共に、前記一方の識別情報の画像データに対して同期付けする前記他方の識別情報の画像データが選別されていない場合、選別されなかった前記他方の識別情報の画像データのうち前記一方の識別情報の画像データに同期付けする画像データを表示対象としてさらに選別することを特徴としている。
 上記した本発明による画像処理システムは、前記選別手段が、前記識別情報ごとの一連の画像データのうち前後する画像データ間の画像処理結果に基づいて表示対象とする画像データをそれぞれ選別すると共に、前記一方の識別情報の画像データに対して同期付けする前記他方の識別情報の画像データが選別されていない場合、該一方の識別情報の画像データを表示対象とする画像データから除外することを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記同期の起点とする画像データを選択させる起点画像選択手段を備え、前記同期手段が、前記起点画像選択手段によって選択された画像データを起点として前記一方の識別情報の画像データと前記他方の識別情報の画像データとを同期させることを特徴としている。
 上記した本発明による画像処理システムは、前記切替手段が、表示対象とする画像データの識別情報を個別に切り替え、前記一覧表示手段が、一覧表示する画像データのうち前記切替手段によって識別情報が前記一方の識別情報から前記他方の識別情報に切り替えられた画像データを前記一方の識別情報の画像データに同期付けされた前記他方の識別情報の画像データに切り替えて一覧表示することを特徴としている。
 上記した本発明による画像処理システムは、前記一覧表示手段が、前記一覧表示する個々の画像データを取得した撮像手段を視覚的に識別させるイメージを各画像データの近傍に表示することを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記一方の識別情報の画像データが観察に適切であるか否かを判定する判定手段を備え、前記一覧表示手段が、前記一方の識別情報の画像データが観察に適切でない場合、該画像データを該画像データに同期付けされた前記他方の識別情報の画像データに切り替えて一覧表示することを特徴としている。
 上記した本発明による画像処理システムは、前記外部装置が、前記一覧表示している画像データの回転指示を入力させる回転指示入力手段と、前記回転指示が入力された画像データを回転補正する回転補正手段と、を備え、前記一覧表示手段が、前記回転補正された画像データを前記一覧に含めて表示することを特徴としている。
 上記した本発明による画像処理システムは、前記一覧表示手段が、前記識別情報ごとの画像データの一覧を表示する一覧表示領域を含んだ画面を表示し、該一覧表示領域に一度に表示しきれなかった画像データを次ページの一覧表示領域に表示することを特徴としている。
 上記した本発明による画像処理システムは、前記一覧表示手段が、前記画像データの縮小画像を一覧表示することを特徴としている。
 また、本発明による外部装置は、被検体内部を撮像して画像データを生成する複数の撮像手段と、前記画像データに当該画像データを生成した撮像手段を識別するための識別情報を付加する識別情報付加手段と、を備えた被検体内導入装置から前記画像データを入力する入力手段と、前記画像データを前記識別情報ごとに一覧表示する一覧表示手段と、前記一覧表示手段が表示対象とする画像データを表示中の一方の識別情報の画像データから他方の識別情報の画像データに切り替える切替手段と、を備えたことを特徴としている。
 また、本発明による画像処理方法は、被検体内部を撮像して画像データを生成する複数の撮像手段と、前記画像データに当該画像データを生成した撮像手段を識別するための識別情報を付加する識別情報付加手段と、を備えた被検体内導入装置から前記画像データを入力する入力ステップと、前記画像データを前記識別情報ごとに一覧表示する一覧表示ステップと、前記一覧表示ステップで表示対象とする画像データを表示中の一方の識別情報の画像データから他方の識別情報の画像データに切り替える切替ステップと、を含むことを特徴としている。
 本発明によれば、複数の撮像手段を用いた、いわゆる複眼の被検体内導入装置を用いた場合でも、撮像手段ごとの画像データを適宜切り替えて一覧表示することが可能となるため、観察者に一度に提示できる情報の量を低減することを回避できる画像処理システム、外部装置およびその画像処理方法を実現することが可能となる。
図1は、本発明の実施の形態1による医療システムの概略構成を示す模式図である。 図2は、本発明の実施の形態1~4またはその変形例によるカプセル型医療装置およびこれと無線通信を行う受信装置の概略内部構成を示すブロック図である。 図3は、本発明の実施の形態1~4またはその変形例によるカプセル型医療装置の概略外観を示す斜視図である。 図4は、本発明の実施の形態1による表示装置の概略構成例を示すブロック図である。 図5は、本発明の実施の形態1によるオーバビュー画面の一例を示す図である。 図6は、本発明の実施の形態1によるカプセル型医療装置の概略動作例を示すフローチャートである。 図7は、本発明の実施の形態1による受信装置の概略動作例を示すフローチャートである。 図8は、本発明の実施の形態1による表示装置の概略動作例を示すフローチャートである。 図9は、本発明の実施の形態1の変形例1-1によるオーバビュー画面の一例を示す図である。 図10は、本発明の実施の形態1の変形例1-2aで管腔内における同一の特定部位(突起)を互いに反対向きに配設された第1撮像ユニットおよび第2撮像ユニットで撮像する際の流れを示す概念図である。 図11は、本発明の実施の形態1の変形例1-2aにおける第1撮像ユニットによる画像データと第2撮像ユニットによる画像データとの時間軸Tに沿った順序性を説明するための図である。 図12は、本発明の実施の形態1の変形例1-2aによる表示装置の概略構成例を示すブロック図である。 図13は、本発明の実施の形態1の変形例1-2aによる表示装置の概略動作例を示すフローチャートである。 図14は、図13のステップS135-2aに示す同期処理の具体的な例を示すフローチャートである。 図15は、本発明の実施の形態1の変形例1-2aによるオーバビュー画面の一例を示す図である。 図16は、本発明の実施の形態1の変形例1-2bによるオーバビュー画面の一例を示す図である。 図17は、本発明の実施の形態1の変形例1-2bによる表示装置の概略構成例を示すブロック図である。 図18は、本発明の実施の形態1の変形例1-2bによる表示装置の概略動作例を示すフローチャートである。 図19は、図18のステップS130-2bに示す画像データ選別処理の具体的な例を示すフローチャートである。 図20は、本発明の実施の形態1の変形例1-2bによるオーバビュー画面の他の例を示す図である。 図21は、本発明の実施の形態1の変形例1-2cによるオーバビュー画面の一例を示す図である。 図22は、本発明の実施の形態1の変形例1-2cによる同期選別処理の具体的な例を示すフローチャートである。 図23は、本発明の実施の形態1の変形例1-2dによるオーバビュー画面の一例を示す図である。 図24は、本発明の実施の形態1の変形例1-2dによる同期選別処理の具体的な例を示すフローチャートである。 図25は、本発明の実施の形態1の変形例1-3によるオーバビュー画面の一例を示す図である。 図26は、本発明の実施の形態1の変形例1-4によるオーバビュー画面の一例を示す図である。 図27は、本発明の実施の形態1の変形例1-5によるオーバビュー画面の一例を示す図である。 図28は、本発明の実施の形態1の変形例1-6によるオーバビュー画面の一例を示す図である。 図29は、本発明の実施の形態1の変形例1-7によるオーバビュー画面の一例を示す図である。 図30は、本発明の実施の形態1の変形例1-8による同期前のオーバビュー画面の一例を示す図である。 図31は、本発明の実施の形態1の変形例1-8による同期後のオーバビュー画面の一例を示す図である。 図32は、本発明の実施の形態2による表示装置の概略構成例を示すブロック図である。 図33は、本発明の実施の形態2によるオーバビュー画面の一例を示す図である。 図34は、本発明の実施の形態2による表示装置の概略動作例を示すフローチャートである。 図35は、図34のステップS241に示す縮小画像切替処理の具体的な例を示すフローチャートである。 図36は、本発明の実施の形態2において第1撮像ユニットと第2撮像ユニットとで同一の特定部位を移した場合に鮮明さが異なる画像データが得られる様子を説明するための図である。 図37は、本発明の実施の形態2の変形例2-1による表示装置の概略構成例を示すブロック図である。 図38は、本発明の実施の形態2の変形例2-1による表示装置の概略動作例を示すフローチャートである。 図39は、図38のステップS236-1に示す画像鮮明度判定処理の具体的な例を示すフローチャートである。 図40は、本発明の実施の形態2の変形例2-2によるオーバビュー画面の一例を示す図である。 図41は、本発明の実施の形態2の変形例2-3によるオーバビュー画面の一例を示す図である。 図42は、本発明の実施の形態3による表示装置の概略構成例を示すブロック図である。 図43は、本発明の実施の形態3によるオーバビュー画面の一例を示す図である。 図44は、本発明の実施の形態3による表示装置の概略動作例を示すフローチャートである。 図45は、本発明の実施の形態3の変形例3-1aによる表示装置の概略構成例を示す図ブロック図である。 図46は、本発明の実施の形態3の変形例3-1aによるオーバビュー画面の一例を示す図である。 図47は、本発明の実施の形態3の変形例3-1aによる表示装置の概略動作を示すフローチャートである。 図48は、本発明の実施の形態3の変形例3-1bによる表示装置の概略構成例を示すブロック図である。 図49は、本発明の実施の形態3の変形例3-1bによるオーバビュー画面の一例を示す図である。 図50は、本発明の実施の形態3の変形例3-1bによる表示装置の概略動作例を示すフローチャートである。 図51は、本発明の実施の形態3の変形例3-1bによるオーバビュー画面の他の例を示す図である。 図52は、本発明の実施の形態3の変形例3-1cによるオーバビュー画面の一例を示す図である。 図53は、本発明の実施の形態3の変形例3-1dによるオーバビュー画面の一例を示す図である。 図54は、本発明の実施の形態3の変形例3-2による同期前のオーバビュー画面の一例を示す図である。 図55は、本発明の実施の形態3の変形例3-3による同期前のオーバビュー画面の一例を示す図である。 図56は、本発明の実施の形態3の変形例3-4による同期前のオーバビュー画面の一例を示す図である。 図57は、本発明の実施の形態4による表示装置の概略構成例を示すブロック図である。 図58は、本発明の実施の形態4によるオーバビュー画面の一例を示す図である。 図59は、本発明の実施の形態4による表示装置の概略動作例を示すフローチャートである。
 以下、本発明を実施するための最良の形態を図面と共に詳細に説明する。なお、以下の説明において、各図は本発明の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎず、従って、本発明は各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。また、各図では、構成の明瞭化のため、断面におけるハッチングの一部が省略されている。
 <実施の形態1>
 以下、本発明の実施の形態1による画像処理システムとしての医療システム1の構成および動作を、図面を用いて詳細に説明する。本実施の形態1では、被検体900内に経口にて導入され、被検体900の食道から肛門にかけて管腔902(図1参照)内を移動する途中で撮像動作を実行することで被検体900内部の画像を取得するカプセル型の被検体内導入装置(以下、カプセル型医療装置という)100を用いる場合を例に挙げて説明する。ただし、本発明はこれに限定されず、被検体900の胃や小腸や大腸などに蓄えた液体に浮かぶカプセル型医療装置を用いる場合など、種々変形することが可能である。
 (構成)
 図1は、本実施の形態1による医療システム1の概略構成を示す模式図である。図1に示すように、医療システム1は、例えば経口で被検体900内に導入されるカプセル型医療装置100と、このカプセル型医療装置100と無線通信を行なうことでカプセル型医療装置100との間で画像データや制御命令等を送受信する受信装置130と、受信装置130がカプセル型医療装置100から受信した画像データに所定の処理を実行して観察者へ表示する表示装置150と、を備える。なお、受信装置130と表示装置150とは、被検体900外に配置される外部装置である。
 受信装置130には、フラッシュメモリ(登録商標)やスマートカード(登録商標)などの携帯型記録媒体140を着脱可能である。携帯型記録媒体140には、例えばカプセル型医療装置100から受信した画像データ等が蓄積される。観察者は、携帯型記録媒体140を受信装置130から表示装置150に差し替えることで、受信装置130においてカプセル型医療装置100から受信した画像データを表示装置150へ移す。ただし、これに限定されず、受信装置130において受信した画像データを通信ケーブル159などを介して表示装置150へ略リアルタイムに送信してもよい。また、観察者は、表示装置150を用いて携帯型記録媒体140に蓄積されている画像データの再生処理や変換処理などの所定の処理を実行する。なお、表示装置150には、パーソナルコンピュータやワークステーション等の情報処理装置または液晶ディスプレイや有機ELディスプレイ等のディスプレイなどを用いることが可能である。
 ・カプセル型医療装置
 ここで、カプセル型医療装置100の概略構成例を図2および図3に示す。図2は、カプセル型医療装置100およびこれと無線通信を行う受信装置130の概略内部構成を示すブロック図である。図3は、カプセル型医療装置100の概略外観を示す斜視図である。
 図2に示すように、カプセル型医療装置100は、被検体900内部を照明および撮像する2つの撮像ユニット(以下、便宜上、第1撮像ユニット101Aおよび第2撮像ユニット101Bとする)と、第1撮像ユニット101Aおよび第2撮像ユニット101Bそれぞれで生成された画像データに対する処理やその他の各種処理を実行する処理ユニット102と、処理ユニット102で処理された画像データ等を格納するメモリユニット103と、受信装置130との間で信号の送受信を行う送受信ユニット104およびアンテナ105と、カプセル型医療装置100内部へ電力を供給する1つ以上のバッテリ106と、を備える。
 第1撮像ユニット101Aおよび第2撮像ユニット101B、処理ユニット102、メモリユニット103、送受信ユニット104ならびにバッテリ106は、容器108aとキャップ108Aおよび108Bとよりなる水密性の筐体108内部に収容される。ここで図3に示すように、容器108aは、中空の円筒形状を有する。一方、キャップ108Aおよび108Bは、それぞれ中空の半球形状を有し、容器108aに設けられた2つの開口にそれぞれ嵌められることで筐体108内を水密に封止する。また、少なくともキャップ108Aおよび108Bは、透明な樹脂等で形成されている。
 第1撮像ユニット101Aおよび第2撮像ユニット101Bは、それぞれ被検体900内を撮像して画像データを生成する撮像手段であり、被検体900内部を照明するLED101cと、受光素子であるCCD(Charge Coupled Device)がマトリクス状に配列されたCCDアレイ101aと、各CCDアレイ101aの受光面側に配置された対物レンズ101bと、LED101cを駆動する駆動回路(不図示)およびCCDアレイ101aを駆動する駆動回路(不図示)と、を含む。第1撮像ユニット101Aおよび第2撮像ユニット101Bそれぞれは、定期的(例えば1秒に2回)に動作することで、被検体900内部を撮像して画像データを生成する。また、生成された画像データは、駆動回路によって読み出され、処理ユニット102へ略リアルタイムに入力される。
 処理ユニット102は、入力された画像データに対して所定の信号処理を実行し、処理後の画像データを送受信ユニット104に入力する。送受信ユニット104は、主として、第1撮像ユニット101Aまたは第2撮像ユニット101Bによって生成された画像データを外部の受信装置130へ出力する出力手段として機能する。したがって、処理ユニット102によって所定の信号処理がなされた画像データは、その後、送受信ユニット104からアンテナ105を介して受信装置130へ略リアルタイムに無線送信される。ただし、これに限定されず、所定の画像信号処理がなされた画像データをメモリユニット103に蓄積しておき、被検体900からカプセル型医療装置100を取り出した後に、メモリユニット103から画像データを取り出すように構成しても良い。
 なお、送信/蓄積される画像データには、この画像データを生成した撮像ユニット(第1撮像ユニット101Aまたは第2撮像ユニット101B)が分かるように、例えば第1撮像ユニット101Aまたは第2撮像ユニット101Bを識別するカメラIDが処理ユニット102によって付加される。また、送信/蓄積される画像データには、これの撮像時刻が分かるように、撮像時刻を示すタイムスタンプが処理ユニット102によって付加される。すなわち、処理ユニット102は、画像データにこの画像データを生成した撮像ユニットを識別するための識別情報としてのカメラIDを付加する識別情報付加手段、および、各画像データにこれの撮像時刻を付加する撮像時刻付加手段として機能する。なお、以下の説明では、第1撮像ユニット101Aに、カメラID=‘1’が付与され、第2撮像ユニット101BにカメラID=‘2’が付与されているものとする。
 第1撮像ユニット101AのLED101cおよびCCDアレイ101aは、図1および図3に示すように、照明/撮像方向Dr_Aが透明なキャップ108Aを介して筐体108の外へ向くように、筐体108内部に配置される。同様に、第2撮像ユニット101BのLED101cおよびCCDアレイ101aは、図1および図3に示すように、照明/撮像方向Dr_Bが透明なキャップ108Bを介して筐体108の外へ向くように、筐体108内部に配置される。この際、CCDアレイ101aは、筐体108の長手方向に対して垂直な断面の略中央に配置される。一方、複数のLED101cは、上記断面内でCCDアレイ101aを取り囲むように点または線対称に配置される。
 また、カプセル型医療装置100のアンテナ105には、例えばループアンテナが用いられる。ただし、これに限定されず、ダイポールアンテなど、指向性の有無に関係なく種々のアンテナを用いることが可能である。
 ・受信装置
 カプセル型医療装置100から無線送信された画像データは、図1および図2に示すように、被検体900の体表に配設された複数のアンテナ120a~120i(以下、任意のアンテナ120a~120iの符号を120とする)によって受信され、被検体900外に配置された受信装置130にケーブル121を介して入力される。ここで、本実施の形態1による受信装置130の概略構成例を、図2を用いて説明する。
 図2に示すように、受信装置130は、カプセル型医療装置100との間でアンテナ120を介して信号の送受信を行う送受信回路131と、送受信回路131から入力された信号(特に画像データ)に所定の処理を実行する信号処理回路132と、所定の処理がなされた画像データ等を蓄積するメモリ134と、カプセル型医療装置100や受信装置130への各種操作や指示を観察者に入力させるGUI(Graphical User Interface)機能を実現する操作部135および表示部136と、を備える。
 複数のアンテナ120は、例えばダイポールアンテナやループアンテナ等で構成され、被検体900が着用可能なジャケット122に固定される。ただし、アンテナ120の個数および配置パターンならびにアンテナ120の固定先は、種々変形することが可能である。
 カプセル型医療装置100よりアンテナ120を介して入力された画像データは、送受信回路131を介して信号処理回路132に入力され、信号処理回路132において所定の信号処理がなされた後、一時メモリ134に蓄積される。その後、メモリ134に格納された画像データは、インタフェース(I/F)部137を介して携帯型記録媒体140に蓄積されるか、インタフェース(I/F)部137から通信ケーブル159を介して表示装置150へ略リアルタイムに送信される。なお、インタフェース部137は、例えばUSB(Universal Serial Bus)インタフェースや、LAN(Local Area Network)等に用いられる通信インタフェースなど、データの入出力方式に応じて種々変形することが可能である。
 ・表示装置
 表示装置150は、上述したように、パーソナルコンピュータやワークステーション等の情報処理装置または液晶ディスプレイや有機ELディスプレイ等のディスプレイなどで構成される。ここで、本実施の形態1による表示装置150の構成例を、図1および図4を用いて詳細に説明する。図4は、本実施の形態1による表示装置150の概略構成例を示すブロック図である。
 図1および図4に示すように、表示装置150は、内部の動作やデータの入出力を制御する制御部151と、携帯型記録媒体140または通信ケーブル159を介してインタフェース部152より入力された画像データ等を一時格納するメモリ部153と、入力された画像データに所定の処理を実行して観察者へ提供するGUI画面を生成する画像処理部154と、画像処理部154が生成したGUI画面を表示する表示部155と、観察者が表示部155に表示されたGUI画面に基づいて各種指示を入力する入力部156と、を備える。
 インタフェース部152は、カプセル型医療装置100から出力された画像データを受信装置130を経由して入力する入力手段として機能する。インタフェース部152から入力された画像データは、制御部151を介して一時的にメモリ部153に格納される。その後、画像データは、画像処理部154に適宜入力され、所定の処理がなされる。処理がなされた画像データは、例えばメモリ部153に再度格納されてもよい。
 画像処理部154は、入力された画像データに対して後述する所定の処理を実行し、その後、処理した画像データを用いて観察者へ提供するGUI画面を生成する。生成されたGUI画面は、制御部151を介して表示部155へ入力されて表示部155に表示される。表示部155および入力部156は、表示中のGUI画面を用いたGUI機能を観察者へ提供する。観察者は、マウスやキーボード等の入力部156から各種操作を入力して目的の機能を選択し、所望する画像を表示部155に表示/再生する。また、観察者は、表示/再生した画像を読像することで、被検体900内部を診断する。
 ここで、画像処理部154について、より詳細に説明する。図4に示すように、画像処理部154は、制御部151等から画像データを入力する画像データ入力部154aと、表示対象とする画像データを選別する画像選別部154cと、選別された画像データを用いて後述する平均色バー15Aおよび15Bを生成する平均色バー生成部154dと、一連の画像データのシーンチェンジを判定するシーンチェンジ判定部154eと、選別された画像データおよび平均色バー15Aおよび15Bを用いてGUI画面を生成する画面生成部154fと、を含む。
 画像処理部154に入力された画像データは、まず、画像データ入力部154aによって画像選別部154cに入力される。
 画像選別部154cは、画像データ入力部154aから入力された画像データのうち前後する画像データ間の画像処理結果に基づいて表示対象とする画像データを選別する。なお、画像処理結果には、例えば画像データ中の特徴点から算出した前後する画像データ間の類似度や相関度や動きベクトル等を用いることが可能である。すなわち、画像選別部154cは、例えば、画像データ入力部154aから入力された画像データを画像処理し、この画像処理によって得られた前後する画像データ間の類似度や相関度や動きベクトル等に基づいて、表示対象とする画像データを選別する。このように、画像選別部154cは、カメラIDごとの一連の画像データのうち表示対象とする画像データを選別する選別手段として機能する。また、選別した画像データは、例えば、平均色バー生成部154d、シーンチェンジ判定部154eおよび画面生成部154fにそれぞれ入力される。
 平均色バー生成部154dは、画像データの平均色を算出する。また、平均色バー生成部154dは、算出した平均色のイメージを、撮像した撮像ユニットごと、すなわちカメラIDごとに、画像データの順序性に従って繋ぎ合わせることで、平均色バー15Aおよび15Bをそれぞれ生成する。なお、平均色バー生成部154dは、画像データを複数の領域に分割し、これにより区画された複数の分割領域ごとに平均色を算出してもよい。例えば画像データを縦方向に並ぶ4つの領域に分割し、それぞれの分割領域について平均色を算出し、算出した平均色のイメージを同じ分割領域ごとに繋ぎ合わせて平均色バー15Aおよび15Bを生成してもよい。この場合、平均色バー15Aおよび15Bは、各分割領域についての平均色のイメージが画像データの時間軸(時系列)に沿って配列された複数レーンの帯状のイメージとなる。
 シーンチェンジ判定部154eは、画像選別部154cより入力された画像データからシーンチェンジが生じた画像データを判定し、この結果を画面生成部154fに入力する。ただし、これに限らず、シーンチェンジ判定部154eは、平均色バー生成部154dで生成された平均色バー15Aおよび15Bのイメージを入力し、これからシーンチェンジが生じた画像データを判定してもよい。また、シーンチェンジが生じた画像を、観察者が適宜選択するように構成してもよい。
 なお、シーンチェンジが生じた画像データとは、例えば被検体900内部の管腔902における特定の部位(幽門や盲腸や肝湾曲や脾湾曲やS状結腸など)を通過した際の画像データである。また、本実施の形態1では、一連の画像データを、被検体900内部の管腔902における特定の部位で区切られた複数の領域(これをシーンという)に区分けする。
 ここで図5に、本実施の形態1において画面生成部154fが生成するGUI画面(オーバビュー画面10Aおよび10B)の一例を示す。
 図5に示すように、本実施の形態1によるGUI画面には、主として、オーバビュー画面10Aおよびオーバビュー画面10Bがある。オーバビュー画面10Aには、第1撮像ユニット101A(カメラID=1)で撮像された画像データをページごとに一覧表示するGUI画面であり、ページ内の画像データを所定の大きさに縮小して一覧表示するオーバビュー画像表示領域11Aと、表示画面をオーバビュー画面10Aとオーバビュー画面10Bとのいずれかに切り替えるビュー切替ボタン12Aと、画像データ全体の撮像時間軸とリンクされたタイムスケールバー13Aと、オーバビュー画像表示領域11Aにおいて選択中の縮小画像が画像データ全体の撮像時間軸におけるどの位置で撮像された画像であるかを示すと共に表示するページを切り替えるGUI機能を観察者に提供するスライダ14Aと、タイムスケールバー13Aとリンクする平均色バー15Aと、オーバビュー画像表示領域11Aに表示中のシーンが全シーン(図5のシーンA1~A7/B1~B7参照)中の何番目であるかを示す表示中シーン欄16Aと、オーバビュー画像表示領域11Aに表示するシーンを切り替えるシーン切替ボタン17Aと、が組み込まれる。なお、オーバビュー画像表示領域11Aにおいて、選択中の縮小画像には、例えば選択中であることを示す選択枠11aが付加される。
 同様に、オーバビュー画面10Bには、第2撮像ユニット101B(カメラID=2)で撮像された画像データをシーンごとに一覧表示するGUI画面であり、シーン内の画像データを所定の大きさに縮小して一覧表示するオーバビュー画像表示領域11Bと、表示画面をオーバビュー画面10Aとオーバビュー画面10Bとのいずれかに切り替えるビュー切替ボタン12Bと、画像データ全体の撮像時間軸とリンクされたタイムスケールバー13Bと、オーバビュー画像表示領域11Bにおいて選択中の縮小画像が画像データ全体の撮像時間軸におけるどの位置で撮像された画像であるかを示すと共に表示するページを切り替える機能を観察者に提供するスライダ14Bと、タイムスケールバー13Bとリンクする平均色バー15Bと、オーバビュー画像表示領域11Bに表示中のシーンが全シーン中の何番目であるかを示す表示中シーン欄16Bと、オーバビュー画像表示領域11Bに表示するシーンを切り替えるシーン切替ボタン17Bと、が組み込まれる。なお、オーバビュー画像表示領域11Bにおいて、選択中の縮小画像には、例えば選択中であることを示す選択枠11bが付加される。
 すなわち、画面生成部154f(後述では適宜、画面生成部154f、254f、354fまたは454fに置き換えられる)およびこれが生成したオーバビュー画面10A/10B(後述では適宜、オーバビュー画面10A-1、10B-1、10A-2a、10B-2a、10A-2b、10B-2b、10A-2c、10B-2c、10A-2d、10B-2d、10A-3、10A-4、10-5、10-6、10-7、10A-8、10B-8、20、20-2、20-3、30、30-1a、30-1b、30-1c、30-1d、30-2、30-3、30-4または40に置き換えられる)と表示部155とは、画像データを一覧表示する一覧表示手段として機能する。
 観察者は、オーバビュー画面10A/10Bのオーバビュー画像表示領域11A/11Bに表示中の縮小画像の一覧を目視することで、各シーンでの被検体900内部の全体像を知ることができる。また、観察者は、例えば入力部156のマウスやキーボードやジョイスティック等を用いてポインタ19を操作してビュー切替ボタン12Aをクリックすることで、表示部155に表示するGUI画面をオーバビュー画面10Aおよび10Bのいずれかに切り替える。すなわち、ビュー切替ボタン12A/12Bおよびこれを操作/入力する入力部156ならびにビュー切替ボタン12A/12Bからの切替指示に基づいて動作する画面生成部154fは、表示対象とする画像データを表示中の一方のカメラIDの画像データから他方のカメラIDの画像データに切り替える切替手段として機能する。
 このように本実施の形態1では、画像データを生成した撮像ユニット(第1眼(すなわち第1撮像ユニット101A)または第2眼(すなわち第2撮像ユニット101B))ごとであって且つシーンごとの縮小画像を1画面に一覧表示するため、複眼(例えば2眼)のカプセル型医療装置100を用いた医療システム1であっても、観察者へ一度に提示する画像データの枚数や大きさを落とすことが無い。この結果、複眼(例えば2眼)のカプセル型医療装置100を用いた場合でも観察者に一度に提示できる情報の量が低減することを回避することができる。
 なお、本説明において、‘#’で示された符号は、シーンごとの画像データに対して時系列に従って付与された番号であって各画像データ(もしくは縮小画像)を識別するための画像IDである。
 ここで、観察者がポインタ19を用いて何れかの縮小画像をクリックすると、クリック対象の縮小画像が選択され、これに選択枠11a/11bが付加される。また、観察者が例えばスライダ14A/14Bをタイムスケールバー13A/13Bに沿ってスライドさせると、このスライド後のスライダ14A/14Bの位置にタイムスケールバー13A/13Bの時間軸上で応答する縮小画像が、自動的に選択される。この際、スライダ14A/14Bがシーンを跨いで移動されると、オーバビュー画像表示領域11A/11Bに表示されるシーンが切り替わる。さらに、観察者がポインタ19を用いてシーン切替ボタン17Aを操作すると、オーバビュー画像表示領域11A/11Bには、操作先のシーンにおける縮小画像が一覧表示されると共に、移動先のシーンの例えば先頭に相当するタイムスケールバー13A/13B上の位置にスライダ14A/14Bが移動する。この際、初期の選択画像には、例えば自動的に先頭の縮小画像が設定される。
 (動作)
 次に本実施の形態1による医療システム1の動作について、図面を用いて詳細に説明する。図6は、本実施の形態1によるカプセル型医療装置100の概略動作例を示すフローチャートである。図7は、本実施の形態1による受信装置130の概略動作例を示すフローチャートである。図8は、本実施の形態1による表示装置150の概略動作例を示すフローチャートである。
 まず、カプセル型医療装置100の動作について説明する。図6に示すように、カプセル型医療装置100は、起動後、定期的(所定時間間隔)に第1撮像ユニット101Aを駆動することで、第1撮像ユニット101Aから画像データを取得する(ステップS101のYes~S102)。続いて、カプセル型医療装置100は、第1撮像ユニット101Aより取得した画像データに対して第1撮像ユニット101Aに付与されているカメラID(=1)を付加すると共に、画像データを取得した時刻を取得し、この時刻を示すタイムスタンプを画像データに付加する(ステップS103)。続いて、カプセル型医療装置100は、カメラID(=1)およびタイムスタンプが付加された画像データを無線信号として送受信ユニット104よりアンテナ105を介して受信装置130へ送信する(ステップS104)。
 次にカプセル型医療装置100は、ステップS101の判定から所定時間経過したかを判定し(ステップS105)、所定時間経過すると(ステップS105のYes)、第2撮像ユニット101Bを駆動することで、第2撮像ユニット101Bから画像データを取得する(ステップS106)。続いて、カプセル型医療装置100は、第2撮像ユニット101Bより取得した画像データに対して第2撮像ユニット101Bに付与されているカメラID(=2)を付加すると共に、画像データを取得した時刻を取得し、この時刻を示すタイムスタンプを画像データに付加する(ステップS107)。続いて、カプセル型医療装置100は、カメラID(=2)およびタイムスタンプが付加された画像データを無線信号として送受信ユニット104よりアンテナ105を介して受信装置130へ送信し(ステップS108)、ステップS101に帰還する。このように動作することで、カプセル型医療装置100から第1撮像ユニット101Aおよび第2撮像ユニット101Bで取得された画像データが定期的に受信装置130へ無線送信される。図6に示すカプセル型医療装置100の動作は、カプセル型医療装置100内のバッテリ106の電力が無くなるまで継続される。
 一方、受信装置130は、図7に示すように、例えば常時、カプセル型医療装置100から画像データを受信したか否かを監視し(ステップS111のNo)、画像データを受信した場合(ステップS111のYes)、この受信したカメラIDおよびタイムスタンプが付加された画像データをインタフェース部137より携帯型記録媒体140に保存するか、もしくは、インタフェース部137から通信ケーブル159を介して表示装置150へ送信する(ステップS112)。その後、受信装置130は、動作を継続するか否か、例えば操作部135から動作の終了指示が入力されたか否かを判定し(ステップS113)、動作を継続する場合(ステップS113のYes)、ステップS111へ帰還して、次の画像データの受信を待機する。一方、動作を継続しない場合(ステップS113のNo)、当該動作を終了する。
 また、表示装置150は、図8に示すように、携帯型記録媒体140または通信ケーブル159を媒体としてインタフェース部152より画像データを入力すると(ステップS121)、制御部151を介して画像データをメモリ部153等に一時蓄積しておく(ステップS122)。
 次に表示装置150は、カメラIDの指定があったか否かを監視する(ステップS123のNo)。なお、オーバビュー画面の立ち上げ当初では、例えば第1撮像ユニット101AのカメラID(=1)が自動的に指定されるように設定される。すなわち、本GUI機能の立ち上げが入力されると、立ち上げ動作において自動的にカメラID=1が指定される。また、オーバビュー画面10Aまたは10Bを表示した後では、観察者がマウス等を用いて入力部156よりビュー切替ボタン12A/12Bをクリックすることで、カメラIDの指定が入力される。
 カメラIDの指定が入力されると(ステップS123のYes)、表示装置150は、メモリ部153等から蓄積しておいた画像データを読み出す(ステップS124)。なお、読み出された画像データは、画像処理部154における画像データ入力部154aに入力される。また、画像データ入力部154aには、ステップS123で指定されたカメラIDも入力される。以降、各ステップを実現する部(図4参照)の動作に着目して説明する。
 画像データ入力部154aは、入力された画像データに付加されているカメラIDをそれぞれ特定し(ステップS125)、このカメラIDに基づいて画像データをこれの撮像ユニット(101A/101B)ごと、すなわちカメラIDごとに区分けする(ステップS126)。
 次に画像データ入力部154aは、ステップS123においてカメラID=1が指定されたか否かを判定し(ステップS127)、カメラID=1が指定されていた場合(ステップS127のYes)、カメラID=1の画像データを選択する(ステップS128)。一方、指定されたカメラIDが‘1’で無い場合場合(ステップS127のNo)、すなわち、カメラID=2が選択されていた場合、画像データ入力部154aは、カメラID=2の画像データを選択する(ステップS129)。画像処理部154は、I/F部152から画像データを取り込んだ時点で制御部151から画像データを受け取り、カメラIDごとに画像処理を行う。その結果、カメラIDごとに代表画像の対象が決まる。
 画像選別部154cは、入力された画像データを画像処理することで得られた画像処理結果に基づいて表示対象とする画像データを特定し、これを選別する(ステップS131)。なお、選別された画像データは、平均色バー生成部154d、シーンチェンジ判定部154eおよび画面生成部154fにそれぞれ入力される。
 選別された画像データが入力された平均色バー生成部154dは、カメラIDごとに画像データを選択して各画像データ(もしくはこれを分割した分割領域ごと)の平均色を算出し(ステップS132)、この算出結果に基づいて平均色のイメージが画像データの時系列に沿って繋ぎ合わされた平均色バー15A/15Bを生成する(ステップS133)。なお、時系列に沿ったイメージの繋ぎ合わせは、例えば選別された画像データにそれぞれ付加されているタイムスタンプに従うことで可能である。また、平均色の算出は、各画像データ(またはこれの各分割領域)に含まれている特徴となる部分の色に従って算出されてもよい。さらに、生成された平均色バー15A/15Bは、画面生成部154fに入力される。ただし、生成された平均色バー15A/15Bが、シーンチェンジ判定部154eに入力されてもよい。
 シーンチェンジ判定部154eは、画像選別部154cから入力された画像データのうち前後する画像データ間の画像処理結果に基づいて、シーンチェンジが生じた画像データを判定する(ステップS134)。なお、シーンチェンジ判定結果は、画面生成部154fに入力される。
 画面生成部154fは、入力された選別された画像データとシーンチェンジの判定結果とカメラIDごとの選別された画像データをシーンごとに区分けする(ステップS135)。続いて、画面生成部154fは、シーンごとに区分けした画像データと平均色バー15A/15Bのイメージとから図5に示したオーバビュー画面10A/10Bを生成し(ステップS136)、これを制御部151を介して表示部155へ出力する(ステップS137)。これにより、表示部155にGUI画面であるオーバビュー画面10A/10Bが表示され、これを用いたGUI機能が観察者へ提供される。
 その後、表示装置150は、動作を継続するか否か、例えば入力部156から動作の終了指示が入力されたか否かを判定し(ステップS138)、動作を継続する場合(ステップS138のYes)、ステップS123へ帰還して、次のカメラIDの指定を待機する。一方、動作を継続しない場合(ステップS138のNo)、当該動作を終了する。
 以上のように、本実施の形態1では、画像データを生成した撮像ユニット(第1眼(すなわち第1撮像ユニット101A)または第2眼(すなわち第2撮像ユニット101B))ごとであって且つシーンごとの縮小画像を1画面に一覧表示するため、複眼(例えば2眼)のカプセル型医療装置100を用いた医療システム1であっても、観察者へ一度に提示する画像データの枚数や大きさを落とすことが無い。この結果、複眼(例えば2眼)のカプセル型医療装置100を用いた場合でも観察者に一度に提示できる情報の量が低減することを回避することができる。
 (変形例1-1)
 なお、上記した本実施の形態1では、各シーンに含まれる全ての画像データの縮小画像の一覧をオーバビュー画面10Aにおけるオーバビュー画像表示領域11Aに一度に表示したが、本発明はこれに限るものではない。すなわち、図9の本実施の形態1の変形例1-1によるオーバビュー画面10A-1に示すように、1つのオーバビュー画像表示領域11A-1に表示する縮小画像の枚数を固定し、表示すべき各シーンの縮小画像の枚数が各ページのオーバビュー画像表示領域11A-1の制限枚数を超えたら、残りの縮小画像を以降のページのオーバビュー画像表示領域(例えば2ページ目のオーバビュー画像表示領域11A-2)に表示するように構成してもよい。この場合、表示中のページは、例えばオーバビュー画像表示領域11A/11B-1中のページ切替ボタン11-1a/11-1bがクリックされることで切り替わる。
 なお、このようなオーバビュー画像表示領域のページ分割は、図4の画像処理部154における画面生成部154fにおいて容易に実現することが可能であるため、ここでは詳細な説明を省略する。また、本変形例1-1は、オーバビュー画面10Bについても同様である。
 (変形例1-2a)
 また、2つの撮像ユニット(101Aおよび101B)をカプセル型医療装置100の長手方向において互いに照明/撮像方向Dr_A/Dr_Bが反対方向を向くように配設した場合、照明/撮像方向が移動方向へ向く撮像ユニット(説明の都合上、これを第1撮像ユニット101Aとする)は管腔902内における突起などの部位(特定部位p1)を通りすぎる手前でこの特定部位p1を撮像するのに対し、照明/撮像方向が移動方向と反対方向を向く撮像ユニット(説明の都合上、これを第2撮像ユニット101Bとする)は特定部位p1を通りすぎた後にこの特定部位p1を撮像する。
 ここで図10に示すように、カプセル型医療装置100が特定部位p1を通りすぎるのに要する移動時間をtとすると、図11に示すように、第1撮像ユニット101Aが特定部位p1を撮像したタイミングと第2撮像ユニット101Bが特定部位p1を撮像したタイミングとには、カプセル型医療装置100が特定部位p1を通りすぎるのに必要な移動時間tのタイムラグが生じる。なお、図10は、管腔902内における同一の特定部位(突起)p1を互いに反対向きに配設された第1撮像ユニット101Aおよび第2撮像ユニット101Bで撮像する際の流れを示す概念図である。図11は、第1撮像ユニット101Aによる画像データと第2撮像ユニット101Bによる画像データとの時間軸T(撮像動作の実時間軸)に沿った順序性を説明するための図である。
 そこで本変形例1-2aでは、被検体900内部における同じの位置を写したカメラID=1の画像データとカメラID=2の画像データとが例えば同じもしくは近いタイミングで撮像して得られた画像データであるとして処理することが可能となるように、何れか一方もしくは両方の画像データの画像の同期間隔を移動時間tに基づいて変更する。これにより、一方のカメラID(=1)の画像データを一覧表示するオーバビュー画面(図15のオーバビュー画面10A-2a参照)と他方のカメラID(=2)の画像データを一覧表示するオーバビュー画面(図15のオーバビュー画面10B-2a参照)との間でオーバビュー画像表示領域11A-2a/11B-2a上での位置の対応を取りつつ、同じ位置を撮像した画像データを表示することが可能となる。なお、以下の説明では、このように画像の同期間隔を変更することを同期付けという。以下、第1撮像ユニット101Aが撮像した画像データと第2撮像ユニット101Bが撮像した画像データとを異なるオーバビュー画面(11A-2a/11B-2a)間で対応させつつ表示する場合を、本実施の形態の変形例1-2aとして、図面を用いて詳細に説明する。
 異なるカメラIDが付加された画像データ間の同期付けは、例えば、カプセル型医療装置100の移動方向と反対方向を向く撮像ユニット(101A/101B)を特定し、この撮像ユニット(本説明では移動方向を向く撮像ユニットを第2撮像ユニット101Bとする)が取得した画像データの撮像タイミングに対して移動時間tを加算することで可能である。ただし、これに限定されず、画像データに時系列上の順序を示す情報(画像番号)を付加し、これに基づいて異なるカメラIDの画像データ間の同期付けを図るなど、種々変形することが可能である。また、撮像タイミングには、画像データに付加されているタイムスタンプやカプセル型医療装置100の起動時からカウントされた経過時間(これも画像データに付加されるとする)など、撮像のタイミングを特定できる情報であれば如何なるものも用いることができる。
 また、同期付けのファクタである移動時間tを自由に変更可能とすることで、より同期精度を高めることができる。例えば、カプセル型医療装置100の移動スピードは、管腔902内の部位(シーン)ごとに異なる場合がある。そこで本変形例1-2aでは、シーンごとにカプセル型医療装置100の移動スピード(すなわち移動時間t)を変化させて画像データ間の同期付けを行う。なお、管腔902内でのカプセル型医療装置100の移動スピードは、例えば実験やシミュレーションや経験的に特定しておくことが可能である。また、この移動時間tや画像番号等の同期付けのファクタの値を医療システムの使用前または使用中に観察者または管理者等が適宜変更出来るように設計することで、より同期付けの的確さや柔軟性を高めることが可能となる。
 本変形例1-2aによる医療システムは、上記実施の形態1による医療システム1と同様の構成とすることができる。ただし、本変形例1-2aでは、表示装置150が図12に示す表示装置150-2aに置き換えられる。なお、以下の説明において、上記実施の形態1またはその変形例と同様の構成については、同一の符号を付し、その重複する説明を省略する。
 図12は、本変形例1-2aによる表示装置150-2aの概略構成例を示すブロック図である。図12に示すように、表示装置150-2aでは、図4に示す画像処理部154が画像処理部154-2aに置き換えられている。画像処理部154-2aは、画像処理部154と同様の構成に加え、第1撮像ユニット101Aが撮像した画像データ(すなわち、カメラID=1の画像データ)と第2撮像ユニット101Bが撮像した画像データ(すなわち、カメラID=2の画像データ)とを同期付けする同期部154gを備える。
 本変形例1-2aにおいて、シーンチェンジ判定部154eによるシーンチェンジ判定結果は、同期部154gにも入力される。同期部154gは、例えば入力されたシーンチェンジ判定結果に基づいて、カプセル型医療装置100の管腔902内での移動方向と反対方向を向く撮像ユニットのカメラIDを特定する。また、同期部154gは、特定したカメラIDが付加された各画像データのタイムスタンプが示す撮像時刻に予め設定されたシーン毎の移動時間tを加算して新たな撮像時刻を生成し、これを各画像データに対応付ける。これにより、第1撮像ユニット101Aで撮像された画像データと第2撮像ユニット101Bで撮像された画像データとの同期付けがなされる。すなわち、同期部154gは、画像データのうち一方のカメラID(カプセル型医療装置100の管腔902内での移動方向と反対方向を向く撮像ユニットのカメラID)の画像データに付加されたタイムスタンプが示す撮像時刻に移動時間(所定時間)tを加算することで、このカメラIDの画像データと他方のカメラIDの画像データとを同期付けする。ただし、これに限定されず、カプセル型医療装置100の管腔902内での移動方向を向く撮像ユニットのカメラIDの画像データに付加されたタイムスタンプが示す撮像時刻から移動時間(所定時間)tを減算することで、このカメラIDの画像データと他方のカメラIDの画像データとを同期付けしてもよい。
 すなわち、同期部154gは、一方のカメラIDの画像データと、これと同一の特定部位p1を異なる方向から撮像して生成された他方のカメラIDの画像データと、を同期付けする同期手段として機能する。したがって、オーバビュー画面10A-2a/10B-2aには、同期部154gによる同期付けに基づいてカメラIDごとの画像データ(これの縮小画像)を一覧表示することとなる。
 次に本変形例1-2aによる表示装置150-2aの動作を、図面を用いて詳細に説明する。図13は、本変形例1-2aによる表示装置150-2aの概略動作例を示すフローチャートである。図14は、図13のステップS135-2aに示す同期処理の具体的な例を示すフローチャートである。
 本変形例1-2aでは、表示装置150-2aは、まず、図8のステップS121~S135で示した動作と同様の動作を実行することで、カメラIDごとの選別された画像データをシーンごとに区分けする(図13のステップS121~S135参照)。続いて、表示装置150-2aの同期部154gは、選別された画像データとシーンチェンジ判定結果とに基づいて、カメラID=1の画像データとカメラID=2の画像データとの同期処理を実行する(ステップS135-2a)。なお、同期処理の詳細については、後述において図14を用いて説明する。
 次に画面生成部154fは、同期付けがなされた画像データおよび生成された平均色バー15A/15Bを用いてオーバビュー画面10A-2a/10B-2a(図15参照)を生成し(ステップS136-2a)、これを制御部151を介して表示部155へ出力する(ステップS137)。これにより、表示部155にGUI画面であるオーバビュー画面10A-2a/10B-2aが表示され、これを用いたGUI機能が観察者へ提供される。
 その後、表示装置150-2aは、動作を継続するか否か、例えば入力部156から動作の終了指示が入力されたか否かを判定し(ステップS138)、動作を継続する場合(ステップS138のYes)、ステップS123へ帰還して、次のカメラIDの指定を待機する。一方、動作を継続しない場合(ステップS138のNo)、当該動作を終了する。
 また、図13のステップS135-2aに示す同期処理では、画像処理部154-2aにおける同期部154gは、画像選別部154cから選別された画像データを入力すると共に(ステップS141-2a)、シーンチェンジ判定部154eから出力されたシーンチェンジ判定結果を入力する(ステップS142-2a)。
 次に同期部154gは、入力されたシーンチェンジ判定結果に基づいて、カプセル型医療装置100の移動方向と反対方向を向く撮像ユニットのカメラIDを特定する(ステップS143-2a)。なお、カプセル型医療装置100の移動方向と反対方向を向く撮像ユニットは、個々の撮像ユニットで順次撮像された画像データにおける動きベクトルから特定することが可能である。ただし、これに限定されず、シーンチェンジが生じた画像データの撮像タイミングの差に基づいて特定するなど、種々変形することが可能である。すなわち、先に同一のシーンチェンジが生じた画像データを撮像した撮像ユニットを、カプセル型医療装置100の移動方向を向く撮像ユニットとして特定することも可能である。このように、シーンチェンジ判定部154eおよび同期部154gは、カメラIDごとの一連の画像データのうち前後する画像データ間の画像処理結果から撮像方向がカプセル型医療装置100の移動方向を向く撮像ユニットを特定する特定手段として機能する。
 次に同期部154gは、画像選別部154cから入力された画像データのうちステップS143-2aで特定したカメラIDが付加された画像データを抽出し(ステップS144-2a)、これをシーンチェンジ判定結果に基づいてシーンごとに区分けする(ステップS145-2a)。
 次に同期部154gは、シーンごとに区分けされた画像データのタイムスタンプが示す撮像時刻に対し、予めシーンごとに設定された移動時間tを加算し、これを画像データに更新後の撮像時刻情報として対応付ける(ステップS146-2a)。なお、更新後の撮像時刻情報が対応付けられた画像データは、更新対象外の画像データ(すなわち、カプセル型医療装置100の移動方向を向く撮像ユニットのカメラIDが付加された画像データ)と共に例えばメモリ部153等に蓄積される。
 次に同期部154gは、メモリ部153等から蓄積しておいた選別された画像データを読み出し、この画像データのうちカメラID=1の画像データを選択する(ステップS147-2a)。続いて、同期部154gは、選択したカメラID=1の画像データをタイムスタンプが示す撮像時刻に従って時系列に沿って順次選択し(ステップS148-2a)、選択した画像データに同期するカメラID=2の選別された画像データが存在するか否かを判定する(ステップS149-2a)。なお、この同期する画像データの有無は、例えばカメラID=1の選別された画像データとカメラID=2の選別された画像データとで撮像時刻(タイムスタンプまたは更新後の撮像時刻情報が示す撮像時刻)が互いに所定の時間以内である画像データが存在するか否かを確認することで判定することができる。
 ステップS149-2aの判定の結果、同期するカメラID=2の選別された画像データが存在する場合(ステップS149-2aのYes)、同期部154gは、ステップS151-2aへ移行する。なお、カメラID=1の画像データとカメラID=2の画像データとの同期付けは、更新後の撮像時刻情報の対応付けにより図られている。ただし、これに限定されず、新たなフラグ等を設定して、同期する2つの画像データの関連付けを行うなど、別途、2つの画像データを同期付けするための構成を設けてもよい。
 一方、同期するカメラID=2の選別された画像データが存在しない場合(ステップS149-2aのNo)、同期部154gは、カメラID=2であってタイムスタンプが対象のカメラID=1の画像データと同じNull(ヌル)の画像データを生成する(ステップS150-2a)。すなわち、対象のカメラID=1の画像データと同じ撮像時刻の空のカメラID=2の画像データをダミーとして生成する。すなわち、本変形例1-2aにおいて、同期部154gは、一方のカメラIDの画像データに対して同期させる他方のカメラIDの画像データが表示対象として選別されていない場合、他方のカメラIDの空(ヌル)の画像データを生成し、これを一方のカメラIDの画像データに同期付けする。
 次に同期部154gは、ステップS148-2aにおいてカメラID=1の選別された画像データ全てを選択済みであるか否かを判定し(ステップS151-2a)、選択済みでない場合(ステップS151-2aのNo)、ステップS148-2aに帰還してカメラID=1の次の選別された画像データを選択する。
 一方、ステップS148-2aにおいてカメラID=1の選別された画像データ全てを選択済みである場合(ステップS151-2aのYes)、同期部154gは次に、メモリ部153等に蓄積しておいた選別された画像データのうちカメラID=2の画像データを選択し(ステップS152-2a)、選択したカメラID=2の画像データをタイムスタンプまたは更新後の撮像時刻情報が示す撮像時刻に従って時系列に沿って順次選択する(ステップS153-2a)。続いて、同期部154gは、選択した画像データに同期するカメラID=1の選別された画像データが存在するか否かを判定する(ステップS154-2a)。
 ステップS154-2aの判定の結果、同期するカメラID=1の選別された画像データが存在する場合(ステップS154-2aのYes)、同期部154gは、ステップS156-2aへ移行する。一方、同期するカメラID=1の選別された画像データが存在しない場合(ステップS154-2aのNo)、同期部154gは、カメラID=1であってタイムスタンプが対象のカメラID=2の画像データと同じNull(ヌル)の画像データを生成する(ステップS155-2a)。すなわち、対象のカメラID=1の画像データと同じ撮像時刻の空のカメラID=2の画像データをダミーとして生成する。
 次に同期部154gは、ステップS148-2aにおいてカメラID=2の選別された画像データ全てを選択済みであるか否かを判定し(ステップS156-2a)、選択済みでない場合(ステップS156-2aのNo)、ステップS153-2aに帰還してカメラID=2の次の選別された画像データを選択する。一方、ステップS153-2aにおいてカメラID=2の選別された画像データ全てを選択済みである場合(ステップS156-2aのYes)、同期付けがなされた画像データを画面生成部154fに出力し(ステップS157-2a)、図13に示す動作へリターンする。
 以上のように構成および動作することで、本変形例1-2aでは、図15に示すようなオーバビュー画面10A-2aおよび10B-2aが生成されて表示される。図15は、本変形例1-2aによるオーバビュー画面10A-2aおよび10B-2aの一例を示す図である。
 図15に示すように、オーバビュー画面10A-2aのオーバビュー画像表示領域11A-2aには、カメラID=1の画像データ#a1~#a50のうち選別された画像データから生成された縮小画像が表示される。一方、オーバビュー画像表示領域11B-2aには、カメラID=2の画像データ#b1~#b50のうち選別された画像データから生成された縮小画像が表示される。また、各オーバビュー画像表示領域11A-2aおよび11B-2aにおいて、同期する画像データがない表示部分については、空白とされる。例えば、オーバビュー画像表示領域11A-2aにおけるカメラID=1の画像データ#a1の縮小画像と同期するカメラID=2の画像データ#b1の縮小画像が表示されるべきオーバビュー画像表示領域11B-2aの領域は、空白とされている。言い換えれば、同期する画像データが存在しない部分は、虫食いの状態とされている。
 以上のように、本変形例1-2aでは、上記実施の形態1と同様の効果に加え、同一の位置を異なる眼で撮像することで得られた画像データを同期させつつ表示することが可能となるため、観察者は、被検体900内の部位を複数の角度から容易に観察することが可能となる。
 (変形例1-2b)
 また、カメラID=1の画像データについてのオーバビュー画面が表示する縮小画像とカメラID=2のオーバビュー画面が表示する縮小画像とを、図16の本実施の形態1の変形例1-2bによるオーバビュー画面10A-2bおよび10B-2bに示すように、オーバビュー画像表示領域11A-2b/11B-2bに一覧表示される縮小画像を、カメラID=1の選別された画像データの縮小画像とこのカメラID=1の選別された画像データに同期するカメラID=2の画像データの縮小画像とにすることも可能である。すなわち、カメラID=1の選別された画像データに同期するカメラID=2の画像データを自動的に選別して一覧表示することも可能である。以下、この場合を本実施の形態1の変形例1-2bとして、図面を用いて詳細に説明する。
 本変形例1-2bによる医療システムは、上記実施の形態1による医療システム1と同様の構成である。ただし、本変形例1-2bでは、表示装置150が図17に示す表示装置150-2bに置き換えられる。なお、以下の説明において、上記実施の形態1またはその変形例と同様の構成については、同一の符号を付し、その重複する説明を省略する。
 図17は、本変形例1-2bによる表示装置150-2bの概略構成例を示すブロック図である。図17に示すように、表示装置150-2bでは、図4に示す画像処理部154が画像処理部154-2bに置き換えられている。画像処理部154-2bは、画像処理部154と同様の構成において、画像選別部154cが同期選別部154hに置き換えられている。さらに、画像処理部154-2bでは、画像データ入力部154aから出力された画像データがシーンチェンジ判定部154eと同期選別部154hとにそれぞれ入力され、シーンチェンジ判定部154eによるシーンチェンジ判定結果が同期選別部154hに入力される。
 ここで、本変形例1-2bによる表示装置150-2bおよび同期選別部154hの動作を、図面を用いて詳細に説明する。図18は、本変形例1-2bによる表示装置150-2bの概略動作例を示すフローチャートである。図19は、図18のステップS130-2bに示す画像データ選別処理の具体的な例であって、本変形例1-2bによる同期選別部154hの概略動作例を示すフローチャートである。
 本変形例1-2bでは、表示装置150-2bは、まず、図8のステップS121~S126で示した動作と同様の動作を実行することで、画像データをカメラID=1の画像データとカメラID=2の画像データとに区分けする(図18のステップS121~S126参照)。続いて、シーンチェンジ判定部154eは、画像データ入力部154aから入力された画像データのうち前後する画像データ間の画像処理結果に基づいて、シーンチェンジが生じた画像データを判定する(ステップS129-2b)。なお、シーンチェンジ判定結果は、同期選別部154hに入力される。
 同期選別部154hは、シーンチェンジ判定部154eから入力されたシーンチェンジ判定結果に基づいて、カメラID=1の画像データの選別と、選別されたカメラID=1の画像データに同期するカメラID=2の画像データの選別とを行う同期選別処理を実行する(ステップS130-2b)。なお、同期選別処理の詳細については、後述において図19を用いて説明する。
 次に同期選別部154hは、ステップS123においてカメラID=1が指定されたか否か(例えば観察者により入力部156から表示指示が入力されたオーバビュー画面の生成に要求されるカメラIDが‘1’であるか否か)を判定し(ステップS131-2b)、カメラID=1が指定されていた場合(ステップS131-2bのYes)、カメラID=1の選別された画像データを選択する(ステップS132-2b)。一方、指定されたカメラIDが‘1’で無い場合(ステップS131-2bのNo)、すなわち、カメラID=2が選択されていた場合、画像データ入力部154aは、カメラID=2の選別された画像データを選択する(ステップS133-2b)。なお、ステップS132-2bまたはステップS133-2bで選択された画像データは、平均色バー生成部154dおよび画面生成部154fにそれぞれ入力される。
 選別された画像データが入力された平均色バー生成部154dは、各画像データ(もしくはこれを分割した分割領域ごと)の平均色を算出し(ステップS134-2b)、この算出結果に基づいて平均色のイメージが画像データの時系列に沿って繋ぎ合わされた平均色バー15A/15Bを生成する(ステップS135-2b)。なお、生成された平均色バー15A/15Bは、画面生成部154fに入力される。
 画面生成部154fは、入力された選別された画像データと平均色バー15A/15Bのイメージとから、図16に示したオーバビュー画面10A-2b/10B-2bを生成し(ステップS136-2b)、これを制御部151を介して表示部155へ出力する(ステップS137-2b)。これにより、表示部155にGUI画面であるオーバビュー画面10A-2b/10B-2bが表示され、これを用いたGUI機能が観察者へ提供される。
 その後、表示装置150は、動作を継続するか否か、例えば入力部156から動作の終了指示が入力されたか否かを判定し(ステップS138-2b)、動作を継続する場合(ステップS138-2bのYes)、ステップS123へ帰還して、次のカメラIDの指定を待機する。一方、動作を継続しない場合(ステップS138-2bのNo)、当該動作を終了する。
 また、図18のステップS130-2bに示す同期選別処理では、画像処理部154-2bにおける同期選別部154hは、画像データ入力部154aから画像データを入力し(ステップS141-2b)、シーンチェンジ判定部154eからシーンチェンジ判定結果を入力する(ステップS143-2b)。
 次に同期選別部154hは、例えば入力されたシーンチェンジ判定結果に基づいて、カプセル型医療装置100の移動方向と反対方向を向く撮像ユニットのカメラIDを特定する(ステップS144-2b)。続いて、同期選別部154hは、画像データ入力部154aから入力された画像データのうちステップS144-2bで特定したカメラIDの画像データを抽出し(ステップS145-2b)、これをシーンチェンジ判定結果に基づいてシーンごとに区分けする(ステップS146-2b)。続いて、同期選別部154hは、シーンごとに区分けられた画像データのタイムスタンプが示す撮像時刻に対し、予めシーンごとに設定された移動時間tを加算し、これを画像データに更新後の撮像時刻情報として対応付ける(ステップS147-2b)。なお、更新後の撮像時刻情報が対応付けられた画像データは、更新対象外の画像データ(すなわち、カプセル型医療装置100の移動方向を向く撮像ユニットのカメラIDが付加された画像データ)と共に例えばメモリ部153等に蓄積される。
 次に同期選別部154hは、メモリ部153等に蓄積しておいた画像データを読み出し、この画像データのうちカメラID=1の画像データを画像処理結果に基づいて選別する(ステップS148-2b)。続いて、同期選別部154hは、選別したカメラID=1の画像データをタイムスタンプが示す撮像時刻に従って時系列に沿って順次選択し(ステップS149-2b)、選択したカメラID=1の画像データに同期するカメラID=2の画像データをメモリ部153等に蓄積しておいた画像データ等から特定してこれを選別する(ステップS150-2b)。すなわち、本変形例1-2bによる同期選別部154hは、一方のカメラIDの一連の画像データのうち前後する画像データ間の画像処理結果に基づいて表示対象とする画像データを選別する(ステップS148-2b)と共に、選別された一方のカメラIDの画像データと同一の位置を異なる方向から撮像して生成された他方のカメラIDの画像データを選別する(ステップ150-2b)。
 次に同期選別部154hは、ステップS149-2bにおいてカメラID=1の選別された画像データ全てを選択済であるか否かを判定し(ステップS151-2b)、選択済でない場合(ステップS151-2bのNo)、ステップS149-2bへ帰還してカメラID=1の次の画像データを選択する。
 一方、ステップS149-2bにおいてカメラID=1の選別された画像データ全てを選択済である場合(ステップS151-2bのYes)、同期選別部154hは、同期付けがなされた画像データを画面生成部154fに出力し(ステップS152-2b)、図18に示す動作へリターンする。
 以上のように、本変形例1-2bでは、上記実施の形態1と同様の効果に加え、同一の位置を異なる眼で撮像することで得られた画像データを同期させつつ表示することが可能となるため、観察者は、被検体900内の部位を複数の角度から容易に観察することが可能となる。
 なお、本変形例1-2bでは、説明の都合上、同期する画像データを選別する際の基準とする画像データを、カメラID=1の選別された画像データとしたが、本発明はこれに限定されず、例えばカメラID=2の選別された画像データを基準とすることも可能である。この場合、画面生成部154f(ステップS136-2b)によって生成されるオーバビュー画面10A-2b/10B-2bは、図20に示すようになる。
 (変形例1-2c)
 また、上記変形例1-2bでは、一方の画像データ(例えばカメラID=1の選別された画像データ)を基準とし、これに同期する他方の画像データ(例えばカメラID=2の画像データ)を無条件で選別する場合を例に挙げたが、本発明はこれに限定されず、例えば図21に示すオーバビュー画面10A-2c/10B-2cのオーバビュー画像表示領域11A-2c/11B-2cに示すように、カメラID=1の選別された画像データとカメラID=2の選別された画像データとでいわゆる論理積(OR)を取り、これにマッチする画像データを選別してもよい。以下、これを本実施の形態1の変形例1-2cとして、図面を用いて詳細に説明する。なお、以下の説明において、上記実施の形態1またはその変形例と同様の構成については、同一の符号を付し、その重複する説明を省略する。また、図21は、本変形例1-2cによるオーバビュー画面10A-2cおよび10B-2cの一例を示す図である。
 本変形例1-2cでは、図17に示す表示装置150-2bと同様の構成および図18に示す表示装置150-2bの動作と同様の動作を適用することが可能である。ただし、本変形例1-2cによる同期選別部154hの動作、すなわち、図18のステップS130-2bに示す同期選別処理の流れは、図22に示すようになる。図22は、本変形例1-2cによる同期選別処理の具体的な例を示すフローチャートである。
 本変形例1-2cでは、図18のステップS130-2bに示す同期選別処理において、画像処理部154-2bにおける同期選別部154hは、図19のステップS141-2b~151-2bで示した動作と同様の動作を実行することで、選別されたカメラID=1の画像データに同期するカメラID=2の画像データを全てのカメラID=2の画像データの中から選別する(図22のステップS141-2b~S151-2b参照)。
 次に同期選択部154hは、メモリ部153等に蓄積しておいた画像データのうち、カメラID=2の画像データを画像処理結果に基づいて選別する(ステップS152-2c)。続いて、同期選別部154hは、選別したカメラID=2の画像データをタイムスタンプまたは更新後の撮像時刻情報が示す撮像時刻に従って時系列に沿って順次選択し(ステップS153-2c)、選択したカメラID=2の画像データに同期するカメラID=1の画像データがステップS148-2bで選別済みであるか否かを判定し(ステップS154-2c)、選別済みである場合(ステップS154-2cのYes)、ステップS156-2cへ移行する。
 一方、ステップS154-2cの判定の結果、同期するカメラID=1の画像データを選別済みでない場合(ステップS154-2cのNo)、同期選別部154hは、対象のカメラID=2の画像データに同期するカメラID=1の画像データをメモリ部153等に蓄積しておいた画像データ等から特定してこれを選別された画像データに追加する(ステップS155-2c)。すなわち、本変形例1-2cによる同期選別部154hは、カメラIDごとの一連の画像データのうち前後する画像データ間の画像処理結果に基づいて表示対象とする画像データをそれぞれ選別する(ステップS148-2b、152-2c)と共に、一方のカメラIDの画像データに対して同期付けする他方のカメラIDの画像データが選別されていない場合、選別されなかった他方のカメラIDの画像データのうち一方のカメラIDの画像データに同期付けする画像データを表示対象としてさらに選別する(ステップS150-2b、155-2c)。
 次に同期選別部154hは、ステップS152-2cにおいてカメラID=2の選別された画像データ全てを選択済みであるか否かを判定し(ステップS156-2c)、選択済みでない場合(ステップS156-2cのNo)、ステップS152-2cへ帰還してカメラID=2の次の選別された画像データを選択する。
 一方、ステップS156-2cにおいてカメラID=2の選別された画像データ全てを選択済みである場合(ステップS156-2c)、同期選別部154hは、同期付けがなされた画像データを画面生成部154fに出力し(ステップS157-2cのYes)、図18に示す動作へリターンする。
 以上のように、本変形例1-2cでは、上記実施の形態1と同様の効果に加え、同一の位置を異なる眼で撮像することで得られた画像データを同期させつつ表示することが可能となるため、観察者は、被検体900内の部位を複数の角度から容易に観察することが可能となる。
 (変形例1-2d)
 また、上記変形例1-2cでは、論理積(OR)を取って画像データを選別したが、本発明はこれに限定されず、例えば図23に示すオーバビュー画面10A-2d/10B-2dのオーバビュー画像表示領域11A-2d/11B-2dに示すように、これを論理和(AND)とすることもできる。以下、これを本実施の形態1の変形例1-2dとして、図面を用いて詳細に説明する。なお、以下の説明において、上記実施の形態1またはその変形例と同様の構成については、同一の符号を付し、その重複する説明を省略する。また、図23は、本変形例1-2dによるオーバビュー画面10A-2dおよび10B-2dの一例を示す図である。
 本変形例1-2dでは、図17に示す表示装置150-2bと同様の構成および図18に示す表示装置150-2bの動作と同様の動作を適用することが可能である。ただし、本変形例1-2dによる同期選別部154hの動作、すなわち、図18のステップS130-2bに示す同期選別処理の流れは、図24に示すようになる。図24は、本変形例1-2dによる同期選別処理の具体的な例を示すフローチャートである。
 本変形例1-2dでは、図18のステップS130-2bに示す同期選別処理において、画像処理部154-2bにおける同期選別部154hは、図19のステップS141-2b~S148-2bで示した動作と同様の動作を実行することで、カメラID=1の画像データを選別する(図24のステップS141-2b~S148-2b参照)。
 次に同期選択部154hは、同じくメモリ部153等に蓄積しておいた画像データのうち、カメラID=2の画像データを画像処理結果に基づいて選別する(ステップS148-2d)。
 次に同期選別部154hは、ステップS148-2bで選別したカメラID=1の画像データをタイムスタンプが示す撮像時刻に従って時系列に沿って順次選択する(ステップS149-2d)。続いて、同期選別部154hは、選択したカメラID=1の画像データに同期するカメラID=2の画像データがステップS148-2dで選別されているか否かを判定し(ステップS150-2d)、選別されている場合(ステップS150-2dのYes)、このカメラID=2の画像データを選別する(ステップS151-2d)。一方、同期するカメラID=2の画像データが選別されていない場合(ステップS151-2dのNo)、同期選別部154hは、選択中のカメラID=1の画像データを選別された画像データから除外する(ステップS153-2d)。すなわち、本変形例1-2dによる同期選別部154hは、カメラIDごとの一連の画像データのうち前後する画像データ間の画像処理結果に基づいて表示対象とする画像データをそれぞれ選別する(ステップS148-2b、148-2d)と共に、一方のカメラIDの画像データに対して同期させる他方のカメラIDの画像データが選別されていない場合、一方のカメラIDの画像データを表示対象とする画像データから除外する(ステップS153-2d)。
 次に同期選別部154hは、ステップS149-2dにおいてカメラID=1の選別された画像データ全てを選択済みであるか否かを判定し(ステップS154-2d)、選択済みでない場合(ステップS154-2dのNo)、ステップS149-2dへ帰還してカメラID=1の次の選別された画像データを選択する。
 一方、ステップS154-2dにおいてカメラID=1の選別された画像データ全てを選択済みである場合(ステップS154-2dのYes)、同期選別部154hは、同期付けがなされた画像データを画面生成部154fに出力し(ステップS155-2d)、図18に示す動作へリターンする。
 以上のように、本変形例1-2dでは、上記実施の形態1と同様の効果に加え、同一の位置を異なる眼で撮像することで得られた画像データを同期させつつ表示することが可能となるため、観察者は、被検体900内の部位を複数の角度から容易に観察することが可能となる。
 (変形例1-3)
 また、上記した本実施の形態1およびその変形例において、オーバビュー画像表示領域(例えばオーバビュー画像表示領域11A)における個々の縮小画像を観察者が任意に回転できるように構成してもよい。以下、この例を、本実施の形態1の変形例1-3として、図面を用いて説明する。ただし、以下では、説明の都合上、上記実施の形態1をベースとして本変形例1-3を説明するが、本発明はこれに限定されず、上記実施の形態1およびこれの変形例のいずれについても本変形例1-3を適用できることは言うまでもない。さらに、以下では、カメラID=1の画像データの縮小画像を一覧表示するオーバビュー画面10A-3を例に挙げて説明するが、これをカメラID=2の画像データの縮小画像を一覧表示するオーバビュー画面に適用できることは言うまでもない。
 図25は、本変形例1-3によるオーバビュー画面10A-3の一例を示す図である。なお、図25(a)は縮小画像を回転する前のオーバビュー画面10A-3の一例を示し、図25(b)は縮小画像を回転した後のオーバビュー画面10A-3の一例を示す。
 図25(a)に示すように、例えば観察者が入力部156のマウス等を用いてポインタ19を操作してオーバビュー画像表示領域11A-3中の縮小画像#A1をシングルクリックすると、対象の縮小画像#A1が選択されて、これに選択枠11aが付加される。また、例えば観察者が入力部156のマウス等を用いてポインタ19を操作して縮小画像#A1をダブルクリックすると、図25(b)に示すように、対象の縮小画像#A1が所定方向(例えば時計回り)に所定角度(例えば30°や90°)回転する。
 また、ポインタ19を用いて縮小画像のコーナを所望する回転方向にドラッグすることで、対象の縮小画像を任意の回転方向および回転角度で回転できるように構成してもよい。
 このように、オーバビュー画面10A-3および入力部156は、一覧表示している画像データ(縮小画像)の回転指示を入力させる回転指示入力手段として機能し、画面生成部154fは、回転指示が入力された画像データを回転補正する回転補正手段として機能する。
 なお、このような個々の縮小画像を回転させる画像処理は、図4の画像処理部154における画面生成部154fにおいて容易に実現することが可能であるため、ここでは詳細な説明を省略する。
 (変形例1-4)
 また、上記した本実施の形態1およびその変形例において、オーバビュー画像表示領域の大きさ、および/または、オーバビュー画像表示領域に一覧表示する縮小画像の枚数を観察者が任意に変更できるように構成してもよい。以下、この例を、本実施の形態1の変形例1-4として、図面を用いて説明する。ただし、以下では、説明の都合上、上記実施の形態1をベースとして本変形例1-4を説明するが、本発明はこれに限定されず、上記実施の形態1およびこれの変形例のいずれについても本変形例1-4を適用できることは言うまでもない。さらに、以下では、カメラID=1の画像データの縮小画像を一覧表示するオーバビュー画面10A-4を例に挙げて説明するが、これをカメラID=2の画像データの縮小画像を一覧表示するオーバビュー画面に適用できることは言うまでもない。
 図26は、本変形例1-4によるオーバビュー画面10A-4の一例を示す図である。なお、図26(a)は縮小画像を回転する前のオーバビュー画面10A-4の一例を示し、図26(b)は縮小画像を回転した後のオーバビュー画面10A-4の一例を示す。
 図26(a)に示すように、例えば観察者が入力部156のマウス等を用いてポインタ19を操作してオーバビュー画像表示領域11A-4のエッジ部分をドラッグすると、図26(b)に示すように、ポインタ19の移動に応じてオーバビュー画像表示領域11A-4の表示範囲が変化する。ここで、縮小画像の大きさを固定しておくと、オーバビュー画像表示領域11A-4の大きさに応じてこれに一覧表示される縮小画像の枚数が変化する。なお、例えば同一シーンにおける縮小画像を複数ページに分割して表示する場合、オーバビュー画像表示領域11A-4に表示可能な縮小画像の枚数の変化に応じて各シーンの総ページ数が増加/減少する。
 なお、このようなオーバビュー画像表示領域11A-4の大きさの変更、これに表示する縮小画像の枚数の自動調整および総ページ数の自動増減は、図4の画像処理部154における画面生成部154fにおいて容易に実現することが可能であるため、ここでは詳細な説明を省略する。
 (変形例1-5)
 また、上記した本実施の形態1およびその変形例では、カメラID=1の画像データの縮小画像とカメラID=2の画像データの縮小画像とを異なるGUI画面(例えば実施の形態1ではオーバビュー画面10Aおよび10B)で表示したが、これに限らず、例えば図27に示す本実施の形態1の変形例1-5によるオーバビュー画面10-5に示すように、1つのオーバビュー画面10-5にカメラID=1の画像データの縮小画像を一覧表示するオーバビュー画像表示領域11AとカメラID=2の画像データの縮小画像を一覧表示するオーバビュー画像表示領域11Bとを並べて表示してもよい。ただし、以下では、説明の都合上、上記実施の形態1をベースとして本変形例1-5を説明するが、本発明はこれに限定されず、上記実施の形態1およびこれの変形例のいずれについても本変形例1-5を適用できることは言うまでもない。
 図27に示すオーバビュー画面10-5の例では、オーバビュー画像表示領域11Aおよびオーバビュー画像表示領域11Bが横方向に配列され、それぞれの下の領域に、それぞれに対応するタイムスケールバー13A/13Bおよびスライダ14A/14B、平均色バー15A/15B、表示中シーン欄16A/16Bならびにシーン切替ボタン17A/17Bが配置されている。
 なお、このようなオーバビュー画面10-5の生成は、上述した実施の形態1またはその変形例から容易に相当することが可能であるため、ここでは詳細な説明を省略する。
 (変形例1-6)
 また、上記した変形例1-5では、オーバビュー画像表示領域11Aとオーバビュー画像表示領域11Bとを横並びに表示したが、これに限定されず、例えば図28に示す本実施の形態1の変形例1-6によるオーバビュー画面10-6に示すように、カメラID=1の画像データの縮小画像を一覧表示するオーバビュー画像表示領域11AとカメラID=2の画像データの縮小画像を一覧表示するオーバビュー画像表示領域11Bとを縦並びで表示してもよい。ただし、以下では、説明の都合上、上記実施の形態1をベースとして本変形例1-6を説明するが、本発明はこれに限定されず、上記実施の形態1およびこれの変形例のいずれについても本変形例1-6を適用できることは言うまでもない。
 図28に示すオーバビュー画面10-6の例では、オーバビュー画像表示領域11Aおよびオーバビュー画像表示領域11Bが縦方向に配列され、それぞれの横(例えば右側)の領域に、それぞれに対応するタイムスケールバー13A/13Bおよびスライダ14A/14B、平均色バー15A/15B、表示中シーン欄16A/16Bならびにシーン切替ボタン17A/17Bが配置されている。
 なお、このようなオーバビュー画面10-6の生成は、上述した実施の形態1またはその変形例から容易に相当することが可能であるため、ここでは詳細な説明を省略する。
 (変形例1-7)
 また、上記した変形例1-5では、各オーバビュー画像表示領域11Aおよび11Bに対応するタイムスケールバー13A/13Bおよびスライダ14A/14B、ならびに、平均色バー15A/15Bを、それぞれの領域の下側の領域に配置した。すなわち、タイムスケールバー13Aおよびスライダ14Aとタイムスケールバー13Bおよびスライダ14Bと、平均色バー15Aと平均色バー15Bと、をそれぞれ横並びで表示したが、これに限らず、例えば図29に示す本実施の形態1の変形例1-7によるオーバビュー画面10-7に示すように、タイムスケールバー13Aおよびスライダ14Aとタイムスケールバー13Bおよびスライダ14Bと、平均色バー15Aと平均色バー15Bと、をそれぞれ縦並びに表示してもよい。ただし、以下では、説明の都合上、上記実施の形態1をベースとして本変形例1-7を説明するが、本発明はこれに限定されず、上記実施の形態1およびこれの変形例のいずれについても本変形例1-7を適用できることは言うまでもない。
 図29に示すオーバビュー画面10-7の例では、オーバビュー画像表示領域11Aおよびオーバビュー画像表示領域11Bが横方向に配列され、その下側に、オーバビュー画像表示領域11A下からオーバビュー画像表示領域11B下にかけて延在するように、タイムスケールバー13Aおよびスライダ14Aとタイムスケールバー13Bおよびスライダ14Bと、平均色バー15Aと平均色バー15Bと、がそれぞれ縦並びに表示されている。
 なお、このようなオーバビュー画面10-7の生成は、上述した実施の形態1またはその変形例から容易に相当することが可能であるため、ここでは詳細な説明を省略する。
 (変形例1-8)
 また、上記の変形例1-2a~1-2dでは、カプセル型医療装置100の管腔902内での移動スピードに基づいて予め設定しておいた移動時間tを用いてカメラID=1の画像データとカメラID=2の画像データとを同期させる場合を例に挙げたが、両画像データの同期方法としては、これに限定されず、例えばそれぞれ同一の位置を写す画像データを同期させ、この画像データを起点として両画像データを同期させるように構成してもよい。以下、この例を、本実施の形態1の変形例1-8として、図面を用いて説明する。ただし、以下では、説明の都合上、上記実施の形態1をベースとして本変形例1-8を説明するが、本発明はこれに限定されず、上記実施の形態1およびこれの変形例のいずれについても本変形例1-8を適用できることは言うまでもない。
 図30は、本変形例1-8による同期前のオーバビュー画面10A-8および10B-8の一例を示す図である。図31は、本変形例1-8による同期後のオーバビュー画面10A-8および10B-8の一例を示す図である。
 図30に示すように、オーバビュー画面10A-8および10B-8には、それぞれ観察者が可動データの同期指示を入力するためのGUIとして同期ボタン18Aおよび18Bが設けられている。観察者は、オーバビュー画像表示領域11Aまたは11Bの縮小画像のいずれかを選択した状態で、入力部156のマウス等を用いてポインタ19を操作して同期ボタン18Aまたは18Bをクリックする。これにより、図31に示すように、選択状態にある縮小画像の生成元となった画像データ(図30および図31に示す例では、画像データ#a47または#b47)を同期の起点として、カメラID=1の画像データとカメラID=2の画像データとが同期され、その順序に従って縮小画像がオーバビュー画像表示領域11Aまたは11Bに表示される。ここで、オーバビュー画面10A-8および10B-8および入力部156によって提供されるGUI機能は、同期の起点とする画像データを観察者に選択させる起点画像選択手段として機能する。
 この際、図31に示すように、同期の起点となった画像データ(図30および図31に示す例では、画像データ#a47または#b47)の縮小画像に、これを強調して表示するための同期起点枠12a/12bを付加してもよい。
 なお、このような同期処理は、図4の画像処理部154における画面生成部154fにおいて容易に実現することが可能であるため、ここでは詳細な説明を省略する。
 <実施の形態2>
 また、上記実施の形態1およびその変形例では、異なる撮像ユニットで撮像された画像データの縮小画像をそれぞれ個別のオーバビュー画像表示領域に一覧表示する場合を例に挙げたが、本発明はこれに限定されず、異なる撮像ユニットで撮像された画像データの縮小画像を1つのオーバビュー画像表示領域に表示してもよい。以下、この場合を本発明の実施の形態2として、図面を用いて詳細に説明する。
 本実施の形態2による医療システムは、上記実施の形態1による医療システム1と同様の構成とすることができる。ただし、本実施の形態2では、表示装置150が図32に示す表示装置250に置き換えられる。なお、以下の説明において、上記実施の形態1またはその変形例と同様の構成については、同一の符号を付し、その重複する説明を省略する。
 図32は、本実施の形態2による表示装置250の概略構成例を示すブロック図である。図32に示すように、表示装置250では、図4に示す画像処理部154が画像処理部254に置き換えられている。画像処理部254は、上述の変形例1-2bによる画像処理部150-2bと同様の構成(図17参照)において、画面生成部154fが画面生成部254fに置き換えられている。
 画面生成部254fは、同期選別部154hから出力された選別された画像データと、平均色バー生成部154dから出力された平均色バー15Aおよび15Bのイメージとを用いて、図33に示すようなオーバビュー画面20を生成する。図33は、本実施の形態2によるオーバビュー画面20の一例である。なお、図33(a)は縮小画像を切り替える前のオーバビュー画面20を示し、図33(b)は縮小画像を切り替えた後のオーバビュー画面20を示す。
 図33に示すように、本実施の形態2によるオーバビュー画面20には、選別された画像データの縮小画像を一覧表示するオーバビュー画像表示領域21と、カメラID=1の画像データについてのタイムスケールバー13Aおよびスライダ14Aならびに平均色バー15Aと、カメラID=2の画像データについてのタイムスケールバー13Bおよびスライダ14Bならびに平均色バー15Bと、オーバビュー画像表示領域21に表示中のシーンが全シーン中の何番目であるかを示す表示中シーン欄26と、オーバビュー画像表示領域21に表示するシーンを切り替えるシーン切替ボタン27と、が組み込まれている。
 初期の状態のオーバビュー画像表示領域21には、例えばカメラID=1の選別された画像データの縮小画像(#a1~#a50のうちの一部)が一覧表示される。各縮小画像の近傍(例えば下側)には、各縮小画像がカプセル型医療装置100のいずれの撮像ユニット(101Aまたは101B)で撮像されたかを視覚的に観察者へ示すイメージ(以下、カプセルイメージという)21a/21bが表示される。なお、説明の都合上、カプセルイメージ21aがカメラID=1の撮像ユニット(すなわち、第1撮像ユニット101A)を示し、カプセルイメージ21bがカメラID=2の撮像ユニット(すなわち、第2撮像ユニット101B)を示すものとする。なお、カプセルイメージ21a/21bの表示において、その形状や色等をカメラIDごとに変更して表示してもよい。
 ここで、図33(a)のオーバビュー画像表示領域21における縮小画像#a34に付加されたカプセルイメージ21aを観察者がポインタ19を操作してクリックすると、クリックされたカプセルイメージ21aに対応する縮小画像の表示部分には、図33(b)に示すように、カメラID=2の画像データの縮小画像#b34が表示される。すなわち、クリックされたカプセルイメージ21a/21bに対応する縮小画像が他のカメラIDの縮小画像に切り替えられる。
 次に、本実施の形態2による医療システムの動作について、図面を用いて詳細に説明する。ただし、本実施の形態2におけるカプセル型医療装置100の動作と受信装置130の動作とは、上記実施の形態1による動作(図6および図7参照)と同様であるため、ここでは詳細な説明を省略する。図34は、本実施の形態2による表示装置250の概略動作例を示すフローチャートである。図35は、図34のステップS241に示す縮小画像切替処理の具体的な例を示すフローチャートである。
 本実施の形態2による表示装置250は、図34に示すように、携帯型記録媒体140または通信ケーブル159を媒体としてインタフェース部152より画像データを入力すると(ステップS221)、制御部151を介して画像データをメモリ部153等に一時蓄積しておく(ステップS222)。
 次に表示装置250は、オーバビュー画面20の表示指示が入力部156等から入力されるまで待機し(ステップS223のNo)、表示指示があった場合(ステップS223のYes)、表示装置250は、メモリ部153等から蓄積しておいた画像データを読み出す(ステップS224)。なお、読み出された画像データは、画像処理部254における画像データ入力部154aに入力される。
 画像データ入力部154aは、入力された画像データに付加されているカメラIDをそれぞれ特定し(ステップS225)、このカメラIDに基づいて画像データをこれの撮像ユニット(101A/101B)ごと、すなわちカメラIDごとに区分けする(ステップS226)。
 次に画像データ入力部154aは、カメラID=1の画像データを選択する(ステップS227)。なお、選択されたカメラID=1の画像データは、シーンチェンジ判定部154eに入力される。
 また、シーンチェンジ判定部154eは、画像データ入力部154aから入力されたカメラID=1の画像データのうち前後する画像データ間の画像処理結果に基づいて、シーンチェンジが生じた画像データを判定する(ステップS229)。なお、シーンチェンジ判定結果は、同期選別部154hに入力される。
 同期選別部154hは、シーンチェンジ判定部154eから入力されたシーンチェンジ判定結果に基づいて、画像データを同期させつつ選別する同期選別処理を実行する(ステップS230)。なお、本実施の形態による同期選別処理は、上記実施の形態1の変形例1-2a~1-2dで示す同期選別処理(図18のステップS130-2bおよび図19、図22または図24参照)と同様とすることが可能である。ただし、ステップS230において選別された画像データは、平均色バー生成部154dおよび画面生成部254fにそれぞれ入力される。
 選別された画像データが入力された平均色バー生成部154dは、まず、カメラID=1の画像データを選択し(ステップS231)、選択した各画像データ(もしくはこれを分割した分割領域ごと)の平均色を算出し(ステップS232)、この算出結果に基づいて平均色のイメージが画像データの時系列に沿って繋ぎ合わされた平均色バー15Aを生成する(ステップS233)。なお、生成された平均色バー15Aは、画面生成部254fに入力される。
 また、平均色バー生成部154dは、次に、カメラID=2の画像データを選択し(ステップS234)、選択した各画像データ(もしくはこれを分割した分割領域ごと)の平均色を算出し(ステップS235)、この算出結果に基づいて平均色のイメージが画像データの時系列に沿って繋ぎ合わされた平均色バー15Bを生成する(ステップS236)。なお、生成された平均色バー15Bは、画面生成部254fに入力される。
 平均色バー15Aおよび15Bのイメージならびに選別された画像データが入力された画面生成部254fは、まず、入力された選別された画像データごとに、これのカメラIDに基づいてカプセルイメージ21aを生成し(ステップS237)、続いて、生成したカプセルイメージ21a、カメラID=1の選別された画像データならびに平均色バー15Aおよび15Bのイメージを用いて図33(a)に示すようなシーンごとのオーバビュー画面20を生成し(ステップS238)、この生成したオーバビュー画面20を表示部155へ出力する(ステップS239)。これにより、表示部155にGUI画面であるオーバビュー画面20が表示され、これを用いたGUI機能が観察者へ提供される。
 その後、表示装置250は、オーバビュー画面20のオーバビュー画像表示領域21において表示されている縮小画像の切替指示が例えば入力部156のマウス等を用いて観察者より入力されたか否かを判定し(ステップS240)、入力されていた場合(ステップS240のYes)、オーバビュー画像表示領域21に表示された縮小画像を切り替える縮小画像切替処理を実行する(ステップS241)。なお、縮小画像切替処理の詳細については、後述において図35を用いて説明する。
 一方、縮小画像の切替指示が入力されていない場合(ステップS240のNo)、表示装置250は、動作を継続するか否か、例えば入力部156から動作の終了指示が入力されたか否かを判定し(ステップS242)、動作を継続する場合(ステップS242のYes)、ステップS239へ帰還する。一方、動作を継続しない場合(ステップS242のNo)、当該動作を終了する。
 また、図34のステップS241に示す縮小画像切替処理では、表示装置250の画面生成部254fは、図35に示すように、まず、切替指示が入力された表示中の縮小画像を生成する元となった画像データを特定し(ステップS251)続いて、特定した画像データに付加されているカメラIDおよびタイムスタンプを特定する(ステップS252)。
 次に画面生成部254fは、特定したカメラIDが‘1’であるか否かを判定し(ステップS253)、カメラID=1である場合(ステップS253のYes)、ステップS251において特定した画像データに対応するカメラID=2の画像データを例えばメモリ部153等から特定する(ステップS254)。一方、ステップS252において特定したカメラIDが‘1’でない、すなわち‘2’である場合(ステップS253のNo)、画面生成部254fは、ステップS251において特定した画像データに対応するカメラID=1の画像データを例えばメモリ部153等から特定する(ステップS255)。
 次に画面生成部254fは、ステップS254またはステップS255で特定した画像データの縮小画像を生成し(ステップS256)、また、この縮小画像の生成元とした画像データのカメラIDに応じたカプセルイメージ(例えば図33のカプセルイメージ21aまたは21b)を生成する(ステップS257)。すなわち、オーバビュー画面20およびこれを操作/入力する入力部156ならびに画面生成部254fは、表示対象とする画像データのカメラIDを個別に切り替える切替手段として機能する。また、画面生成部254fは、一覧表示する画像データのうち切替手段によってカメラIDが一方の切り替えられた画像データを切り替え先のカメラIDの同期付けされた画像データに切り替えて一覧表示する。
 次に画面生成部254fは、ステップS256で生成した縮小画像およびステップS257で生成したカプセルイメージ21a/21bを用いて、表示部155に表示中のオーバビュー画面20のオーバビュー画像表示領域21における対象の縮小画像およびカプセルイメージを更新する(ステップS258)。例えば図33(a)に示す縮小画像#a34およびカプセルイメージ21aを、図33(b)に示す縮小画像#b34およびカプセルイメージ21bに更新し(ステップS258)、図34に示す動作へリターンする。
 以上のように、本実施の形態2では、一覧表示している画像データを必要に応じて個別に切り替えることが可能となるため、複眼(例えば2眼)のカプセル型医療装置100を用いた医療システムであっても、観察者へ一度に提示する画像データの枚数や大きさを落とすことが無い。この結果、複眼(例えば2眼)のカプセル型医療装置100を用いた場合でも観察者に一度に提示できる情報の量が低減することを回避することができる。
 (変形例2-1)
 また、図36(a)に示すように、管腔902内の泡などが原因で画像データ中の部位(特定部位p1)が不鮮明になってしまう場合がある。一方で、この特定部位p1を反対側から撮像した画像データ(図36(b)参照)には、泡などが写っておらず、特定部位p1がクリアに移されている場合がある。そこで、このような場合に、不鮮明などの理由で観察に不適切な画像データを自動的にこれと同期する他のカメラIDの画像データに置き換える。以下、これを本実施の形態2の変形例2-1として、図面を用いて詳細に説明する。なお、図36は、第1撮像ユニット101Aと第2撮像ユニット101Bとで同一の特定部位p1を移した場合に鮮明さが異なる画像データが得られる様子を説明するための図である。
 本変形例2-1による医療システムは、上記実施の形態1による医療システム1と同様の構成とすることができる。ただし、本変形例2-1では、表示装置150が図37に示す表示装置250-1に置き換えられる。なお、以下の説明において、上記実施の形態1、2またはその変形例と同様の構成については、同一の符号を付し、その重複する説明を省略する。
 図37は、本変形例2-1による表示装置250-1の概略構成例を示すブロック図である。図37に示すように、表示装置250-1では、図4に示す画像処理部154が画像処理部254-1に置き換えられている。画像処理部254-1は、上述の実施の形態2による画像処理部254と同様の構成(図32参照)に加え、鮮明度判定部254iを備える。
 鮮明度判定部254iは、同期選別部154hから出力された選別された画像データのうち一方のカメラID(例としてこれをカメラID=1とする)が観察に不適切であるか否かを判定する判定手段として機能し、この判定結果を画面生成部254fに入力する。
 画面生成部254fは、画像選別部154hから入力された選別された画像データと、鮮明度判定部254iから入力された鮮明度の判定結果と、平均色バー生成部154dから入力された平均色バー15Aおよび15Bのイメージと、を用いてオーバビュー画面を生成する。なお、本変形例2-1によるオーバビュー画面は、図33(b)に示すオーバビュー画面20と同様である。以下の説明では、本変形例2-1によるオーバビュー画面の符号を20とする。
 次に、本変形例2-1による医療システムの動作について、図面を用いて詳細に説明する。ただし、本変形例2-1におけるカプセル型医療装置100の動作と受信装置130の動作とは、上記実施の形態1による動作(図6および図7参照)と同様であるため、ここでは詳細な説明を省略する。図38は、本変形例2-1による表示装置250-1の概略動作例を示すフローチャートである。図39は、図38のステップS236-1に示す画像鮮明度判定処理の具体的な例を示すフローチャートである。
 本変形例2-1では、表示装置250-1は、まず、図34のステップS221~S236で示した動作と同様の動作を実行することで、カメラID=1の選別された画像データについての平均色バー15AのイメージとカメラID=2の選別された画像データについての平均色バー15Bのイメージとを生成する(図38のステップS221~S236参照)。続いて、表示装置250-1の鮮明度判定部254iは、同期選別部154hから入力された選別された画像データそれぞれの鮮明度を判定する画像鮮明度判定処理を実行する(ステップS236-1)。なお、画像鮮明度判定処理の詳細については、後述において図39を用いて説明する。また、画像鮮明度判定処理の判定結果は、画面生成部254fに入力される。さらに、観察者が手動で観察に不適切な画像を選択出来るように構成してもよい。これにより、より観察者とって利便性の高い画像データの選択が可能となる。
 鮮明度の判定結果と選別された画像データと平均色バー15Aおよび15Bのイメージとが入力された画面生成部254fは、まず、入力された選別された画像データごとに、これのカメラIDに基づいてカプセルイメージ21a/21bを生成し(ステップS237-1)、続いて、カメラID=1の選別された画像データの中から不鮮明などの理由から観察に不適切と判定された画像データをカメラID=2の選別された画像データに入れ替える(ステップS238-1)。ただし、これに限定されず、観察に不適切と判定された画像データの代わりにブランク(Null)またはグレーアウトした画像を表示するようにしてもよい。
 次に画面生成部254fは、入れ替えて整理された画像データとこれに対応するカプセルイメージ21a/21bと平均色バー15Aおよび15Bのイメージとを用いて図33(a)に示すようなシーンごとのオーバビュー画面20を生成し(ステップS239-1)、この生成したオーバビュー画面20を表示部155へ出力する(ステップS240-1)。これにより、表示部155にGUI画面であるオーバビュー画面20が表示され、これを用いたGUI機能が観察者へ提供される。
 その後、表示装置250-1は、オーバビュー画面20のオーバビュー表示領域21において表示されている縮小画像の切替指示が例えば入力部156のマウス等を用いて観察者より入力されたか否かを判定し(ステップS241-1)、入力されていた場合(ステップS241-1のYes)、オーバビュー画像表示領域21に表示された縮小画像を切り替える縮小画像切替処理を実行する(ステップS242-1)。なお、縮小画像切替処理の詳細については、後述において図35を用いて説明する。
 一方、縮小画像の切替指示が入力されていない場合(ステップS241-1のNo)、表示装置250-1は、動作を継続するか否か、例えば入力部156から動作の終了指示が入力されたか否かを判定し(ステップS243-1)、動作を継続する場合(ステップS243-1のYes)、ステップS239-1へ帰還する。一方、動作を継続しない場合(ステップS243-1のNo)、当該動作を終了する。
 また、図38のステップS236-1に示す画像鮮明度判定処理では、表示装置250-1の鮮明度判定部254iは、図39に示すように、まず、同期選別部154hから選別された画像データを入力し(ステップS251-1)、続いて、入力された画像データのうちカメラID=1の画像データをタイムスタンプが示す撮像時刻に従って時系列に沿って順次選択し(ステップS252-1)、選択した画像データが不鮮明であるか否かを判定する(ステップS253-1)。なお、画像が鮮明であるか否かは、例えば画像中に泡などの特定のパターンが写っているか否かや各領域のエッジが急峻であるか否かなどに基づいて判定することができる。
 その後、鮮明度判定部254iは、ステップS252-1においてカメラID=1の選別された画像データ全てを選択済みであるか否かを判定し(ステップS254-1)、選択済みでない場合(ステップS154-1のNo)、ステップS252-1に帰還してカメラID=1の次の選別された画像データを選択する。
 一方、ステップS252-1においてカメラID=1の選別された画像データ全てを選択済みである場合(ステップS254-1のYes)、鮮明度判定部254iは、ステップS253-1による鮮明度の判定結果を画像データごとに画面生成部254fに出力し(ステップS255-1)、その後、図38に示す動作へリターンする。
 以上のように、本変形例2-1では、上記実施の形態2と同様の効果に加え、観察に不適切な画像データを自動的に判別してこれを他のカメラIDの画像データに切り替えることが可能となる。
 (変形例2-2)
 また、上記した本実施の形態2およびその変形例は、図40に示す本実施の形態2の変形例2-2によるオーバビュー画面20-2に示すように、オーバビュー画像表示領域(例えばオーバビュー画像表示領域21-2)における個々の縮小画像を観察者が任意に回転できるように構成してもよい。ただし、その構成および動作は、上述した実施の形態2および実施の形態1の変形例1-3より容易に相当することが可能であるため、ここでは詳細な説明を省略する。なお、図40は、本変形例2-2によるオーバビュー画面20-2の一例を示す図である。また、図40(a)は縮小画像#A2を回転する前のオーバビュー画面20-2の一例を示し、図40(b)は縮小画像#A2を回転した後のオーバビュー画面20-2の一例を示す。
 (変形例2-3)
 また、上記した本実施の形態2およびその変形例は、図41に示す本実施の形態2の変形例2-3によるオーバビュー画面20-3に示すように、オーバビュー画像表示領域21-3の大きさ、および/または、オーバビュー画像表示領域21-3に一覧表示する縮小画像の枚数を観察者が任意に変更できるように構成してもよい。ただし、その構成および動作は、上述した実施の形態2および実施の形態1の変形例1-4より容易に相当することが可能であるため、ここでは詳細な説明を省略する。なお、図41は、本変形例2-3によるオーバビュー画面20-3の一例を示す図である。また、図41(a)はオーバビュー画像表示領域21-3の大きさ、および/または、オーバビュー画像表示領域21-3に一覧表示する縮小画像の枚数を変更する前のオーバビュー画面20-3の一例を示し、図41(b)はオーバビュー画像表示領域21-3の大きさ、および/または、オーバビュー画像表示領域21-3に一覧表示する縮小画像の枚数を変更した後のオーバビュー画面20-3の一例を示す。
 <実施の形態3>
 また、異なる撮像ユニットで撮像された画像データの縮小画像を1つのオーバビュー画像表示領域に表示する他の形態を、以下に本発明の実施の形態3として、図面を用いて詳細に説明する。
 本実施の形態3による医療システムは、上記実施の形態1による医療システム1と同様の構成とすることができる。ただし、本実施の形態3では、表示装置150が図42に示す表示装置350に置き換えられる。なお、以下の説明において、上記実施の形態1、2またはその変形例と同様の構成については、同一の符号を付し、その重複する説明を省略する。
 図42は、本実施の形態3による表示装置350の概略構成例を示すブロック図である。図42に示すように、表示装置350では、図4に示す画像処理部154が画像処理部354に置き換えられている。画像処理部354は、上述の実施の形態1による画像処理部154と同様の構成(図4参照)において、画面生成部154fが画面生成部354fに置き換えられている。
 画面生成部354fは、画像選別部154cから出力された選別された画像データと、平均色バー生成部154dから出力された平均色バー15Aおよび15Bのイメージとを用いて、図43に示すようなオーバビュー画面30を生成する。図43は、本実施の形態3によるオーバビュー画面30の一例である。
 図43に示すように、本実施の形態3によるオーバビュー画面30には、カメラID=1の選別された画像データの縮小画像とカメラID=2の選別された画像データの縮小画像とを横並びにペア付けして一覧表示するオーバビュー画像表示領域31と、カメラID=1の画像データについてのタイムスケールバー13Aおよびスライダ14Aならびに平均色バー15Aと、カメラID=2の画像データについてのタイムスケールバー13Bおよびスライダ14Bならびに平均色バー15Bと、オーバビュー画像表示領域31に表示中のシーンが全シーン中の何番目であるかを示す表示中シーン欄26と、オーバビュー画像表示領域31に表示するシーンを切り替えるシーン切替ボタン27と、が組み込まれている。
 オーバビュー画像表示領域31には、カメラID=1の選別された画像データの縮小画像とカメラID=2の選別された画像データの縮小画像とのペアが時系列に沿って配列されて一覧表示される。各縮小画像の近傍(例えば下側)には、各縮小画像がカプセル型医療装置100のいずれの撮像ユニット(101Aまたは101B)で撮像されたかを視覚的に観察者へ示すイメージ(以下、カプセルイメージという)21a/21bを表示してもよい。
 次に、本実施の形態3による医療システムの動作について、図面を用いて詳細に説明する。ただし、本実施の形態3におけるカプセル型医療装置100の動作と受信装置130の動作とは、上記実施の形態1による動作(図6および図7参照)と同様であるため、ここでは詳細な説明を省略する。図44は、本実施の形態3による表示装置350の概略動作例を示すフローチャートである。
 本実施の形態3による表示装置350は、図44に示すように、携帯型記録媒体140または通信ケーブル159を媒体としてインタフェース部152より画像データを入力すると(ステップS321)、制御部151を介して画像データをメモリ部153等に一時蓄積しておく(ステップS322)。
 次に表示装置350は、オーバビュー画面30の表示指示が入力部156等から入力されるまで待機し(ステップS323のNo)、表示指示があった場合(ステップS323のYes)、表示装置350は、メモリ部153等から蓄積しておいた画像データを読み出す(ステップS324)。なお、読み出された画像データは、画像処理部354における画像データ入力部154aに入力される。
 画像データ入力部154aは、入力された画像データに付加されているカメラIDをそれぞれ特定し(ステップS325)、このカメラIDに基づいて画像データをこれの撮像ユニット(101A/101B)ごと、すなわちカメラIDごとに区分けする(ステップS326)。なお、区分けされた画像データは、シーンチェンジ判定部154eに入力される。
 画像選別部154cは、入力された画像データを画像処理することで得られた画像処理結果に基づいて表示対象とする画像データを特定し、これを選別する(ステップS328)。なお、選別された画像データは、平均色バー生成部154d、シーンチェンジ判定部154eおよび画面生成部354fにそれぞれ入力される。
 選別された画像データが入力された平均色バー生成部154dは、カメラIDごとに画像データを選択して各画像データ(もしくはこれを分割した分割領域ごと)の平均色を算出し(ステップS329)、この算出結果に基づいて平均色のイメージが画像データの時系列に沿って繋ぎ合わされた平均色バー15Aおよび15Bを生成する(ステップS330)。なお、生成された平均色バー15Aおよび15Bは、画面生成部354fに入力される。ただし、生成された平均色バー15Aおよび15Bが、シーンチェンジ判定部154eに入力されてもよい。
 シーンチェンジ判定部154eは、画像選別部154cから入力された画像データのうち前後する画像データ間の画像処理結果に基づいて、シーンチェンジが生じた画像データを判定する(ステップS331)。なお、シーンチェンジ判定結果は、画面生成部354fに入力される。
 画面生成部354fは、入力された選別された画像データとシーンチェンジの判定結果とからカメラIDごとの選別された画像データをシーンごとに区分けし(ステップS332)、カメラID=1の画像データとカメラID=2の画像データとをシーンごとにペア付けする(ステップS333)。続いて、画面生成部354fは、シーンごとに区分けされてペア付された画像データと平均色バー15Aおよび15Bのイメージとから図43に示すオーバビュー画面30を生成し(ステップS334)、これを制御部151を介して表示部155へ出力して(ステップS335)、当該動作を終了する。
 以上のように、本実施の形態3では、異なる眼で撮像することで得られた画像データを横並びに配列して一覧表示することが可能となるため、観察者は、被検体900内の部位を複数の角度から容易に観察することが可能となる。
 (変形例3-1a)
 また、異なるカメラIDの画像データ間のペア付けは、例えば上述の実施の形態1の変形例1-2aで例示したような同期する画像データ同士であってもよい。以下、この場合を本実施の形態3の変形例3-1aとして、図面を用いて詳細に説明する。
 本変形例3-1aによる医療システムは、上記実施の形態1による医療システム1と同様の構成とすることができる。ただし、本変形例3-1aでは、表示装置150が図45に示す表示装置350-1aに置き換えられる。なお、以下の説明において、上記実施の形態1、2、3またはその変形例と同様の構成については、同一の符号を付し、その重複する説明を省略する。
 図45は、本変形例3-1aによる表示装置350-1aの概略構成例を示すブロック図である。図45に示すように、表示装置350-1aでは、図4に示す画像処理部154が画像処理部354-1aに置き換えられている。画像処理部354-1aは、上述の実施の形態3による画像処理部354と同様の構成(図42参照)に加え、同期部154gを備える。なお、同期部154gは、上記実施の形態1の変形例1-2aによる同期部154g(図12参照)と同様である。
 本変形例3-1aにおいて、画面生成部354fは、画像選別部154cから入力された選別された画像データと、シーンチェンジ判定部154eから入力されたシーンチェンジ判定結果と、平均色バー生成部154dから入力された平均色バー15Aおよび15Bのイメージとを用いて、図46に示すようなオーバビュー画面30-1aを生成する。図46は、本変形例3-1aによるオーバビュー画面30-1aの一例である。
 図46に示すように、オーバビュー画面30-1aのオーバビュー画像表示領域31-1aには、カメラID=1の画像データ#a1~#a50のうち選別された画像データから生成された縮小画像と、カメラID=2の画像データ#b1~#b47のうち選別された画像データから生成された縮小画像と、がペア付けされて表示される。また、オーバビュー画像表示領域31-1aにおいて、同期する画像データがない表示部分については、空白とされる。言い換えれば、同期する画像データが存在しない部分は、虫食いの状態とされている。
 次に、本変形例3-1aによる医療システムの動作について、図面を用いて詳細に説明する。ただし、本変形例3-1aにおけるカプセル型医療装置100の動作と受信装置130の動作とは、上記実施の形態1による動作(図6および図7参照)と同様であるため、ここでは詳細な説明を省略する。図47は、本変形例3-1aによる表示装置350-1aの概略動作を示すフローチャートである。
 本変形例3-1aによる表示装置350-1aは、まず、図44のステップS321~S332で示した動作と同様の動作を実行することで、選別された画像データをシーンごとに区分けする(図47のステップS321~S332参照)。続いて、表示装置350-1aの同期部154gは、選別された画像データとシーンチェンジ判定結果とに基づいて、カメラID=1の画像データとカメラID=2の画像データとの同期処理を実行する(ステップS332-1a)。なお、同期処理の詳細は、上述の実施の形態1の変形例1-2aによる同期処理(図14参照)と同様であるため、ここでは詳細な説明を省略する。
 次に画面生成部354fは、同期付けがなされた画像データにおけるカメラID=1の画像データとカメラID=2の画像データとをシーンごとにペア付けする(ステップS333)。続いて、画面生成部354fは、シーンごとに区分けされてペア付された画像データと平均色バー15Aおよび15Bのイメージとから図46に示すオーバビュー画面30-1aを生成し(ステップS334)、これを制御部151を介して表示部155へ出力して(ステップS335)、当該動作を終了する。
 以上のように、本変形例3-1aでは、同一の位置を異なる眼で撮像することで得られた画像データを横並びに配列して一覧表示することが可能となるため、観察者は、被検体900内の部位を複数の角度から容易に観察することが可能となる。
 (変形例3-1b)
 また、異なるカメラIDの画像データ間のペア付けは、例えば上述の実施の形態1の変形例1-2bで例示したような同期する画像データ同士であってもよい。以下、この場合を本実施の形態3の変形例3-1bとして、図面を用いて詳細に説明する。
 本変形例3-1bによる医療システムは、上記実施の形態1による医療システム1と同様の構成とすることができる。ただし、本変形例3-1bでは、表示装置150が図48に示す表示装置350-1bに置き換えられる。なお、以下の説明において、上記実施の形態1、2、3またはその変形例と同様の構成については、同一の符号を付し、その重複する説明を省略する。
 図48は、本変形例3-1bによる表示装置350-1bの概略構成例を示すブロック図である。図48に示すように、表示装置350-1bでは、図4に示す画像処理部154が画像処理部354-1bに置き換えられている。画像処理部354-1bは、上述の実施の形態3による画像処理部354と同様の構成(図42参照)において、画像選別部154cが同期選別部154hに置き換えられている。さらに、画像処理部354-1bでは、画像データ入力部154aから出力された画像データがシーンチェンジ判定部154eと同期選別部154hとにそれぞれ入力され、シーンチェンジ判定部154eによるシーンチェンジ判定結果が同期選別部154hに入力される。なお、本変形例3-1bにおける同期選別部154hは、上述した実施の形態1の変形例1-2bによる同期選別部154hと同様であるため、ここでは詳細な説明を省略する。
 本変形例3-1bにおいて、画面生成部354fは、同期選別部154hから入力された選別された同期後の画像データと、シーンチェンジ判定部154eから同期選別部154hを介して入力されたシーンチェンジ判定結果と、平均色バー生成部154dから入力された平均色バー15Aおよび15Bのイメージとを用いて、図49に示すようなオーバビュー画面30-1bを生成する。図49は、本変形例3-1bによるオーバビュー画面30-1bの一例である。
 図49に示すように、オーバビュー画面30-1bのオーバビュー画像表示領域31-1bには、カメラID=1の選別された画像データ#a1~#a50のうち選別された画像データから生成された縮小画像と、このカメラID=1の選別された画像データに同期するカメラID=2の画像データから生成された縮小画像と、がペア付けされて表示される。
 次に、本変形例3-1bによる医療システムの動作について、図面を用いて詳細に説明する。ただし、本変形例3-1bにおけるカプセル型医療装置100の動作と受信装置130の動作とは、上記実施の形態1による動作(図6および図7参照)と同様であるため、ここでは詳細な説明を省略する。図50は、本変形例3-1bによる表示装置350-1bの概略動作例を示すフローチャートである。
 本変形例3-1bによる表示装置350-1bは、まず、図44のステップS321~S326で示した動作と同様の動作を実行することで、画像データをカメラID=1の画像データとカメラID=2の画像データとに区分けする(図50のステップS321~S326参照)。続いて、シーンチェンジ判定部154eは、画像データ入力部154aから入力された画像データのうち前後する画像データ間の画像処理結果に基づいて、シーンチェンジが生じた画像データを判定する(ステップS328-1b)。なお、シーンチェンジ判定結果は、同期選別部154hに入力される。
 同期選別部154hは、シーンチェンジ判定部154eから入力されたシーンチェンジ判定結果に基づいて、カメラID=1の画像データの選別と、選別されたカメラID=1の画像データに同期するカメラID=2の画像データの選別とを行う同期選別処理を実行する(ステップS329-1b)。なお、同期選別処理の詳細は、上述した実施の形態1の変形例1-2bによる同期選別処理(図19参照)と同様であるため、ここでは詳細な説明を省略する。また、選別された画像データは、平均色バー生成部154dおよび画面生成部354fにそれぞれ入力される。
 選別された画像データが入力された平均色バー生成部154dは、カメラIDごとに画像データを選択して各画像データ(もしくはこれを分割した分割領域ごと)の平均色を算出し(ステップS330-1b)、この算出結果に基づいて平均色のイメージが画像データの時系列に沿って繋ぎ合わされた平均色バー15Aおよび15Bを生成する(ステップS331-1b)。なお、生成された平均色バー15Aおよび15Bは、画面生成部354fに入力される。
 画面生成部354fは、入力された選択された画像データと同期選別部154hを介して入力されたシーンチェンジ判定結果とからカメラIDごとの選別された画像データをシーンごとに区分けし(ステップS332-1b)、カメラID=1の画像データとカメラID=2の画像データとをシーンごとにペア付けする(ステップS333-1b)。続いて、画面生成部354fは、シーンごとに区分けされてペア付された画像データと平均色バー15Aおよび15Bのイメージとから図49に示すオーバビュー画面30-1bを生成し(ステップS334-1b)、これを制御部151を介して表示部155へ出力して(ステップS335-1b)、当該動作を終了する。
 以上のように、本変形例3-1bでは、同一の位置を異なる眼で撮像することで得られた画像データを横並びに配列して一覧表示することが可能となるため、観察者は、被検体900内の部位を複数の角度から容易に観察することが可能となる。
 なお、本変形例3-1bでは、説明の都合上、同期する画像データを選別する際の基準とする画像データを、カメラID=1の選別された画像データとしたが、本発明はこれに限定されず、例えばカメラID=2の選別された画像データを基準とすることも可能である。この場合、画面生成部354f(ステップS334-1b)によって生成されるオーバビュー画面30-1bは、図51に示すようになる。
 (変形例3-1c)
 また、異なるカメラIDの画像データ間のペア付けは、例えば上述の実施の形態1の変形例1-2cで例示したような同期する画像データ同士であってもよい。以下、この場合を本実施の形態3の変形例3-1cとして、図面を用いて詳細に説明する。
 本変形例3-1cでは、図48に示す表示装置350-1bと同様の構成および図50に示す表示装置350-1bの動作と同様の動作を適用することが可能である。また、本変形例3-1cによる同期選別部154hの動作、すなわち、図50のステップS329-1bに示す同期選別処理の流れは、上述の実施の形態1の変形例1-2cに示す動作(図22参照)と同様の動作を適用することができる。
 以上のように構成および動作することで、本変形例3-1cでは、図52に示すようなオーバビュー画面30-1cが生成されて表示される。図52は、本変形例3-1cによるオーバビュー画面30-1cの一例である。
 図52に示すように、オーバビュー画面30-1cのオーバビュー画像表示領域31-1cには、カメラID=1の選別された画像データとカメラID=2の選別された画像データとでいわゆる論理積(OR)を取り、これにマッチするそれぞれの画像データの縮小画像がペア付けされて表示される。
 以上のように、本変形例3-1cでは、同一の位置を異なる眼で撮像することで得られた画像データを横並びに配列して一覧表示することが可能となるため、観察者は、被検体900内の部位を複数の角度から容易に観察することが可能となる。
 (変形例3-1d)
 また、異なるカメラIDの画像データ間のペア付けは、例えば上述の実施の形態1の変形例1-2dで例示したような同期する画像データ同士であってもよい。以下、この場合を本実施の形態3の変形例3-1dとして、図面を用いて詳細に説明する。
 本変形例3-1dでは、図48に示す表示装置350-1bと同様の構成および図50に示す表示装置350-1bの動作と同様の動作を適用することが可能である。また、本変形例3-1dによる同期選別部154hの動作、すなわち、図50のステップS329-1bに示す同期選別処理の流れは、上述の実施の形態1の変形例1-2dに示す動作(図22参照)と同様の動作を適用することができる。
 以上のように構成および動作することで、本変形例3-1dでは、図53に示すようなオーバビュー画面30-1dが生成されて表示される。図53は、本変形例3-1dによるオーバビュー画面30-1dの一例である。
 図53に示すように、オーバビュー画面30-1dのオーバビュー画像表示領域31-1dには、カメラID=1の選別された画像データとカメラID=2の選別された画像データとでいわゆる論理和(AND)を取り、これにマッチするそれぞれの画像データの縮小画像がペア付けされて表示される。
 以上のように、本変形例3-1dでは、同一の位置を異なる眼で撮像することで得られた画像データを横並びに配列して一覧表示することが可能となるため、観察者は、被検体900内の部位を複数の角度から容易に観察することが可能となる。
 (変形例3-2)
 また、異なるカメラIDの画像データ間のペア付けは、例えば上述の実施の形態1の変形例1-8で例示したような方法であってもよい。この場合、図54に示す本実施の形態の変形例3-2によるオーバビュー画面30-2のオーバビュー画像表示領域31-2に示すように、起点とした画像データ(図54に示す例では、画像データ#a1または#b1)の縮小画像のペアに、これを強調して表示するための同期起点枠32aを付加してもよい。図54は、本変形例3-2による同期前のオーバビュー画面30-2の一例を示す図である。
 なお、このような強調表示処理は、図42の画像処理部354における画面生成部354fにおいて容易に実現することが可能であるため、ここでは詳細な説明を省略する。
 (変形例3-3)
 また、ペア付けされた異なるカメラIDの画像データの縮小画像において、注目する一方のカメラID(本説明ではカメラID=1とする)の画像データの縮小画像を、図55に示す本実施の形態の変形例3-3によるオーバビュー画面30-3に示すように、他方のカメラID(本説明ではカメラID=2とする)の画像データの縮小画像よりも拡大して表示するように構成してもよい。図55は、本変形例3-3による同期前のオーバビュー画面30-3の一例を示す図である。
 観察者は、オーバビュー画面30-3のオーバビュー画像表示領域31-3に表示された縮小画像のうち、注目する側の縮小画像の何れかを例えば入力部156のマウス等を用いてクリックする。例えば、カメラID=1の画像データから生成された縮小画像(#a1~)の何れかをクリックする。これにより、オーバビュー画像表示領域31-3では、図55に示すように、カメラID=1の画像データ(#a1,…)から生成された縮小画像が、カメラID=2の画像データ(#b1,…)から生成された縮小画像よりも大きく表示される。
 なお、このような拡大処理は、図42の画像処理部354における画面生成部354fにおいて容易に実現することが可能であるため、ここでは詳細な説明を省略する。
 (変形例3-4)
 また、注目する一方のカメラID(本説明ではカメラID=1とする)の画像データの縮小画像を拡大する際の大きさは、図56に示す本実施の形態の変形例3-4によるオーバビュー画面30-4のオーバビュー画像表示領域31-3に示すように、観察者が入力部156のマウス等を用いて任意に設定できるとよい。図56は、本変形例3-4による同期前のオーバビュー画面30-4の一例を示す図である。
 なお、このような拡大処理は、図42の画像処理部354における画面生成部354fにおいて容易に実現することが可能であるため、ここでは詳細な説明を省略する。
 なお、上記実施の形態3およびその変形例において、画像生成部345fにより異なるカメラIDの画像データ間のペア付け処理が行われるが、これらの処理の結果として得られた画像データ群を表示部155に表示する形態は、上記オーバビュー画面に限定されるものではない。
 具体的には、表示部155の表示画面上に撮像ユニットごとに異なる表示領域を設け、画像生成部345fによりペア付け処理がなされた画像データ群のみを、それぞれの撮像ユニットに対応する表示領域に順次表示するようにしてもよい。なお、この表示画面を順次表示画面という。
 また、表示装置850の制御部151は、オーバビュー画面と順次表示画面とを切り替えるように制御する機能を備えてもよい。これにより、画像生成部345fによってペア付け処理がなされた画像データ群のみを観察者に確認させることが可能になり、結果、観察者に容易且つ効率的に被検体内を観察させることが可能になる。
 <実施の形態4>
 また、撮像ユニットに関係なく画像データの縮小画像を1つのオーバビュー画像表示領域に時系列に沿って表示することも可能である。以下に、これを本発明の実施の形態4として、図面を用いて詳細に説明する。
 本実施の形態4による医療システムは、上記実施の形態1による医療システム1と同様の構成とすることができる。ただし、本実施の形態4では、表示装置150が図57に示す表示装置450に置き換えられる。なお、以下の説明において、上記実施の形態1、2、3またはその変形例と同様の構成については、同一の符号を付し、その重複する説明を省略する。
 図57は、本実施の形態4による表示装置450の概略構成例を示すブロック図である。図57に示すように、表示装置450では、図4に示す画像処理部154が画像処理部454に置き換えられている。画像処理部454は、上述の変形例1-2bによる画像処理部150-2bと同様の構成(図17参照)において、画面生成部154fが画面生成部454fに置き換えられている。
 画面生成部454fは、同期選別部154hから出力された選別された画像データと、平均色バー生成部154dから出力された平均色バー15Aおよび15Bのイメージとを用いて、図58に示すようなオーバビュー画面40を生成する。図58は、本実施の形態4によるオーバビュー画面40の一例である。
 図58に示すように、本実施の形態4によるオーバビュー画面40には、選別された画像データの縮小画像を一覧表示するオーバビュー画像表示領域41と、カメラID=1の画像データについてのタイムスケールバー13Aおよびスライダ14Aならびに平均色バー15Aと、カメラID=2の画像データについてのタイムスケールバー13Bおよびスライダ14Bならびに平均色バー15Bと、オーバビュー画像表示領域41に表示中のシーンが全シーン中の何番目であるかを示す表示中シーン欄26と、オーバビュー画像表示領域21に表示するシーンを切り替えるシーン切替ボタン27と、が組み込まれている。
 オーバビュー画像表示領域41には、カメラID=1の選別された画像データの縮小画像とカメラID=2の選別された画像データの縮小画像とが時系列に沿って配列されて一覧表示される。各縮小画像の近傍(例えば下側)には、各縮小画像がカプセル型医療装置100のいずれの撮像ユニット(101Aまたは101B)で撮像されたかを視覚的に観察者へ示すイメージ(以下、カプセルイメージという)21a/21bが表示される。
 次に、本実施の形態4による医療システムの動作について、図面を用いて詳細に説明する。ただし、本実施の形態4におけるカプセル型医療装置100の動作と受信装置130の動作とは、上記実施の形態1による動作(図6および図7参照)と同様であるため、ここでは詳細な説明を省略する。図59は、本実施の形態4による表示装置450の概略動作例を示すフローチャートである。
 本実施の形態4による表示装置450は、図59に示すように、携帯型記録媒体140または通信ケーブル159を媒体としてインタフェース部152より画像データを入力すると(ステップS421)、制御部151を介して画像データをメモリ部153等に一時蓄積しておく(ステップS422)。
 次に表示装置450は、オーバビュー画面40の表示指示が入力部156等から入力されるまで待機し(ステップS423のNo)、表示指示があった場合(ステップS423のYes)、表示装置450は、メモリ部153等から蓄積しておいた画像データを読み出す(ステップS424)。なお、読み出された画像データは、画像処理部454における画像データ入力部154aに入力される。
 画像データ入力部154aは、入力された画像データに付加されているカメラIDをそれぞれ特定し(ステップS425)、このカメラIDに基づいて画像データをこれの撮像ユニット(101A/101B)ごと、すなわちカメラIDごとに区分けする(ステップS426)。なお、区分けされた画像データは、シーンチェンジ判定部154eに入力される。
 また、シーンチェンジ判定部154eは、画像データ入力部154aから入力された画像データを、カメラIDごとに、前後する画像データ間の画像処理結果に基づいて、シーンチェンジが生じた画像データを判定する(ステップS428)。なお、シーンチェンジ判定結果は、同期選別部154hに入力される。
 同期選別部154hは、シーンチェンジ判定部154eから入力されたシーンチェンジ判定結果に基づいて、画像データを同期させつつ選別する同期選別処理を実行する(ステップS429)。なお、本実施の形態による同期選別処理は、上記実施の形態1の変形例1-2a~1-2dで示す同期選別処理(図18のステップS130-2bおよび図19、図22または図24参照)と同様とすることが可能である。ただし、ステップS429において選別された画像データは、平均色バー生成部154dおよび画面生成部454fにそれぞれ入力される。
 選別された画像データが入力された平均色バー生成部154dは、カメラIDごとに画像データを選択して各画像データ(もしくはこれを分割した分割領域ごと)の平均色を算出し(ステップS430)、この算出結果に基づいて平均色のイメージが画像データの時系列に沿って繋ぎ合わされた平均色バー15Aおよび15Bを生成する(ステップS431)。なお、生成された平均色バー15Aおよび15Bは、画面生成部454fに入力される。
 平均色バー15Aおよび15Bのイメージならびに選別された画像データが入力された画面生成部454fは、カメラID=1の画像データとカメラID=2の画像データとを区別することなく選別された画像データを時系列に沿って配列すると共に(ステップS432)、入力された選別された画像データごとにこれのカメラIDに基づいてカプセルイメージ21aを生成し(ステップS433)、続いて、平均色バー15Aおよび15Bのイメージを用いて図58に示すようなシーンごとのオーバビュー画面40を生成し(ステップS434)、この生成したオーバビュー画面40を表示部155へ出力し(ステップS435)、その後、本動作を終了する。これにより、表示部155にGUI画面であるオーバビュー画面40が表示され、これを用いたGUI機能が観察者へ提供される。
 以上のように、本実施の形態4では、異なる眼で撮像することで得られた画像データを横並びに配列して一覧表示することが可能となるため、観察者は、被検体900内の部位を複数の角度から容易に観察することが可能となる。
 また、上記実施の形態は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、仕様等に応じて種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施の形態が可能であることは上記記載から自明である。例えば、平均色バー15Aおよび15Bは、得られた全ての画像データから生成されてもよい。
 1 医療システム
 10A、10B オーバビュー画面
 11A、11B オーバビュー画像表示領域
 11a、11b 選択枠
 12A、12B ビュー切替ボタン
 13A、13B タイムスケールバー
 14A、14B スライダ
 15A、15B 平均色バー
 16A、16B、26 表示中シーン欄
 17A、17B、27 シーン切替ボタン
 19 ポインタ
 12a、12b 同期起点枠
 18A、18B 同期ボタン
 21a、21b カプセルイメージ
 32a 同期起点枠
 100 カプセル型医療装置
 101A 第1撮像ユニット
 101B 第2撮像ユニット
 101a CCDアレイ
 101c LED
 102 処理ユニット
 103 メモリユニット
 104 送受信ユニット
 105 アンテナ
 106 バッテリ
 108 筐体
 108A、108B キャップ
 108a 容器
 120、120a~120i アンテナ
 121 ケーブル
 122 ジャケット
 130 受信装置
 131 送受信回路
 132 信号処理回路
 134 メモリ
 135 操作部
 136 表示部
 137 インタフェース部
 140 携帯型記録媒体
 150、150-2a、150-2b、250、250-1、350、350-1a、350-1b、450 表示装置
 151 制御部
 152 インタフェース部
 153 メモリ部
 154、154-2a、154-2b、254、254-1、354、354-1a、354-1b、454 画像処理部
 154a 画像データ入力部
 154c 画像選別部
 154d 平均色バー生成部
 154e シーンチェンジ判定部
 154f、254f、354f、454f 画面生成部
 154g 同期部
 154h 同期選別部
 155 表示部
 156 入力部
 159 通信ケーブル
 254i 鮮明度判定部
 10A-1、10B-1、10A-2a、10B-2a、10A-2b、10B-2b、10A-2c、10B-2c、10A-2d、10B-2d、10A-3、10A-4、10-5、10-6、10-7、10A-8、10B-8、20、20-2、20-3、30、30-1a、30-1b、30-1c、30-1d、30-2、30-3、30-4、40 オーバビュー画面
 11A-1、11B-1、11A-2、11A-2a、11B-2a、11A-2b、11B-2b、11A-2c、11B-2c、11A-2d、11B-2d、11A-3、11A-4、21、21-2、21-3、31、31-1a、31-1b、31-1c、31-1d、31-3、41 オーバビュー画像表示領域
 Dr_A、Dr_B 照明/撮像方向
 p1 特定部位

Claims (18)

  1.  被検体内部を撮像して画像データを生成する複数の撮像手段と、
     前記画像データに当該画像データを生成した撮像手段を識別するための識別情報を付加する識別情報付加手段と、
     前記識別情報が付加された画像データを外部へ出力する出力手段と、
     を備えた被検体内導入装置と、
     前記画像データを入力する入力手段と、
     前記画像データを前記識別情報ごとに一覧表示する一覧表示手段と、
     前記一覧表示手段が表示対象とする画像データを表示中の一方の識別情報の画像データから他方の識別情報の画像データに切り替える切替手段と、
     を備えた外部装置と、
     を含むことを特徴とする画像処理システム。
  2.  前記外部装置は、前記一方の識別情報の画像データと、前記被検体内部を異なる方向から撮像して生成された前記他方の識別情報の画像データと、を同期付けする同期手段を備え、
     前記一覧表示手段は、前記同期手段による同期付けに基づいて前記識別情報ごとの画像データを一覧表示することを特徴とする請求項1に記載の画像処理システム。
  3.  前記被検体内導入装置は、識別情報が付加された各画像データに撮像時刻を付加する撮像時刻付加手段を備え、
     前記同期手段は、前記画像データのうち一方の識別情報の画像データに付加された撮像時刻に所定時間を加算または減算することで前記一方の識別情報の画像データと前記他方の識別情報の画像データとを同期付けすることを特徴とする請求項2に記載の画像処理システム。
  4.  前記外部装置は、前記識別情報ごとの一連の画像データのうち表示対象とする画像データを選別する選別手段を備え、
     前記一覧表示手段は、前記選別された画像データを前記識別情報ごとに一覧表示することを特徴とする請求項1に記載の画像処理システム。
  5.  前記一覧表示手段は、前記一方の識別情報の画像データの一覧を表示する第1一覧表示領域と、前記他方の識別情報の画像データの一覧を表示する第2一覧表時領域と、を異なる画面で表示することを特徴とする請求項1に記載の画像処理システム。
  6.  前記選別手段は、前記識別情報ごとの一連の画像データのうち前後する画像データ間の画像処理結果に基づいて表示対象とする画像データを選別し、
     前記同期手段は、前記一方の識別情報の画像データに対して同期付された他方の識別情報の画像データが表示対象として選別されていない場合、前記一方の識別情報の画像データに対して同期付けされる前記他方の識別情報の空の画像データを生成することを特徴とする請求項5に記載の画像処理システム。
  7.  前記選別手段は、前記一方の識別情報の一連の画像データのうち前後する画像データ間の画像処理結果に基づいて表示対象とする画像データを選別すると共に、該選別された画像データと同期付けされた前記他方の識別情報の画像データを選別することを特徴とする請求項5記載の画像処理システム。
  8.  前記選別手段は、前記識別情報ごとの一連の画像データのうち前後する画像データ間の画像処理結果に基づいて表示対象とする画像データをそれぞれ選別すると共に、前記一方の識別情報の画像データに対して同期付けする前記他方の識別情報の画像データが選別されていない場合、選別されなかった前記他方の識別情報の画像データのうち前記一方の識別情報の画像データに同期付けする画像データを表示対象としてさらに選別することを特徴とする請求項5に記載の画像処理システム。
  9.  前記選別手段は、前記識別情報ごとの一連の画像データのうち前後する画像データ間の画像処理結果に基づいて表示対象とする画像データをそれぞれ選別すると共に、前記一方の識別情報の画像データに対して同期付けする前記他方の識別情報の画像データが選別されていない場合、該一方の識別情報の画像データを表示対象とする画像データから除外することを特徴とする請求項5に記載の画像処理システム。
  10.  前記外部装置は、前記同期の起点とする画像データを選択させる起点画像選択手段を備え、
     前記同期手段は、前記起点画像選択手段によって選択された画像データを起点として前記一方の識別情報の画像データと前記他方の識別情報の画像データとを同期させることを特徴とする請求項5に記載の画像処理システム。
  11.  前記切替手段は、表示対象とする画像データの識別情報を個別に切り替え、
     前記一覧表示手段は、一覧表示する画像データのうち前記切替手段によって識別情報が前記一方の識別情報から前記他方の識別情報に切り替えられた画像データを前記一方の識別情報の画像データに同期付けされた前記他方の識別情報の画像データに切り替えて一覧表示することを特徴とする請求項2に記載の画像処理システム。
  12.  前記一覧表示手段は、前記一覧表示する個々の画像データを取得した撮像手段を視覚的に識別させるイメージを各画像データの近傍に表示することを特徴とする請求項11記載の画像処理システム。
  13.  前記外部装置は、前記一方の識別情報の画像データが観察に適切であるか否かを判定する判定手段を備え、
     前記一覧表示手段は、前記一方の識別情報の画像データが観察に適切でない場合、該画像データを該画像データに同期付けされた前記他方の識別情報の画像データに切り替えて一覧表示することを特徴とする請求項11に記載の画像処理システム。
  14.  前記外部装置は、
     前記一覧表示している画像データの回転指示を入力させる回転指示入力手段と、
     前記回転指示が入力された画像データを回転補正する回転補正手段と、
     を備え、
     前記一覧表示手段は、前記回転補正された画像データを前記一覧に含めて表示することを特徴とする請求項1に記載の画像処理システム。
  15.  前記一覧表示手段は、前記識別情報ごとの画像データの一覧を表示する一覧表示領域を含んだ画面を表示し、該一覧表示領域に一度に表示しきれなかった画像データを次ページの一覧表示領域に表示することを特徴とする請求項1に記載の画像処理システム。
  16.  前記一覧表示手段は、前記画像データの縮小画像を一覧表示することを特徴とする請求項1~15のいずれか一つに記載の画像処理システム。
  17.  被検体内部を撮像して画像データを生成する複数の撮像手段と、前記画像データに当該画像データを生成した撮像手段を識別するための識別情報を付加する識別情報付加手段と、を備えた被検体内導入装置から前記画像データを入力する入力手段と、
     前記画像データを前記識別情報ごとに一覧表示する一覧表示手段と、
     前記一覧表示手段が表示対象とする画像データを表示中の一方の識別情報の画像データから他方の識別情報の画像データに切り替える切替手段と、
     を備えたことを特徴とする外部装置。
  18.  被検体内部を撮像して画像データを生成する複数の撮像手段と、前記画像データに当該画像データを生成した撮像手段を識別するための識別情報を付加する識別情報付加手段と、を備えた被検体内導入装置から前記画像データを入力する入力ステップと、
     前記画像データを前記識別情報ごとに一覧表示する一覧表示ステップと、
     前記一覧表示ステップで表示対象とする画像データを表示中の一方の識別情報の画像データから他方の識別情報の画像データに切り替える切替ステップと、
     を含むことを特徴とする画像処理方法。
PCT/JP2009/070188 2009-03-23 2009-12-01 画像処理システム、外部装置およびその画像処理方法 WO2010109726A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP09842336.1A EP2412299B1 (en) 2009-03-23 2009-12-01 Image processing system, external apparatus and image processing method therefor
JP2010533783A JP4865912B2 (ja) 2009-03-23 2009-12-01 画像処理システム、外部装置およびその画像処理方法
CN200980158331.5A CN102361585B (zh) 2009-03-23 2009-12-01 图像处理系统、外部装置以及图像处理系统的图像处理方法
US12/886,856 US8328712B2 (en) 2009-03-23 2010-09-21 Image processing system, external device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009070939 2009-03-23
JP2009-070939 2009-03-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/886,856 Continuation US8328712B2 (en) 2009-03-23 2010-09-21 Image processing system, external device and image processing method

Publications (1)

Publication Number Publication Date
WO2010109726A1 true WO2010109726A1 (ja) 2010-09-30

Family

ID=42780428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/070188 WO2010109726A1 (ja) 2009-03-23 2009-12-01 画像処理システム、外部装置およびその画像処理方法

Country Status (5)

Country Link
US (1) US8328712B2 (ja)
EP (1) EP2412299B1 (ja)
JP (1) JP4865912B2 (ja)
CN (1) CN102361585B (ja)
WO (1) WO2010109726A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012132840A1 (ja) * 2011-03-30 2012-10-04 オリンパスメディカルシステムズ株式会社 画像管理装置、方法、及びプログラム、並びにカプセル型内視鏡システム
US20140303435A1 (en) * 2012-10-18 2014-10-09 Olympus Medical Systems Corp. Image processing apparatus and image processing method
CN106231985A (zh) * 2014-12-02 2016-12-14 奥林巴斯株式会社 图像处理装置、图像处理装置的工作方法
WO2019123986A1 (ja) * 2017-12-22 2019-06-27 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5460488B2 (ja) * 2010-06-29 2014-04-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、画像検索システム、及び電子内視鏡システムの作動方法
KR101136009B1 (ko) * 2010-10-27 2012-04-17 아이쓰리시스템 주식회사 캡슐내시경용 이미지센서의 영상데이터 제어시스템
WO2013111684A1 (ja) * 2012-01-26 2013-08-01 オリンパスメディカルシステムズ株式会社 医療情報記録装置
KR101702885B1 (ko) * 2012-05-02 2017-02-06 한화테크윈 주식회사 시간 동기화 장치 및 방법
JP5690450B2 (ja) * 2012-12-26 2015-03-25 オリンパスメディカルシステムズ株式会社 画像記録装置
WO2014192512A1 (ja) * 2013-05-31 2014-12-04 オリンパスメディカルシステムズ株式会社 医療装置
JP6249867B2 (ja) * 2014-04-18 2017-12-20 オリンパス株式会社 カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の撮像制御方法、及びプログラム
JP6335007B2 (ja) * 2014-04-18 2018-05-30 オリンパス株式会社 カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の作動方法、及びプログラム
JP6072400B1 (ja) 2015-07-28 2017-02-01 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN107391905B (zh) * 2017-06-16 2019-12-31 深圳市德力凯医疗设备股份有限公司 一种彩超与超声经颅多普勒报告生成方法及装置
EP3649917A4 (en) 2017-07-03 2020-07-08 Fujifilm Corporation MEDICAL IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM, DIAGNOSTIC SUPPORT DEVICE, MEDICAL SERVICE SUPPORT DEVICE, AND REPORT GENERATION SUPPORT DEVICE
CN113288007B (zh) * 2019-12-06 2022-08-09 腾讯科技(深圳)有限公司 内窥镜移动时间确定方法、装置和计算机设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003070728A (ja) 2001-06-20 2003-03-11 Olympus Optical Co Ltd カプセル式内視鏡
JP2006142017A (ja) * 2004-11-15 2006-06-08 Given Imaging Ltd 生体内の画像を表示するための方法およびシステム
JP3898781B2 (ja) 1996-07-01 2007-03-28 オリンパス株式会社 内視鏡
JP2007075155A (ja) 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置
JP2007130263A (ja) * 2005-11-10 2007-05-31 Olympus Medical Systems Corp 生体内画像取得装置
JP2007282794A (ja) * 2006-04-14 2007-11-01 Olympus Medical Systems Corp 画像表示装置
JP2008006301A (ja) * 2007-09-04 2008-01-17 Olympus Medical Systems Corp 被検体内導入装置、及び被検体内導入装置の作製方法
JP2008022918A (ja) * 2006-07-18 2008-02-07 Olympus Medical Systems Corp 画像表示装置
JP2008173490A (ja) * 2008-02-08 2008-07-31 Olympus Corp 画像表示装置
JP2008237640A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp カプセル内視鏡、およびカプセル内視鏡システム、並びにカプセル内視鏡の動作制御方法
JP2008246147A (ja) 2007-03-30 2008-10-16 Olympus Medical Systems Corp カプセル型医療装置
JP2009005866A (ja) * 2007-06-27 2009-01-15 Olympus Medical Systems Corp 画像情報の表示処理装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH102014A (ja) 1996-06-13 1998-01-06 Misawa Homes Co Ltd ユニット式建物の玄関構造およびその形成方法
US6939292B2 (en) 2001-06-20 2005-09-06 Olympus Corporation Capsule type endoscope
US6951536B2 (en) * 2001-07-30 2005-10-04 Olympus Corporation Capsule-type medical device and medical system
DE10323216B3 (de) * 2003-05-22 2004-12-23 Siemens Ag Endoskopieeinrichtung
DE10327034A1 (de) * 2003-06-16 2005-01-20 Siemens Ag Vorrichtung zur Untersuchung im Körper mit Licht
US8164672B2 (en) * 2003-12-31 2012-04-24 Given Imaging Ltd. System and method for displaying an image stream
US20060217593A1 (en) * 2005-03-24 2006-09-28 Zvika Gilad Device, system and method of panoramic multiple field of view imaging
JP4695432B2 (ja) 2005-04-12 2011-06-08 オリンパスメディカルシステムズ株式会社 被検体内導入装置、被検体内情報表示装置、及び被検体内情報取得システム
JP4709578B2 (ja) 2005-04-25 2011-06-22 オリンパスメディカルシステムズ株式会社 画像表示装置
EP2008574B1 (en) * 2006-04-14 2012-07-25 Olympus Medical Systems Corp. Image display apparatus
JP2009537283A (ja) * 2006-05-19 2009-10-29 アヴァンティス メディカル システムズ インコーポレイテッド ビデオアーチファクトの影響を低減するための装置および方法
US8900124B2 (en) * 2006-08-03 2014-12-02 Olympus Medical Systems Corp. Image display device
JP4218772B2 (ja) * 2007-02-16 2009-02-04 国立大学法人名古屋大学 画像診断支援装置
JP5265139B2 (ja) * 2007-06-13 2013-08-14 オリンパスメディカルシステムズ株式会社 体内画像取得システム
JP5147308B2 (ja) * 2007-06-20 2013-02-20 オリンパス株式会社 画像抽出装置および画像抽出プログラム
CN101686799B (zh) 2007-07-12 2012-08-22 奥林巴斯医疗株式会社 图像处理装置以及图像处理装置的动作方法
JP5203648B2 (ja) 2007-07-20 2013-06-05 オリンパス株式会社 画像抽出装置および画像抽出プログラム
JP4918438B2 (ja) * 2007-08-31 2012-04-18 オリンパスメディカルシステムズ株式会社 被検体内情報取得システム
US8241206B2 (en) * 2008-07-08 2012-08-14 Olympus Medical Systems Corp. System for guiding capsule medical device
US20110122146A1 (en) * 2009-11-25 2011-05-26 Fujifilm Corporation Systems and methods for matching medical images

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3898781B2 (ja) 1996-07-01 2007-03-28 オリンパス株式会社 内視鏡
JP2003070728A (ja) 2001-06-20 2003-03-11 Olympus Optical Co Ltd カプセル式内視鏡
JP2006142017A (ja) * 2004-11-15 2006-06-08 Given Imaging Ltd 生体内の画像を表示するための方法およびシステム
JP2007075155A (ja) 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置
JP2007130263A (ja) * 2005-11-10 2007-05-31 Olympus Medical Systems Corp 生体内画像取得装置
JP2007282794A (ja) * 2006-04-14 2007-11-01 Olympus Medical Systems Corp 画像表示装置
JP2008022918A (ja) * 2006-07-18 2008-02-07 Olympus Medical Systems Corp 画像表示装置
JP2008237640A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp カプセル内視鏡、およびカプセル内視鏡システム、並びにカプセル内視鏡の動作制御方法
JP2008246147A (ja) 2007-03-30 2008-10-16 Olympus Medical Systems Corp カプセル型医療装置
JP2009005866A (ja) * 2007-06-27 2009-01-15 Olympus Medical Systems Corp 画像情報の表示処理装置
JP2008006301A (ja) * 2007-09-04 2008-01-17 Olympus Medical Systems Corp 被検体内導入装置、及び被検体内導入装置の作製方法
JP2008173490A (ja) * 2008-02-08 2008-07-31 Olympus Corp 画像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2412299A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012132840A1 (ja) * 2011-03-30 2012-10-04 オリンパスメディカルシステムズ株式会社 画像管理装置、方法、及びプログラム、並びにカプセル型内視鏡システム
US8918740B2 (en) 2011-03-30 2014-12-23 Olympus Medical Systems Corp. Image management apparatus, method, and computer-readable recording medium and capsule endoscope system
US20140303435A1 (en) * 2012-10-18 2014-10-09 Olympus Medical Systems Corp. Image processing apparatus and image processing method
US9204781B2 (en) * 2012-10-18 2015-12-08 Olympus Corporation Image processing apparatus and image processing method
CN106231985A (zh) * 2014-12-02 2016-12-14 奥林巴斯株式会社 图像处理装置、图像处理装置的工作方法
WO2019123986A1 (ja) * 2017-12-22 2019-06-27 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JPWO2019123986A1 (ja) * 2017-12-22 2020-12-03 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム

Also Published As

Publication number Publication date
CN102361585B (zh) 2014-06-25
US20110218397A1 (en) 2011-09-08
CN102361585A (zh) 2012-02-22
EP2412299A1 (en) 2012-02-01
EP2412299A4 (en) 2014-06-25
US8328712B2 (en) 2012-12-11
JP4865912B2 (ja) 2012-02-01
EP2412299B1 (en) 2017-02-01
JPWO2010109726A1 (ja) 2012-09-27

Similar Documents

Publication Publication Date Title
JP4865912B2 (ja) 画像処理システム、外部装置およびその画像処理方法
CN102256533B (zh) 图像显示装置、解读辅助系统以及解读辅助方法
US8617058B2 (en) Displaying image data from a scanner capsule
EP1769729B1 (en) System and method for in-vivo feature detection
CN101296647B (zh) 生物体内图像获取装置、接收装置及生物体内信息获取系统
US8216129B2 (en) Image display apparatus, endoscope system using the same, and image display method
EP1326432A2 (en) Device, system and method for capturing in-vivo images with three-dimensional aspects
US11399161B2 (en) Signal processing device, signal processing method, image capture device, and medical image capture device
WO2014002565A1 (ja) 撮像制御装置、記憶システムおよび記憶媒体
US11694725B2 (en) Information processing apparatus and information processing method
JP7449736B2 (ja) 医療用画像処理装置及び医療用観察システム
EP3590438B1 (en) Medical display-control device
JP6132984B2 (ja) カプセル内視鏡システム及びその撮像方法
US20130041217A1 (en) Capsule medical device guiding system and magnetic field generating device
US11039067B2 (en) Image pickup apparatus, video signal processing apparatus, and video signal processing method
JP6230026B2 (ja) ビデオカメラ
JP6346721B1 (ja) カプセル型内視鏡、受信装置、カプセル型内視鏡の作動方法、及びカプセル型内視鏡の作動プログラム
KR20190109866A (ko) 캡슐 내시경 장치 및 상기 장치의 동작 방법
JP5393534B2 (ja) 電子内視鏡装置
JP2013063179A (ja) 観察システム
JP2016220839A (ja) 内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980158331.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010533783

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09842336

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2009842336

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2009842336

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE