WO2015029584A1 - 画像管理装置 - Google Patents

画像管理装置 Download PDF

Info

Publication number
WO2015029584A1
WO2015029584A1 PCT/JP2014/067569 JP2014067569W WO2015029584A1 WO 2015029584 A1 WO2015029584 A1 WO 2015029584A1 JP 2014067569 W JP2014067569 W JP 2014067569W WO 2015029584 A1 WO2015029584 A1 WO 2015029584A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
management apparatus
unit
series
Prior art date
Application number
PCT/JP2014/067569
Other languages
English (en)
French (fr)
Inventor
武志 西山
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to EP14841243.0A priority Critical patent/EP3040016A4/en
Priority to JP2015503391A priority patent/JP5784859B2/ja
Priority to CN201480022737.1A priority patent/CN105142493A/zh
Publication of WO2015029584A1 publication Critical patent/WO2015029584A1/ja
Priority to US14/923,691 priority patent/US9411932B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • the present invention relates to an image management apparatus that manages an image acquired by an examination using a medical image acquisition apparatus such as a capsule endoscope.
  • a capsule endoscope is a device that incorporates an imaging function, a wireless communication function, etc. in a capsule-shaped casing that is sized to be introduced into the digestive tract of a subject.
  • Image data is generated and wirelessly transmitted sequentially outside the subject.
  • Image data wirelessly transmitted from the capsule endoscope is temporarily stored in a receiving apparatus provided outside the subject, and transferred from the receiving apparatus to an image management apparatus such as a workstation.
  • image management apparatus various image processing is performed on the acquired image data, thereby generating a series of images showing the organs and the like in the subject.
  • Patent Document 1 discloses a technique for creating a moving image from an image designated by a user operation and a group of images before and after the image.
  • a backup is created for image data acquired by inspection in preparation for situations such as failure of the image management device, damage or loss of the storage medium, or damage to the data itself.
  • a backup a copy of the entire image data corresponding to a series of images is created and stored.
  • the entire image data may be compressed and stored.
  • Patent Document 1 it is also conceivable to extract only image groups useful for diagnosis and store them as a backup.
  • Patent Document 1 a backup of an image that is not specified by the user and images before and after that are useful for diagnosis.
  • the present invention has been made in view of the above, and extracts images useful for diagnosis from a series of images acquired by examination using a medical image acquisition device such as a capsule endoscope without omission.
  • a medical image acquisition device such as a capsule endoscope without omission.
  • an object of the present invention is to provide an image management apparatus capable of creating a backup with a smaller storage capacity than in the past.
  • an image management apparatus inspects image data corresponding to a series of images in an image management apparatus that manages a series of images acquired by inspection.
  • a first image storage unit that stores each time, a display unit that displays the series of images, an input unit that inputs a signal related to an operation on the image displayed on the display unit in response to an external operation,
  • An operation information storage unit that stores information representing a predetermined operation performed on an image being displayed on the display unit in association with an image that is a target of the predetermined operation, and is stored in the operation information storage unit
  • An image extraction unit that extracts at least one image group from the series of images based on at least one image associated with the information representing the predetermined operation, and a previous image extracted by the image extraction unit
  • a second image storage unit that stores image data corresponding to at least one image group, the operation information storage unit via the input unit for the series of images included in one examination Information representing the predetermined operation performed by a plurality of users is stored for each user in association with the
  • the image extraction unit extracts a predetermined number of images arranged before and after each of the at least one image associated with the information representing the predetermined operation as one image group.
  • the image extraction unit includes overlapping images among a plurality of image groups respectively extracted for the plurality of images when the information representing the predetermined operation is associated with the plurality of images. It is characterized in that two or more image groups including are grouped as one image group.
  • the image extraction unit includes the plurality of images among a plurality of images included in at least one image group extracted based on the at least one image associated with the information representing the predetermined operation.
  • the image group which consists of an image which overlaps between these users is extracted.
  • the image management apparatus further includes an image processing unit that performs image processing on each image included in the series of images, and adds a flag to an image having a predetermined characteristic based on a result of the image processing,
  • the display unit displays at least one image to which the flag is added by the image processing unit
  • the image extraction unit is configured to display the plurality of users on the at least one image to which the flag is added by the image processing unit.
  • the image extraction unit further extracts at least one second image group from the series of images based on at least one image to which a flag is added by the image processing unit, and
  • the second image storage unit further stores image data corresponding to the at least one second image group.
  • the image extraction unit further extracts at least one second image group from the series of images based on at least one image to which a flag is added by the image processing unit, and
  • the second image storage unit stores image data corresponding to the at least one second image group, overwrites the image data corresponding to the second image group, and corresponds to the at least one image group. Image data is stored.
  • the image extraction unit generates a moving image from the extracted at least one image group, and stores the generated moving image in the second image storage unit.
  • the series of images is a series of in-vivo images acquired by a capsule endoscope that is introduced into a subject and performs imaging while moving in the subject. .
  • the predetermined operation is an operation for capturing an image.
  • the predetermined operation is an operation for adding a label, a comment, or an annotation to an image.
  • the predetermined operation is an operation for temporarily displaying an image, an operation for repeatedly displaying an image, an operation for displaying an image at a reduced frame rate, or a frame-by-frame display. It is an operation.
  • an image group is extracted based on an image associated with information related to a predetermined operation performed by a plurality of users on a series of images, so that images useful for diagnosis can be extracted without omission, A backup can be created with a smaller storage capacity than before.
  • FIG. 1 is a schematic diagram showing a capsule endoscope system including an image management apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the image management apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a schematic diagram illustrating an example of a screen displayed when a user such as a doctor observes a series of images.
  • FIG. 4 is a flowchart showing the operation of the image management apparatus shown in FIG.
  • FIG. 5 is a schematic diagram illustrating an example of a screen displayed when the user finishes observing a series of images.
  • FIG. 6 is a schematic diagram illustrating an example of a report creation screen.
  • FIG. 7 is a flowchart showing the moving image creation processing according to Embodiment 1 of the present invention.
  • FIG. 8 is a schematic diagram illustrating a moving image creation process according to Embodiment 1 of the present invention.
  • FIG. 9 is a schematic diagram illustrating a moving image creation process according to Modification 1 of Embodiment 1 of the present invention.
  • FIG. 10 is a flowchart showing the operation of the capsule endoscope system according to the second embodiment of the present invention.
  • FIG. 11 is a flowchart showing the operation of the image management apparatus according to the fourth embodiment of the present invention.
  • FIG. 12 is a schematic diagram illustrating a moving image creation process according to Embodiment 4 of the present invention.
  • FIG. 13 is a flowchart showing the operation of the image management apparatus according to the fifth embodiment of the present invention.
  • FIG. 14 is a schematic diagram illustrating a moving image creation process according to Embodiment 5 of the present invention.
  • FIG. 15 is a flowchart showing the operation of the image management apparatus according to the sixth embodiment of the present invention.
  • FIG. 16 is a flowchart showing the operation of the image management apparatus according to the seventh embodiment of the present invention.
  • FIG. 17 is a schematic diagram illustrating a moving image creation process according to Embodiment 7 of the present invention.
  • an image management apparatus according to an embodiment of the present invention will be described with reference to the drawings. Note that the present invention is not limited to these embodiments.
  • the image management apparatus according to the present invention is acquired by various medical image acquisition apparatuses. This can be applied when managing the captured images.
  • symbol is attached
  • FIG. 1 is a schematic diagram showing a capsule endoscope system for performing an examination using a capsule endoscope.
  • the capsule endoscope system shown in FIG. 1 generates image data by introducing the image management apparatus 1 according to Embodiment 1 of the present invention into the subject 6 and imaging the subject 6.
  • the image management device 1 is a device that manages a series of images acquired in chronological order by inspection, and is configured by a general-purpose computer such as a workstation or a personal computer.
  • a general-purpose computer such as a workstation or a personal computer.
  • a case where an image acquired by an examination using the capsule endoscope 2 is managed will be described.
  • images acquired by various image acquisition devices other than the capsule endoscope 2 are described.
  • the image management apparatus 1 can also be applied when managing the image. The detailed configuration and operation of the image management apparatus 1 will be described later.
  • the capsule endoscope 2 includes a capsule-shaped casing that can be swallowed by a subject 6, an imaging element such as a CCD, an illumination element such as an LED, a memory, a signal processing unit, a wireless communication unit, and other various parts. It is a device with built-in.
  • the imaging element is provided on one end side of the casing, and images a predetermined range outside the casing illuminated by the illumination element and outputs an imaging signal.
  • the capsule endoscope 2 generates image data by performing predetermined signal processing on the imaging signal output from the imaging device, and transmits the image data and related information superimposed on a radio signal.
  • the receiving device 3 receives a radio signal transmitted from the capsule endoscope 2 via the receiving antenna unit 4 having a plurality (eight in FIG. 1) of receiving antennas 4a to 4h.
  • Each of the receiving antennas 4a to 4h is configured using, for example, a loop antenna, and corresponds to a predetermined position on the external surface of the subject 6 (for example, each organ in the subject 6 that is a passage path of the capsule endoscope 2). Arranged).
  • the receiving device 3 acquires image data and related information by demodulating the received radio signal, and stores the image data and related information in a built-in memory.
  • the receiving device 3 includes a display unit 3a that displays an image based on the acquired image data, and an operation button 3b that is used when the user performs a predetermined operation on the receiving device 3.
  • the reception device 3 includes a data transmission unit including an interface connectable to a communication line such as a USB, a wired LAN, or a wireless LAN, and transfers image data and related information to the external device via these interfaces.
  • FIG. 2 is a block diagram showing the configuration of the image management apparatus 1.
  • the image management apparatus 1 includes an input unit 11, an image data acquisition unit 12, a storage unit 13, an image processing unit 14, a display unit 15, a control unit 16, and a backup image storage unit 17. With.
  • the input unit 11 includes input devices such as a keyboard, various buttons, and various switches, and pointing devices such as a mouse and a touch panel, and inputs a signal corresponding to an operation performed from the outside by the user to the control unit 16.
  • the image data acquisition unit 12 is an interface that can be connected to a communication line such as USB, a wired LAN, or a wireless LAN, and includes a USB port, a LAN port, and the like.
  • the image data acquisition unit 12 acquires image data and related information via an external device or various lines connected to the USB port, and stores them in the storage unit 13.
  • the receiving device 3 is connected to the image management device 1 by setting the receiving device 3 in the cradle 3 c connected to the USB port of the image management device 1.
  • the image data stored in the memory of the receiving device 3 is sequentially taken into the image management device 1.
  • the storage unit 13 includes a semiconductor memory such as a flash memory, a RAM, and a ROM, a recording medium such as an HDD, an MO, a CD-R, and a DVD-R, and a writing / reading device that writes information to and reads information from the recording medium It is the 1st memory
  • the storage unit 13 stores a program and various setting information for operating the image management apparatus 1 to execute various functions.
  • the storage unit 13 includes an image storage unit 131, an inspection database (DB) storage unit 132, and an operation information storage unit 133.
  • the image storage unit 131 is a first image storage unit that stores image data captured from the image data acquisition unit 12 and image data that has been subjected to predetermined image processing by the image processing unit 14 described later. .
  • the inspection database storage unit 132 stores an inspection database for managing an inspection using the capsule endoscope 2 and the like.
  • the examination database stores information about the patient to be examined, information about the contents of the examination, a report in which the result of the examination is recorded, link information indicating the storage destination of the image acquired by the examination, and the like.
  • the operation information storage unit 133 displays information representing operations performed by the user on these images for each user.
  • the image is stored in association with the identification information of the image.
  • the image identification information for example, an image number corresponding to the sequence of images in a series of images is used.
  • the image processing unit 14 is configured by hardware such as a CPU, for example. Each of the series of images corresponding to the image data input via the image data acquisition unit 12 is read by reading a program stored in the storage unit 13. In addition, predetermined image processing is executed. Specifically, the image processing unit 14 performs image processing such as white balance processing, demosaicing, color conversion, density conversion (gamma conversion, etc.), smoothing (noise removal, etc.), sharpening (edge enhancement, etc.) on each image. Then, image processing for calculating an average color of each image and image processing for detecting a lesion or the like from each image are executed.
  • image processing such as white balance processing, demosaicing, color conversion, density conversion (gamma conversion, etc.), smoothing (noise removal, etc.), sharpening (edge enhancement, etc.
  • the display unit 15 is a display device such as a CRT display or a liquid crystal display, for example, and displays a predetermined format screen including images and other information under the control of the control unit 16.
  • the control unit 16 is configured by hardware such as a CPU, for example, and by reading a program stored in the storage unit 13, to each unit configuring the image management apparatus 1 based on a signal input from the input unit 11. Instructions and data transfer, etc., and overall control of the operation of the image management apparatus 1 is performed. Further, the control unit 16 sequentially displays a series of images showing the inside of the subject 6 on the display unit 15 in a predetermined format based on the image data that has been subjected to predetermined image processing by the image processing unit 14.
  • the image processing apparatus includes a control unit 161 and an image extraction unit 162 that extracts a plurality of images to be backed up from the series of images and creates a moving image from the extracted images.
  • the moving image here may be a moving image in a standard format such as MPEG or AVI, or a moving image in a format unique to the image management apparatus 1.
  • the backup image storage unit 17 is a semiconductor memory such as a flash memory, a RAM, or a ROM, a recording medium such as an HDD, an MO, a CD-R, or a DVD-R, and a writing that performs writing and reading of information on the recording medium It is a second storage unit configured by a reading device or the like, and stores image data for backup of image data stored in the image storage unit 131.
  • the backup image storage unit 17 is provided inside the image management apparatus 1, but the backup image storage unit 17 is configured by an external HDD or a server connected via a network. For example, it may be provided outside the image management apparatus 1.
  • FIG. 3 is a schematic diagram illustrating an example of a screen displayed on the display unit 15 under the control of the display control unit 161.
  • a screen D1 shown in FIG. 3 is a screen displayed when a user such as a doctor observes a series of images, a patient information display area D11 in which information about a patient as the subject 6 is displayed, and the subject 6 Information display area D12 in which information related to the inspection is displayed, a main display area D13 in which a series of images acquired by the inspection are sequentially reproduced and displayed, a reproduction operation button group D14, a capture button D15, and an average color bar D16, a captured image display area D17, a label box D18, and a comment entry field D19.
  • the reproduction operation button group D14 is a set of operation buttons used when the user inputs an instruction to control the image reproduction operation in the main display area D13.
  • the search button, the frame advance button, the pause button, and the fast forward Includes buttons, play button, rewind button, stop button, etc.
  • a predetermined pointer operation using the input unit 11 is performed on the reproduction operation button group D14 (for example, any operation button is clicked by the pointer P1), an operation signal corresponding to the pointer operation is input to the display control unit 161.
  • the capture button D15 is a button used when the user captures an image being displayed in the main display area D13.
  • a predetermined pointer operation for example, clicking with the pointer P1
  • a signal instructing capture of an image displayed in the main display area D13 is sent from the input unit 11 to the control unit 16. Entered. Thereby, a flag for identifying the captured image is added to the image, and the image is registered as the captured image.
  • the average color bar D16 is a band-like image in which the average colors of a series of images are arranged in time series, and is created based on the average color of each image calculated by the image processing unit 14.
  • the average color bar D16 is provided with a slider d1 indicating a position on the average color bar D16 corresponding to the image being displayed in the main display area D13.
  • the slider d1 moves on the average color bar D16 according to the imaging time of the image being displayed while automatically reproducing a series of images in the main display area D13.
  • imaging time means the elapsed time from the time of imaging start (inspection start). The user can grasp when the displayed image is captured by referring to the slider d1.
  • the capture image display area D17 is an area in which reduced images (hereinafter referred to as thumbnail images) registered as capture images are displayed in a list in time series.
  • the capture image display area D17 is provided with a slider d2 used when sliding the display range of the thumbnail images. Further, a connection line d3 indicating the correspondence between the thumbnail image in the captured image display area D17 and the position on the average color bar D16 may be provided.
  • the label box D18 is provided with a plurality of icons d4 to d7 that are used when a label for classifying an image according to features observed in the image is added to the image.
  • icons d4 to d7 shown in FIG. 3 the names of lesions (ulcers, sores, bleeding, tumors, etc.) are described.
  • a label (lesion name) associated with the selected icon is displayed in the main display area D13. It is added to the image inside.
  • the comment entry field D19 is an area in which text information can be input using an input device such as a keyboard, and is used when a user inputs a comment on an image displayed in the main display area D13.
  • text information is input to the comment entry field D19, a comment made up of the text information is added to the image being displayed in the main display area D13.
  • FIG. 4 is a flowchart showing the operation of the image management apparatus 1.
  • the image data acquisition unit 12 acquires image data of a series of images acquired by an examination using the capsule endoscope 2 or the like, and stores the acquired image data in the image storage unit 131.
  • the image data acquisition unit 12 may acquire image data from the receiving device 3 illustrated in FIG. 1 via the cradle 3c, or may acquire image data via various communication lines.
  • step S101 the image processing unit 14 performs image processing such as white balance processing, demosaicing, color conversion, density conversion, smoothing, and sharpening on each of a series of images corresponding to the image data acquired in step S100. Further, image processing for detecting the average color of each image and image processing for detecting a lesion or the like from each image are executed. In step S100, image data that has already undergone the above-described image processing may be acquired. In this case, step S101 is omitted.
  • image processing such as white balance processing, demosaicing, color conversion, density conversion, smoothing, and sharpening on each of a series of images corresponding to the image data acquired in step S100. Further, image processing for detecting the average color of each image and image processing for detecting a lesion or the like from each image are executed. In step S100, image data that has already undergone the above-described image processing may be acquired. In this case, step S101 is omitted.
  • the image management apparatus 1 executes the process of loop A for each user (observer) who observes a series of images. That is, first, in step S102, the display control unit 161 causes the display unit 15 to sequentially display a series of images based on the image data subjected to image processing by the image processing unit 14 (see FIG. 3).
  • step S103 the control unit 16 determines whether or not a signal instructing capture of an image being displayed is input to the main display area D13.
  • a signal instructing capture is input (step S103: Yes)
  • the control unit 16 adds a flag for identifying the image as a captured image (step S104), and further reduces the image. Is displayed in the captured image display area D17.
  • step S103: No the operation of the image management apparatus 1 proceeds to step S105.
  • step S105 the control unit 16 determines whether or not to end the observation of the image by the user. For example, when the image currently displayed in the main display area D13 becomes the final image of a series of images, the control unit 16 determines to end the observation. Alternatively, when the user performs a predetermined end operation using the input unit 11, the control unit 16 may determine that the observation is to be ended.
  • step S105: No If the observation is not terminated (step S105: No), the operation of the image management apparatus 1 proceeds to step S102. On the other hand, when ending the observation (step S105: Yes), the control unit 16 stores the identification information (for example, the image number) of the image (capture image) to which the flag is added in step S104 in the operation information storage unit 133 for each user. Store (step S106).
  • the control unit 16 determines whether or not a signal instructing the start of report creation is input.
  • a signal instructing the start of report creation is input in response to an operation performed by one of the users when all of a plurality of users scheduled for the series of images have finished observation.
  • the signal may be input in response to pressing of a specific key or button provided in the input unit 11, or in response to a pointer operation on the screen of the display unit 15 using the input unit 11.
  • the signal may be input.
  • FIG. 5 is a schematic diagram illustrating an example of a screen displayed on the display unit 15 when the user finishes observing a series of images.
  • a screen D2 shown in FIG. 5 includes a text message D21 for asking the user whether to start report generation, icons D22, D23 used when the user inputs whether to start report generation, and the series of An observer display field D24 in which the names of users who have observed the image (for example, observers A, B,...) Are displayed, and a user selected from the user names displayed in the observer display field D24 is determined. And an OK button D25 used at the time.
  • a predetermined pointer operation using the input unit 11 for example, clicking on the icon D22
  • a signal instructing the start of report creation is input to the control unit 16.
  • step S107: No the image management apparatus 1 executes the process of loop A for another user.
  • step S107 when a signal instructing the start of report creation is input (step S107: Yes), the control unit 16 determines an observation result to be applied to the report among the observation results of a plurality of users (step S108).
  • the control unit 16 determines an observation result by the user as an observation result to be applied to the report.
  • indicates the start of report preparation is input, it is good also as making a user select the observation result applied to a report.
  • the control part 16 determines to apply the observation result by the said user to a report according to this from the input part 11 being input into the control part 16 from this.
  • step S109 the control unit 16 displays an image for creating a report on the display unit 15 and causes the user to create a report.
  • FIG. 6 is a schematic diagram illustrating an example of a report creation screen displayed on the display unit 15.
  • This report creation screen D3 is in charge of creating a patient information display area D31 in which information about a patient who is the subject 6 is displayed, an examination information display area D32 in which information on an examination performed on the patient is displayed, and
  • the report creator display area D33 in which the name of the user to be displayed is displayed, the finding entry area D34 for the user to enter the findings, and the captured image selected by the user during observation of a series of images are displayed in a reduced size.
  • a capture image display area D35 and a confirmation button D36 are included.
  • the captured image display area D35 displays a reduced image of the captured image including the observation result determined in step S108, that is, the observation result applied to the report.
  • the user inputs a finding as text by an operation on the report creation screen D3 using the input unit 11, selects an image to be attached to the report from the captured images, and then presses the confirm button D36.
  • step S110 the control unit 16 determines the content of the report that has been text-input by the user and stores it in the storage unit 13.
  • step S111 the control unit 16 creates a moving image to be stored as a backup of a series of images.
  • a captured image and a predetermined number of images arranged before and after the captured image are extracted, and one moving image is created from a plurality of extracted consecutive images and stored as a backup.
  • FIG. 7 is a flowchart showing a moving image creation process.
  • FIG. 8 is a schematic diagram illustrating the moving image creation process.
  • the image extraction unit 162 acquires, from the storage unit 13, the number information of images to be extracted before and after the captured image (hereinafter referred to as the front image and the rear image, and collectively referred to as the front and rear images). To do.
  • the number of front images and the number of back images may be the same or different.
  • the number of front and rear images is set to k (k is a natural number).
  • the image extraction unit 162 acquires the identification information of the captured image from the operation information storage unit 133 based on the observation results of all users (observers) who have observed the series of images.
  • an image number is used as identification information. For example, as shown in FIG.
  • the image extracting unit 162 Image numbers a1, a2, a3, a4 of images m (a1), m (a2), m (a3), m (a4) captured by the viewer A, and images m (b1), m captured by the viewer B Image numbers b1, b2, and b3 of (b2) and m (b3) are acquired.
  • the image extraction unit 162 executes a process of loop a for each captured image for which identification information has been acquired. That is, first, in step S123, the image extraction unit 162 sequentially acquires identification information of images before and after the captured image.
  • the image extraction unit 162 determines whether the identification information of the captured image to be processed and the preceding and succeeding images overlap with the identification information of the image already extracted as the backup target, and the identification information does not overlap. A new image is extracted as a backup target.
  • the following image is extracted by the processing of the loop a.
  • the captured image m (a1), its previous images m (a1-k) to m (a1-1), and its subsequent images m (a1 + 1) to m (a1 + k) are extracted as backup targets.
  • the image extracted as the backup target is hatched or shaded.
  • the captured image m (a2), its previous images m (a2-k) to m (a2-1), and its subsequent images m (a2 + 1) to m (a2 + k) are extracted from the already extracted image m (a1-k).
  • the previous images m (a3-k) to m (a3-1), and its subsequent images m (a3 + 1) to m (a3 + k) partially overlaps the subsequent images m (a2 + 1) to m (a2 + k) of the image m (a2). Therefore, only images m (a2 + k + 1) to m (a3 + k) with no overlapping image numbers are extracted as backup targets.
  • the captured image m (b1), the previous images m (b1-k) to m (b1-1), and the subsequent images m (b1 + 1) to m (b1 + k) are partially extracted from the image m ( a2 + 1) to m (a3 + k) overlap. Accordingly, only images m (a3 + k + 1) to m (b1 + k) with no overlapping image numbers are extracted as backup targets.
  • the captured images m (b2), m (b3), and m (a4) are sequentially processed, so that the images m (b1 + k + 1) to m (b2 + k) and m (b3 ⁇ k) to m (b3 + k). ), M (a4-k) to m (a4 + k) are extracted as backup targets.
  • step S125 the image extraction unit 162 acquires the frame rate information and image quality information of the moving image.
  • the image extraction unit 162 extracts an image group in which the identification information is continuous from the image extracted by the process of loop a.
  • (A4-k) to m (a4 + k) are each extracted as one image group. That is, when there are overlapping images between each captured image and the image group composed of the images before and after the captured image, these image groups are combined into one.
  • step S127 the image extraction unit 162 applies the frame rate information and image quality information acquired in step S125, and creates a moving image from each image group extracted in step S126. Thereby, in the case of FIG. 8, four moving pictures M1 to M4 are created.
  • step S1208 the image extraction unit 162 determines whether a moving image has been created from all the backup target images extracted by the process of loop a.
  • step S128: Yes the process returns to the main routine.
  • step S128: No the process returns to step S126.
  • step S112 following step S111 the control unit 16 stores the moving image created in step S111 in the backup image storage unit 17.
  • step S113 the control unit 16 registers the link information to the moving image stored in step S112 in the database relating to the inspection stored in the inspection database storage unit 132. Thereafter, the operation of the image management apparatus 1 regarding the series of images ends.
  • a moving image is extracted from images extracted based on images captured by a plurality of users with respect to a series of images acquired by examination using a capsule endoscope or the like. And save the moving image as a backup. Therefore, it is possible to create a backup with a smaller storage capacity than before while extracting images useful for diagnosis without omission.
  • FIG. 9 is a schematic diagram for explaining a moving image creation process according to the first modification.
  • an image captured by at least one user and images before and after the image are extracted as backup targets.
  • images captured by each user and images before and after that only images that are common to all users may be extracted as backup targets.
  • the images m (a1), m (a2), m (a3), m (a4) captured by the observer A and the preceding and subsequent images, and the image m (b1) captured by the observer B ), M (b2), m (b3), and images before and after that, images m (b1-k) to m (a3 + k) with overlapping identification information (image numbers) are extracted, and based on these images You may create a video and save it as a backup. According to the first modification, it is possible to back up images that are considered useful for diagnosis by a plurality of users in common.
  • each user observes the image displayed on the display unit 15 based on the image data transferred to the image management apparatus 1 after the inspection is completed, and the backup is performed based on the observation result. Created a video.
  • the user may observe the image in real time during the inspection, and create a backup moving image based on the image captured during that time.
  • FIG. 10 is a flowchart showing the operation of the capsule endoscope system according to the second embodiment.
  • the configuration of the capsule endoscope system in the second embodiment is the same as that in the first embodiment (see FIG. 2).
  • step S200 when the capsule endoscope 2 is turned on, the capsule endoscope 2 starts imaging and wireless transmission of image data (step S201). In response to this, the receiving device 3 receives the image data (step S202).
  • step S203 the reception device 3 displays an image on the display unit 3a by performing predetermined signal processing on the received image data.
  • a user such as a doctor confirms that the image captured by the capsule endoscope 2 is displayed on the display unit 3a, and then causes the patient as the subject 6 to swallow the capsule endoscope 2.
  • step S204 the receiving device 3 determines whether or not an operation for instructing the display unit 3a to capture an image being displayed has been performed.
  • an operation for instructing capture for example, a predetermined operation such as pressing the operation button 3b while an image is displayed can be cited.
  • the reception device 3 adds a flag for extracting the displayed image as a captured image to the image data (step S205).
  • step S204: No the operation of the receiving device 3 proceeds to step S206.
  • the capsule endoscope 2 If a user such as a doctor confirms that the capsule endoscope 2 normally captures an image in the subject 6 and does not need to capture the image in real time, the user examines the subject 6. It may be released from the room or the like and allowed to freely act until a predetermined time while the receiving device 3 is carried.
  • step S206 the receiving device 3 determines whether or not the inspection is completed. For example, when the transmission of the image data from the capsule endoscope 2 is stopped or an operation for instructing the receiving device 3 to end the examination is performed, the receiving device 3 determines that the examination is finished. To do.
  • step S206: No If the inspection has not been completed yet (step S206: No), the operation of the receiving device 3 proceeds to step S202. On the other hand, when the inspection is completed (step S206: Yes), the receiving device 3 transfers the image data to the image management device 1 (step S207). The transfer of the image data is started when the user sets the receiving device 3 in the cradle 3 c connected to the image management device 1.
  • step S208 the image management apparatus 1 performs predetermined image processing on the image data received from the reception apparatus 3, and stores the image data that has been subjected to image processing in the storage unit 13.
  • the image management apparatus 1 executes the process of loop B for each user (observer) who observes a series of images. That is, first, in step S209, the display control unit 161 extracts the image (capture image) to which the flag is added in step S205, and displays it in the capture image display area D17 (see FIG. 3) of the display unit 15. At this time, the user may delete an image that does not need to be captured from the captured image display area D17 with reference to the captured image display area D17. The deletion of the image can be performed by a predetermined pointer operation using the input unit 11 on the screen D1 (for example, a double click on a desired image displayed in the capture image display area D17).
  • step S210 the display control unit 161 sequentially displays a series of images based on the image data stored in the storage unit 13 in the main display region D13 of the display unit 15.
  • step S211 the control unit 16 determines whether or not a signal instructing capture is input to the image being displayed in the main display area D13. This determination method is the same as in the first embodiment (see step S103 in FIG. 4).
  • step S211: Yes When a signal instructing capture of an image is input (step S211: Yes), the control unit 16 adds a flag for identifying the captured image as a captured image (step S212). The image is reduced and displayed in the captured image display area D17. On the other hand, when a signal for instructing image capture is not input (step S211: No), the operation of the image management apparatus 1 proceeds to step S213.
  • step S213 the control unit 16 determines whether or not to end the observation of the image by the user. This determination method is the same as in the first embodiment (see step S105 in FIG. 4).
  • step S213: No If the observation is not terminated (step S213: No), the operation of the image management apparatus 1 returns to step S210. On the other hand, when ending the observation (step S213: Yes), the control unit 16 stores the identification information (for example, image number) of the image (captured image) to which the flag is added in steps S205 and S212 for each user. 133 (step S214).
  • identification information for example, image number
  • step S215 the control unit 16 determines whether or not a signal instructing the start of report creation has been input. This determination method is the same as that in the first embodiment (see step S107 in FIG. 4).
  • step S215: No the image management apparatus 1 executes the process of loop B for another user.
  • step S215 when a signal instructing the start of report creation is input (step S215: Yes), the operation of the image management apparatus 1 proceeds to step S108.
  • the subsequent operations in steps S108 to S113 are the same as those in the first embodiment.
  • a backup video is created based on an image captured by a user such as a doctor among images displayed in real time on the receiving device 3 during the examination. be able to. Therefore, it is possible to create a complete backup of an image that a user such as a doctor recognizes as confirmation required during the examination.
  • a backup moving image is created based on all images captured by the user.
  • a backup moving image may be created based on an image to which a label, a comment, or an annotation is attached among captured images, that is, an image that is particularly focused by the user.
  • the label, the comment, and the annotation can be added by a predetermined operation using the input unit 11 on the screen D1 (see FIG. 3).
  • a label is added by selecting any of the icons d4 to d7 provided in the label box D18.
  • a comment is added by entering a text in the comment entry field D19.
  • the annotation displays a screen for adding the annotation by a predetermined pointer operation (for example, right click) on the captured image displayed in the captured image display area D17, and a graphic (an arrow, An ellipse, a rectangle, a triangle, etc.) and text can be added (not shown).
  • step S122 of FIG. 7 the control unit 16 acquires identification information of an image to which a label, a comment, or an annotation is added from among the captured images.
  • a moving image is created by performing processing based on the identification information acquired in step S122.
  • a backup moving image is created based on images captured by each user among the captured images, so that the storage capacity required for backup can be further reduced. it can.
  • a backup moving image is created based on images captured by each user during observation of a series of images.
  • a user in charge of creating the report may select an image other than the image captured by the user for the report.
  • a backup moving image may be created based on the image selected for the report.
  • FIG. 11 is a flowchart showing the operation of the image management apparatus according to the fourth embodiment.
  • FIG. 12 is a schematic diagram for explaining a moving image creation process according to the fourth embodiment. Note that steps S100 to S109 shown in FIG. 11 are the same as those in the first embodiment (see FIG. 4).
  • step S150 it is determined whether or not a signal instructing capture of an image other than the already captured image is input.
  • a signal instructing capture is input (step S150: Yes)
  • the control unit 16 adds a flag for identifying the captured image as a captured image (step S151).
  • step S150: No the operation of the image management apparatus 1 proceeds to step S110.
  • steps S110 to S113 are the same as those in the first embodiment.
  • step S111 a moving image is created based on the identification information of the image to which the flag is added in steps S104 and S151. That is, in step S122 of FIG. 7, the images m (a1), m (a2), m (a3), m (b1), m (b2), m (b3), m captured by the viewers A and B
  • step S122 of FIG. 7 the images m (a1), m (a2), m (a3), m (b1), m (b2), m (b3), m captured by the viewers A and B
  • the identification information of the image m (d1) captured by the observer A as a report when the report is created is extracted.
  • 1 ⁇ d1 ⁇ N In subsequent steps S123 to S128, processing is performed based on the identification information.
  • the image groups m (a1-k) to m (a1 + k), m (a2-k) to m (b2 + k), m (b3-k) to m (b3 + k), m (d1-k) to m ( a4 + k) is extracted as a backup target image, and a moving image composed of each of these image groups is created.
  • a backup video is created based on the image selected for the report at the time of report creation, which is useful for diagnosis. It is possible to create an image backup without omission.
  • FIG. 13 is a flowchart showing the operation of the image management apparatus according to the fifth embodiment.
  • the configuration of the image management apparatus according to the fifth embodiment is the same as that of the first embodiment (see FIG. 2).
  • the fifth embodiment is characterized in that, in addition to the image captured by each user, a backup moving image is created on the basis of an image determined as requiring attention by image processing.
  • step S300 the image data acquisition unit 12 acquires image data of a series of images acquired by an inspection using the capsule endoscope 2 or the like, and stores the acquired image data in the image storage unit 131.
  • the image processing unit 14 performs white balance processing, demosaicing, color conversion, density conversion (gamma conversion, etc.), smoothing (noise removal, etc.), sharpening (edge enhancement) on the image data acquired in step S300.
  • image processing for detecting an average color of each image is executed, and image processing for detecting a lesion such as ulcer, bleeding, or tumor is executed from each image.
  • an image having a predetermined characteristic is an image in which a specific feature amount is greater than or equal to a reference value, an image in which a specific lesion is detected, or the degree of a detected lesion is greater than or equal to a predetermined reference. It is an image.
  • the image management apparatus 1 executes the process of loop C for each user (observer) who observes a series of images. That is, first, in step S303, the display control unit 161 extracts the image to which the flag is added in step S302, and displays it in the captured image display area D17 (see FIG. 3) of the display unit 15. At this time, the user may delete an image that does not need to be captured from the captured image display area D17 with reference to the captured image display area D17. The deletion of the image can be performed by a predetermined pointer operation using the input unit 11 for the screen D1 (for example, double-clicking on the image displayed in the captured image display area D17). A flag indicating that the user has deleted is further added to the image deleted from the captured image display area D17.
  • step S304 the display control unit 161 sequentially displays a series of images based on the image data stored in the storage unit 13 in the main display area D13 of the display unit 15.
  • step S305 the control unit 16 determines whether or not a signal instructing capture is input to the image being displayed in the main display area D13. This determination method is the same as in the first embodiment (see step S103 in FIG. 4).
  • step S305: Yes When a signal instructing to capture an image is input (step S305: Yes), the control unit 16 adds a flag for identifying the image as a captured image (step S306), and further displays the image. The image is reduced and displayed in the captured image display area D17.
  • step S305: No when the signal for instructing image capture is not input (step S305: No), the operation of the image management apparatus 1 proceeds to step S307.
  • step S307 the control unit 16 determines whether or not to end the observation of the image by the user. This determination method is the same as in the first embodiment (see step S105 in FIG. 4).
  • step S307: No If the observation is not terminated (step S307: No), the operation of the image management apparatus 1 proceeds to step S304. On the other hand, when ending the observation (step S307: Yes), the control unit 16 stores the identification information (eg, image number) of the image (captured image) to which the flag is added in steps S302 and S306 for each user. 133 (step S308).
  • identification information eg, image number
  • step S309 the control unit 16 determines whether or not a signal instructing the start of report creation has been input. This determination method is the same as that in the first embodiment (see step S107 in FIG. 4).
  • step S309: No If the signal for instructing the start of report creation is not input (step S309: No), the image management apparatus 1 executes the process of loop C for another user.
  • step S309 Yes
  • the operation of the image management apparatus 1 proceeds to step S108.
  • the subsequent operations in steps S108 to S113 are the same as those in the first embodiment.
  • FIG. 14 is a schematic diagram illustrating a moving image creation process (step S111) according to the fifth embodiment.
  • a backup moving image is created based on the results of image processing in addition to the observation results for a series of images by a plurality of users (in FIG. 14, observers A and B). That is, in step S122 of FIG.
  • an image (see step S303) deleted from the captured image display area D17 by all users during image observation is used for creating a moving image. It is not necessary to use it.
  • the image m (c5) is an image deleted by both the viewers A and B, and is not used for creating a moving image.
  • the image m (c6) is an image that is deleted by the observer A but not deleted by the observer B, and is used for creating a moving image.
  • the image groups m (c1-k) to m (a1 + k), m (a2-k) to m (b2 + k), m (b3-k) to m (b3 + k), m (c6-k) to m ( c6 + k), m (a4-k) to m (a4 + k) are extracted as backup target images, and a moving image including these image groups is created.
  • a backup video is created using the results of image processing in addition to the observation results of a plurality of users on a series of images, which is useful for diagnosis. It is possible to create an image backup without omission.
  • FIG. 15 is a flowchart showing the operation of the image management apparatus according to the sixth embodiment of the present invention.
  • the configuration of the image management apparatus according to the sixth embodiment is the same as that of the first embodiment (see FIG. 2). Further, steps S300 to S302 in FIG. 15 are the same as those in the fifth embodiment (see FIG. 13).
  • step S400 the control unit 16 creates a backup moving image from the image to which the flag is added in step S302 and the images before and after the image.
  • the moving image creation process is performed along steps S121 to S128 by replacing the captured image shown in FIG. 7 with an image to which a flag is added. For example, as shown in FIG.
  • control unit 16 causes the backup image storage unit 17 to store the moving image created in step S400.
  • control unit 16 registers the link information to the moving image stored in step S401 in the database relating to the inspection stored in the inspection database storage unit 132.
  • steps S303 to S113 are the same as those in the fifth embodiment and the first embodiment.
  • the image groups m (c1 ⁇ k) to m (a1 + k), m (a2 ⁇ k) to m (b2 + k), m (b3 ⁇ k) to m (b3 + k), m (c6 ⁇ k) to m (c6 + k) and m (a4 ⁇ k) to m (a4 + k) are extracted as backup target images, and a moving image including these image groups is created (step S111) and stored in the backup image storage unit 17. Is done.
  • the moving image created in step S111 is stored in a storage area different from that in step S401.
  • the image storage unit 131 since the moving image is quickly created and stored based on the result of the image processing, the image storage unit 131 stores the images until all the users observe the series of images. A backup can be secured in preparation for the loss of stored image data.
  • step S112 of FIG. 15 a moving image (see step S111) created based on observation results by a plurality of users is created based on the result of image processing (step S112).
  • step S400 may be overwritten and saved. In this case, the storage capacity of the backup that is finally stored while securing a backup for the loss of the image data stored in the image storage unit 131 until the observation by all users for the series of images is completed. Can be reduced.
  • FIG. 16 is a flowchart showing the operation of the image management apparatus according to the seventh embodiment of the present invention.
  • the configuration of the image management apparatus according to the seventh embodiment is the same as that of the first embodiment (see FIG. 2). Also, steps S100 and S101 in FIG. 16 are the same as those in the first embodiment (see FIG. 4).
  • step S101 the image management apparatus 1 executes the process of loop D for each user (observer) who observes a series of images. That is, first, in step S102, the display control unit 161 causes the display unit 15 to sequentially display a series of images based on the image data subjected to image processing by the image processing unit 14 (see FIG. 3). While the image is displayed on the display unit 15, the user can perform a desired pointer operation (for example, click on a desired operation button) using the input unit 11 with respect to the reproduction operation button group D14 displayed on the screen D1. Can be played.
  • a desired pointer operation for example, click on a desired operation button
  • step S103 the control unit 16 determines whether or not a signal instructing capture of an image being displayed is input to the main display area D13.
  • a signal instructing capture is input (step S103: Yes)
  • the control unit 16 adds a flag for identifying the image as a captured image (step S104), and further reduces the image. Is displayed in the captured image display area D17.
  • step S103: No the operation of the image management apparatus 1 proceeds to step S500.
  • step S500 when a predetermined reproduction operation is performed on the image being displayed in the main display area D13, the control unit 16 adds a flag indicating the reproduction operation to the image.
  • the predetermined playback operation include pause, reverse playback, repeated playback, playback with a reduced frame rate, frame-by-frame playback, and the like.
  • step S105 the control unit 16 determines whether or not to end the observation of the image by the user. About this determination method, it is the same as that of Embodiment 1 (refer FIG. 4).
  • step S105: No the operation of the image management apparatus 1 returns to step S102.
  • step S105: Yes the control unit 16 performs an image (capture image) to which a flag is added in step S104 and an image to which a flag is added in step S500, that is, a predetermined reproduction operation.
  • the identification information of the received image is stored in the operation information storage unit 133 for each user (step S501).
  • step S107 the control unit 16 determines whether or not a signal instructing the start of report creation is input. About this determination method, it is the same as that of Embodiment 1 (refer FIG. 4). When the signal for instructing the start of report generation is not input (step S107: No), the image management apparatus 1 executes the process of loop D for another user.
  • step S107 when a signal instructing the start of report creation is input (step S107: Yes), the operation of the image management apparatus 1 proceeds to step S108.
  • the subsequent operations in steps S108 to S113 are the same as those in the first embodiment.
  • FIG. 17 is a schematic diagram illustrating a moving image creation process (step S111) according to the seventh embodiment.
  • step S111 in addition to the image captured while each user (observers A and B in FIG. 17) observes a series of images, an image obtained by performing a predetermined reproduction operation is also included. And make a video. That is, in step S122 of FIG.
  • processing is performed based on these pieces of identification information.
  • the number of before and after images acquired for an image that is the target of a predetermined reproduction operation may be the same as the number of before and after images acquired for a captured image, or may be different.
  • the number of front images and rear images acquired for images m (t1) to m (t2) and m (t3) to m (t4) is zero.
  • the image groups m (a1-k) to m (a1 + k), m (a2-k) to m (b2 + k), m (t1) to m (t2), m (b3-k) to m (t4) , M (a4 ⁇ k) to m (a4 + k) are extracted as backup target images, and a moving image including these image groups is created.
  • an image that is considered to have been observed by the user such as an image that has been repeatedly reproduced, an image that has been reproduced with a reduced frame rate, or an image that has been reproduced frame-by-frame. Can be saved as a backup.
  • Modification 3 of Embodiments 1 to 7 of the present invention will be described.
  • one imaging device is provided, and the capsule endoscope 2 capable of imaging one end side of the housing is used, so that a series of tests arranged in time series in one examination. It was decided to acquire the image.
  • a capsule endoscope that is provided with two image sensors and that can image both end sides (for example, the front side and the rear side) of the housing. In this case, since two sets of images respectively captured by the two image sensors are acquired in one inspection, the results of observations performed by a plurality of users on each of the two sets of images are also obtained.
  • two sets of moving images may be created as backups.
  • Modification 4 of Embodiments 1 to 7 of the present invention will be described.
  • a plurality of moving images for example, moving images M1 to M4 in the case of FIG. 8
  • these moving images are stored as they are.
  • these moving images may be connected in chronological order and saved as one moving image.
  • Modification 5 of Embodiments 1 to 7 of the present invention will be described.
  • a series of images acquired by inspection is stored in the image storage unit 131, and a backup moving image created from the series of images is stored in the backup image storage unit 17.
  • the original series of images may be deleted from the image storage unit 131 by the user's selection.
  • the present invention described above is not limited to the first to seventh embodiments and the first to fifth modifications, and can be variously modified according to the specifications and the like. Alternatively, some components may be excluded from all the components shown in the first to fifth modifications. It is apparent from the above description that various other embodiments are possible within the scope of the present invention.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

 診断に有用な画像を漏れなく抽出しつつ従来よりも少ない記憶容量でバックアップを作成することができる画像管理装置を提供する。画像管理装置1は、一連の画像の画像データを検査毎に記憶する画像記憶部131と、一連の画像を表示する表示部15と、表示される画像に対する操作信号を入力する入力部11と、表示中の画像に対する操作を表す情報を操作対象の画像と関連づけて記憶する操作情報記憶部133と、該操作を表す情報と関連付けられた画像に基づいて画像群を抽出する画像抽出部162と、抽出された画像群の画像データを記憶するバックアップ画像記憶部17とを備え、操作情報記憶部133は1つの検査に含まれる複数のユーザによりなされた操作の情報をユーザ毎に当該操作対象となった画像と関連付けて記憶し、画像抽出部162は1つの検査に含まれる複数のユーザによりなされた操作の情報と関連付けられた画像に基づいて画像群を抽出する。

Description

画像管理装置
 本発明は、カプセル型内視鏡等の医療用画像取得装置を用いた検査により取得された画像を管理する画像管理装置に関する。
 近年、内視鏡の分野では、患者等の被検体内に導入されて該被検体内を撮像するカプセル型内視鏡を用いた検査が知られている。カプセル型内視鏡は、被検体の消化管内に導入可能な大きさに形成されたカプセル形状の筐体内に撮像機能や無線通信機能等を内蔵した装置であり、被検体内を撮像することにより画像データを生成して、被検体外に順次無線送信する。カプセル型内視鏡から無線送信された画像データは、被検体外に設けられた受信装置に一旦蓄積され、受信装置からワークステーション等の画像管理装置に転送される。画像管理装置において、取得した画像データに対して種々の画像処理を施すことにより、被検体内の臓器等が写った一連の画像が生成される。
 このようなカプセル型内視鏡を用いた検査は、1回あたり約8時間におよび、その間に取得される画像は約6万枚に上る。そのため、これらの画像を全て観察するには非常に時間がかかる。また、これらの画像の中には、被検体外を撮像した画像や、カプセル型内視鏡が被検体内で滞留して同じ部位を繰り返し撮像した画像など、診断に不要な画像も多数含まれる。そこで、従来、一連の画像から診断に有用な画像を抽出してユーザに提示する技術が提案されている。例えば特許文献1には、ユーザの操作により指定された画像とその前後の画像群から動画を作成する技術が開示されている。
特開2007-75163号公報
 ところで、検査により取得された画像データに対しては、画像管理装置の故障、記憶媒体の破損や紛失、データそのものの破損等の事態に備えて、バックアップが作成される。従来、バックアップとしては、一連の画像に対応する画像データの全体の複製を作成して保存していた。或いは、画像データ全体を圧縮して保存することもあった。しかしながら、上述したように、1回の検査により取得される画像の枚数は膨大であるため、画像データ全体の複製を保存すると膨大な記憶容量が必要となり、記憶装置の負荷が非常に大きかった。その結果、記憶装置の増設や買い替えといった対策が必要になり、コストがかさむという問題が生じていた。また、バックアップの作成に要する時間が長いという問題も生じていた。
 そこで、上記特許文献1に開示されているように、診断に有用な画像群のみを抽出してバックアップとして保存することも考えられる。しかしながら、特許文献1においては、ユーザの指定から漏れた画像及びその前後の画像は、診断に有用であってもバックアップが作成されないことになってしまう。
 本発明は、上記に鑑みてなされたものであって、カプセル型内視鏡等の医療用画像取得装置を用いた検査により取得された一連の画像に対し、診断に有用な画像を漏れなく抽出しつつ、従来よりも少ない記憶容量でバックアップを作成することができる画像管理装置を提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本発明に係る画像管理装置は、検査により取得された一連の画像を管理する画像管理装置において、前記一連の画像に対応する画像データを検査毎に記憶する第1の画像記憶部と、前記一連の画像を表示する表示部と、外部からの操作に応じて、前記表示部に表示される画像に対する操作に関する信号を入力する入力部と、前記表示部に表示中の画像に対してなされた所定の操作を表す情報を当該所定の操作の対象となった画像と関連づけて記憶する操作情報記憶部と、前記操作情報記憶部に記憶された前記所定の操作を表す情報と関連付けられた少なくとも1つの画像に基づいて、前記一連の画像から少なくとも1つの画像群を抽出する画像抽出部と、前記画像抽出部により抽出された前記少なくとも1つの画像群に対応する画像データを記憶する第2の画像記憶部と、を備え、前記操作情報記憶部は、1つの検査に含まれる前記一連の画像に対し、前記入力部を介して複数のユーザによりなされた前記所定の操作を表す情報を、ユーザ毎に、当該操作の対象となった画像と関連付けて記憶し、前記画像抽出部は、前記1つの検査に含まれる前記複数のユーザによりなされた前記所定の操作を表す情報と関連付けられた前記少なくとも1つの画像に基づいて、前記少なくとも1つの画像群を抽出することを特徴とする。
 上記画像管理装置において、前記画像抽出部は、前記所定の操作を表す情報と関連付けられた前記少なくとも1つの画像の各々の前及び後に並んだ所定数の画像を1つの画像群として抽出することを特徴とする。
 上記画像管理装置において、前記画像抽出部は、前記所定の操作を表す情報が複数の画像と関連付けられた場合に、前記複数の画像に対してそれぞれ抽出した複数の画像群のうち、重複する画像を含む2つ以上の画像群を1つの画像群としてまとめることを特徴とする。
 上記画像管理装置において、前記画像抽出部は、前記所定の操作を表す情報と関連付けられた前記少なくとも1つの画像に基づいて抽出された少なくとも1つの画像群に含まれる複数の画像のうち、前記複数のユーザの間で重複する画像からなる画像群を抽出することを特徴とする。
 上記画像管理装置は、前記一連の画像に含まれる各画像に対して画像処理を行い、該画像処理の結果に基づいて所定の特性を有する画像にフラグを付加する画像処理部をさらに備え、前記表示部は、前記画像処理部によりフラグが付加された少なくとも1つの画像を表示し、前記画像抽出部は、前記画像処理部によりフラグが付加された少なくとも1つの画像に対し、前記複数のユーザの全てにより該フラグを消去する操作がなされた場合、前記画像処理部によりフラグが付加された少なくとも1つの画像のうち当該フラグを消去する操作がなされた画像を除く画像と、前記複数のユーザによりなされた前記所定の操作を表す情報に関連付けられた少なくとも1つの画像とに基づいて、前記少なくとも1つの画像群を抽出することを特徴とする。
 上記画像管理装置において、前記画像抽出部は、前記画像処理部によりフラグが付加された少なくとも1つの画像に基づいて、前記一連の画像から少なくとも1つの第2の画像群をさらに抽出し、前記第2の画像記憶部は、前記少なくとも1つの第2の画像群に対応する画像データをさらに記憶することを特徴とする。
 上記画像管理装置において、前記画像抽出部は、前記画像処理部によりフラグが付加された少なくとも1つの画像に基づいて、前記一連の画像から少なくとも1つの第2の画像群をさらに抽出し、前記第2の画像記憶部は、前記少なくとも1つの第2の画像群に対応する画像データを記憶し、該第2の画像群に対応する画像データに上書きして、前記少なくとも1つの画像群に対応する画像データを記憶することを特徴とする。
 上記画像管理装置において、前記画像抽出部は、抽出した前記少なくとも1つの画像群から動画を生成し、該生成した動画を前記第2の画像記憶部に記憶させることを特徴とする。
 上記画像管理装置において、前記一連の画像は、被検体内に導入され、該被検体内を移動しながら撮像を行うカプセル型内視鏡により取得された一連の体内画像であることを特徴とする。
 上記画像管理装置において、前記所定の操作は、画像をキャプチャする操作であることを特徴とする。
 上記画像管理装置において、前記所定の操作は、画像にラベル、コメント、又はアノテーションを付加する操作であることを特徴とする。
 上記画像管理装置において、前記所定の操作は、画像を一時停止させて表示させる操作、画像を繰り返し表示させる操作、フレームレートを下げて画像を表示させる操作、又は、画像をコマ送りして表示する操作であることを特徴とする。
 本発明によれば、一連の画像に対して複数のユーザによりなされた所定の操作に関する情報と関連付けられた画像に基づいて画像群を抽出するので、診断に有用な画像を漏れなく抽出しつつ、従来よりも少ない記憶容量でバックアップを作成することが可能となる。
図1は、本発明の実施の形態1に係る画像管理装置を含むカプセル型内視鏡システムを示す模式図である。 図2は、本発明の実施の形態1に係る画像管理装置の構成を示すブロック図である。 図3は、医師等のユーザが一連の画像を観察する際に表示される画面の例を示す模式図である。 図4は、図2に示す画像管理装置の動作を示すフローチャートである。 図5は、ユーザが一連の画像の観察を終了した際に表示される画面の例を示す模式図である。 図6は、レポート作成画面の例を示す模式図である。 図7は、本発明の実施の形態1における動画の作成処理を示すフローチャートである。 図8は、本発明の実施の形態1における動画の作成処理を説明する模式図である。 図9は、本発明の実施の形態1の変形例1における動画の作成処理を説明する模式図である。 図10は、本発明の実施の形態2におけるカプセル型内視鏡システムの動作を示すフローチャートである。 図11は、本発明の実施の形態4に係る画像管理装置の動作を示すフローチャートである。 図12は、本発明の実施の形態4における動画の作成処理を説明する模式図である。 図13は、本発明の実施の形態5に係る画像管理装置の動作を示すフローチャートである。 図14は、本発明の実施の形態5における動画の作成処理を説明する模式図である。 図15は、本発明の実施の形態6に係る画像管理装置の動作を示すフローチャートである。 図16は、本発明の実施の形態7に係る画像管理装置の動作を示すフローチャートである。 図17は、本発明の実施の形態7における動画の作成処理を説明する模式図である。
 以下に、本発明の実施の形態に係る画像管理装置について、図面を参照しながら説明する。なお、これらの実施の形態により本発明が限定されるものではない。以下の実施の形態においては、カプセル型内視鏡を用いた検査により取得された一連の画像を管理する場合を説明するが、本発明に係る画像管理装置は各種医療用画像取得装置により取得された画像を管理する場合に適用することができる。また、各図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態1)
 図1は、カプセル型内視鏡を用いた検査を行うためのカプセル型内視鏡システムを示す模式図である。図1に示すカプセル型内視鏡システムは、本発明の実施の形態1に係る画像管理装置1と、被検体6内に導入されて該被検体6内を撮像することにより画像データを生成して無線送信するカプセル型内視鏡2と、カプセル型内視鏡2から送信された画像データを、被検体6に装着された受信アンテナユニット4を介して受信する受信装置3とを備える。
 画像管理装置1は、検査により時系列順に取得された一連の画像を管理する装置であり、例えばワークステーションやパーソナルコンピュータ等の汎用のコンピュータによって構成される。なお、実施の形態1においては、カプセル型内視鏡2を用いた検査により取得された画像を管理する場合を説明するが、カプセル型内視鏡2以外の各種画像取得装置により取得された画像を管理する際にも画像管理装置1を適用することができる。画像管理装置1の詳細な構成及び動作については後述する。
 カプセル型内視鏡2は、被検体6が嚥下可能な大きさのカプセル形状の筐体に、CCD等の撮像素子、LED等の照明素子、メモリ、信号処理手段、無線通信手段、その他各種部品を内蔵した装置である。撮像素子は筐体の一端側に設けられ、照明素子により照明された筐体の外部の所定範囲を撮像して撮像信号を出力する。カプセル型内視鏡2は、撮像素子から出力された撮像信号に所定の信号処理を施すことにより画像データを生成し、該画像データ及び関連情報を無線信号に重畳して送信する。
 受信装置3は、複数(図1においては8個)の受信アンテナ4a~4hを有する受信アンテナユニット4を介して、カプセル型内視鏡2から送信された無線信号を受信する。各受信アンテナ4a~4hは、例えばループアンテナを用いて構成され、被検体6の体外表面上の所定位置(例えば、カプセル型内視鏡2の通過経路である被検体6内の各臓器に対応した位置)に配置される。
 受信装置3は、受信した無線信号を復調することにより画像データ及び関連情報を取得し、内蔵するメモリに該画像データ及び関連情報を保存する。また、受信装置3は、取得した画像データに基づく画像を表示する表示部3aと、当該受信装置3に対してユーザが所定の操作を行う際に用いられる操作ボタン3bとを備える。さらに、受信装置3は、USB、又は有線LAN、無線LAN等の通信回線と接続可能なインタフェースからなるデータ送信部を備え、これらのインタフェースを介して画像データ及び関連情報を外部機器に転送する。
 図2は、画像管理装置1の構成を示すブロック図である。図2に示すように、画像管理装置1は、入力部11と、画像データ取得部12と、記憶部13と、画像処理部14、表示部15と、制御部16と、バックアップ画像記憶部17とを備える。
 入力部11は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、ユーザにより外部からなされた操作に応じた信号を制御部16に入力する。
 画像データ取得部12は、USB、又は有線LAN、無線LAN等の通信回線と接続可能なインタフェースであり、USBポートやLANポート等を含んでいる。画像データ取得部12は、USBポートに接続される外部機器や各種回線を介して画像データ及び関連情報を取得し、記憶部13に記憶させる。図1に示すように、実施の形態1においては、画像管理装置1のUSBポートに接続されたクレードル3cに受信装置3をセットすることにより、受信装置3が画像管理装置1と接続される。これにより、受信装置3のメモリに蓄積された画像データが、画像管理装置1に順次取り込まれる。
 記憶部13は、フラッシュメモリ、RAM、ROM等の半導体メモリや、HDD、MO、CD-R、DVD-R等の記録媒体及び該記録媒体に対して情報の書き込み及び読み出しを行う書込読取装置等によって構成される第1の記憶部である。記憶部13は、画像管理装置1を動作させて種々の機能を実行させるためのプログラム及び各種設定情報を記憶する。
 また、記憶部13は、画像記憶部131と、検査データベース(DB)記憶部132と、操作情報記憶部133とを備える。このうち、画像記憶部131は、画像データ取得部12から取り込まれた画像データや、後述する画像処理部14により所定の画像処理が施された画像データを記憶する第1の画像記憶部である。
 検査データベース記憶部132は、カプセル型内視鏡2を用いた検査等を管理するための検査データベースを記憶する。検査データベースには、検査の対象である患者に関する情報、検査の内容に関する情報、検査の結果が記録されたレポート、検査により取得された画像の保存先を表すリンク情報等が格納される。
 操作情報記憶部133は、検査により取得された一連の画像が表示部15に表示された際に、これらの画像に対してユーザが行った操作を表す情報を、ユーザ毎に、当該操作の対象となった画像の識別情報と関連付けて記憶する。画像の識別情報としては、例えば、一連の画像における画像の並び順に対応した画像番号が用いられる。
 画像処理部14は、例えばCPU等のハードウェアによって構成され、記憶部13に記憶されたプログラムを読み込むことにより、画像データ取得部12を介して入力された画像データに対応する一連の画像の各々に、所定の画像処理を実行する。具体的には、画像処理部14は、各画像にホワイトバランス処理、デモザイキング、色変換、濃度変換(ガンマ変換等)、平滑化(ノイズ除去等)、鮮鋭化(エッジ強調等)等の画像処理を施し、さらに、各画像の平均色を算出する画像処理や、各画像内から病変等を検出する画像処理を実行する。
 表示部15は、例えば、CRTディスプレイや液晶ディスプレイ等の表示装置であり、制御部16の制御の下で、画像を含む所定の形式の画面やその他の情報を表示する。
 制御部16は、例えばCPU等のハードウェアにより構成され、記憶部13に記憶されたプログラムを読み込むことにより、入力部11から入力される信号等に基づいて、画像管理装置1を構成する各部への指示やデータの転送等を行い、画像管理装置1全体の動作を統括的に制御する。また、制御部16は、画像処理部14により所定の画像処理が施された画像データをもとに、被検体6内が写った一連の画像を所定の形式で表示部15に順次表示させる表示制御部161と、該一連の画像からバックアップする複数の画像を抽出し、抽出した画像から動画を作成する画像抽出部162とを備える。ここでいう動画は、MPEGやAVI等の標準フォーマットの動画でも良いし、画像管理装置1独自のフォーマットの動画でも良い。
 バックアップ画像記憶部17は、フラッシュメモリ、RAM、ROM等の半導体メモリや、HDD、MO、CD-R、DVD-R等の記録媒体及び該記録媒体に対して情報の書き込み及び読み出しを行う書込読取装置等によって構成される第2の記憶部であり、画像記憶部131に記憶された画像データのバックアップ用の画像データを記憶する。図2においては、バックアップ画像記憶部17を画像管理装置1の内部に設けているが、該バックアップ画像記憶部17を外付けHDDで構成する、或いはネットワークを介して接続されたサーバで構成する、など画像管理装置1の外部に設けても良い。
 図3は、表示制御部161の制御の下で表示部15に表示される画面の例を示す模式図である。図3に示す画面D1は、医師等のユーザが一連の画像を観察する際に表示される画面であり、被検体6である患者に関する情報が表示される患者情報表示領域D11と、被検体6の検査に関する情報が表示される検査情報表示領域D12と、検査により取得された一連の画像が順次再生表示される主表示領域D13と、再生操作ボタン群D14と、キャプチャボタンD15と、平均色バーD16と、キャプチャ画像表示領域D17と、ラベルボックスD18と、コメント記入欄D19とを含む。
 再生操作ボタン群D14は、主表示領域D13における画像の再生動作を制御する指示をユーザが入力する際に用いる操作ボタンの集合であり、例えば、頭出しボタン、コマ送りボタン、一時停止ボタン、早送りボタン、再生ボタン、巻き戻しボタン、停止ボタン等を含む。再生操作ボタン群D14に対する入力部11を用いた所定のポインタ操作(例えばポインタP1によるいずれかの操作ボタンのクリック)が行われると、該ポインタ操作に応じた操作信号が表示制御部161に入力される。
 キャプチャボタンD15は、主表示領域D13に表示中の画像をユーザがキャプチャする際に用いられるボタンである。キャプチャボタンD15に対する入力部11を用いた所定のポインタ操作(例えばポインタP1によるクリック)が行われると、主表示領域D13に表示中の画像のキャプチャを指示する信号が入力部11から制御部16に入力される。それにより、キャプチャ画像として識別するためのフラグが該画像に付加され、該画像がキャプチャ画像として登録される。
 平均色バーD16は、一連の画像の平均色を時系列順に配置した帯状のイメージであり、画像処理部14により算出された各画像の平均色に基づいて作成される。平均色バーD16には、主表示領域D13に表示中の画像に対応する平均色バーD16上の位置を示すスライダd1が設けられている。このスライダd1は、主表示領域D13において一連の画像の自動再生を行っている間、表示中の画像の撮像時刻に応じて平均色バーD16上を移動する。なお、本出願において、撮像時刻とは、撮像開始(検査開始)時からの経過時間のことをいう。ユーザは、スライダd1を参照することにより、表示中の画像がいつ撮像されたものであるかを把握することができる。また、スライダd1に対する入力部11を用いた所定のポインタ操作(例えばドラッグアンドドロップ)により、スライダd1を平均色バーD16に沿って移動させると、スライダd1の位置に応じた撮像時刻の画像を主表示領域D13に表示させることができる。
 キャプチャ画像表示領域D17は、キャプチャ画像として登録された画像の縮小画像(以下、サムネイル画像という)が時系列順に一覧表示される領域である。キャプチャ画像表示領域D17には、サムネイル画像の表示範囲をスライドする際に用いられるスライダd2が設けられている。また、このキャプチャ画像表示領域D17内のサムネイル画像と平均色バーD16上の位置との対応関係を示す結線d3を設けても良い。
 ラベルボックスD18には、画像内で観察される特徴に応じて画像を分類するラベルを当該画像に付加する際に用いられる複数のアイコンd4~d7が設けられている。図3に示すアイコンd4~d7には、病変名(潰瘍、ただれ、出血、腫瘍等)が記載されている。ラベルボックスD18に対する入力部11を用いた所定のポインタ操作により、アイコンd4~d7のいずれかが選択されると、選択されたアイコンに関連付けられたラベル(病変名)が、主表示領域D13に表示中の画像に付加される。
 コメント記入欄D19は、キーボード等の入力デバイスを用いたテキスト情報の入力が可能な領域であり、主表示領域D13に表示中の画像に対してユーザがコメントを入力する際に用いられる。コメント記入欄D19にテキスト情報が入力されると、主表示領域D13に表示中の画像に当該テキスト情報からなるコメントが付加される。
 次に、画像管理装置1の動作について説明する。図4は、画像管理装置1の動作を示すフローチャートである。
 まず、ステップS100において、画像データ取得部12は、カプセル型内視鏡2等を用いた検査により取得された一連の画像の画像データを取得し、画像記憶部131に記憶させる。この際、画像データ取得部12は、図1に示す受信装置3からクレードル3cを介して画像データを取得しても良いし、各種通信回線を介して画像データを取得しても良い。
 続くステップS101において、画像処理部14は、ステップS100において取得した画像データに対応する一連の画像の各々にホワイトバランス処理、デモザイキング、色変換、濃度変換、平滑化、鮮鋭化等の画像処理を施し、さらに各画像の平均色を検出する画像処理や、各画像内から病変等を検出する画像処理を実行する。なお、ステップS100においては、上述した画像処理が既に施された画像データを取得しても良く、その場合、ステップS101は省略される。
 続いて、画像管理装置1は、一連の画像を観察するユーザ(観察者)毎に、ループAの処理を実行する。即ち、まず、ステップS102において、表示制御部161は、画像処理部14により画像処理が施された画像データに基づく一連の画像を表示部15に順次表示させる(図3参照)。
 続くステップS103において、制御部16は、主表示領域D13に表示中の画像のキャプチャを指示する信号が入力されたか否かを判定する。キャプチャを指示する信号が入力された場合(ステップS103:Yes)、制御部16は、当該画像に対し、キャプチャ画像として識別するためのフラグを付加し(ステップS104)、さらに、当該画像を縮小してキャプチャ画像表示領域D17に表示させる。一方、画像のキャプチャを指示する信号が入力されない場合(ステップS103:No)、画像管理装置1の動作はステップS105に移行する。
 ステップS105において、制御部16は、当該ユーザによる画像の観察を終了させるか否かを判定する。例えば、主表示領域D13に表示中の画像が、一連の画像の最終画像となった場合、制御部16は、観察を終了させると判定する。或いは、ユーザが入力部11を用いて所定の終了操作を行ったときに、制御部16は観察を終了させると判定しても良い。
 観察を終了させない場合(ステップS105:No)、画像管理装置1の動作はステップS102に移行する。一方、観察を終了させる場合(ステップS105:Yes)、制御部16は、ステップS104においてフラグが付加された画像(キャプチャ画像)の識別情報(例えば画像番号)をユーザ毎に操作情報記憶部133に記憶させる(ステップS106)。
 続くステップS107において、制御部16は、レポート作成の開始を指示する信号が入力されたか否かを判定する。レポート作成の開始を指示する信号は、一連の画像に対して予定された複数のユーザの全員が観察を終了した際に、いずれかのユーザが行った操作に応じて入力される。例えば、入力部11が備える特定のキーやボタン等の押下に応じて該信号が入力されるようにしても良いし、入力部11を用いた表示部15の画面上でのポインタ操作に応じて該信号が入力されるようにしても良い。
 図5は、ユーザが一連の画像の観察を終了した際に表示部15に表示される画面の例を示す模式図である。図5に示す画面D2は、レポート作成を開始する否かをユーザに質問するテキストメッセージD21と、レポート作成を開始するか否かをユーザが入力する際に用いるアイコンD22、D23と、当該一連の画像に対して観察を行ったユーザ名(例えば観察者A、B、…)が表示される観察者表示欄D24と、観察者表示欄D24に表示されたユーザ名から選択されたユーザを確定する際に用いられるOKボタンD25とを含む。このような画面D2に対して入力部11を用いた所定のポインタ操作(例えばアイコンD22のクリック)が行われると、レポート作成の開始を指示する信号が制御部16に入力される。
 レポート作成の開始を指示する信号が入力されない場合(ステップS107:No)、画像管理装置1は、別のユーザに対してループAの処理を実行する。
 一方、レポート作成の開始を指示する信号が入力された場合(ステップS107:Yes)、制御部16は、複数のユーザによる観察結果のうち、レポートに適用する観察結果を決定する(ステップS108)。ここで、複数のユーザのうち、レポート作成を担当するユーザが予め定められている場合、制御部16は当該ユーザによる観察結果をレポートに適用する観察結果として決定する。或いは、レポート作成の開始を指示する信号が入力された際に、レポートに適用する観察結果をユーザに選択させることとしても良い。例えば、画面D2に対する入力部11を用いたポインタ操作により、観察者表示欄D24に表示された複数のユーザのうちの1人が選択され、さらにOKボタンD25が押下されると、当該ユーザを選択する信号が入力部11から制御部16に入力され、これに応じて、制御部16が、当該ユーザによる観察結果をレポートに適用することを決定する構成としても良い。
 ステップS109において、制御部16はレポート作成用の画像を表示部15に表示させ、ユーザにレポートを作成させる。図6は、表示部15に表示されるレポート作成画面の例を示す模式図である。このレポート作成画面D3は、被検体6である患者に関する情報が表示される患者情報表示領域D31と、患者に対して行った検査に関する情報が表示される検査情報表示領域D32と、レポート作成を担当するユーザの氏名が表示されるレポート作成者表示領域D33と、ユーザが所見を記入するための所見記入領域D34と、一連の画像の観察中にユーザが選択したキャプチャ画像が縮小して表示されるキャプチャ画像表示領域D35と、確定ボタンD36とを含む。このうち、キャプチャ画像表示領域D35には、ステップS108において決定された観察結果、即ち、レポートに適用する観察結果が含まれているキャプチャ画像の縮小画像が表示される。ユーザは、入力部11を用いたレポート作成画面D3での操作により、所見をテキスト入力し、キャプチャ画像の中からレポートに添付する画像を選択した上で確定ボタンD36を押下する。
 ステップS110において、制御部16は、ユーザによりテキスト入力されたレポートの内容を確定し、記憶部13に記憶させる。
 続くステップS111において、制御部16は、一連の画像のバックアップとして保存する動画を作成する。本実施の形態1においては、キャプチャ画像及びその前及び後に並ぶ所定数の画像を抽出し、抽出した連続する複数の画像から1つの動画を作成してバックアップとして保存する。図7は、動画の作成処理を示すフローチャートである。また、図8は、動画の作成処理を説明する模式図である。
 まず、ステップS121において、画像抽出部162は、キャプチャ画像の前及び後から抽出する画像(以下、前画像及び後画像といい、これらを合わせて前後画像という)の枚数情報を記憶部13から取得する。前画像の枚数と後画像の枚数は同じであっても良いし、異なっていても良い。本実施の形態1においては、前画像及び後画像の枚数を、各k枚(kは自然数)に設定する。
 続くステップS122において、画像抽出部162は、当該一連の画像に対して観察を行った全てのユーザ(観察者)の観察結果に基づき、操作情報記憶部133からキャプチャ画像の識別情報を取得する。本実施の形態1においては、画像番号を識別情報として用いる。例えば図8に示すように、一連の画像m(1)~m(N)(Nは自然数)に対して観察者A及びBの2名が観察を行った場合、画像抽出部162は、観察者Aがキャプチャした画像m(a1)、m(a2)、m(a3)、m(a4)の画像番号a1、a2、a3、a4と、観察者Bがキャプチャした画像m(b1)、m(b2)、m(b3)の画像番号b1、b2、b3とを取得する。ここで、1≦a1<a2<a3<a4≦N、1≦b1<b2<b3≦Nである。
 続いて、画像抽出部162は、識別情報を取得した各キャプチャ画像についてループaの処理を実行する。即ち、まず、ステップS123において、画像抽出部162は、キャプチャ画像の前後画像の識別情報を順次取得する。
 続くステップS124において、画像抽出部162は、処理対象のキャプチャ画像及びその前後画像の識別情報が、バックアップ対象として既に抽出した画像の識別情報と重複するか否かを判定し、識別情報が重複しない画像をバックアップ対象として新たに抽出する。
 このようなループaの処理により、例えば図8の場合には以下の画像が抽出される。まず、キャプチャ画像m(a1)並びにその前画像m(a1-k)~m(a1-1)及び後画像m(a1+1)~m(a1+k)がバックアップ対象として抽出される。なお、図8においては、バックアップ対象として抽出された画像に斜線又は格子状の網掛けを附している。
 次に、キャプチャ画像m(a2)並びにその前画像m(a2-k)~m(a2-1)及び後画像m(a2+1)~m(a2+k)は、既に抽出された画像m(a1-k)~m(a1+k)とは画像番号が重複しないので、全てバックアップ対象として抽出される。
 キャプチャ画像m(a3)並びにその前画像m(a3-k)~m(a3-1)及び後画像m(a3+1)~m(a3+k)については、前画像m(a3-k)~m(a3-1)の一部が、画像m(a2)の後画像m(a2+1)~m(a2+k)と画像番号の一部が重複する。従って、画像番号が重複しない画像m(a2+k+1)~m(a3+k)のみがバックアップ対象として抽出される。
 キャプチャ画像m(b1)並びにその前画像m(b1-k)~m(b1-1)及び後画像m(b1+1)~m(b1+k)については、その一部が、既に抽出された画像m(a2+1)~m(a3+k)の一部と重複する。従って、画像番号が重複しない画像m(a3+k+1)~m(b1+k)のみがバックアップ対象として抽出される。
 同様にして、キャプチャ画像m(b2)、m(b3)、m(a4)についても順次処理を行うことにより、画像m(b1+k+1)~m(b2+k)、m(b3-k)~m(b3+k)、m(a4-k)~m(a4+k)がバックアップ対象として抽出される。
 全てのキャプチャ画像についてループaの処理を実行した後、ステップS125において、画像抽出部162は、動画のフレームレート情報及び画質情報を取得する。
 続くステップS126において、画像抽出部162は、ループaの処理により抽出した画像から、識別情報が連続する画像群を抽出する。例えば図8の場合、画像番号が連続する画像m(a1-k)~m(a1+k)、m(a2-k)~m(b2+k)、m(b3-k)~m(b3+k)、画像m(a4-k)~m(a4+k)が、それぞれ1つの画像群として抽出される。即ち、各キャプチャ画像及びその前後画像からなる画像群の間で重複する画像がある場合、それらの画像群は1つにまとめられる。
 続くステップS127において、画像抽出部162は、ステップS125において取得したフレームレート情報及び画質情報を適用して、ステップS126において抽出した各画像群から動画を作成する。それにより、図8の場合、4つの動画M1~M4が作成される。
 ステップS128において、画像抽出部162は、ループaの処理により抽出した全てのバックアップ対象の画像から動画を作成したか否かを判定する。全てのバックアップ対象の画像から動画を作成した場合(ステップS128:Yes)、処理はメインルーチンに戻る。一方、未だ動画を作成していないバックアップ対象の画像が残っている場合(ステップS128:No)、処理はステップS126に戻る。
 再び図4を参照すると、ステップS111に続くステップS112において、制御部16は、ステップS111において作成した動画をバックアップ画像記憶部17に記憶させる。
 さらに、ステップS113において、制御部16は、検査データベース記憶部132に記憶された当該検査に関するデータベースに、ステップS112において記憶させた動画へのリンク情報を登録する。
 その後、当該一連の画像に関する画像管理装置1の動作は終了する。
 以上説明したように、実施の形態1によれば、カプセル型内視鏡等を用いた検査により取得された一連の画像に対し、複数のユーザがキャプチャした画像に基づいて抽出された画像から動画を作成し、該動画をバックアップとして保存する。従って、診断に有用な画像を漏れなく抽出しつつ、従来よりも少ない記憶容量でバックアップを作成することが可能となる。
(変形例1)
 次に、本発明の実施の形態1の変形例1について説明する。図9は、本変形例1における動画の作成処理を説明する模式図である。
 上記実施の形態1においては、少なくとも1人のユーザがキャプチャした画像及びその前後画像をバックアップ対象として抽出した。しかしながら、各ユーザがキャプチャした画像及びその前後画像のうち、全てのユーザ間で共通する画像のみをバックアップ対象として抽出しても良い。例えば図9に示すように、観察者Aがキャプチャした画像m(a1)、m(a2)、m(a3)、m(a4)及びその前後画像と、観察者Bがキャプチャした画像m(b1)、m(b2)、m(b3)及びその前後画像とで、識別情報(画像番号)が重複する画像m(b1-k)~m(a3+k)を抽出し、これらの画像をもとに動画を作成してバックアップとして保存しても良い。
 本変形例1によれば、複数のユーザが共通して診断に有用だと考える画像をバックアップすることができる。
(実施の形態2)
 次に、本発明の実施の形態2について説明する。
 上記実施の形態1においては、検査の終了後、画像管理装置1に転送された画像データに基づいて表示部15に表示された画像を各ユーザが観察し、その観察結果をもとにバックアップの動画を作成した。しかしながら、検査を行っている最中にユーザがリアルタイムに画像を観察し、その間にキャプチャした画像をもとにバックアップの動画を作成しても良い。
 図10は、実施の形態2におけるカプセル型内視鏡システムの動作を示すフローチャートである。なお、本実施の形態2におけるカプセル型内視鏡システムの構成は、実施の形態1と同様である(図2参照)。
 ステップS200において、カプセル型内視鏡2の電源がオンにされると、カプセル型内視鏡2は撮像及び画像データの無線送信を開始する(ステップS201)。これに応じて受信装置3は、画像データを受信する(ステップS202)。
 ステップS203において、受信装置3は、受信した画像データに対して所定の信号処理を施すことにより、表示部3aに画像を表示する。医師等のユーザは、カプセル型内視鏡2が撮像した画像が表示部3aに表示されることを確認した後、カプセル型内視鏡2を被検体6である患者に嚥下させる。
 ステップS204において、受信装置3は、表示部3aに表示中の画像のキャプチャを指示する操作がなされたか否かを判定する。キャプチャを指示する操作としては、例えば、画像の表示中に操作ボタン3bを押下するといった所定の操作が挙げられる。画像のキャプチャを指示する操作がなされた場合(ステップS204:Yes)、受信装置3は、表示中の画像をキャプチャ画像として抽出するためのフラグを画像データに付加する(ステップS205)。一方、画像のキャプチャを指示する操作がなされない場合(ステップS204:No)、受信装置3の動作はステップS206に移行する。
 なお、医師等のユーザは、カプセル型内視鏡2が被検体6内の画像を正常に撮像していることを確認した後、リアルタイムに画像をキャプチャする必要がなければ、被検体6を検査室等から解放し、受信装置3を携帯させたまま、所定の時刻まで自由行動させても良い。
 ステップS206において、受信装置3は、検査が終了したか否かを判定する。例えば、カプセル型内視鏡2からの画像データの送信が停止した、或いは、受信装置3に対して検査の終了を指示する操作がなされたといった場合に、受信装置3は検査が終了したと判定する。
 検査が未だ終了していない場合(ステップS206:No)、受信装置3の動作はステップS202に移行する。一方、検査が終了した場合(ステップS206:Yes)、受信装置3は画像管理装置1に画像データを転送する(ステップS207)。画像データの転送は、ユーザが画像管理装置1と接続されたクレードル3cに受信装置3をセットすることにより開始される。
 ステップS208において、画像管理装置1は、受信装置3から受け取った画像データに対して所定の画像処理を行い、画像処理済みの画像データを記憶部13に記憶させる。
 続いて、画像管理装置1は、一連の画像を観察するユーザ(観察者)毎に、ループBの処理を実行する。即ち、まず、ステップS209において、表示制御部161は、ステップS205においてフラグが付加された画像(キャプチャ画像)を抽出し、表示部15のキャプチャ画像表示領域D17(図3参照)に表示させる。この際、ユーザは、キャプチャ画像表示領域D17を参照して、キャプチャしておく必要のない画像をキャプチャ画像表示領域D17から削除しても良い。画像の削除は、画面D1に対する入力部11を用いた所定のポインタ操作(例えば、キャプチャ画像表示領域D17に表示された所望の画像に対するダブルクリック等)により行うことができる。また、検査を担当したユーザ(即ち、受信装置3においてキャプチャを行ったユーザ)以外のユーザが画像管理装置1において一連の画像を観察する際には、受信装置3においてキャプチャされた画像をキャプチャ画像表示領域D17に表示しなくても良い。
 続くステップS210において、表示制御部161は、記憶部13に記憶された画像データに基づく一連の画像を表示部15の主表示領域D13に順次表示させる。
 ステップS211において、制御部16は、主表示領域D13に表示中の画像に対してキャプチャを指示する信号が入力された否かを判定する。この判定方法は、実施の形態1と同様である(図4のステップS103参照)。
 画像のキャプチャを指示する信号が入力された場合(ステップS211:Yes)、制御部16は、当該画像に対し、キャプチャ画像として識別するためのフラグを付加し(ステップS212)、さらに、当該画像を縮小してキャプチャ画像表示領域D17に表示させる。一方、画像のキャプチャを指示する信号が入力されない場合(ステップS211:No)、画像管理装置1の動作はステップS213に移行する。
 ステップS213において、制御部16は、当該ユーザによる画像の観察を終了させるか否かを判定する。この判定方法については、実施の形態1と同様である(図4のステップS105参照)。
 観察を終了させない場合(ステップS213:No)、画像管理装置1の動作はステップS210に戻る。一方、観察を終了させる場合(ステップS213:Yes)、制御部16は、ステップS205及びS212においてフラグが付加された画像(キャプチャ画像)の識別情報(例えば画像番号)をユーザ毎に操作情報記憶部133に記憶させる(ステップS214)。
 続くステップS215において、制御部16は、レポート作成の開始を指示する信号が入力されたか否かを判定する。この判定方法については、実施の形態1と同様である(図4のステップS107参照)。
 レポート作成の開始を指示する信号が入力されない場合(ステップS215:No)、画像管理装置1は、別のユーザに対してループBの処理を実行する。
 一方、レポート作成の開始を指示する信号が入力された場合(ステップS215:Yes)、画像管理装置1の動作はステップS108に移行する。続くステップS108~S113の動作は実施の形態1と同様である。
 以上説明したように、実施の形態2によれば、検査の間に受信装置3にリアルタイムに表示された画像のうち、医師等のユーザがキャプチャした画像をもとに、バックアップの動画を作成することができる。従って、医師等のユーザが検査中に要確認と認識した画像のバックアップを漏れなく作成することが可能となる。
(実施の形態3)
 次に、本発明の実施の形態3について説明する。
 上記実施の形態1においては、ユーザがキャプチャした全ての画像をもとにバックアップ用の動画を作成した。しかしながら、キャプチャ画像のうち、ラベルやコメントやアノテーションが付けられた画像、即ち、ユーザが特に注目した画像をもとに、バックアップ用の動画を作成しても良い。
 ここで、ラベル、コメント、及びアノテーションは、画面D1(図3参照)における入力部11を用いた所定の操作により付加することができる。例えば、ラベルは、ラベルボックスD18内に設けられたアイコンd4~d7のいずれかを選択することにより付加される。また、コメントは、コメント記入欄D19にテキストを入力することにより付加される。さらに、アノテーションは、キャプチャ画像表示領域D17に表示されたキャプチャ画像に対する所定のポインタ操作(例えば右クリック等)により、アノテーションを付加するための画面を表示させ、この画面において画像上に図形(矢印、楕円形、四角形、三角形等)やテキストを入力することにより付加することができる(図示は省略)。
 本実施の形態3においては、図7のステップS122において、制御部16が、キャプチャ画像のうち、ラベルやコメントやアノテーションが付加された画像の識別情報を取得する。そして、続くステップS123~S128においては、ステップS122において取得した識別情報をもとに処理を行うことにより動画を作成する。
 このような実施の形態3によれば、キャプチャ画像のうち、各ユーザが特に注目した画像をもとにバックアップ用の動画を作成するので、バックアップのために必要な記憶容量をさらに低減することができる。
(実施の形態4)
 次に、本発明の実施の形態4について説明する。
 上記実施の形態1においては、一連の画像の観察時に各ユーザがキャプチャした画像をもとにバックアップ用の動画を作成した。しかしながら、レポート作成時に、レポート作成を担当するユーザが、自身がキャプチャした画像以外の画像をレポート用として選択する場合がある。このような場合、さらに、レポート用として選択された画像をもとにバックアップ用の動画を作成しても良い。
 図11は、本実施の形態4に係る画像管理装置の動作を示すフローチャートである。また、図12は、本実施の形態4における動画の作成処理を説明する模式図である。なお、図11に示すステップS100~S109は、実施の形態1と同様である(図4参照)。
 ステップS109に続くステップS150において、既にキャプチャされた画像以外の画像のキャプチャを指示する信号が入力されたか否かを判定する。キャプチャを指示する信号が入力された場合(ステップS150:Yes)、制御部16は、当該画像に対し、キャプチャ画像として識別するためのフラグを付加する(ステップS151)。一方、画像のキャプチャを指示する信号が入力されない場合(ステップS150:No)、画像管理装置1の動作はステップS110に移行する。
 ステップS110~S113の動作は、実施の形態1と同様である。ただし、ステップS111においては、ステップS104及びS151においてフラグが付加された画像の識別情報にもとづいて動画が作成される。即ち、図7のステップS122においては、観察者A及びBがキャプチャした画像m(a1)、m(a2)、m(a3)、m(b1)、m(b2)、m(b3)、m(a4)の識別情報に加えて、観察者Aがレポート作成時にレポート用としてキャプチャした画像m(d1)の識別情報が抽出される。ここで、1≦d1≦Nである。そして、続くステップS123~S128においては、これらの識別情報をもとに処理が行われる。その結果、画像群m(a1-k)~m(a1+k)、m(a2-k)~m(b2+k)、m(b3-k)~m(b3+k)、m(d1-k)~m(a4+k)がバックアップ対象画像として抽出され、これらの各画像群からなる動画が作成される。
 本実施の形態4によれば、一連の画像に対する複数のユーザによる観察結果に加えて、レポート作成時にレポート用として選択された画像をもとにバックアップ用の動画を作成するので、診断に有用な画像のバックアップをさらに漏れなく作成することが可能となる。
(実施の形態5)
 次に、本発明の実施の形態5について説明する。
 図13は、本実施の形態5に係る画像管理装置の動作を示すフローチャートである。なお、実施の形態5に係る画像管理装置の構成は実施の形態1と同様である(図2参照)。本実施の形態5は、各ユーザがキャプチャした画像に加えて、画像処理により要注目と判断された画像をもとに、バックアップ用の動画を作成することを特徴とする。
 まず、ステップS300において、画像データ取得部12は、カプセル型内視鏡2等を用いた検査により取得された一連の画像の画像データを取得し、画像記憶部131に記憶させる。
 続くステップS301において、画像処理部14は、ステップS300において取得した画像データにホワイトバランス処理、デモザイキング、色変換、濃度変換(ガンマ変換等)、平滑化(ノイズ除去等)、鮮鋭化(エッジ強調等)等の画像処理を施し、さらに、各画像の平均色を検出する画像処理を実行すると共に、各画像から潰瘍、出血、腫瘍といった病変等を検出する画像処理を実行する。
 続くステップS302において、画像処理部14は、画像処理の結果に基づいて、所定の特性を有する画像に当該特性を有する旨を示すフラグを付加する。所定の特性を有する画像とは、具体的には、特定の特徴量が基準値以上である画像や、特定の病変が検出された画像や、検出された病変の程度が所定の基準以上である画像等のことである。
 続いて、画像管理装置1は、一連の画像を観察するユーザ(観察者)毎に、ループCの処理を実行する。即ち、まず、ステップS303において、表示制御部161は、ステップS302においてフラグが付加された画像を抽出し、表示部15のキャプチャ画像表示領域D17(図3参照)に表示させる。この際、ユーザは、キャプチャ画像表示領域D17を参照して、キャプチャしておく必要のない画像をキャプチャ画像表示領域D17から削除しても良い。画像の削除は、画面D1に対する入力部11を用いた所定のポインタ操作(例えば、キャプチャ画像表示領域D17に表示された画像に対するダブルクリック等)により行うことができる。キャプチャ画像表示領域D17から削除された画像には、当該ユーザが削除した旨を示すフラグがさらに付加される。
 続くステップS304において、表示制御部161は、記憶部13に記憶された画像データに基づく一連の画像を表示部15の主表示領域D13に順次表示させる。
 ステップS305において、制御部16は、主表示領域D13に表示中の画像に対してキャプチャを指示する信号が入力されたか否かを判定する。この判定方法は、実施の形態1と同様である(図4のステップS103参照)。
 画像のキャプチャを指示する信号が入力された場合(ステップS305:Yes)、制御部16は、当該画像に対し、キャプチャ画像として識別するためのフラグを付加し(ステップS306)、さらに、当該画像を縮小してキャプチャ画像表示領域D17に表示させる。一方、画像のキャプチャを指示する信号が入力されない場合(ステップS305:No)、画像管理装置1の動作はステップS307に移行する。
 ステップS307において、制御部16は、当該ユーザによる画像の観察を終了させるか否かを判定する。この判定方法については、実施の形態1と同様である(図4のステップS105参照)。
 観察を終了させない場合(ステップS307:No)、画像管理装置1の動作はステップS304に移行する。一方、観察を終了させる場合(ステップS307:Yes)、制御部16は、ステップS302及びS306においてフラグが付加された画像(キャプチャ画像)の識別情報(例えば画像番号)をユーザ毎に操作情報記憶部133に記憶させる(ステップS308)。
 続くステップS309において、制御部16は、レポート作成の開始を指示する信号が入力されたか否かを判定する。この判定方法については、実施の形態1と同様である(図4のステップS107参照)。
 レポート作成の開始を指示する信号が入力されない場合(ステップS309:No)、画像管理装置1は、別のユーザに対してループCの処理を実行する。
 一方、レポート作成の開始を指示する信号が入力された場合(ステップS309:Yes)、画像管理装置1の動作はステップS108に移行する。続くステップS108~S113の動作は実施の形態1と同様である。
 図14は、本実施の形態5における動画の作成処理(ステップS111)を説明する模式図である。本実施の形態5においては、複数のユーザ(図14においては、観察者A及びB)による一連の画像に対する観察結果に加えて、画像処理の結果をもとにバックアップ用の動画を作成する。即ち、図7のステップS122においては、観察者A及びBがキャプチャした画像m(a1)、m(a2)、m(a3)、m(b1)、m(b2)、m(b3)、m(a4)の識別情報に加えて、画像処理の結果に基づいてフラグが付加された画像m(c1)、m(c2)、m(c3)、m(c4)、m(c5)、m(c6)の識別情報が抽出される。ここで、1≦c1<c2<c3<c4<c5<c6≦Nである。そして、続くステップS123~S128においては、これらの識別情報をもとに処理が行われる。
 ただし、画像処理の結果に基づいてフラグが付加された画像であっても、画像観察の際に全てのユーザによりキャプチャ画像表示領域D17から削除された画像(ステップS303参照)は、動画の作成に用いなくても良い。例えば、図14の場合、画像m(c5)は、観察者A及びBが共に削除した画像なので、動画の作成には用いられない。一方、画像m(c6)は、観察者Aは削除したが、観察者Bは削除しなかった画像なので、動画の作成に用いられる。その結果、画像群m(c1-k)~m(a1+k)、m(a2-k)~m(b2+k)、m(b3-k)~m(b3+k)、m(c6-k)~m(c6+k)、m(a4-k)~m(a4+k)がバックアップ対象画像として抽出され、これらの画像群からなる動画が作成される。
 以上説明したように、本実施の形態5によれば、一連の画像に対する複数のユーザによる観察結果に加えて、画像処理の結果を利用してバックアップ用の動画を作成するので、診断に有用な画像のバックアップをさらに漏れなく作成することが可能となる。
(実施の形態6)
 次に、本発明の実施の形態6について説明する。
 図15は、本発明の実施の形態6に係る画像管理装置の動作を示すフローチャートである。なお、実施の形態6に係る画像管理装置の構成は実施の形態1と同様である(図2参照)。また、図15のステップS300~S302は、実施の形態5と同様である(図13参照)。
 ステップS302に続くステップS400において、制御部16は、ステップS302においてフラグが付加された画像及びその前後画像からバックアップ用の動画を作成する。動画の作成処理は、図7に示すキャプチャ画像をフラグが付加された画像に読み替え、ステップS121~S128に沿って行われる。例えば図14に示すように、画像m(c1)、m(c2)、m(c3)、m(c4)、m(c5)、m(c6)にフラグが付加された場合、画像群m(c1-k)~m(c1+k)、m(c2-k)~m(c4+k)、m(c5-k)~m(c5+k)、m(c6-k)~m(c6+k)がバックアップ対象画像として抽出され、これらの画像群からなる動画がそれぞれ作成される。
 続くステップS401において、制御部16は、ステップS400において作成した動画をバックアップ画像記憶部17に記憶させる。
 続くステップS402において、制御部16は、検査データベース記憶部132に記憶された当該検査に関するデータベースに、ステップS401において記憶させた動画へのリンク情報を登録する。
 続くステップS303~S113の動作は、実施の形態5及び実施の形態1と同様である。その結果、図14の場合、画像群m(c1-k)~m(a1+k)、m(a2-k)~m(b2+k)、m(b3-k)~m(b3+k)、m(c6-k)~m(c6+k)、m(a4-k)~m(a4+k)がバックアップ対象画像として抽出され、これらの画像群からなる動画が作成されて(ステップS111)、バックアップ画像記憶部17に記憶される。なお、ステップS112においては、ステップS111で作成した動画を、ステップS401とは異なる記憶領域に記憶させる。
 このような実施の形態6によれば、画像処理の結果に基づいて、いち早く動画を作成して保存するので、一連の画像に対する全てのユーザによる観察が終了するまでの間、画像記憶部131に記憶された画像データの消失に備えたバックアップを確保することができる。
(変形例2)
 次に、本発明の実施の形態6の変形例2について説明する。
 上述した実施の形態6に対し、図15のステップS112においては、複数のユーザによる観察結果に基づいて作成された動画(ステップS111参照)を、画像処理の結果に基づいて作成された動画(ステップS400参照)に上書きして保存しても良い。この場合、一連の画像に対する全てのユーザによる観察が終了するまでの間、画像記憶部131に記憶された画像データの消失に備えたバックアップを確保しつつ、最終的に保存されるバックアップの記憶容量を低減することが可能となる。
(実施の形態7)
 次に、本発明の実施の形態7について説明する。
 図16は、本発明の実施の形態7に係る画像管理装置の動作を示すフローチャートである。なお、実施の形態7に係る画像管理装置の構成は実施の形態1と同様である(図2参照)。また、図16のステップS100及びS101は、実施の形態1と同様である(図4参照)。
 ステップS101に続いて、画像管理装置1は、一連の画像を観察するユーザ(観察者)毎に、ループDの処理を実行する。即ち、まず、ステップS102において、表示制御部161は、画像処理部14により画像処理が施された画像データに基づく一連の画像を表示部15に順次表示させる(図3参照)。表示部15に画像が表示されている間、ユーザは、画面D1に表示された再生操作ボタン群D14に対する入力部11を用いた所定のポインタ操作(例えば、所望の操作ボタンのクリック)により、所望の再生操作を行うことができる。
 続くステップS103において、制御部16は、主表示領域D13に表示中の画像のキャプチャを指示する信号が入力されたか否かを判定する。キャプチャを指示する信号が入力された場合(ステップS103:Yes)、制御部16は、当該画像に対し、キャプチャ画像として識別するためのフラグを付加し(ステップS104)、さらに、当該画像を縮小してキャプチャ画像表示領域D17に表示させる。一方、画像のキャプチャを指示する信号が入力されない場合(ステップS103:No)、画像管理装置1の動作はステップS500に移行する。
 ステップS500において、制御部16は、主表示領域D13に表示中の画像に対して所定の再生操作が行われている場合に、該再生操作を示すフラグを当該画像に付加する。所定の再生操作とは、例えば、一時停止、逆再生、繰り返し再生、フレームレートを低下させた状態での再生、コマ送り再生等が挙げられる。
 続くステップS105において、制御部16は、当該ユーザによる画像の観察を終了させるか否かを判定する。この判定方法については、実施の形態1と同様である(図4参照)。観察を終了させない場合(ステップS105:No)、画像管理装置1の動作はステップS102に戻る。一方、観察を終了させる場合(ステップS105:Yes)、制御部16は、ステップS104においてフラグが付加された画像(キャプチャ画像)及びステップS500においてフラグが付加された画像、即ち、所定の再生操作を受けた画像の識別情報をユーザ毎に操作情報記憶部133に記憶させる(ステップS501)。
 続くステップS107において、制御部16は、レポート作成の開始を指示する信号が入力されたか否かを判定する。この判定方法については、実施の形態1と同様である(図4参照)。レポート作成の開始を指示する信号が入力されない場合(ステップS107:No)、画像管理装置1は、別のユーザに対してループDの処理を実行する。
 一方、レポート作成の開始を指示する信号が入力された場合(ステップS107:Yes)、画像管理装置1の動作はステップS108に移行する。続くステップS108~S113の動作は実施の形態1と同様である。
 図17は、本実施の形態7における動画の作成処理(ステップS111)を説明する模式図である。本実施の形態7においては、各ユーザ(図17においては、観察者A、B)が一連の画像を観察している間にキャプチャした画像に加えて、所定の再生操作を行った画像をもとに動画を作成する。即ち、図7のステップS122においては、観察者A及びBがキャプチャした画像m(a1)、m(a2)、m(a3)、m(b1)、m(b2)、m(b3)、m(a4)の識別情報に加えて、観察者Aが行った所定の再生操作の対象となった画像m(t1)~m(t2)、m(t3)~m(t4)の識別情報が取得される。ここで、1≦t1<t2<t3<t4≦Nである。
 そして、続くステップS123~S128においては、これらの識別情報をもとに処理が行われる。なお、所定の再生操作の対象となった画像に対して取得される前後画像は、キャプチャ画像に対して取得される前後画像と同じ枚数であっても良いし、異なる枚数であっても良い。図17においては、画像m(t1)~m(t2)、m(t3)~m(t4)に対して取得される前画像及び後画像の枚数をゼロ枚としている。その結果、画像群m(a1-k)~m(a1+k)、m(a2-k)~m(b2+k)、m(t1)~m(t2)、m(b3-k)~m(t4)、m(a4-k)~m(a4+k)がバックアップ対象画像として抽出され、これらの画像群からなる動画が作成される。
 以上説明したように、本実施の形態7によれば、繰り返し再生された画像や、フレームレートを下げて再生された画像や、コマ送り再生された画像等、ユーザがじっくり観察したと考えられる画像をバックアップとして保存することができる。
(変形例3)
 次に、本発明の実施の形態1~7の変形例3について説明する。
 上述した実施の形態1~7においては、1つの撮像素子が設けられ、筐体の一端側を撮像可能なカプセル型内視鏡2を用いることにより、1回の検査で時系列順に並んだ一連の画像を取得することとした。しかしながら、2つの撮像素子が設けられ、筐体の両端側(例えば、前方側及び後方側)を撮像可能なカプセル型内視鏡を用いても良い。この場合、1回の検査で、2つの撮像素子によりそれぞれ撮像された2揃いの画像群が取得されるため、2揃いの画像群の各々に対して複数のユーザが行った観察の結果をもとに、2揃いの動画をバックアップとして作成すれば良い。
(変形例4)
 次に、本発明の実施の形態1~7の変形例4について説明する。
 上述した実施の形態1~7においては、バックアップとして複数の動画(例えば図8の場合、動画M1~M4)が作成された場合に、それらの動画をそのまま保存した。しかしながら、これらの動画を時系列順に繋ぎ合わせ、1つの動画にして保存しても良い。
(変形例5)
 次に、本発明の実施の形態1~7の変形例5について説明する。
 上述した実施の形態1~7においては、検査により取得された一連の画像を画像記憶部131に記憶させ、該一連の画像から作成したバックアップ用の動画をバックアップ画像記憶部17に記憶させた。しかしながら、バックアップの動画を作成した後であれば、ユーザの選択により、もとの一連の画像を画像記憶部131から削除しても良い。
 以上説明した本発明は、実施の形態1~7及び変形例1~5に限定されるものではなく、仕様等に応じて種々変形することが可能であり、例えば上記実施の形態1~7及び変形例1~5に示される全構成要素からいくつかの構成要素を除外して形成しても良い。本発明の範囲内において、他の様々な実施の形態が可能であることは、上記記載から自明である。
 1 画像管理装置
 2 カプセル型内視鏡
 3 受信装置
 3a 表示部
 3b 操作ボタン
 3c クレードル
 4 受信アンテナユニット
 4a~4h 受信アンテナ
 6 被検体
 11 入力部
 12 画像データ取得部
 13 記憶部
 14 画像処理部
 15 表示部
 16 制御部
 17 バックアップ画像記憶部
 131 画像記憶部
 132 検査データベース(DB)記憶部
 133 操作情報記憶部
 161 表示制御部
 162 画像抽出部

Claims (12)

  1.  検査により取得された一連の画像を管理する画像管理装置において、
     前記一連の画像に対応する画像データを検査毎に記憶する第1の画像記憶部と、
     前記一連の画像を表示する表示部と、
     外部からの操作に応じて、前記表示部に表示される画像に対する操作に関する信号を入力する入力部と、
     前記表示部に表示中の画像に対してなされた所定の操作を表す情報を当該所定の操作の対象となった画像と関連づけて記憶する操作情報記憶部と、
     前記操作情報記憶部に記憶された前記所定の操作を表す情報と関連付けられた少なくとも1つの画像に基づいて、前記一連の画像から少なくとも1つの画像群を抽出する画像抽出部と、
     前記画像抽出部により抽出された前記少なくとも1つの画像群に対応する画像データを記憶する第2の画像記憶部と、
    を備え、
     前記操作情報記憶部は、1つの検査に含まれる前記一連の画像に対し、前記入力部を介して複数のユーザによりなされた前記所定の操作を表す情報を、ユーザ毎に、当該操作の対象となった画像と関連付けて記憶し、
     前記画像抽出部は、前記1つの検査に含まれる前記複数のユーザによりなされた前記所定の操作を表す情報と関連付けられた前記少なくとも1つの画像に基づいて、前記少なくとも1つの画像群を抽出する、
    ことを特徴とする画像管理装置。
  2.  前記画像抽出部は、前記所定の操作を表す情報と関連付けられた前記少なくとも1つの画像の各々の前及び後に並んだ所定数の画像を1つの画像群として抽出する、ことを特徴とする請求項1に記載の画像管理装置。
  3.  前記画像抽出部は、前記所定の操作を表す情報が複数の画像と関連付けられた場合に、前記複数の画像に対してそれぞれ抽出した複数の画像群のうち、重複する画像を含む2つ以上の画像群を1つの画像群としてまとめる、ことを特徴とする請求項2に記載の画像管理装置。
  4.  前記画像抽出部は、前記所定の操作を表す情報と関連付けられた前記少なくとも1つの画像に基づいて抽出された少なくとも1つの画像群に含まれる複数の画像のうち、前記複数のユーザの間で重複する画像からなる画像群を抽出する、ことを特徴とする請求項2に記載の画像管理装置。
  5.  前記一連の画像に含まれる各画像に対して画像処理を行い、該画像処理の結果に基づいて所定の特性を有する画像にフラグを付加する画像処理部をさらに備え、
     前記表示部は、前記画像処理部によりフラグが付加された少なくとも1つの画像を表示し、
     前記画像抽出部は、前記画像処理部によりフラグが付加された少なくとも1つの画像に対し、前記複数のユーザの全てにより該フラグを消去する操作がなされた場合、前記画像処理部によりフラグが付加された少なくとも1つの画像のうち当該フラグを消去する操作がなされた画像を除く画像と、前記複数のユーザによりなされた前記所定の操作を表す情報に関連付けられた少なくとも1つの画像とに基づいて、前記少なくとも1つの画像群を抽出する、
    ことを特徴とする請求項1に記載の画像管理装置。
  6.  前記画像抽出部は、前記画像処理部によりフラグが付加された少なくとも1つの画像に基づいて、前記一連の画像から少なくとも1つの第2の画像群をさらに抽出し、
     前記第2の画像記憶部は、前記少なくとも1つの第2の画像群に対応する画像データをさらに記憶する、
    ことを特徴とする請求項5に記載の画像管理装置。
  7.  前記画像抽出部は、前記画像処理部によりフラグが付加された少なくとも1つの画像に基づいて、前記一連の画像から少なくとも1つの第2の画像群をさらに抽出し、
     前記第2の画像記憶部は、前記少なくとも1つの第2の画像群に対応する画像データを記憶し、該第2の画像群に対応する画像データに上書きして、前記少なくとも1つの画像群に対応する画像データを記憶する、
    ことを特徴とする請求項5に記載の画像管理装置。
  8.  前記画像抽出部は、抽出した前記少なくとも1つの画像群から動画を生成し、該生成した動画を前記第2の画像記憶部に記憶させる、ことを特徴とする請求項1に記載の画像管理装置。
  9.  前記一連の画像は、被検体内に導入され、該被検体内を移動しながら撮像を行うカプセル型内視鏡により取得された一連の体内画像である、ことを特徴とする請求項1に記載の画像管理装置。
  10.  前記所定の操作は、画像をキャプチャする操作である、ことを特徴とする請求項1に記載の画像管理装置。
  11.  前記所定の操作は、画像にラベル、コメント、又はアノテーションを付加する操作である、ことを特徴とする請求項1に記載の画像管理装置。
  12.  前記所定の操作は、画像を一時停止させて表示させる操作、画像を繰り返し表示させる操作、フレームレートを下げて画像を表示させる操作、又は、画像をコマ送りして表示する操作である、ことを特徴とする請求項1に記載の画像管理装置。
     
PCT/JP2014/067569 2013-08-30 2014-07-01 画像管理装置 WO2015029584A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14841243.0A EP3040016A4 (en) 2013-08-30 2014-07-01 Image management device
JP2015503391A JP5784859B2 (ja) 2013-08-30 2014-07-01 画像管理装置
CN201480022737.1A CN105142493A (zh) 2013-08-30 2014-07-01 图像管理装置
US14/923,691 US9411932B2 (en) 2013-08-30 2015-10-27 Image management apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013180020 2013-08-30
JP2013-180020 2013-08-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/923,691 Continuation US9411932B2 (en) 2013-08-30 2015-10-27 Image management apparatus

Publications (1)

Publication Number Publication Date
WO2015029584A1 true WO2015029584A1 (ja) 2015-03-05

Family

ID=52586163

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/067569 WO2015029584A1 (ja) 2013-08-30 2014-07-01 画像管理装置

Country Status (5)

Country Link
US (1) US9411932B2 (ja)
EP (1) EP3040016A4 (ja)
JP (1) JP5784859B2 (ja)
CN (1) CN105142493A (ja)
WO (1) WO2015029584A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017086274A (ja) * 2015-11-05 2017-05-25 オリンパス株式会社 医療支援システム
JP2019030502A (ja) * 2017-08-08 2019-02-28 オリンパス株式会社 内視鏡画像観察支援システム
WO2019198637A1 (ja) 2018-04-13 2019-10-17 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
JP2021040324A (ja) * 2017-05-25 2021-03-11 日本電気株式会社 情報処理装置、制御方法、及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017175517A (ja) * 2016-03-25 2017-09-28 オリンパス株式会社 撮像装置および撮像方法
US10638084B2 (en) * 2017-03-28 2020-04-28 Olympus Corporation Endoscope apparatus, endoscope system, and endoscope image recording method
EP3679853A4 (en) * 2017-09-07 2020-10-14 Fujifilm Corporation DIAGNOSIS SUPPORT SYSTEM, ENDOSCOPE SYSTEM, PROCESSOR, AND DIAGNOSIS SUPPORT METHOD
EP3539455A1 (fr) * 2018-03-14 2019-09-18 Sorbonne Université Procédé pour déterminer automatiquement la qualité de visualisation des images en vidéocapsule endoscopique
JP7091974B2 (ja) * 2018-09-26 2022-06-28 オムロン株式会社 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
CN113015476A (zh) * 2018-10-19 2021-06-22 吉温成象有限公司 用于生成和显示体内图像流的研究的系统和方法
EP3968838A1 (en) * 2019-05-17 2022-03-23 Given Imaging Ltd. Systems, devices, apps, and methods for capsule endoscopy procedures

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007075163A (ja) 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置
WO2011013475A1 (ja) * 2009-07-29 2011-02-03 オリンパスメディカルシステムズ株式会社 画像表示装置、読影支援システムおよび読影支援プログラム
JP5242866B1 (ja) * 2011-08-12 2013-07-24 オリンパスメディカルシステムズ株式会社 画像管理装置、方法、及び読影用プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3810381B2 (ja) * 2003-04-25 2006-08-16 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
US20070268280A1 (en) * 2004-08-23 2007-11-22 Manabu Fujita Image Display Apparatus, Image Display Method, and Image Display Program
US20080232702A1 (en) * 2005-06-27 2008-09-25 Seiichiro Kimoto Image display apparatus
US8169472B2 (en) * 2005-08-22 2012-05-01 Olympus Corporation Image display apparatus with interactive database
US20090027486A1 (en) * 2005-08-22 2009-01-29 Katsumi Hirakawa Image display apparatus
WO2007026890A1 (ja) * 2005-09-02 2007-03-08 Olympus Medical Systems Corp. 可搬型簡易画像表示装置及び受信システム
JP5601970B2 (ja) * 2010-10-26 2014-10-08 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡装置
CN102096917B (zh) * 2010-12-22 2012-08-15 南方医科大学 胶囊内窥镜冗余图像数据的自动剔除方法
US20140121474A1 (en) * 2011-04-26 2014-05-01 The Trustees Of Columbia University In The City Of New York Apparatus, method, and computer-accessible medium for transform analysis of biomedical data
JP5784404B2 (ja) * 2011-07-29 2015-09-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007075163A (ja) 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置
WO2011013475A1 (ja) * 2009-07-29 2011-02-03 オリンパスメディカルシステムズ株式会社 画像表示装置、読影支援システムおよび読影支援プログラム
JP5242866B1 (ja) * 2011-08-12 2013-07-24 オリンパスメディカルシステムズ株式会社 画像管理装置、方法、及び読影用プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3040016A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017086274A (ja) * 2015-11-05 2017-05-25 オリンパス株式会社 医療支援システム
JP2021040324A (ja) * 2017-05-25 2021-03-11 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP2019030502A (ja) * 2017-08-08 2019-02-28 オリンパス株式会社 内視鏡画像観察支援システム
WO2019198637A1 (ja) 2018-04-13 2019-10-17 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
US11992178B2 (en) 2018-04-13 2024-05-28 Fujifilm Corporation Image processing device, endoscope system, and image processing method

Also Published As

Publication number Publication date
JPWO2015029584A1 (ja) 2017-03-02
EP3040016A4 (en) 2017-04-19
US9411932B2 (en) 2016-08-09
US20160048637A1 (en) 2016-02-18
EP3040016A1 (en) 2016-07-06
JP5784859B2 (ja) 2015-09-24
CN105142493A (zh) 2015-12-09

Similar Documents

Publication Publication Date Title
JP5784859B2 (ja) 画像管理装置
JP3041015B2 (ja) 内視鏡画像ファイルシステム
JP5385138B2 (ja) 画像処理装置、該動作方法及び該プログラム
US20060106284A1 (en) Communication method of storage device, image storage system and image storage device
US20090051691A1 (en) Image display apparatus
KR100758414B1 (ko) 의료용 화상 기록 장치, 내시경 화상의 취입 방법 및 운반식 기억 매체
JP4441464B2 (ja) 画像表示装置
JP2008295490A (ja) カプセル内視鏡画像表示装置
KR100969510B1 (ko) 클라이언트 단말의 의료 데이터 프로세싱 장치 및 그 방법
JP2006055262A (ja) 画像表示装置、画像表示方法および画像表示プログラム
WO2018142664A1 (ja) 内視鏡画像観察支援システム
JP5856931B2 (ja) 医療画像管理装置、医療画像管理方法、医療画像管理プログラム
WO2017006618A1 (ja) サーバ、内視鏡システム、送信方法およびプログラム
JP6401402B2 (ja) 読影レポート作成支援システム
JP6335412B1 (ja) 内視鏡画像観察支援システム
JPH11290279A (ja) 医用画像表示装置
JP6637291B2 (ja) 医療支援システムおよび検査画像検索方法
JPWO2019198128A1 (ja) 内視鏡業務支援システムおよび内視鏡業務支援方法
JP2009047873A (ja) 画像表示方法及び装置、並びに画像表示プログラム
JPWO2018043585A1 (ja) 内視鏡装置、内視鏡装置の記録・再生方法、情報処理装置およびプログラム
JPH10261038A (ja) 画像表示装置
US20150145779A1 (en) Image Display Apparatus And Image Display Method
JP2010200935A (ja) マルチフレーム画像の圧縮装置、方法、及びプログラム、並びに読影システム
JP2000339341A (ja) 画像ファイリング装置
JP2001128098A (ja) 医療情報記録再生装置及び医療情報再生装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480022737.1

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2015503391

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14841243

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014841243

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014841243

Country of ref document: EP