WO2021144984A1 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
WO2021144984A1
WO2021144984A1 PCT/JP2020/001563 JP2020001563W WO2021144984A1 WO 2021144984 A1 WO2021144984 A1 WO 2021144984A1 JP 2020001563 W JP2020001563 W JP 2020001563W WO 2021144984 A1 WO2021144984 A1 WO 2021144984A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
display
unit
magnification
field
Prior art date
Application number
PCT/JP2020/001563
Other languages
English (en)
French (fr)
Inventor
堀内 一仁
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2021570620A priority Critical patent/JP7449313B2/ja
Priority to PCT/JP2020/001563 priority patent/WO2021144984A1/ja
Publication of WO2021144984A1 publication Critical patent/WO2021144984A1/ja
Priority to US17/861,480 priority patent/US20220351428A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Definitions

  • the present invention relates to an information processing device, an information processing method, and an information processing program.
  • An object of the present invention is to provide an information processing device, an information processing method, and an information processing program capable of providing diagnostic support.
  • the information processing apparatus is a display control unit that displays at least a part of the captured image generated by imaging the observation target on the display unit.
  • the display position information indicating the position of the display area corresponding to the at least a part of the images displayed on the display unit, the magnification information indicating the display magnification of the at least a part of the images, and the at least a part of the images.
  • the visual field information generation unit that generates visual field information in association with the time information indicating the display time of the image and records the visual field information in the recording unit, and the visual field information recorded in the recording unit, with respect to the input unit.
  • the display control unit includes a visual field information extraction unit that extracts the visual field information including the magnification information indicating at least one type of input specific display magnification, and the display control unit is the visual field extracted by the visual field information extraction unit.
  • a field map image corresponding to the information is generated, and the field map image is displayed on the display unit.
  • the display control unit causes the display unit to display a superimposed image in which the field of view map image is superimposed on the captured image.
  • the display control unit displays the field of view map image and the captured image side by side on the display unit.
  • the display control unit causes the display unit to display information indicating a magnification corresponding to the magnification information indicating the specific display magnification.
  • the display control unit continues to display at least a part of the images based on the display position information and the time information included in the visual field information. Is generated, and the field of view map image in which the observation time is imaged in the display area specified from the display position information and the magnification information included in the field of view information is generated.
  • the visual field information extraction unit has, as extraction conditions, magnification information indicating the specific display magnification and specific magnification information among the visual field information recorded in the recording unit.
  • the visual field information specified from the observation time information based on the display time within the time is extracted.
  • the visual field information extraction unit generates the specific time based on the input timing of specific information with respect to the input unit.
  • the attention region extraction unit that extracts the attention region in the captured image based on the field information, and the image that calculates the image feature amount of each region in the captured image.
  • a feature amount calculation unit and an observation candidate area extraction unit that extracts an observation candidate region having the image feature amount similar to the image feature amount of the attention region in the captured image are further provided.
  • the information processing method is an information processing method executed by an information processing apparatus, in which at least a part of an image captured by imaging an observation target is displayed on a display unit, and the display unit is displayed. Indicates display position information indicating the position of the display area corresponding to the at least a part of the images displayed on the screen, magnification information indicating the display magnification of the at least a part of the images, and display time of the at least a part of the images.
  • the visual field information is generated in association with the time information, the visual field information is recorded in the recording unit, and at least one specific display of the visual field information recorded in the recording unit is input to the input unit.
  • the visual field information including the magnification information indicating the magnification is extracted, a visual field map image corresponding to the extracted visual field information is generated, and the visual field map image is displayed on the display unit.
  • the information processing program is an information processing program to be executed by a computer, and the information processing program instructs the computer to execute the following: at least the captured image generated by imaging the observation target.
  • Display position information indicating the position of a display area corresponding to at least a part of the images displayed on the display unit by displaying a part of the images, and a magnification indicating the display magnification of the at least a part of the images.
  • the field information is generated by associating the information with the time information indicating the display time of at least a part of the images, the field information is recorded in the recording unit, and the field information recorded in the recording unit is input.
  • the visual field information including the magnification information indicating at least one specific display magnification input to the unit is extracted, a visual field map image corresponding to the extracted visual field information is generated, and the visual field map image is generated. It is displayed on the display unit.
  • the information processing device According to the information processing device, the information processing method, and the information processing program according to the present invention, highly convenient diagnostic support can be provided.
  • FIG. 1 is a block diagram showing an information processing system according to the first embodiment.
  • FIG. 2 is a flowchart showing an information processing method.
  • FIG. 3 is a diagram for explaining visual field information.
  • FIG. 4 is a diagram for explaining visual field information.
  • FIG. 5 is a diagram illustrating a field of view map image.
  • FIG. 6 is a diagram illustrating a field of view map image.
  • FIG. 7 is a diagram illustrating a first display mode.
  • FIG. 8 is a diagram illustrating a second display mode.
  • FIG. 9 is a block diagram showing an information processing system according to the second embodiment.
  • FIG. 10 is a flowchart showing an information processing method.
  • FIG. 11 is a diagram illustrating step S10A.
  • FIG. 12 is a diagram illustrating step S10A.
  • FIG. 13 is a diagram illustrating step S10A.
  • FIG. 14 is a block diagram showing an information processing system according to the third embodiment.
  • FIG. 15 is a flowchart showing an information processing method.
  • FIG. 16 is a diagram illustrating step S19.
  • FIG. 17 is a diagram illustrating step S20.
  • FIG. 18 is a diagram illustrating step S21.
  • FIG. 19 is a block diagram showing a microscope system according to a fourth embodiment.
  • FIG. 1 is a block diagram showing an information processing system 1 according to the first embodiment.
  • the information processing system 1 is a system that performs various processes on a pathological sample image acquired from the outside and displays an image corresponding to the pathological sample image.
  • the pathological specimen image corresponds to the captured image according to the present invention.
  • the pathological specimen image is an image obtained by dividing the range of the pathological specimen into subsections and capturing the portion of the pathological specimen corresponding to each subdivision using a high-resolution objective lens. Is a wide-field and high-resolution image of the entire sample (virtual slide image) in which is joined.
  • the pathological specimen corresponds to the observation object according to the present invention.
  • the pathological specimen image is recorded in advance on an external server or the like.
  • the information processing system 1 includes a first input unit 2, a display unit 3, and an information processing device 4.
  • the first input unit 2 corresponds to the input unit according to the present invention.
  • the first input unit 2 is configured by using various input devices such as a keyboard, a mouse, a touch panel, and various switches, and accepts an input operation by a user.
  • the input operation includes the following observation start operation, display position change operation, display magnification change operation, observation end operation, selection condition input operation, and display form selection operation.
  • the observation start operation is an operation for starting observation (display) of the acquired pathological specimen image.
  • the display position change operation is an operation for changing the position of a display area (hereinafter referred to as a display area) in the entire pathological specimen image.
  • the display magnification change operation is an operation for changing the size of the display area.
  • the observation end operation is an operation for ending the observation (display) of the acquired pathological specimen image.
  • the selection condition input operation is an operation of inputting a selection condition for extracting specific visual field information from all the visual field information recorded in the recording unit 42.
  • the selection condition is at least one kind of display magnification.
  • the field of view information and the display magnification will be described in detail in the "information processing method" described later.
  • the display form selection operation is an operation for selecting the display form of the field of view map image generated by the processor 41.
  • the display form includes a first display form in which a superposed image in which a field of view map image is superimposed on a pathological sample image is displayed, and a second display form in which the field of view map image and the pathological sample image are displayed side by side. That is, the display form selection operation is an operation of selecting one of the first and second display forms.
  • the field of view map image will be described in detail in the "information processing method" described later.
  • the first input unit 2 outputs a signal corresponding to the input operation to the information processing device 4.
  • the display unit 3 is realized by a display device such as an LCD (Liquid Crystal Display) or an EL (Electro Luminescence) display, and displays various images based on a display signal output from the information processing device 4.
  • the information processing device 4 is configured by using, for example, a PC (personal computer), and performs various processes on the pathological sample image acquired from the outside.
  • the information processing device 4 includes a processor 41 and a recording unit 42.
  • the processor 41 is configured by using, for example, a general-purpose processor such as a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or the like.
  • the processor 41 includes an image acquisition unit 411, a visual field information generation unit 412, a visual field information extraction unit 413, and a display control unit 414.
  • the functions of the processor 41 (image acquisition unit 411, visual field information generation unit 412, visual field information extraction unit 413, and display control unit 414) will be described in detail in the "information processing method" described later.
  • the recording unit 42 contains information such as various IC memories such as ROM (Read Only Memory) such as flash memory that can be updated and recorded, RAM (Random Access Memory), a hard disk connected by a built-in or data communication terminal, or a CD-ROM. It is configured by using a recording device and an information writing / reading device for the information recording device. Then, the recording unit 42 records a program executed by the processor 41 and various data (including visual field information).
  • the visual field information recording unit 421 that constitutes the recording unit 42 is a portion that records visual field information.
  • FIG. 2 is a flowchart showing an information processing method.
  • the image acquisition unit 411 acquires a pathological sample image via a network (not shown) (step S1).
  • the processor 41 constantly monitors whether or not there is an observation start operation on the first input unit 2 by the user (step S2).
  • the display control unit 414 controls the operation of the display unit 3, and is the first input unit by the user in the entire area of the pathological specimen image.
  • the image in the display area specified by the operation of changing the display position to 2 and the operation of changing the display magnification is displayed on the display unit 3 (step S3).
  • the visual field information generation unit 412 indicates the display position in the image displayed on the display unit 3 in the step S3 based on the operation of changing the display position to the first input unit 2 by the user.
  • Acquire display position information step S4.
  • the display position in the image means the coordinate values (X coordinate and Y coordinate) of the center position of the image with one point of the pathological specimen image as the origin.
  • the visual field information generation unit 412 indicates the display magnification of the image displayed on the display unit 3 in the step S3 based on the operation of changing the display magnification to the first input unit 2 by the user.
  • Acquire magnification information step S5.
  • the display magnification in the image means the ratio of the pathological specimen image enlarged to the image.
  • the visual field information generation unit 412 displays the display position information and the magnification information acquired in steps S4 and S5, the display position information, and the image corresponding to the magnification information on the display unit 3.
  • the field of view information is generated by associating it with the time information indicating the time.
  • the visual field information generation unit 412 records the generated visual field information in the visual field information recording unit 421 (step S6).
  • step S6 the processor 41 constantly monitors whether or not the user has performed an observation end operation on the first input unit 2 (step S7). If it is determined that there is no observation end operation (step S7: No), the processor 41 returns to step S3. While steps S3 to S6 are repeated, the image displayed on the display unit 3 in step S3 has a display position and size by the user's operation of changing the display position on the first input unit 2 and the operation of changing the display magnification. Are switched in sequence. Then, the visual field information is sequentially recorded in the visual field information recording unit 421.
  • the line C1 shown in FIG. 3 shows the time change of the display magnification indicating the magnification information.
  • the line C2 shown in FIG. 3 indicates the observation time during which the images in the same display area are continuously displayed, that is, the observation time of the user.
  • the line C3 shown in FIG. 4 shows the time change of the X coordinate at the display position indicating the display position information.
  • the line C4 shown in FIG. 4 shows the time change of the Y coordinate at the display position indicating the display position information.
  • the display magnification is between 2, 4, 10, and 20 times according to the operation of changing the display magnification to the first input unit 2 by the user.
  • the line C2 shows a higher value as the observation time for continuing to display images in the same display area is longer, and the display position is changed according to the operation of changing the display position to the first input unit 2 by the user. Then the value is reset to zero.
  • the line C2 shows a high value as shown in FIG.
  • the display magnification is increased to 20 times, which means that the user is gazing at the image displayed on the display unit 3.
  • step S7 the processor 41 constantly monitors whether or not the user has performed the selection condition input operation to the first input unit 2 (step S8).
  • step S8: Yes the visual field information extraction unit 413 acquires the selection condition (display magnification) input by the selection condition input operation (step S9).
  • step S9 the visual field information extraction unit 413 extracts the visual field information including the magnification information of the selection condition (display magnification) acquired in the step S9 from all the visual field information recorded in the visual field information recording unit 421. (Step S10).
  • the display control unit 414 After step S10, the display control unit 414 generates a field of view map image based on the field of view information extracted in step S10 (step S11).
  • 5 and 6 are diagrams for explaining the field of view map image. Specifically, FIG. 5 shows a pathological specimen image F1. FIG. 6 shows the field of view map image F2. Note that FIG. 6 shows each field of view map image (image with a dot pattern in a rectangular frame) F2 generated from all the field of view information recorded in the field of view information recording unit 421 for convenience of explanation. Further, the point P1 shown in FIGS. 5 and 6 means the origin for specifying the display position (X coordinate and Y coordinate) included in the visual field information.
  • the visual field map image is obtained by quantifying the state of the observed visual field according to the display magnification and the observation time, and presenting this as an image. A typical example is a heat map.
  • the display control unit 414 generates the field of view map image F2 as shown below in step S11.
  • the display control unit 414 generates an observation time during which the image corresponding to the visual field information is continuously displayed based on the display position information and the time information included in the visual field information extracted in step S10.
  • the visual field information of the period T2 in the examples shown in FIGS. 3 and 4 is assumed.
  • the display control unit 414 generates the observation time as 10 seconds.
  • the display control unit 414 generates a field of view map image F2 that images the observation time within the display area specified from the display position information and the magnification information included in the field of view information.
  • the display position indicating the display position information included in the visual field information in the period T2 is the display position P2 shown in FIG.
  • the display control unit 414 has an observation time of 10 within the display area Ar1 (FIG. 6) specified from the display position P2 and the display magnification 20 times (FIG. 3) indicating the magnification information included in the visual field information.
  • a field map image area F21 that images seconds is generated.
  • the display area (rectangular frame) specified from the display position information and the magnification information included in the visual field information becomes smaller as the display magnification becomes higher.
  • the observation time is imaged by a dot pattern, and the longer the observation time, the higher the density of the dot pattern.
  • the form of imaging the observation time is not limited to the dot pattern, and a so-called heat map imaged by color may be adopted. It should be noted that the portion where the display areas overlap on each field of view map image F2 may be the sum of the observation times, or may be the longest observation time in the portion.
  • step S11 the processor 41 constantly monitors whether or not there is a display form selection operation on the first input unit 2 by the user (step S12).
  • step S12: Yes the display control unit 414 determines whether or not the first display form has been selected as the display form of the field of view map image by the display form selection operation. Is determined (step S13).
  • step S13: Yes the display control unit 414 controls the operation of the display unit 3 and displays the field of view map image generated in step S11 in the first display mode. Is displayed on the display unit 3 (step S14).
  • FIG. 7 is a diagram illustrating a first display mode. Specifically, FIG.
  • FIG. 7 is a diagram corresponding to FIGS. 5 and 6. That is, FIG. 7 shows each field of view map image F2 generated from all the field of view information recorded in the field of view information recording unit 421, as in FIG. 6, for convenience of explanation.
  • the subject image (pathological specimen) F0 included in the pathological specimen image F1 is illustrated by a alternate long and short dash line.
  • the display control unit 414 causes the display unit 3 to display the superimposed image F3 on which the field of view map image F2 is superimposed on the pathological sample image F1 as shown in FIG.
  • the display control unit 414 causes the display unit 3 to display the information M1 indicating the magnification according to the selection condition (display magnification) acquired in step S9.
  • the display (display magnification: XX times) is the information M1 indicating the magnification.
  • the information M1 indicating the magnification may be another method as long as it is a display indicating a selection condition (display magnification) such as a graphic display or a scale display in addition to the character display.
  • FIG. 8 is a diagram illustrating a second display mode. Specifically, FIG. 8 is a diagram corresponding to FIGS. 5 and 6. That is, FIG. 8 shows each field of view map image F2 generated from all the field of view information recorded in the field of view information recording unit 421, as in FIG. 6, for convenience of explanation. Specifically, in step S15, the display control unit 414 causes the display unit 3 to display the field of view map image F2 and the pathological sample image F1 side by side as shown in FIG.
  • the display control unit 414 causes the display unit 3 to display the information M1 indicating the magnification according to the selection condition (display magnification) acquired in step S9.
  • the display control unit 414 is located at the position P3'corresponding to the position P3 pointed to by the cursor CU on the pathological specimen image F1 in response to the user's operation on the first input unit 2. Is displayed in a state of distinguishing it from another field of view map image F2.
  • the outline of the frame of the field of view map image F2 located at the position P3' is emphasized to distinguish it from the other field of view map image F2.
  • step S14 or step S15 the processor 41 constantly monitors whether or not the selection condition (display magnification) is changed by the selection condition input operation to the first input unit 2 by the user (step S16). If it is determined that the selection condition has been changed (step S16: Yes), the processor 41 returns to step S9. Then, the visual field information extraction unit 413 acquires the changed selection condition (display magnification). After that, the process proceeds to step S10. On the other hand, when it is determined that the selection condition is not changed (step S16: No), the processor 41 ends the control flow.
  • the selection condition display magnification
  • the information processing apparatus 4 generates visual field information, and visualizes an observation state such as where and how the pathological specimen image was observed based on the visual field information as a visual field map image. For this reason, it is possible to display a visual field map image according to the type of lesion in the diagnosis, and it is possible to provide convenient diagnostic support such as sharing the diagnosis among pathologists and preventing oversight of important lesions by double check. Can be done.
  • displaying the field map image in the first display form superimposed on the pathological specimen image it becomes easier to recognize the area of interest in the actual observation, and it helps to improve the diagnostic accuracy of the pathologist. It can be carried out.
  • the user can display only the field map image of the display magnification by the input operation (selection condition input operation) of the selection condition (display magnification) to the first input unit 2. For this reason, by comparing the field-of-view map image with a low display magnification and the field-of-view map image with a high display magnification, observation at a low magnification is performed and the field of view is switched to a high magnification at a place of concern. You can see the situation. More specifically, when the display magnification is low, the observation time is not so long, but when the display magnification is high, the observation time is long. Will be there. On the other hand, when the display magnification was low, the observation time was relatively long, but when the display magnification was high, the observation time was not so long. It will be.
  • FIG. 9 is a block diagram showing an information processing system 1A according to the second embodiment.
  • words uttered by the user are used in extracting the visual field information.
  • a second input unit 5 is added to the information processing system 1 (FIG. 1) described in the above-described first embodiment.
  • a voice recognition unit 415 is added to the processor 41, and a voice information recording unit 422 is added to the recording unit 42.
  • the second input unit 5 corresponds to the input unit according to the present invention. Although the specific illustration is omitted, the second input unit 5 includes a microphone that converts the input voice into an electric signal, and a voice that generates a voice signal (digital signal) from the electric signal by A / D conversion or the like. It is equipped with a processing unit. Then, the second input unit 5 outputs a voice signal corresponding to the input voice to the information processing device 4.
  • the function of the voice recognition unit 415 will be described when the information processing method according to the second embodiment is described.
  • FIG. 10 is a flowchart showing an information processing method.
  • steps S17 and S18 are added to the information processing method (FIG. 2) described in the above-described first embodiment, and steps S17 and S18 are added.
  • step S10A is added instead of step S10. Therefore, in the following, only steps S17, S18, and S10A will be mainly described.
  • Step S17 is executed after step S6. Specifically, in step S17, the processor 41 determines whether or not an audio signal has been input from the second input unit 5. If it is determined that no audio signal has been input (step S17: No), the processor 41 proceeds to step S7. On the other hand, when it is determined that the voice signal has been input (step S17: Yes), the voice recognition unit 415 converts the voice corresponding to the voice signal into character information expressed in a language based on the voice signal. .. Further, the voice recognition unit 415 has a time when the input of the voice signal is started (hereinafter referred to as an utterance start time) and a time when the input of the voice signal is finished (hereinafter, a utterance end time) with respect to the character information. The voice information associated with the above) is generated, and the voice information is recorded in the voice information recording unit 422 (step S18). After this, the processor 41 proceeds to step S7.
  • an utterance start time a time when the input of the voice signal is started
  • step S10A is executed as shown below. That is, the visual field information extraction unit 413 grasps the selection condition (display magnification) acquired in step S9 and the utterance start time and utterance end time included in the specific voice information recorded in step S18. Then, the visual field information extraction unit 413 displays the magnification information of the selection condition (display magnification) and the display between the speech start time and the speech end time among all the visual field information recorded in the visual field information recording unit 421.
  • the field of view information including the time information indicating the time is extracted.
  • the period between the utterance start time and the utterance end time corresponds to a specific time according to the present invention.
  • the above-mentioned "specific voice information" means voice information including character information of a specific keyword such as cancer.
  • FIG. 11 to 13 are views for explaining step S10A.
  • FIG. 11 shows each field of view map image F2 generated from all the field of view information recorded in the field of view information recording unit 421.
  • FIG. 12 shows a pathological specimen image F1.
  • FIG. 13 shows a field of view map image area F221 corresponding to the field of view information extracted in step S10A.
  • the selection condition (display magnification) acquired in step S9 is "2 times".
  • each field of view map image area F22 (FIG. 11) is a field of view including magnification information having a display magnification of 2 times. It is a field of view map image according to the information.
  • each visual field map image area F221 (FIG. 11) includes a visual field including time information indicating a display time between the utterance start time and the utterance end time when the user utters the words "cancer has infiltrated.” It is a field of view map image according to the information. Therefore, in step S10A, the field of view information (field of view map image area F221) is extracted as shown in FIG.
  • the information processing device 4 regarding a user's operation such as voice input, the time when a certain operation is performed is specified by recording the contents of the operation in chronological order. It becomes possible. That is, by combining the time when the certain operation is performed and the display magnification, it is possible to display the state of the user's visual field when the certain operation is performed, and the state of the diagnosis is visualized and understood. It can be facilitated and assisted in improving the diagnostic accuracy of the pathologist.
  • FIG. 14 is a block diagram showing an information processing system 1B according to the third embodiment.
  • the visual field is based on the visual field information corresponding to the region of interest that the user gazes at when observing the pathological sample image F1 and the observation candidate region whose image feature amount is similar to that of the region of interest. Generate a map image. Then, in the information processing system 1B, as shown in FIG. 14, with respect to the information processing system 1 (FIG.
  • the processor 41 has a region of interest extraction unit 416 and an image feature amount calculation unit. 417 and an observation candidate region extraction unit 418 have been added.
  • the functions of the region of interest extraction unit 416, the image feature amount calculation unit 417, and the observation candidate region extraction unit 418 will be described when the information processing method according to the third embodiment is described.
  • FIG. 15 is a flowchart showing an information processing method.
  • steps S19 to S21 are added to the information processing method (FIG. 2) described in the above-described first embodiment, and steps S19 to S21 are added.
  • step S11B is added instead of step S11. Therefore, in the following, only steps S19 to S21 and S11B will be mainly described.
  • Step S19 is executed when it is determined that the observation start operation has been performed (step S2: Yes).
  • FIG. 16 is a diagram illustrating step S19. Specifically, in step S19, the image feature amount calculation unit 417 calculates the image feature amount for each unit region (for example, pixels) for the entire pathological sample image F1.
  • regions having similar image feature amounts are represented by the same pattern.
  • region Ar3 is a region having similar image features.
  • the region Ar4 is also a region having a similar image feature amount.
  • the image feature amount is, for example, an image feature amount due to spatial components such as edges and textures, an image feature amount due to frequency components such as brightness unevenness, and an image feature amount due to color components such as hue and saturation, and various images.
  • the feature amount is one type or a combination of a plurality of types.
  • Step S20 is executed after step S10. Specifically, the region of interest extraction unit 416 generates an observation time during which the image corresponding to the visual field information is continuously displayed based on the display position information and the time information included in the visual field information extracted in step S10. .. Then, the attention region extraction unit 416 extracts the visual field information whose generated observation time is equal to or longer than a specific time from the visual field information extracted in step S10 as the attention region (step S20).
  • FIG. 17 is a diagram illustrating step S20.
  • the selection condition (display magnification) acquired in step S9 is "20 times".
  • the specific time described above is "10 seconds".
  • the attention region extraction unit 416 pays attention to all of the two visual field information extracted in step S10. It is an area (step S20).
  • FIG. 17 shows the field of view map image areas F23 and F24 corresponding to the two areas of interest (field of view information). In FIG. 17, for convenience of explanation, the field map image areas F23 and F24 are not provided with dot patterns according to the observation time.
  • the observation candidate region extraction unit 418 extracts the observation candidate region (step S21).
  • FIG. 18 is a diagram illustrating step S21.
  • FIG. 18 is a diagram corresponding to FIG. Specifically, the observation candidate region extraction unit 418 refers to the image feature amount calculated in step S19 and grasps the image feature amount of the region of interest extracted in step S20. Further, the observation candidate region extraction unit 418 refers to the image feature amount calculated in step S19, and grasps the image feature amount in the region of the same visual field as the region of interest based on the magnification information. Then, the observation candidate region extraction unit 418 extracts a region having an image feature amount similar to the image feature amount of the attention region as an observation candidate region (step S21). In FIG.
  • the field map image areas F241 to F243 corresponding to the observation candidate areas having an image feature amount similar to the image feature amount of the map image area F24) are shown.
  • the field-of-view map image areas F23, F231 to F233 are field-of-view map images located in the area Ar3 shown in FIG.
  • the field of view map image areas F24, F241 to F243 are field of view map images located in the area Ar4 shown in FIG. In FIG.
  • the field of view map image areas F231 to F233 and F241 to F243 are not provided with dot patterns according to the observation time, as in the field of view map image areas F23 and F24.
  • an observation candidate area may be extracted using the image feature amount of the entire area of interest, and a part of the area of interest (for example, the central area shown in FIG. 17).
  • An observation candidate region may be extracted using the image feature amount of Ar5). Further, as the observation candidate region, only those having the same display magnification (selection condition acquired in step S9) as the region of interest may be extracted.
  • many methods have already been proposed for extracting an observation candidate region similar to the image feature amount of the region of interest.
  • the display control unit 414 After step S21, the display control unit 414 generates a field of view map image of the region of interest (field of view information) extracted in step S20 and a field of view map image of the observation candidate area (field of view information) extracted in step S21, respectively. (Step S11B). Then, in step S14, for example, as shown in FIG. 18, the visual field map image areas F23, F231 to F233, F24, and F241 to F243 are displayed on the display unit 3 in a state of being superimposed on the pathological sample image F1. In the display, the field of view map image areas F23, F231 to F233 and the field of view map image areas F24, F241 to F243 may be displayed so as to be distinguishable.
  • the field of view map image area F23 (F24) and the field of view map image areas F231 to F233 (F241 to F243) may be displayed so as to be distinguishable.
  • the information processing apparatus 4 sets the visual field information having a long observation time at a specific display magnification as a region of interest among all the visual field information recorded in the visual field information recording unit 421. Further, the information processing apparatus 4 extracts a similar region in the pathological sample image as an observation candidate region from the viewpoint of the amount of image features related to the region of interest. Then, the information processing device 4 visualizes the area of interest and the observation candidate area as a field-of-view map image. Therefore, a candidate site for a lesion similar to the site observed in the past can be presented to an observer such as a pathologist.
  • FIG. 19 is a block diagram showing a microscope system 1C according to the fourth embodiment.
  • the pathological specimen image F1 acquired by the information processing apparatus 4 is a virtual slide image.
  • the information processing apparatus 4 acquires an image (pathological specimen image) captured by the microscope 200 in real time. Then, in the microscope system 1C, as shown in FIG. 19, the microscope 200 is added to the information processing system 1 described in the above-described first embodiment, and the stage control unit 419 is added to the processor 41. ing.
  • the microscope 200 is in contact with the main body 201, the rotating unit 202, the elevating unit 203, the stage 204, the revolver 205, the objective lens 206, the magnification detection unit 207, the lens barrel unit 208, and the connection unit 209. It includes an eye unit 210 and an imaging unit 211.
  • the main body 201 has an L-shape in a side view and supports the members 202 to 211.
  • the elevating portion 203 is movably connected to the main body portion 201 in the vertical direction.
  • the rotating unit 202 rotates the elevating unit 203 in the vertical direction by rotating according to the user operation.
  • Stage 204 is a portion on which the pathological specimen SP is placed, as shown in FIG.
  • the stage 204 faces downward with respect to the elevating portion 203 and is movably connected to the main body portion 201 in a horizontal plane. Then, the field of view is changed by moving the stage 204.
  • the movement of the stage 204 is executed under the control of the stage control unit 419 in response to the user's operation of changing the display position to the first input unit 2.
  • the display position information in the fourth embodiment is information indicating the position (X coordinate and Y coordinate) of the stage 204.
  • a plurality of objective lenses 206 having different magnifications are connected to the revolver 205.
  • the revolver 205 is rotatably connected to the lower surface of the elevating portion 203 with respect to the optical axis L1.
  • the user arranges the desired objective lens 206 on the optical axis L1 by operating the revolver 205.
  • information indicating the magnification for example, an IC chip or the like, is attached to the objective lens 206.
  • the magnification detection unit 207 detects the magnification of the objective lens 206 from an IC chip or the like attached to the objective lens 206 arranged on the optical axis L1.
  • the magnification detection unit 207 outputs the detected information indicating the magnification to the information processing device 4.
  • the magnification information according to the fourth embodiment is information indicating the integrated magnification of the magnification of the objective lens 206 arranged on the optical axis L1 and the magnification of the eyepiece portion 210 (eyepiece lens).
  • the lens barrel portion 208 has a prism, a half mirror, a collimating lens, and the like inside. Then, the lens barrel portion 208 transmits a part of the subject image of the pathological specimen SP imaged by the objective lens 206 toward the connecting portion 209 and reflects it toward the eyepiece portion 210.
  • the connecting portion 209 is configured by using a plurality of collimating lenses, an imaging lens, and the like. One end of the connecting portion 209 is connected to the lens barrel portion 208, and the other end is connected to the imaging unit 211. Then, the connecting portion 209 guides the subject image of the pathological specimen SP that has passed through the lens barrel portion 208 toward the imaging unit 211.
  • the eyepiece 210 is configured by using a plurality of collimating lenses, imaging lenses, and the like. Then, the eyepiece 210 guides the subject image reflected by the lens barrel 208 and forms an image.
  • the imaging unit 211 is configured by using an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device). Then, the imaging unit 211 generates image data (corresponding to the pathological specimen image according to the present invention) by receiving the subject image of the pathological specimen SP imaged by the connecting unit 209, and the image data is processed by the information processing device 4 Output to.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the information processing method according to the fourth embodiment is the same as the information processing method (FIG. 2) described in the first embodiment described above.
  • microscope system 1C according to the fourth embodiment described above has the same effect as that of the first embodiment described above.
  • the present invention should not be limited only to the above-described embodiments 1 to 4.
  • the configurations described in the above-described embodiments 2 to 4 may be combined as appropriate.
  • the information processing system 1A according to the second embodiment is configured to add the area of interest extraction unit 416, the image feature amount calculation unit 417, and the observation candidate area extraction unit 418 to execute steps S19 to S21 and S11B. It doesn't matter.
  • the order of processing of the flows shown in FIGS. 2, 10 and 15 may be changed within a consistent range.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

情報処理装置4は、観察対象を撮像することによって生成された撮像画像の少なくとも一部の画像を表示部3に表示させる表示制御部414と、表示部3に表示させた少なくとも一部の画像に対応する表示領域の位置を示す表示位置情報と、当該少なくとも一部の画像の表示倍率を示す倍率情報と、当該少なくとも一部の画像の表示時刻を示す時刻情報とを関連付けて視野情報を生成し、当該視野情報を記録部42に記録する視野情報生成部412と、記録部42に記録させた視野情報のうち、入力部2に対して入力された少なくとも一種類の特定の表示倍率を示す倍率情報を含む視野情報を抽出する視野情報抽出部413と、を備える。表示制御部414は、視野情報抽出部413によって抽出された視野情報に応じた視野マップ画像を生成するとともに、当該視野マップ画像を表示部3に表示させる。

Description

情報処理装置、情報処理方法、及び情報処理プログラム
 本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
 従来、医用画像中の医学的異常の有無や当該医学的異常に関するコメント等の観察結果と、当該医用画像の観察経過情報とを関連付けてデータベースに記録する医用システムが知られている(例えば、特許文献1参照)。
特開2004-267273号公報
 ところで、病理標本画像についてどこをどのように観察したか等の観察状態の分布を可視化することができれば、病理医間の診断の共有化、及びダブルチェックによる重要病変部の見落とし防止といった利便性の高い診断支援を行うことができる。特許文献1に記載の技術では、当該観察状態を可視化しておらず、利便性の高い診断支援を行うことができない、という問題がある。
 本発明は、上記に鑑みてなされたものであって、所定の条件における画像の観察状態の分布(どの場所をどれだけ時間をかけて観察したか等)を可視化することで、利便性の高い診断支援を行うことができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本発明に係る情報処理装置は、観察対象を撮像することによって生成された撮像画像の少なくとも一部の画像を表示部に表示させる表示制御部と、前記表示部に表示させた前記少なくとも一部の画像に対応する表示領域の位置を示す表示位置情報と、前記少なくとも一部の画像の表示倍率を示す倍率情報と、前記少なくとも一部の画像の表示時刻を示す時刻情報とを関連付けて視野情報を生成し、前記視野情報を記録部に記録する視野情報生成部と、前記記録部に記録させた前記視野情報のうち、入力部に対して入力された少なくとも一種類の特定の表示倍率を示す前記倍率情報を含む前記視野情報を抽出する視野情報抽出部と、を備え、前記表示制御部は、前記視野情報抽出部によって抽出された前記視野情報に応じた視野マップ画像を生成するとともに、前記視野マップ画像を前記表示部に表示させる。
 本発明に係る情報処理装置では、上記発明において、前記表示制御部は、前記視野マップ画像を前記撮像画像上に重畳した重畳画像を前記表示部に表示させる。
 本発明に係る情報処理装置では、上記発明において、前記表示制御部は、前記視野マップ画像と前記撮像画像とを並べて前記表示部に表示させる。
 本発明に係る情報処理装置では、上記発明において、前記表示制御部は、前記特定の表示倍率を示す倍率情報に応じた倍率を示す情報を前記表示部に表示させる。
 本発明に係る情報処理装置では、上記発明において、前記表示制御部は、前記視野情報に含まれる前記表示位置情報及び前記時刻情報に基づいて前記少なくとも一部の画像を表示し続けている観察時間を生成するとともに、前記視野情報に含まれる前記表示位置情報及び前記倍率情報から特定される前記表示領域内で前記観察時間を画像化した前記視野マップ画像を生成する。
 本発明に係る情報処理装置では、上記発明において、前記視野情報抽出部は、前記記録部に記録させた前記視野情報のうち、抽出条件として、前記特定の表示倍率を示す倍率情報と、特定の時間内の表示時刻に基づく観察時間情報とから特定される前記視野情報を抽出する。
 本発明に係る情報処理装置では、上記発明において、前記視野情報抽出部は、入力部に対する特定の情報の入力タイミングに基づいて前記特定の時間を生成する。
 本発明に係る情報処理装置では、上記発明において、前記視野情報に基づいて前記撮像画像内の注目領域を抽出する注目領域抽出部と、前記撮像画像内における各領域の画像特徴量を算出する画像特徴量算出部と、前記撮像画像内において、前記注目領域の前記画像特徴量に類似する前記画像特徴量を有する観察候補領域を抽出する観察候補領域抽出部と、をさらに備える。
 本発明に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、観察対象を撮像することによって生成された撮像画像の少なくとも一部の画像を表示部に表示させ、前記表示部に表示させた前記少なくとも一部の画像に対応する表示領域の位置を示す表示位置情報と、前記少なくとも一部の画像の表示倍率を示す倍率情報と、前記少なくとも一部の画像の表示時刻を示す時刻情報とを関連付けて視野情報を生成し、前記視野情報を記録部に記録し、前記記録部に記録させた前記視野情報のうち、入力部に対して入力された少なくとも一種類の特定の表示倍率を示す前記倍率情報を含む前記視野情報を抽出し、抽出した前記視野情報に応じた視野マップ画像を生成するとともに、前記視野マップ画像を前記表示部に表示させる。
 本発明に係る情報処理プログラムは、コンピュータに実行させる情報処理プログラムであって、前記情報処理プログラムは、前記コンピュータに以下の実行を指示する:観察対象を撮像することによって生成された撮像画像の少なくとも一部の画像を表示部に表示させ、前記表示部に表示させた前記少なくとも一部の画像に対応する表示領域の位置を示す表示位置情報と、前記少なくとも一部の画像の表示倍率を示す倍率情報と、前記少なくとも一部の画像の表示時刻を示す時刻情報とを関連付けて視野情報を生成し、前記視野情報を記録部に記録し、前記記録部に記録させた前記視野情報のうち、入力部に対して入力された少なくとも一種類の特定の表示倍率を示す前記倍率情報を含む前記視野情報を抽出し、抽出した前記視野情報に応じた視野マップ画像を生成するとともに、前記視野マップ画像を前記表示部に表示させる。
 本発明に係る情報処理装置、情報処理方法、及び情報処理プログラムによれば、利便性の高い診断支援を行うことができる。
図1は、実施の形態1に係る情報処理システムを示すブロック図である。 図2は、情報処理方法を示すフローチャートである。 図3は、視野情報を説明する図である。 図4は、視野情報を説明する図である。 図5は、視野マップ画像を説明する図である。 図6は、視野マップ画像を説明する図である。 図7は、第1の表示形態を説明する図である。 図8は、第2の表示形態を説明する図である。 図9は、実施の形態2に係る情報処理システムを示すブロック図である。 図10は、情報処理方法を示すフローチャートである。 図11は、ステップS10Aを説明する図である。 図12は、ステップS10Aを説明する図である。 図13は、ステップS10Aを説明する図である。 図14は、実施の形態3に係る情報処理システムを示すブロック図である。 図15は、情報処理方法を示すフローチャートである。 図16は、ステップS19を説明する図である。 図17は、ステップS20を説明する図である。 図18は、ステップS21を説明する図である。 図19は、実施の形態4に係る顕微鏡システムを示すブロック図である。
 以下に、図面を参照して、本発明を実施するための形態(以下、実施の形態)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
(実施の形態1)
 〔情報処理システムの構成〕
 図1は、本実施の形態1に係る情報処理システム1を示すブロック図である。
 情報処理システム1は、外部から取得した病理標本画像に対して各種の処理を行うとともに、当該病理標本画像に応じた画像を表示するシステムである。当該病理標本画像は、本発明に係る撮像画像に相当する。
 ここで、本実施の形態1では、病理標本画像は、病理標本の範囲を小区画に分割し、当該各小区画に対応する病理標本の部分を高解像度の対物レンズを用いて撮影された画像が繋ぎ合わされた広視野及び高解像度の標本全体の画像(バーチャルスライド画像)である。当該病理標本は、本発明に係る観察対象に相当する。そして、当該病理標本画像は、外部のサーバ等に予め記録されている。
 この情報処理システム1は、図1に示すように、第1の入力部2と、表示部3と、情報処理装置4とを備える。
 第1の入力部2は、本発明に係る入力部に相当する。この第1の入力部2は、例えば、キーボード、マウス、タッチパネル、各種スイッチ等の各種入力装置を用いて構成され、ユーザによる入力操作を受け付ける。本実施の形態1では、当該入力操作は、以下に示す観察開始操作、表示位置変更操作、表示倍率変更操作、観察終了操作、選択条件入力操作、及び表示形態選択操作を含む。
 観察開始操作は、取得した病理標本画像の観察(表示)を開始する操作である。
 表示位置変更操作は、病理標本画像全体のうち、表示する領域(以下、表示領域と記載)の位置を変更する操作である。
 表示倍率変更操作は、表示領域の大きさを変更する操作である。
 観察終了操作は、取得した病理標本画像の観察(表示)を終了する操作である。
 選択条件入力操作は、記録部42に記録された全ての視野情報から特定の視野情報を抽出する選択条件を入力する操作である。本実施の形態1では、当該選択条件は、少なくとも一種類の表示倍率である。なお、視野情報及び表示倍率については、後述する「情報処理方法」において詳細に説明する。
 表示形態選択操作は、プロセッサ41において生成された視野マップ画像の表示形態を選択する操作である。当該表示形態としては、視野マップ画像を病理標本画像上に重畳した重畳画像を表示する第1の表示形態と、視野マップ画像と病理標本画像とを並べて表示する第2の表示形態とを含む。すなわち、表示形態選択操作は、第1,第2の表示形態のいずれかを選択する操作である。なお、視野マップ画像については、後述する「情報処理方法」において詳細に説明する。
 そして、第1の入力部2は、当該入力操作に応じた信号を情報処理装置4に対して出力する。
 表示部3は、LCD(Liquid Crystal Display)やEL(Electro Luminescence)ディスプレイ等の表示装置によって実現され、情報処理装置4から出力された表示信号を基に各種画像を表示する。
 情報処理装置4は、例えば、PC(パーソナルコンピュータ)を用いて構成され、外部から取得した病理標本画像に対して各種の処理を行う。この情報処理装置4は、図1に示すように、プロセッサ41と、記録部42とを備える。
 プロセッサ41は、例えば、CPU(Central Processing Unit)等の汎用プロセッサ、ASIC(Application Specific Integrated Circuit)、または、FPGA(Field Programmable Gate Array)等を用いて構成されている。このプロセッサ41は、図1に示すように、画像取得部411と、視野情報生成部412と、視野情報抽出部413と、表示制御部414とを備える。なお、プロセッサ41の機能(画像取得部411、視野情報生成部412、視野情報抽出部413、及び表示制御部414)については、後述する「情報処理方法」において詳細に説明する。
 記録部42は、更新記録可能なフラッシュメモリ等のROM(Read Only Memory)やRAM(Random Access Memory)等の各種ICメモリ、内蔵若しくはデータ通信端子によって接続されたハードディスク、若しくはCD-ROM等の情報記録装置及び当該情報記録装置に対する情報の書込読取装置を用いて構成されている。そして、記録部42は、プロセッサ41が実行するプログラムや各種データ(視野情報を含む)を記録する。なお、記録部42を構成する視野情報記録部421は、視野情報を記録する部分である。
 〔情報処理方法〕
 次に、上述した情報処理装置4が実行する情報処理方法について説明する。
 図2は、情報処理方法を示すフローチャートである。
 先ず、画像取得部411は、図示しないネットワークを経由することによって、病理標本画像を取得する(ステップS1)。
 ステップS1の後、プロセッサ41は、ユーザによる第1の入力部2への観察開始操作があったか否かを常時、監視する(ステップS2)。
 観察開始操作があったと判断された場合(ステップS2:Yes)には、表示制御部414は、表示部3の動作を制御し、病理標本画像全体の領域のうち、ユーザによる第1の入力部2への表示位置変更操作及び表示倍率変更操作によって特定される表示領域内の画像を表示部3に表示させる(ステップS3)。
 また、ステップS3と略同時に、視野情報生成部412は、ユーザによる第1の入力部2への表示位置変更操作に基づいて、当該ステップS3において表示部3に表示された画像における表示位置を示す表示位置情報を取得する(ステップS4)。
 ここで、画像における表示位置とは、病理標本画像の1点を原点とした当該画像の中心位置の座標値(X座標及びY座標)を意味する。
 さらに、ステップS3と略同時に、視野情報生成部412は、ユーザによる第1の入力部2への表示倍率変更操作に基づいて、当該ステップS3において表示部3に表示された画像における表示倍率を示す倍率情報を取得する(ステップS5)。
 ここで、画像における表示倍率とは、病理標本画像から当該画像に拡大した割合を意味する。
 ステップS4,S5の後、視野情報生成部412は、当該ステップS4,S5においてそれぞれ取得した表示位置情報及び倍率情報と当該表示位置情報及び当該倍率情報に対応する画像を表示部3に表示した表示時刻を示す時刻情報とを関連付けて視野情報を生成する。そして、視野情報生成部412は、当該生成した視野情報を視野情報記録部421に記録する(ステップS6)。
 ステップS6の後、プロセッサ41は、ユーザによる第1の入力部2への観察終了操作があったか否かを常時、監視する(ステップS7)。
 観察終了操作がないと判断した場合(ステップS7:No)には、プロセッサ41は、ステップS3に戻る。
 ステップS3~S6が繰り返されている間、ステップS3において表示部3に表示される画像は、ユーザによる第1の入力部2への表示位置変更操作及び表示倍率変更操作によって、表示位置や大きさが順次、切り替えられる。そして、視野情報記録部421には、視野情報が順次、記録されていく。
 図3及び図4は、視野情報を説明する図である。具体的に、図3において示した線C1は、倍率情報を示す表示倍率の時間変化を示している。また、図3において示した線C2は、同一の表示領域の画像を表示し続けている観察時間、すなわちユーザの観察時間を示している。さらに、図4において示した線C3は、表示位置情報を示す表示位置におけるX座標の時間変化を示している。また、図4において示した線C4は、表示位置情報を示す表示位置におけるY座標の時間変化を示している。
 本実施の形態1では、図3に線C1で示したように、表示倍率は、ユーザによる第1の入力部2への表示倍率変更操作に応じて、2,4,10,20倍の間で変更される。
 また、線C2は、同一の表示領域の画像を表示し続けている観察時間が長いほど高い値を示し、ユーザによる第1の入力部2への表示位置変更操作に応じて表示位置が変更されると、値がリセットされ、ゼロになる。例えば、期間T1では、図4に示すように、線C3(表示位置におけるX座標)及び線C4(表示位置におけるY座標)の双方に座標値の変化がない。すなわち、当該期間T1では、同一の表示領域の画像を表示し続けていることとなる。このため、当該期間T1では、図3に示すように、線C2は、高い値を示している。なお、期間T2,T3も同様である。特に、期間T2,T3では、表示倍率を20倍まで高くしており、表示部3に表示されている画像をユーザが注視していることを意味する。
 観察終了操作があったと判断した場合(ステップS7:Yes)には、プロセッサ41は、ユーザによる第1の入力部2への選択条件入力操作があったか否かを常時、監視する(ステップS8)。
 選択条件入力操作があったと判断された場合(ステップS8:Yes)には、視野情報抽出部413は、当該選択条件入力操作によって入力された選択条件(表示倍率)を取得する(ステップS9)。
 ステップS9の後、視野情報抽出部413は、視野情報記録部421に記録された全ての視野情報のうち、当該ステップS9において取得した選択条件(表示倍率)の倍率情報を含む視野情報を抽出する(ステップS10)。
 ステップS10の後、表示制御部414は、当該ステップS10において抽出された視野情報に基づいて、視野マップ画像を生成する(ステップS11)。
 図5及び図6は、視野マップ画像を説明する図である。具体的に、図5は、病理標本画像F1を示している。図6は、視野マップ画像F2を示している。なお、図6では、説明の便宜上、視野情報記録部421に記録された全ての視野情報から生成された各視野マップ画像(矩形枠内にドットパターンを付した画像)F2を示している。また、図5及び図6に示した点P1は、視野情報に含まれる表示位置(X座標及びY座標)を特定するための原点を意味する。
 なお、視野マップ画像は、観察した視野の状態を表示倍率や観察時間に応じて定量化し、これを画像として提示したものである。代表的なものとして、ヒートマップが挙げられる。
 具体的に、表示制御部414は、ステップS11において、以下に示すように視野マップ画像F2を生成する。
 表示制御部414は、ステップS10において抽出された視野情報に含まれる表示位置情報及び時刻情報に基づいて、当該視野情報に対応する画像を表示し続けている観察時間を生成する。
 ここで、図3及び図4に示した例における期間T2の視野情報を想定する。この視野情報の場合には、表示制御部414は、観察時間を10秒として生成する。
 次に、表示制御部414は、当該視野情報に含まれる表示位置情報及び倍率情報から特定される表示領域内で当該観察時間を画像化した視野マップ画像F2を生成する。
 ここで、図3及び図4に示した例において、期間T2の視野情報に含まれる表示位置情報を示す表示位置が図6に示した表示位置P2である場合を想定する。この場合には、表示制御部414は、当該表示位置P2及び当該視野情報に含まれる倍率情報を示す表示倍率20倍(図3)から特定される表示領域Ar1(図6)内で観察時間10秒を画像化した視野マップ画像領域F21を生成する。図6において、視野情報に含まれる表示位置情報及び倍率情報から特定される表示領域(矩形枠)は、表示倍率が高くなる程、小さくなる。また、図6の例では、観察時間をドットパターンによって画像化するとともに、観察時間が長い程、当該ドットパターンの密度を高くしている。なお、観察時間を画像化する形態としては、ドットパターンに限らず、色によって画像化した所謂ヒートマップを採用しても構わない。
 なお、各視野マップ画像F2上で表示領域が重なり合った部分については、観察時間を足し合わせたものとしてもよく、あるいは、当該部分において最も長い観察時間としても構わない。
 ステップS11の後、プロセッサ41は、ユーザによる第1の入力部2への表示形態選択操作があったか否かを常時、監視する(ステップS12)。
 表示形態選択操作があったと判断された場合(ステップS12:Yes)には、表示制御部414は、当該表示形態選択操作によって視野マップ画像の表示形態として第1の表示形態が選択されたか否かを判断する(ステップS13)。
 第1の表示形態が選択されたと判断した場合(ステップS13:Yes)には、表示制御部414は、表示部3の動作を制御し、ステップS11において生成した視野マップ画像を第1の表示形態で表示部3に表示させる(ステップS14)。
 図7は、第1の表示形態を説明する図である。具体的に、図7は、図5及び図6に対応させた図である。すなわち、図7では、説明の便宜上、図6と同様に、視野情報記録部421に記録された全ての視野情報から生成された各視野マップ画像F2を示している。なお、図7では、説明の便宜上、病理標本画像F1に含まれる被写体像(病理標本)F0を一点鎖線で図示している。
 具体的に、表示制御部414は、ステップS14において、図7に示すように、視野マップ画像F2を病理標本画像F1上に重畳した重畳画像F3を表示部3に表示させる。また、表示制御部414は、ステップS9において取得された選択条件(表示倍率)に応じた倍率を示す情報M1を表示部3に表示させる。ここでは、(表示倍率:○○倍)という表示が倍率を示す情報M1である。倍率を示す情報M1は、文字表示以外にもグラフィックによる表示やスケールによる表示等、選択条件(表示倍率)を示す表示であれば他の方法でもよい。
 一方、第2の表示形態が選択されていると判断した場合(ステップS13:No)には、表示制御部414は、表示部3の動作を制御し、ステップS11において生成した視野マップ画像を第2の表示形態で表示部3に表示させる(ステップS15)。
 図8は、第2の表示形態を説明する図である。具体的に、図8は、図5及び図6に対応させた図である。すなわち、図8では、説明の便宜上、図6と同様に、視野情報記録部421に記録された全ての視野情報から生成された各視野マップ画像F2を示している。
 具体的に、表示制御部414は、ステップS15において、図8に示すように、視野マップ画像F2と病理標本画像F1とを並べて表示部3に表示させる。また、表示制御部414は、ステップS9において取得された選択条件(表示倍率)に応じた倍率を示す情報M1を表示部3に表示させる。
 ここで、表示制御部414は、ユーザによる第1の入力部2へのユーザ操作に応じて、病理標本画像F1上でカーソルCUが指す位置P3に対応する位置P3´に位置する視野マップ画像F2を他の視野マップ画像F2と識別する状態で表示する。図8の例では、位置P3´に位置する視野マップ画像F2の枠の輪郭を強調することによって、他の視野マップ画像F2と識別している。
 ステップS14またはステップS15の後、プロセッサ41は、ユーザによる第1の入力部2への選択条件入力操作によって、選択条件(表示倍率)が変更されたか否かを常時、監視する(ステップS16)。
 選択条件が変更されたと判断した場合(ステップS16:Yes)には、プロセッサ41は、ステップS9に戻る。そして、視野情報抽出部413は、当該変更された選択条件(表示倍率)を取得する。この後、ステップS10に移行する。
 一方、選択条件が変更されないと判断した場合(ステップS16:No)には、プロセッサ41は、本制御フローを終了する。
 以上説明した本実施の形態1によれば、以下の効果を奏する。
 本実施の形態1に係る情報処理装置4は、視野情報を生成し、当該視野情報に基づいて病理標本画像についてどこをどのように観察したか等の観察状態を視野マップ画像として可視化する。このため、診断における病変の種類に応じた視野マップ画像を表示することが可能となり、病理医間の診断の共有化、及びダブルチェックによる重要病変部の見落とし防止といった利便性の診断支援を行うことができる。また、視野マップ画像を病理標本画像上に重畳する第1の表示形態で表示することによって、実際の観察で注目していた領域の認識が容易になり、病理医の診断精度を向上させる支援を行うことができる。一方、視野マップ画像を病理標本画像と並べる第2の表示形態で表示することによって、病理標本画像の状態を表示したままで注目している領域の認識が容易になり、上記同様に、病理医の診断精度を向上させる支援を行うことができる。
 特に、ユーザは、第1の入力部2への選択条件(表示倍率)の入力操作(選択条件入力操作)によって、当該表示倍率の視野マップ画像のみを表示させることができる。
 このため、表示倍率が低倍の視野マップ画像と、表示倍率が高倍の視野マップ画像とをそれぞれ比較することによって、低倍で観察して気になる箇所において高倍に切り替えて観察している等の様子を見ることができる。より具体的に、表示倍率が低倍ではそれほど観察時間が長くないが、表示倍率が高倍では観察時間が長い場合には、画像を拡大して位置を固定した状態で時間をかけて観察していることとなる。一方、表示倍率が低倍では観察時間が比較的に長いが、表示倍率が高倍では観察時間があまり長くない場合には、低倍で時間をかけて観察したものの高倍での観察時間は短かったこととなる。
(実施の形態2)
 次に、本実施の形態2について説明する。
 以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
 図9は、本実施の形態2に係る情報処理システム1Aを示すブロック図である。
 本実施の形態2に係る情報処理システム1Aでは、視野情報を抽出するにあたって、ユーザが発した言葉を利用する。そして、情報処理システム1Aでは、図9に示すように、上述した実施の形態1において説明した情報処理システム1(図1)に対して、第2の入力部5が追加されている。また、情報処理システム1Aでは、プロセッサ41に音声認識部415が追加され、記録部42に音声情報記録部422が追加されている。
 第2の入力部5は、本発明に係る入力部に相当する。この第2の入力部5は、具体的な図示は省略したが、入力した音声を電気信号に変換するマイクロフォンと、当該電気信号からA/D変換等によって音声信号(デジタル信号)を生成する音声処理部とを備える。そして、第2の入力部5は、入力した音声に応じた音声信号を情報処理装置4に対して出力する。
 なお、音声認識部415の機能については、本実施の形態2に係る情報処理方法を説明する際に説明する。
 図10は、情報処理方法を示すフローチャートである。
 本実施の形態2に係る情報処理方法では、図10に示すように、上述した実施の形態1において説明した情報処理方法(図2)に対して、ステップS17,S18が追加されているとともに、ステップS10の代わりにステップS10Aが追加されている点が異なる。このため、以下では、ステップS17,S18,S10Aのみを主に説明する。
 ステップS17は、ステップS6の後に実行される。
 具体的に、プロセッサ41は、ステップS17において、第2の入力部5から音声信号を入力したか否かを判断する。
 音声信号を入力していないと判断した場合(ステップS17:No)には、プロセッサ41は、ステップS7に移行する。
 一方、音声信号を入力したと判断された場合(ステップS17:Yes)には、音声認識部415は、音声信号に基づいて、当該音声信号に対応する音声を言語で表した文字情報に変換する。また、音声認識部415は、当該文字情報に対して、音声信号の入力を開始した時刻(以下、発話開始時刻と記載)と、当該音声信号の入力を終了した時刻(以下、発話終了時刻と記載)とを関連付けた音声情報を生成し、当該音声情報を音声情報記録部422に記録する(ステップS18)。この後、プロセッサ41は、ステップS7に移行する。
 そして、ステップS10Aは、以下に示すように実行される。
 すなわち、視野情報抽出部413は、ステップS9において取得した選択条件(表示倍率)と、ステップS18において記録された特定の音声情報に含まれる発話開始時刻及び発話終了時刻とを把握する。そして、視野情報抽出部413は、視野情報記録部421に記録された全ての視野情報のうち、当該選択条件(表示倍率)の倍率情報と、当該発話開始時刻~当該発話終了時刻の間の表示時刻を示す時刻情報とを含む視野情報を抽出する。当該発話開始時刻~当該発話終了時刻の間は、本発明に係る特定の時間に相当する。
 なお、上述した「特定の音声情報」とは、癌等の特定のキーワードの文字情報を含む音声情報を意味する。
 図11ないし図13は、ステップS10Aを説明する図である。具体的に、図11は、視野情報記録部421に記録された全ての視野情報から生成された各視野マップ画像F2を示している。図12は、病理標本画像F1を示している。図13は、ステップS10Aにおいて抽出された視野情報に応じた視野マップ画像領域F221を示している。
 ここで、ステップS3~S6,S17,S18のループにおいて表示領域Ar2をユーザが観察している際に「腺癌が浸潤しています。」との言葉を発した場合を想定する(図12)。また、ステップS9において取得された選択条件(表示倍率)が「2倍」である場合を想定する。
 この場合には、視野情報記録部421に記録された全ての視野情報(視野マップ画像F2)のうち、各視野マップ画像領域F22(図11)は、表示倍率が2倍の倍率情報を含む視野情報に応じた視野マップ画像である。また、各視野マップ画像領域F221(図11)は、ユーザが「癌が浸潤しています。」との言葉を発した発話開始時刻~発話終了時刻の間の表示時刻を示す時刻情報を含む視野情報に応じた視野マップ画像である。このため、ステップS10Aでは、図13に示すように、当該視野情報(視野マップ画像領域F221)が抽出される。
 以上説明した本実施の形態2によれば、上述した実施の形態1と同様の効果の他、以下の効果を奏する。
 本実施の形態2に係る情報処理装置4によれば、音声入力等のユーザの操作に関し、当該操作の内容を時系列で記録していくことで、ある操作を行った際の時間を指定することが可能となる。すなわち、当該ある操作を行った際の時間と表示倍率とを組み合わせることによって、ある操作を行っていた際のユーザの視野の様子を表示することが可能となり、診断の様子が可視化されて理解が容易になり、病理医の診断精度を向上させる支援を行うことができる。
(実施の形態3)
 次に、本実施の形態3について説明する。
 以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
 図14は、本実施の形態3に係る情報処理システム1Bを示すブロック図である。
 本実施の形態3に係る情報処理システム1Bでは、病理標本画像F1の観察時にユーザが注視した注目領域と当該注目領域と画像特徴量が類似する観察候補領域とに対応する視野情報に基づいて視野マップ画像を生成する。そして、情報処理システム1Bでは、図14に示すように、上述した実施の形態1において説明した情報処理システム1(図1)に対して、プロセッサ41に注目領域抽出部416、画像特徴量算出部417、及び観察候補領域抽出部418が追加されている。
 なお、注目領域抽出部416、画像特徴量算出部417、及び観察候補領域抽出部418の機能については、本実施の形態3に係る情報処理方法を説明する際に説明する。
 図15は、情報処理方法を示すフローチャートである。
 本実施の形態3に係る情報処理方法では、図15に示すように、上述した実施の形態1において説明した情報処理方法(図2)に対して、ステップS19~S21が追加されているとともに、ステップS11の代わりにステップS11Bが追加されている点が異なる。このため、以下では、ステップS19~S21,S11Bのみを主に説明する。
 ステップS19は、観察開始操作があったと判断された場合(ステップS2:Yes)に実行される。
 図16は、ステップS19を説明する図である。
 具体的に、画像特徴量算出部417は、ステップS19において、病理標本画像F1全体について、単位領域(例えば画素等)毎に画像特徴量を算出する。なお、図16では、画像特徴量が類似する領域を同一の模様によって表現している。例えば、領域Ar3は、類似する画像特徴量を有する領域である。また、領域Ar4も類似する画像特徴量を有する領域である。
 ここで、当該画像特徴量は、例えば、エッジやテクスチャといった空間成分による画像特徴量、輝度ムラといった周波数成分による画像特徴量、色相や彩度といった色成分による画像特徴量等であり、様々な画像特徴量を1種類、または複数種類を組み合わせたものである。
 ステップS20は、ステップS10の後に実行される。
 具体的に、注目領域抽出部416は、ステップS10において抽出された視野情報に含まれる表示位置情報及び時刻情報に基づいて、当該視野情報に対応する画像を表示し続けている観察時間を生成する。そして、注目領域抽出部416は、ステップS10において抽出された視野情報のうち、生成した観察時間が特定の時間以上である視野情報を注目領域として抽出する(ステップS20)。
 図17は、ステップS20を説明する図である。
 ここで、図3及び図4に示した例における期間T2,T3の2つの視野情報がステップS10において抽出された場合、すなわち、ステップS9において取得した選択条件(表示倍率)が「20倍」である場合を想定する。また、上述した特定の時間が「10秒」である場合を想定する。この場合には、注目領域抽出部416は、期間T2,T3の2つの視野情報から生成される各観察時間が10秒以上であるため、ステップS10において抽出された2つの視野情報の全てを注目領域とする(ステップS20)。図17では、当該2つの注目領域(視野情報)に応じた視野マップ画像領域F23,F24を示している。なお、図17では、説明の便宜上、視野マップ画像領域F23,F24には、観察時間に応じたドットパターンを付していない。
 ステップS20の後、観察候補領域抽出部418は、観察候補領域を抽出する(ステップS21)。
 図18は、ステップS21を説明する図である。図18は、図17に対応させた図である。
 具体的に、観察候補領域抽出部418は、ステップS19において算出された画像特徴量を参照し、ステップS20において抽出された注目領域の画像特徴量を把握する。また、観察候補領域抽出部418は、ステップS19において算出された画像特徴量を参照し、倍率情報に基づき注目領域と同じ視野の領域における画像特徴量を把握する。そして、観察候補領域抽出部418は、注目領域の画像特徴量と類似する画像特徴量を有する領域を観察候補領域として抽出する(ステップS21)。図18では、1つの注目領域(視野マップ画像領域F23)の画像特徴量と類似する画像特徴量を有する観察候補領域に応じた視野マップ画像領域F231~F233と、他の1つの注目領域(視野マップ画像領域F24)の画像特徴量と類似する画像特徴量を有する観察候補領域に応じた視野マップ画像領域F241~F243とを示している。視野マップ画像領域F23,F231~F233は、図16に示した領域Ar3に位置する視野マップ画像である。また、視野マップ画像領域F24,F241~F243は、図16に示した領域Ar4に位置する視野マップ画像である。なお、図18では、説明の便宜上、視野マップ画像領域F23,F24と同様に、視野マップ画像領域F231~F233,F241~F243にも観察時間に応じたドットパターンを付していない。
 なお、注目領域の画像特徴量としては、当該注目領域全体の画像特徴量を用いて観察候補領域を抽出してもよく、当該注目領域の一部の領域(例えば、図17に示した中心領域Ar5)の画像特徴量を用いて観察候補領域を抽出しても構わない。また、観察候補領域としては、注目領域と同一の表示倍率(ステップS9において取得された選択条件)を有するもののみを抽出しても構わない。
 また、注目領域の画像特徴量と類似する観察候補領域の抽出は既に多くの方法が提案されている。例えば文献(https://www.semanticscholar.org/paper/A-Cluster-then-label-Semi-supervised-Learning-for-Peikari-Salama/33fa30639e30bfa85fed7aeb3a1d5e536b9435f3)には、病理画像に対して例えば高次元のデータを2次元または3次元に圧縮して可視化するt-SNE(T-distributed Stochastic Neighbor Embedding)を用いて病変の分類を行う方法が取り上げられており、このような手法を用いて観察候補領域を抽出するようにしてもよい。
 ステップS21の後、表示制御部414は、ステップS20において抽出された注目領域(視野情報)の視野マップ画像、及びステップS21において抽出された観察候補領域(視野情報)の視野マップ画像をそれぞれ生成する(ステップS11B)。そして、ステップS14では、例えば、図18に示すように、視野マップ画像領域F23,F231~F233,F24,F241~F243が病理標本画像F1上に重畳された状態で表示部3に表示される。なお、当該表示では、視野マップ画像領域F23,F231~F233と視野マップ画像領域F24,F241~F243とを識別可能に表示しても構わない。さらに、注目領域と観察候補領域とを識別するために、例えば、視野マップ画像領域F23(F24)と視野マップ画像領域F231~F233(F241~F243)とを識別可能に表示しても構わない。
 以上説明した本実施の形態3によれば、上述した実施の形態1と同様の効果の他、以下の効果を奏する。
 本実施の形態3に係る情報処理装置4は、視野情報記録部421に記録された全ての視野情報のうち、特定の表示倍率で観察時間が長い視野情報を注目領域とする。また、情報処理装置4は、当該注目領域に関する画像特徴量の観点から病理標本画像内で類似している領域を観察候補領域として抽出する。そして、情報処理装置4は、当該注目領域及び当該観察候補領域を視野マップ画像として可視化する。このため、過去に観察した箇所と類似する病変の候補部位を病理医等の観察者に提示することができる。また、過去の病理標本画像の観察における視野情報に付随する画像特徴量と現在の病理標本画像における画像特徴量とを比較することで、過去の病理標本画像で注目していた画像特徴量に類似する領域を現在の病理標本画像から検出することが可能となり、注目すべき病変部の見落としの検出、及び防止といった診断支援に繋げることができる。
(実施の形態4)
 次に、本実施の形態4について説明する。
 以下の説明では、上述した実施の形態1と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
 図19は、本実施の形態4に係る顕微鏡システム1Cを示すブロック図である。
 上述した実施の形態1では、情報処理装置4が取得する病理標本画像F1は、バーチャルスライド画像であった。
 これに対して、本実施の形態4に係る顕微鏡システム1Cでは、情報処理装置4は、顕微鏡200によって撮像された画像(病理標本画像)をリアルタイムで取得する。そして、顕微鏡システム1Cでは、図19に示すように、上述した実施の形態1において説明した情報処理システム1に対して、顕微鏡200が追加されているとともに、プロセッサ41にステージ制御部419が追加されている。
 顕微鏡200は、本体部201と、回転部202と、昇降部203と、ステージ204と、レボルバ205と、対物レンズ206と、倍率検出部207と、鏡筒部208と、接続部209と、接眼部210と、撮像部211とを備える。
 本体部201は、図19に示すように、側面視L字形状を有し、各部材202~211を支持する。
 昇降部203は、本体部201に対して上下方向に移動自在に接続される。
 回転部202は、ユーザ操作に応じて回転することによって、昇降部203を上下方向に移動させる。
 ステージ204は、図19に示すように、病理標本SPが載置される部分である。このステージ204は、昇降部203に対して下方に対向し、本体部201に対して水平面内で移動可能に接続される。そして、ステージ204が移動することによって、視野が変更される。なお、ステージ204の移動は、ユーザによる第1の入力部2への表示位置変更操作に応じて、ステージ制御部419による制御の下、実行される。
 ここで、本実施の形態4における表示位置情報とは、ステージ204の位置(X座標及びY座標)を示す情報である。
 レボルバ205には、図19に示すように、互いに倍率が異なる複数の対物レンズ206が接続されている。そして、レボルバ205は、光軸L1に対して回転可能に昇降部203における下方側の面に接続されている。ユーザは、レボルバ205を操作することによって、所望の対物レンズ206を光軸L1上に配置する。
 ここで、対物レンズ206には、倍率を示す情報、例えばICチップ等が添付されている。
 そして、倍率検出部207は、光軸L1上に配置された対物レンズ206に添付されたICチップ等から当該対物レンズ206の倍率を検出する。また、倍率検出部207は、検出した当該倍率を示す情報を情報処理装置4に対して出力する。
 ここで、本実施の形態4に係る倍率情報とは、光軸L1上に配置された対物レンズ206の倍率と、接眼部210(接眼レンズ)の倍率との統合倍率を示す情報である。
 鏡筒部208は、内部にプリズム、ハーフミラー及びコリメートレンズ等を有する。そして、鏡筒部208は、対物レンズ206によって結像された病理標本SPの被写体像の一部を接続部209に向けて透過するとともに、接眼部210に向けて反射する。
 接続部209は、複数のコリメートレンズ及び結像レンズ等を用いて構成される。この接続部209は、一端が鏡筒部208と接続され、他端が撮像部211と接続される。そして、接続部209は、鏡筒部208を透過した病理標本SPの被写体像を撮像部211に向けて導光する。
 接眼部210は、複数のコリメートレンズ及び結像レンズ等を用いて構成される。そして、接眼部210は、鏡筒部208によって反射された被写体像を導光するとともに結像する。
 撮像部211は、CMOS(Complementary Metal Oxide Semiconductor)またはCCD(Charge Coupled Device)等のイメージセンサ等を用いて構成される。そして、撮像部211は、接続部209が結像した病理標本SPの被写体像を受光することによって画像データ(本発明に係る病理標本画像に相当)を生成し、当該画像データを情報処理装置4に対して出力する。
 なお、本実施の形態4では、上述した実施の形態1に対して、取得する病理標本画像と、表示位置情報と、倍率情報とが異なるのみである。このため、本実施の形態4に係る情報処理方法は、上述した実施の形態1において説明した情報処理方法(図2)と同様である。
 以上説明した本実施の形態4に係る顕微鏡システム1Cであっても、上述した実施の形態1と同様の効果を奏する。
(その他の実施形態)
 ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1~4によってのみ限定されるべきものではない。
 上述した実施の形態2~4に記載の構成を適宜、組み合わせても構わない。例えば、実施の形態2における情報処理システム1Aに対して、注目領域抽出部416、画像特徴量算出部417、及び観察候補領域抽出部418を追加し、ステップS19~S21,S11Bを実行する構成としても構わない。
 上述した実施の形態1~4において、図2、図10、及び図15に示したフローは、矛盾のない範囲で処理の順序を変更しても構わない。
 1,1A,1B 情報処理システム
 1C 顕微鏡システム
 2 第1の入力部
 3 表示部
 4 情報処理装置
 5 第2の入力部
 41 プロセッサ
 42 記録部
 200 顕微鏡
 201 本体部
 202 回転部
 203 昇降部
 204 ステージ
 205 レボルバ
 206 対物レンズ
 207 倍率検出部
 208 鏡筒部
 209 接続部
 210 接眼部
 211 撮像部
 411 画像取得部
 412 視野情報生成部
 413 視野情報抽出部
 414 表示制御部
 415 音声認識部
 416 注目領域抽出部
 417 画像特徴量算出部
 418 観察候補領域抽出部
 419 ステージ制御部
 421 視野情報記録部
 422 音声情報記録部
 Ar1,Ar2 表示領域
 Ar3,Ar4 領域
 Ar5 中心領域
 C1~C4 線
 CU カーソル
 F0 被写体像
 F1 病理標本画像
 F2 視野マップ画像
 F21~F24,F221,F231~F233,F241~F243 視野マップ画像領域
 F3 重畳画像
 L1 光軸
 M1 倍率を示す情報
 P1 原点
 P2 表示位置
 P3,P3´ 位置
 SP 病理標本
 T1~T3 期間

Claims (10)

  1.  観察対象を撮像することによって生成された撮像画像の少なくとも一部の画像を表示部に表示させる表示制御部と、
     前記表示部に表示させた前記少なくとも一部の画像に対応する表示領域の位置を示す表示位置情報と、前記少なくとも一部の画像の表示倍率を示す倍率情報と、前記少なくとも一部の画像の表示時刻を示す時刻情報とを関連付けて視野情報を生成し、前記視野情報を記録部に記録する視野情報生成部と、
     前記記録部に記録させた前記視野情報のうち、入力部に対して入力された少なくとも一種類の特定の表示倍率を示す前記倍率情報を含む前記視野情報を抽出する視野情報抽出部と、を備え、
     前記表示制御部は、
     前記視野情報抽出部によって抽出された前記視野情報に応じた視野マップ画像を生成するとともに、前記視野マップ画像を前記表示部に表示させる情報処理装置。
  2.  前記表示制御部は、
     前記視野マップ画像を前記撮像画像上に重畳した重畳画像を前記表示部に表示させる、請求項1に記載の情報処理装置。
  3.  前記表示制御部は、
     前記視野マップ画像と前記撮像画像とを並べて前記表示部に表示させる、請求項1に記載の情報処理装置。
  4.  前記表示制御部は、
     前記特定の表示倍率を示す倍率情報に応じた倍率を示す情報を前記表示部に表示させる、請求項2または3に記載の情報処理装置。
  5.  前記表示制御部は、
     前記視野情報に含まれる前記表示位置情報及び前記時刻情報に基づいて前記少なくとも一部の画像を表示し続けている観察時間を生成するとともに、前記視野情報に含まれる前記表示位置情報及び前記倍率情報から特定される前記表示領域内で前記観察時間を画像化した前記視野マップ画像を生成する、請求項2~4のいずれか一つに記載の情報処理装置。
  6.  前記視野情報抽出部は、
     前記記録部に記録させた前記視野情報のうち、抽出条件として、前記特定の表示倍率を示す倍率情報と、特定の時間内の表示時刻に基づく観察時間情報とから特定される前記視野情報を抽出する、請求項1~5のいずれか一つに記載の情報処理装置。
  7.  前記視野情報抽出部は、
     入力部に対する特定の情報の入力タイミングに基づいて前記特定の時間を生成する、請求項6に記載の情報処理装置。
  8.  前記視野情報に基づいて前記撮像画像内の注目領域を抽出する注目領域抽出部と、
     前記撮像画像内における各領域の画像特徴量を算出する画像特徴量算出部と、
     前記撮像画像内において、前記注目領域の前記画像特徴量に類似する前記画像特徴量を有する観察候補領域を抽出する観察候補領域抽出部と、をさらに備える、請求項1~7のいずれか一つに記載の情報処理装置。
  9.  情報処理装置が実行する情報処理方法であって、
     観察対象を撮像することによって生成された撮像画像の少なくとも一部の画像を表示部に表示させ、
     前記表示部に表示させた前記少なくとも一部の画像に対応する表示領域の位置を示す表示位置情報と、前記少なくとも一部の画像の表示倍率を示す倍率情報と、前記少なくとも一部の画像の表示時刻を示す時刻情報とを関連付けて視野情報を生成し、前記視野情報を記録部に記録し、
     前記記録部に記録させた前記視野情報のうち、入力部に対して入力された少なくとも一種類の特定の表示倍率を示す前記倍率情報を含む前記視野情報を抽出し、
     抽出した前記視野情報に応じた視野マップ画像を生成するとともに、前記視野マップ画像を前記表示部に表示させる情報処理方法。
  10.  コンピュータに実行させる情報処理プログラムであって、
     前記情報処理プログラムは、前記コンピュータに以下の実行を指示する:
     観察対象を撮像することによって生成された撮像画像の少なくとも一部の画像を表示部に表示させ、
     前記表示部に表示させた前記少なくとも一部の画像に対応する表示領域の位置を示す表示位置情報と、前記少なくとも一部の画像の表示倍率を示す倍率情報と、前記少なくとも一部の画像の表示時刻を示す時刻情報とを関連付けて視野情報を生成し、前記視野情報を記録部に記録し、
     前記記録部に記録させた前記視野情報のうち、入力部に対して入力された少なくとも一種類の特定の表示倍率を示す前記倍率情報を含む前記視野情報を抽出し、
     抽出した前記視野情報に応じた視野マップ画像を生成するとともに、前記視野マップ画像を前記表示部に表示させる情報処理プログラム。
PCT/JP2020/001563 2020-01-17 2020-01-17 情報処理装置、情報処理方法、及び情報処理プログラム WO2021144984A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021570620A JP7449313B2 (ja) 2020-01-17 2020-01-17 情報処理装置、情報処理方法、及び情報処理プログラム
PCT/JP2020/001563 WO2021144984A1 (ja) 2020-01-17 2020-01-17 情報処理装置、情報処理方法、及び情報処理プログラム
US17/861,480 US20220351428A1 (en) 2020-01-17 2022-07-11 Information processing apparatus, information processing method, and computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/001563 WO2021144984A1 (ja) 2020-01-17 2020-01-17 情報処理装置、情報処理方法、及び情報処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/861,480 Continuation US20220351428A1 (en) 2020-01-17 2022-07-11 Information processing apparatus, information processing method, and computer readable recording medium

Publications (1)

Publication Number Publication Date
WO2021144984A1 true WO2021144984A1 (ja) 2021-07-22

Family

ID=76864049

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/001563 WO2021144984A1 (ja) 2020-01-17 2020-01-17 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (3)

Country Link
US (1) US20220351428A1 (ja)
JP (1) JP7449313B2 (ja)
WO (1) WO2021144984A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220351428A1 (en) * 2020-01-17 2022-11-03 Olympus Corporation Information processing apparatus, information processing method, and computer readable recording medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011112523A (ja) * 2009-11-27 2011-06-09 Sony Corp 情報処理装置、情報処理方法及びそのプログラム
JP2014021178A (ja) * 2012-07-13 2014-02-03 Sony Corp 情報処理装置、情報処理方法、および情報処理プログラム
JP2019200651A (ja) * 2018-05-17 2019-11-21 オリンパス株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6947841B2 (ja) * 2017-06-13 2021-10-13 グーグル エルエルシーGoogle LLC 病理学用の拡張現実顕微鏡
JP2022546595A (ja) * 2019-09-09 2022-11-04 ペイジ.エーアイ インコーポレイテッド デジタル病理学のためのスライドの画像を処理するためのシステムおよび方法
JP7449313B2 (ja) * 2020-01-17 2024-03-13 株式会社エビデント 情報処理装置、情報処理方法、及び情報処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011112523A (ja) * 2009-11-27 2011-06-09 Sony Corp 情報処理装置、情報処理方法及びそのプログラム
JP2014021178A (ja) * 2012-07-13 2014-02-03 Sony Corp 情報処理装置、情報処理方法、および情報処理プログラム
JP2019200651A (ja) * 2018-05-17 2019-11-21 オリンパス株式会社 情報処理装置、情報処理方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220351428A1 (en) * 2020-01-17 2022-11-03 Olympus Corporation Information processing apparatus, information processing method, and computer readable recording medium

Also Published As

Publication number Publication date
JP7449313B2 (ja) 2024-03-13
JPWO2021144984A1 (ja) 2021-07-22
US20220351428A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
US11412928B2 (en) Systems and methods for improved ophthalmic imaging
US8350905B2 (en) Microscope system, image generating method, and program for practicing the same
JP6091137B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2019530048A (ja) 病理データ捕捉
JP5350532B2 (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
WO2014103664A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20130187954A1 (en) Image data generation apparatus and image data generation method
US9159117B2 (en) Drawing data generation apparatus, drawing data generation method, program, and drawing data generation system for changing magnification of displayed images
US10964044B2 (en) Method of operating measurement device, measurement device, and recording medium
JP7064952B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2011015163A (ja) 撮像装置
US10302932B2 (en) Microscope system and microscopy method using digital markers
EP3933383A1 (en) Information processing device, information processing method, and information processing system
JP2012008027A (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
US20060178561A1 (en) Endoscope apparatus
WO2021144984A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JPWO2020121382A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2007249527A (ja) 画像編集装置、画像編集方法および画像編集プログラム
JP2011044016A (ja) 三次元細胞画像解析装置
US11055865B2 (en) Image acquisition device and method of operating image acquisition device
JP7174318B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2009282379A (ja) 内視鏡装置およびプログラム
JP7219804B2 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
CN110717866B (zh) 基于增强现实的图像锐化方法及增强现实眼镜
Qidwai et al. Image stitching system with scanning microscopy for histopathological applications

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20914710

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021570620

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20914710

Country of ref document: EP

Kind code of ref document: A1