WO2021117613A1 - 情報処理方法、情報処理装置、情報処理プログラムおよび情報処理システム - Google Patents

情報処理方法、情報処理装置、情報処理プログラムおよび情報処理システム Download PDF

Info

Publication number
WO2021117613A1
WO2021117613A1 PCT/JP2020/045136 JP2020045136W WO2021117613A1 WO 2021117613 A1 WO2021117613 A1 WO 2021117613A1 JP 2020045136 W JP2020045136 W JP 2020045136W WO 2021117613 A1 WO2021117613 A1 WO 2021117613A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
information processing
users
view
annotation
Prior art date
Application number
PCT/JP2020/045136
Other languages
English (en)
French (fr)
Inventor
山根　健治
志織 笹田
祥次 渡邊
一真 高橋
高橋　正宏
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021117613A1 publication Critical patent/WO2021117613A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • the present invention relates to an information processing method, an information processing device, an information processing program and an information processing system.
  • a digital microscope device that images a cell tissue using a microscope device that observes the cell tissue and saves it as a medical image.
  • a digital microscope device in order to observe the entire sample, a small area on a slide glass that divides the area containing the sample is imaged by a magnifying image pickup system, and a plurality of images for each small area are joined together to form one huge image. Create medical images. Medical diagnosis such as pathological diagnosis is performed based on the medical image.
  • Patent Document 1 describes a method of superimposing and displaying annotation information on a medical image requested by a display device.
  • images can be displayed synchronously on a plurality of display devices and annotation information can be added at a predetermined position, but further improvement in usability regarding the display of medical images is required.
  • the present application has been made in view of the above, and aims to promote the improvement of usability regarding the display of medical images.
  • the information processing method is information on viewing medical images of a plurality of users, and is obtained by acquiring information on the angle of view of an image viewed by the plurality of users among the medical images. It is characterized in that the display of the angle of view indicating the display range for displaying the medical image is controlled based on the information regarding the viewing of the medical image by the user.
  • FIG. It is a figure which shows the structural example of the information processing system which concerns on embodiment. It is a figure which shows an example of the display screen which concerns on Embodiment 1.
  • FIG. It is a figure which shows an example of the display screen which concerns on Embodiment 1.
  • FIG. It is a figure which shows an example of the display screen which concerns on Embodiment 1.
  • FIG. It is a figure which shows an example of the display screen which concerns on Embodiment 2.
  • FIG. It is a figure which shows an example of the display screen which concerns on Embodiment 2.
  • FIG. It is a figure which shows an example of the display screen which concerns on Embodiment 3.
  • FIG. It is a figure which shows an example of the display screen which concerns on Embodiment 3.
  • FIG. It is a figure which shows an example of the display screen which concerns on Embodiment 4.
  • FIG. It is a figure which shows an example of the display screen which concerns on Embodiment 4.
  • FIG. It is a figure which shows an example of the display screen which concerns on Embodiment 4.
  • FIG. It is a figure which shows the structural example of the information processing system which concerns on embodiment.
  • the embodiment the information processing method, the information processing apparatus, the information processing program, and the mode for implementing the information processing system according to the present application (hereinafter, referred to as “the embodiment”) will be described in detail with reference to the drawings.
  • the information processing method, information processing device, information processing program, and information processing system according to the present application are not limited by this embodiment. Further, in each of the following embodiments, the same parts are designated by the same reference numerals, and duplicate description is omitted.
  • an example of the visual field information according to the embodiment is the angle of view.
  • the angle of view according to the embodiment is information indicating a display range of a pathological image that can be viewed by the user on the screen.
  • the angle of view according to the embodiment is coordinate information indicating a display range of the pathological image on the display device.
  • the area corresponding to the angle of view according to the embodiment may be appropriately referred to as "angle of view”.
  • the area corresponding to the angle of view of another user is displayed on the screen of the terminal used by the first user.
  • the list may be lacking.
  • the angle of view is adjusted based on the sharing of the angle of view
  • cases where the angle of view is adjusted based on the sharing of annotations cases where annotations are mapped to section images, and cases where multiple users make annotations. It may indicate whether or not it has been confirmed.
  • the sharing according to the embodiment means that an object operated by another user is displayed on the screen.
  • the annotation according to the embodiment may be any information as long as it is information given to the pathological image by the user.
  • the angle of view is controlled so that the information related to the user's browsing is displayed.
  • FIG. 1 shows an example of an information processing system according to an embodiment.
  • FIG. 1 shows a case where a plurality of people view a pathological image via a network.
  • FIG. 1 shows a case where a predetermined server (for example, a WSI (Whole Slide Imaging) server) and a plurality of display devices are connected via a network.
  • the plurality of display devices are terminals used by each user for browsing.
  • the display device 1 is a terminal that the user U1 is browsing.
  • the display device 1 displays an area corresponding to the angle of view of another display device.
  • the angle of view of the other display device indicates the display range of the display being viewed by the other display device.
  • the display device 1 displays an area corresponding to the angle of view of the display device 2 and the display device 3. Further, the angle of view of the other user can move in real time on the screen of the user who displays the area corresponding to the angle of view of the other user according to the viewing of the other user.
  • Each display device gives a bird's-eye view so that the image of the area observed by each display device, that is, the image of the area corresponding to the angle of view of each user, and the area corresponding to the angle of view of another user can be seen.
  • the bird's-eye view is to expand the display range by zooming out the image. This allows the user to view the image from the pulled position.
  • the degree of bird's-eye view may be determined according to the display of the angle of view. For example, the degree of bird's-eye view may be determined so that the entire area corresponding to the angle of view of a predetermined user is included on the screen.
  • the bird's-eye view display device is a terminal different from a plurality of display devices, and displays a bird's-eye view image of an area corresponding to the angle of view of the plurality of display devices. Further, the bird's-eye view display device may display an area corresponding to the angle of view of all users. For the user who uses the bird's-eye view display device, the bird's-eye view display device controls the angle of view so as to display information about its own browsing and information about another user's browsing.
  • FIG. 1 shows a case where a bird's-eye view display device for displaying in the bird's-eye view mode is set.
  • the pathologist uses both a display device for viewing by himself and a bird's-eye view display device (for example, a tablet screen) for displaying in the bird's-eye view mode, and confirms the angle of view information of all users including himself. can do. This makes it possible to display at a glance which range other users are viewing. Thereby, improvement of listability can be promoted.
  • information indicating what kind of property the area corresponding to the angle of view displayed on the screen is the angle of view of the user is displayed on each display device. As described above, in the embodiment, the angle of view information viewed by another user is displayed.
  • FIG. 2 shows an example of a display screen according to the embodiment.
  • FIG. 2 shows an example of the angle of view information being viewed by another user.
  • the screen MV 11 is an area for observing an image by enlarging or reducing the image (hereinafter, appropriately referred to as a “main view”).
  • the screen SV11 is an area (hereinafter, appropriately referred to as “summary view”) on which the entire pathological image can be displayed.
  • the overview view may be displayed on the same display device as the main view or on a different display device.
  • an area corresponding to the angle of view controlled by at least one of the main view and the overview view is displayed.
  • FIG. 2 shows a case where there is one overview view on the screen, but there may be a plurality of overview views.
  • the summary view is not limited to the case where it is located at the upper right of the entire screen, and may be located at any position on the entire screen. Further, the angle of view information of another user may be displayed in the main view or the summary view. FIG. 2 shows a case where the angle of view information of another user is displayed on both the main view and the overview view screens. This allows each user to see at a glance what range other users are viewing.
  • FIG. 3 shows an example of a display screen according to the embodiment.
  • FIG. 3 shows an example of display when displaying areas corresponding to a plurality of angles of view.
  • four users including oneself are browsing, and an area corresponding to the angle of view of three other users other than oneself is displayed in the main view.
  • FIG. 3A shows the screen GC11.
  • FIG. 3B shows the screen GC22.
  • FIG. 3B is a screen in which the display of the screen GC11 of FIG. 3A is adjusted so that the entire area corresponding to the angle of view of all three other users is included. Therefore, in FIG.
  • the entire angle of view is displayed at all the angles of view of the three other users. Specifically, in FIG. 3B, the entire angle of view is displayed on the screen GC22 at all the angles of view of the angle of view GC1, the angle of view GC2, and the angle of view GC3. Although the area corresponding to the angle of view is shown to be fixed in FIG. 3, the area corresponding to the angle of view can be moved on the screen according to the operation of the user.
  • the display range is controlled based on the angle of view information. As described above, in the embodiment, the display range for displaying the operation information of a plurality of people on one screen is controlled based on the angle of view information.
  • FIG. 4 shows an example of a display screen according to the embodiment.
  • a user profile is displayed in an area corresponding to each angle of view. Specifically, the user's profile is displayed by adding a color, an icon, text, or the like to the area corresponding to each angle of view.
  • the angle of view GC1 is the angle of view of a user whose profile is a trainee.
  • the angle of view GC2 is the angle of view of a user whose profile is a specialist.
  • the angle of view GC3 is the angle of view of a user whose profile is an instructor.
  • FIG. 4 shows an example of displaying the information indicating the profile of the other user for each of the information regarding the browsing of the other user as well as the information regarding the browsing of the other user.
  • the display information indicating the skill level, specialty level, specialty, or proficiency level of another user displays information indicating whether another user is a trainee, a specialist, or an instructor.
  • the expressions of residents, specialists, instructors, etc. shown in FIG. 4 are examples of information indicating skill level, specialty level, specialty, or proficiency level, and are not limited to these examples.
  • FIG. 5 shows an example of a display screen according to the embodiment.
  • the annotation is displayed on the screen SV11 which is the summary view. Specifically, the three annotations indicated by the arrows are displayed.
  • FIG. 6 shows an example of a display screen according to the embodiment.
  • FIG. 6 shows an example of display when displaying a plurality of annotations.
  • three annotations indicated by arrows are displayed.
  • FIG. 6 shows that annotations 1 to 3 are selected.
  • the angle of view is adjusted so that the entire plurality of annotations are included.
  • the angle of view is adjusted so that the angle of view includes all of the plurality of annotations and the magnification is high.
  • the angle of view is adjusted and displayed so that all the annotations of the pathological image are included.
  • the angle of view including all the annotations selected by the user among the plurality of annotations is calculated. There is no limit to the number of annotations selected by the user.
  • all annotations associated with the pathological image may be automatically selected.
  • information indicating the display position, magnification, etc. is calculated.
  • the maximum magnification including the annotations of annotations 1 to 3 is calculated.
  • the position corresponding to the maximum magnification including the annotations 1 to 3 is calculated.
  • the angle of view is adjusted with the calculated maximum magnification and position.
  • annotations 1 and 2 are selected, the angle of view is adjusted at the maximum magnification including annotations 1 and 2.
  • FIGS. 5 and 6 show the case where the annotation is displayed by an arrow, it may be displayed in any shape or mode.
  • the annotation according to the embodiment may be displayed by a closed curve or the like surrounding a region such as a cell.
  • the annotation according to the embodiment may be displayed by a closed curve or the like surrounding an area such as a cell that is likely to have cancer.
  • the annotation according to the embodiment may use a polygon. When displaying annotations using polygons, the angle of view is adjusted so that the angle of view circumscribes all polygons and the maximum magnification is obtained.
  • the angle of view of the display device may be included. That is, the angle of view may be adjusted based on the selected annotation and the angle of view of each display device.
  • FIGS. 2 to 4 show an example in which the angles of view of a plurality of display devices are included and the angle of view is adjusted to a high magnification, but FIGS. 5 and 6 include the angles of view of a plurality of annotations. An example of adjusting the angle of view to a high magnification is shown.
  • a pathological image is obtained by taking a part of an organ from the patient's body, cutting it into thin slices, and staining the section with a reagent. Sections taken from the same organ may be placed on different slides. Each slide is imaged to acquire and browse a plurality of pathological images. In that case, it was difficult to grasp which part of the organ the pathological image was. In addition, when an annotation was added to the region of interest of the pathological image, it was difficult to grasp which part of the organ the annotation was.
  • mapping of annotations according to the embodiment will be described with reference to FIGS. 7 and 8.
  • FIG. 7 shows an example of a display screen according to the embodiment.
  • FIG. 7 shows an example of display when showing the position of the section image.
  • the image SG11 is an image when a part of the taken-out organ is viewed from the same direction as the cutting direction.
  • the image SG11 may be an image in which a section is three-dimensionally represented.
  • the image SG11 may be an image actually captured or an image estimated from the shape of the pathological image.
  • the section according to the embodiment may be any section as long as it is a section related to a living body, a living body, a material, or a pathology.
  • image SG11 is a section image of a gallbladder or the like.
  • the image SB11 is a section image of a colorectal polyp having a size of about 15 mm.
  • the image SG11 is displayed on the same screen as the screen MV11 and the screen SV11. That is, the section image may be displayed on the same screen together with the image for which the display of the angle of view is controlled.
  • FIG. 8 shows an example of a display screen according to the embodiment.
  • the position corresponding to the annotation given to the pathological image displayed in the main view is shown in the image SG11.
  • the position of the annotation corresponding to the image SG11 is calculated.
  • the calculated position is displayed on the image SG11 as the position of the annotation.
  • the color of the annotation may be changed according to the user's profile.
  • the annotation added on the image showing a part of the area of the object such as a section is displayed at a predetermined position on the image in which the object is three-dimensionally expressed.
  • the annotation added on the image obtained by capturing the cross section of the object is annotated in the area of the object at a predetermined position on the image in which the object is three-dimensionally expressed. Display at the position corresponding to the area.
  • check information is set in the annotation.
  • the check information may be a check box for giving a mark indicating that the check has been performed.
  • the check information may be a check box for giving a mark indicating a user's evaluation such as malignant or benign.
  • FIGS. 9 to 11 a case where the check information according to the embodiment is set will be described with reference to FIGS. 9 to 11.
  • the fourth embodiment is also a modified example of the second embodiment (sharing of annotations).
  • FIG. 9 shows an example of a display screen according to the embodiment.
  • two suspicious points are indicated by annotations.
  • a plurality of people check two suspected places. In this case, it may not be possible to tell at a glance whether all the parts have been checked, and the list may be lacking.
  • FIG. 10 shows an example of a display screen according to the embodiment.
  • FIG. 10 shows an example of check information according to the embodiment.
  • information including check information (hereinafter, appropriately referred to as “frame information”) is displayed.
  • the frame information CB1 is displayed.
  • the frame information CB1 includes the check information CB11, the check information CB12, and the check information CB13.
  • the frame information CB1 displays a free description freely described by each user.
  • the frame information CB1 displays a free description of each user as a comment. In this case, the free description of each user is displayed in the comment column of the frame information CB1.
  • a screen CBB1 is displayed which displays a list of whether or not a plurality of people have checked the parts that need to be checked.
  • the screen CBB1 that displays a list of whether or not a predetermined number of people have checked all the places that need to be checked is displayed.
  • the screen CBB1 displays a list of annotations.
  • the display state of the annotation including the check information is changed.
  • the display state of the annotation is changed.
  • the display state of the annotation is changed.
  • the display state of the annotation is changed.
  • the display state of the annotation is changed.
  • the display state of the annotation is changed by checking the check information when a predetermined predetermined condition is satisfied according to the operation of another user.
  • the display state of the corresponding annotation is changed.
  • the annotation display method is changed by storing the state of the check information for each user. For example, change the color of the check information.
  • the color of the annotation list may be changed. For example, if the check information is the same when the image is slightly enlarged or the magnification is reduced, the comment field may be deleted.
  • the comment column may be deleted. For example, by setting the list of users in the annotation, all the users display the checked parts. For example, by selecting a part that has not been checked by all users (for example, clicking or tapping), the area corresponding to the angle of view including the corresponding part is displayed.
  • the check information is not limited to the one by the user, but may be checked by using machine learning. For example, the check may be performed based on the result output by inputting the information of the annotated area into the classifier.
  • the discriminator is, for example, a discriminator that estimates information regarding whether or not the object is a target.
  • the discriminator may be a discriminator that estimates whether or not a lesion is present.
  • the discriminator may be a discriminator that estimates whether or not the region corresponding to the annotation is a lesion.
  • the information estimated by the classifier is displayed for the area corresponding to the annotation based on the image of the area corresponding to the annotation and the classifier that estimates the information regarding whether or not the object is targeted.
  • FIG. 10 shows an example when a classifier is used.
  • the estimation result based on the classifier is shown in a predetermined area of the frame information CB1.
  • a comment is displayed as an estimation result based on a discriminator.
  • any information may be displayed in the predetermined area of the frame information CB1 as long as it is an estimation result based on the classifier.
  • the check information may be checked by the discriminator when the diagnosis is the same as the diagnosis by the user.
  • the check information of the area CB 11 may be checked.
  • FIG. 11 shows an example of a display screen according to the embodiment.
  • FIG. 11 shows an example of displaying only the information of the selected user in each annotation. For example, display only the comments of the selected user.
  • FIG. 11 shows a case where users A and B are selected from users A to C. In this case, only the comments of users A and B are displayed.
  • the user to be displayed may be selected based on the user's profile such as skill level and specialty. For example, a user of a specialist and an instructor may be selected as the user to display.
  • a user who does not display may be selected based on the user's profile such as skill level and specialty.
  • the intern user may be selected as the non-display user. In this case, the comment of the user selected as the user to be hidden may be deleted.
  • the user may be selected based on the target site information. For example, if the target site is the stomach part, only the user of a gastric specialist may be selected.
  • the check information is displayed in the predetermined area of the annotation as the information indicating whether or not the annotation has been confirmed.
  • the check information is not limited to the check information and may be any information.
  • the confirmation result indicating whether or not the other user has confirmed is displayed based on the specification of the other user for the information for indicating whether or not the other user has confirmed each annotation. In this way, whether or not another user has confirmed based on another user's operation (for example, an operation for browsing) on the annotation that displays information indicating whether or not another user has confirmed it.
  • the confirmation result indicating is displayed.
  • the information processing device 100 may control the angle of view for displaying a medical image relating to a living body, a living body, or a material.
  • a predetermined display device (hereinafter, appropriately referred to as a “reader display device”) that displays the angle of view following the angle of view may be set.
  • the angle of view of the reader display device is preferentially displayed following the set angle of view of the reader display device.
  • the angle of view information displayed by the reader display device is displayed in real time on the screen of the display device in which the reader display device is set.
  • the display device in which the reader display device is set is synchronized with the reader display device.
  • the reader display device may be set individually by each user, for example.
  • the angle of view when there is a user who is browsing in the bird's-eye view mode, the angle of view is adjusted without including the angle of view of the user who is browsing in the bird's-eye view mode.
  • the angle of view when the angle of view is adjusted based on the sharing of the angle of view, and there is an angle of view during the bird's-eye view, the angle of view is circumscribed to an angle of view other than the angle of view during the bird's-eye view. Adjust the angle of view.
  • the angle of view may be readjusted including the angle of view of the user who has canceled the bird's-eye view mode.
  • FIG. 12 is a diagram showing a configuration example of the information processing system according to the embodiment.
  • the information processing system 1 includes an information processing device 100, a display device 200, and an image pickup device 300.
  • the information processing device 100, the display device 200, and the image pickup device 300 are connected to each other via a predetermined communication network (network N) so as to be communicable by wire or wirelessly.
  • FIG. 12 is a diagram showing a configuration example of the information processing system according to the embodiment.
  • the information processing system 1 shown in FIG. 12 may include a plurality of information processing devices 100, a plurality of display devices 200, and a plurality of image pickup devices 300.
  • the information processing device 100 is, for example, an information processing device such as a PC or WS (Work Station), and performs processing based on information transmitted from the display device 200 or the like via the network N.
  • the information processing device 100 may be the WSI server shown in FIG.
  • the display device 200 is, for example, an information processing device such as a PC or a WS, and performs processing based on information transmitted from the information processing device 100 or the like via the network N.
  • the display device 200 may be each of the display devices shown in FIG.
  • the display device 200 may be the bird's-eye view display device of FIG.
  • the image pickup device 300 is an image pickup device that captures an observation object stored on a slide and acquires a medical image.
  • the observation object is, for example, a tissue or cell collected from a patient, such as a piece of meat, saliva, or blood of an organ.
  • the imaging device 300 sends the acquired medical image to the display device 200.
  • the information processing system 1 does not have to have the image pickup device 300. That is, the information processing system 1 may store not only the medical image captured by the imaging device 300 but also the medical image captured in another information processing system.
  • the first embodiment is a case where the angle of view is adjusted based on the sharing of the angle of view.
  • the first embodiment will be described.
  • FIG. 13 is a diagram showing a configuration example of the information processing device 100 according to the embodiment.
  • the information processing device 100 includes a communication unit 110, a storage unit 120, and a control unit 130.
  • the information processing device 100 has an input unit (for example, a keyboard, a mouse, etc.) that receives various operations from the administrator of the information processing device 100, and a display unit (for example, a liquid crystal display, etc.) for displaying various information. You may.
  • the communication unit 110 is realized by, for example, a NIC or the like. Then, the communication unit 110 is connected to the network N by wire or wirelessly, and transmits / receives information to / from the information processing device 100 or the like via the network N.
  • the pathological image data storage unit 121 stores the pathological image data.
  • FIG. 14 shows an example of the pathological image data storage unit 121 according to the embodiment.
  • the pathological image data storage unit 121 has items such as “pathological image data ID” and “pathological image data”.
  • “Pathological image data ID” indicates identification information for identifying pathological image data.
  • “Pathological image data” indicates pathological image data.
  • conceptual information such as “pathological image data # 11" and “pathological image data # 12" is stored in the "pathological image data”, but in reality, a still image or a still image is shown. Moving images etc. are stored.
  • the "pathological image data” may store a URL (Uniform Resource Locator) in which the content of the pathological image data is located, or a file path name indicating the storage location thereof.
  • URL Uniform Resource Locator
  • the user data storage unit 122 stores user data.
  • FIG. 15 shows an example of the user data storage unit 122 according to the embodiment.
  • the user data storage unit 122 has items such as “user ID”, “annotation color”, “description”, and “specialized part”.
  • User ID indicates identification information for identifying a user (user).
  • Annotation color indicates the color of the annotation.
  • annotation color indicates the color of the annotation frame.
  • “Description” indicates a property of the user.
  • “Specialized part” indicates a part specialized by the user.
  • the angle of view data storage unit 123 stores the angle of view data.
  • FIG. 16 shows an example of the angle of view data storage unit 123 according to the embodiment.
  • the angle of view data storage unit 123 has items such as "user ID”, "slide ID”, and "angle of view information".
  • “User ID” indicates identification information for identifying a user.
  • the “slide ID” indicates identification information for identifying the slide that is the target of the angle of view information.
  • “Angle of view information” indicates the angle of view information of the corresponding user.
  • conceptual information such as “angle of view information # 11" and “angle of view information # 12" is stored in “angle of view information”, it actually corresponds to a slide.
  • Coordinate information and magnification information to be used are stored.
  • the "angle angle information” stores information in which the maximum resolution is standardized by "1".
  • the coordinate information may be coordinate information based on the coordinates of the center, or may be coordinate information based on the coordinates of four points of the angle of view.
  • magnification information may be magnification information in which "0" is set when viewed at the maximum resolution and "1" is set when viewed at half the magnification.
  • the control unit 130 is a controller, and is realized by, for example, a CPU, an MPU, or the like executing various programs stored in a storage device inside the information processing device 100 using the RAM as a work area. Further, the control unit 130 is a controller, and is realized by, for example, an integrated circuit such as an ASIC or FPGA.
  • control unit 130 has a transmission unit 131, an angle of view data transmission / reception unit 132, and an angle of view data holding unit 133, and realizes or executes the information processing operation described below.
  • the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 13, and may be another configuration as long as it is a configuration for performing information processing described later.
  • the transmission unit 131 transmits pathological image data.
  • the transmission unit 131 transmits the pathological image data acquired from the pathological image data storage unit 121.
  • the transmission unit 131 receives the request for the pathological image data, the transmission unit 131 transmits the corresponding pathological image data.
  • FIG. 17 shows the configuration of the information processing apparatus 100 according to the first embodiment.
  • the transmission unit 131 may include a pathological image data transmission unit 1311.
  • the pathological image data transmission unit 1311 may transmit the pathological image data.
  • the transmission unit 131 transmits the user profile.
  • the transmission unit 131 transmits the user profile acquired from the user data storage unit 122.
  • the transmission unit 131 may include a user profile transmission unit 1312.
  • the user profile transmission unit 1312 may transmit the user profile.
  • the angle-of-view data transmission / reception unit 132 processes the transmission / reception of the angle-of-view data. For example, the angle of view data transmission / reception unit 132 transmits the angle of view data. For example, when the angle of view data transmission / reception unit 132 receives the request for the angle of view data, the angle of view data transmission / reception unit 132 transmits the corresponding angle of view data. The angle of view data transmission / reception unit 132 processes the transmission / reception of information related to the user's browsing.
  • the angle of view data holding unit 133 performs processing related to holding the angle of view data. For example, the angle of view data holding unit 133 stores the angle of view data in a predetermined storage unit.
  • FIG. 18 is a diagram showing a configuration example of the display device 200 according to the embodiment.
  • the display device 200 includes a communication unit 210, a storage unit 220, and a control unit 230.
  • the display device 200 has an input unit (for example, a keyboard, a mouse, etc.) that receives various operations from the administrator of the display device 200, and a display unit (for example, a liquid crystal display, etc.) for displaying various information. May be good.
  • the communication unit 210 is realized by, for example, a NIC or the like. Then, the communication unit 210 is connected to the network N by wire or wirelessly, and transmits / receives information to / from the information processing device 100 or the like via the network N.
  • the storage unit 220 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 220 stores the information received from the information processing device 100.
  • the storage unit 220 stores the angle of view data.
  • the storage unit 220 stores the angle of view data of another user.
  • the control unit 230 is a controller, and is realized by, for example, a CPU, an MPU, or the like executing various programs stored in a storage device inside the display device 200 using the RAM as a work area. Further, the control unit 230 is a controller, and is realized by, for example, an integrated circuit such as an ASIC or FPGA.
  • control unit 230 includes an angle of view data transmission / reception unit 231, a calculation unit 232, an acquisition unit 233, and a drawing unit 234, and realizes or executes the information processing operation described below. To do.
  • the internal configuration of the control unit 230 is not limited to the configuration shown in FIG. 18, and may be any other configuration as long as it is a configuration for performing information processing described later.
  • the angle of view data transmission / reception unit 231 processes the transmission / reception of the angle of view data.
  • the angle of view data transmission / reception unit 132 transmits the angle of view data.
  • the angle-of-view data transmission / reception unit 132 transmits the angle-of-view data.
  • the angle of view data transmission / reception unit 132 receives the angle of view data.
  • the angle of view data transmission / reception unit 231 receives the angle of view data of another user.
  • the angle-of-view data transmission / reception unit 231 performs transmission / reception processing using coordinate information based on slides as the angle-of-view data. For example, the angle of view data transmission / reception unit 231 processes the transmission / reception of the two-dimensional XY coordinate information and the information related to the magnification.
  • the calculation unit 232 calculates the angle of view.
  • FIG. 19 shows the configuration of the display device 200 according to the first embodiment.
  • the calculation unit 232 corresponds to the angle of view calculation unit.
  • the calculation unit 232 calculates the angle of view based on the received angle of view data. For example, the calculation unit 232 calculates the angle of view based on the angle of view data of another user.
  • the calculation unit 232 calculates the angle of view based on the operation by the UI. For example, the calculation unit 232 calculates the angle of view based on the viewing of the user who uses the display device 200. The calculation unit 232 calculates the angle of view according to the bird's-eye view mode. For example, the calculation unit 232 calculates the angle of view according to ON / OFF of the bird's-eye view mode. For example, when the user turns on the bird's-eye view mode, the calculation unit 232 calculates the circumscribed angle of view based on the angle of view of all the target users. The calculation unit 232 calculates the angle of view based on the user's selection of the angle of view matching. For example, the calculation unit 232 calculates the angle of view circumscribing the angle of view of the selected user. The calculation unit 232 may determine the angle of view of the reader display device when the user's selection for adjusting the angle of view is the reader display device.
  • the acquisition unit 233 acquires image data.
  • the acquisition unit 233 corresponds to the image data acquisition unit.
  • the acquisition unit 233 acquires image data corresponding to the angle of view calculated by the calculation unit 232.
  • the acquisition unit 233 acquires image data being viewed by another user.
  • the acquisition unit 233 acquires information regarding browsing by another user.
  • the drawing unit 234 generates image data to be displayed.
  • the drawing unit 234 generates image data based on the image data acquired by the acquisition unit 233.
  • the drawing unit 234 generates image data based on the angle of view calculated by the calculation unit 232.
  • the drawing unit 234 generates image data based on the user profile.
  • the drawing unit 234 transmits the generated image data to the display device.
  • the drawing unit 234 displays the generated image data.
  • the drawing unit 234 may calculate the angle of view calculated by the calculation unit 232. Further, the drawing unit 234 transmits image data for acquiring the angle of view of another user, superimposing (overlaying) the angle of view, and displaying the image data. Further, the drawing unit 234 acquires the angle of view of another user and superimposes the display.
  • the information processing device 100 and the display device 200 are separate devices, but the information processing device 100 and the display device 200 may be integrated.
  • the display device 200 may have all or part of the functions of the information processing device 100, and may perform all or part of the processing performed by the information processing device 100.
  • the display device 200 is the rest performed by the information processing device 100.
  • the processing of may be performed by an external information processing device.
  • the information processing device 100 and the image pickup device 300 are separate devices, but the information processing device 100 and the image pickup device 300 may be integrated.
  • FIG. 20 is a flowchart showing an information processing procedure in the calculation unit 232 and the acquisition unit 233 of the display device 200.
  • the display device 200 calculates the angle of view from the UI (step S101).
  • the display device 200 determines whether or not the bird's-eye view mode is set (step S102).
  • the display device 200 transmits the viewing angle information to the information processing device 100 via the angle of view data transmission / reception unit 231 (step S103).
  • the display device 200 determines whether or not a user for adjusting the angle of view is set (step S104).
  • the display device 200 sets the angle of view according to the angle of view information of the corresponding user (step S105). Specifically, the display device 200 requests the information processing device 100 for the angle of view information of the corresponding user, and sets the angle of view of the angle of view information.
  • the display device 200 sets the angle of view calculated based on the UI (step S106). Specifically, the display device 200 is set to the angle of view calculated in step S101. For example, the display device 200 is set to the angle of view that it is viewing.
  • the display device 200 acquires the angle of view information of all the users (step S107).
  • the display device 200 calculates the angle of view at the magnification of the most circumscribing angle of view among all the acquired angles of view (step S108).
  • the display device 200 sets the calculated angle of view (step S109).
  • the display device 200 acquires the angle of view information according to the set angle of view (step S110).
  • the user for adjusting the angle of view may be a reader display device.
  • the display device 200 may determine whether or not the reader display device is set as the user for adjusting the angle of view.
  • step S105 when the reader display device is set, the display device 200 sets the angle of view to the angle of view of the reader display device.
  • FIG. 21 is a flowchart showing an information processing procedure in the angle of view data transmission / reception unit 132 of the information processing device 100.
  • the information processing device 100 acquires the angle of view information from the display device 200 (step S201).
  • the information processing device 100 updates the angle of view data holding unit 133 based on the acquired angle of view information (step S202). For example, the information processing device 100 updates the value of the angle of view data holding unit 133 based on the user ID and the slide ID.
  • the information processing device 100 stores the slide information, the user information, and the angle of view information in the angle of view data holding unit 133.
  • the information processing device 100 determines whether or not the request for angle of view information has been acquired from the display device 200 (step S203).
  • the information processing device 100 acquires the request for the angle of view information from the display device 200 (step S203; YES)
  • the information processing device 100 transmits the requested angle of view information (step S204).
  • the angle of view information request includes a case where a slide is specified and the angle of view information of all users is requested, and a case where a predetermined user and a slide are specified and the corresponding angle of view information is requested. There is.
  • the information processing device 100 does not acquire the request for the angle of view information from the display device 200 (step S203; NO)
  • the information processing device 100 ends the information processing.
  • FIG. 22 is a flowchart showing an information processing procedure in the calculation unit 232 and the drawing unit 234 of the display device 200.
  • the display device 200 sets the angle of view calculated by the calculation unit 232 (step S301).
  • the display device 200 acquires the angle of view information of all users (step S302).
  • the display device 200 superimposes and displays a profile for each user other than itself on the frame of the angle of view (step S303).
  • the display device 200 superimposes and displays information such as the description and the specialized part of the user U1 according to the angle of view of the user U1.
  • the display device 200 superimposes and displays the colors corresponding to the user U1 according to the angle of view of the user U1.
  • the drawing unit 234 determines the angle of view
  • the display device 200 sets the angle of view calculated by the drawing unit 234.
  • the first embodiment has been described above.
  • the second embodiment will be described.
  • the second embodiment is an embodiment based on the sharing of annotations. The same description as in the first embodiment will be omitted as appropriate.
  • FIG. 23 is a diagram showing a configuration example of the information processing device 100 according to the embodiment.
  • the information processing device 100 includes a communication unit 110, a storage unit 120, and a control unit 130.
  • the information processing device 100 has an input unit (for example, a keyboard, a mouse, etc.) that receives various operations from the administrator of the information processing device 100, and a display unit (for example, a liquid crystal display, etc.) for displaying various information. You may.
  • the storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk. As shown in FIG. 23, the storage unit 120 includes a pathological image data storage unit 121 and an annotation data storage unit 124.
  • Annotation data storage unit 124 stores annotation data.
  • FIG. 24 shows an example of the annotation data storage unit 124 according to the embodiment.
  • the annotation data storage unit 124 has items such as “annotation ID”, “slide ID”, and “annotation data”.
  • “Annotation data ID” indicates identification information for identifying annotation data.
  • the “slide ID” indicates identification information for identifying the slide that is the target of the annotation data.
  • “Annotation data” indicates the annotation data of the corresponding user.
  • FIG. 24 an example in which conceptual information such as “annotation data # 11" and “annotation data # 12" is stored in “annotation data” is shown, but in reality, the shape and slide of the annotation Corresponding coordinate information, magnification information, etc. are stored.
  • the "annotation data” stores information in which the maximum resolution is standardized by "1".
  • the coordinate information may be coordinate information based on the coordinates of the center, or may be coordinate information based on the coordinates of four points of the angle of view.
  • magnification information may be magnification information in which "0" is set when viewed at the maximum resolution and "1" is set when viewed at half the magnification.
  • Control unit 130 As shown in FIG. 23, the control unit 130 has an angle of view data transmission / reception unit 132 and an annotation data holding unit 134, and realizes or executes the information processing operation described below.
  • the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 23, and may be another configuration as long as it is a configuration for performing information processing described later.
  • FIG. 25 shows the configuration of the information processing device 100 according to the second embodiment.
  • the annotation data holding unit 134 performs a process related to holding the annotation data.
  • the annotation data holding unit 134 stores the annotation data in a predetermined storage unit.
  • FIG. 26 shows the configuration of the display device 200 according to the second embodiment.
  • the calculation unit 232 acquires annotation data.
  • the calculation unit 232 calculates the angle of view based on the acquired annotation data.
  • the calculation unit 232 calculates the circumscribed angle of view based on the annotation data of all the target users. For example, the calculation unit 232 calculates the angle of view circumscribing the annotation of the selected user.
  • FIG. 27 is a flowchart showing a procedure of information processing by the information processing system 1 according to the embodiment.
  • FIG. 27 is a flowchart showing an information processing procedure in the calculation unit 232 and the acquisition unit 233 of the display device 200.
  • the display device 200 calculates the angle of view from the UI (step S401).
  • the display device 200 determines whether or not the bird's-eye view mode is set (step S402).
  • the display device 200 acquires all the annotation data of the corresponding slides (step S403).
  • the display device 200 acquires all the annotation data included in the slide.
  • the display device 200 accepts the selection of the target annotation (step S404). For example, the display device 200 accepts the user's selection of annotations.
  • the display device 200 accepts the selection of two of the three annotations.
  • the display device 200 calculates the angle of view of the magnification of the most circumscribing angle of view among the selected annotations (step S405).
  • the display device 200 sets the calculated angle of view (step S406).
  • the display device 200 acquires the angle of view information according to the set angle of view (step S407).
  • the display device 200 performs the process of step S407.
  • the display device 200 acquires the angle of view information included in the angle of view and ends the information processing.
  • the display device 200 may perform the process of determining the user setting for adjusting the angle of view in step S104 shown in FIG.
  • the second embodiment has been described above.
  • the third embodiment will be described.
  • the third embodiment is an embodiment in the case of mapping annotations. The same description as in Embodiments 1 and 2 will be omitted as appropriate.
  • FIG. 28 is a diagram showing a configuration example of the information processing device 100 according to the embodiment.
  • the information processing device 100 includes a communication unit 110, a storage unit 120, and a control unit 130.
  • the information processing device 100 has an input unit (for example, a keyboard, a mouse, etc.) that receives various operations from the administrator of the information processing device 100, and a display unit (for example, a liquid crystal display, etc.) for displaying various information. You may.
  • the storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk. As shown in FIG. 28, the storage unit 120 includes a pathological image data storage unit 121, an annotation data storage unit 124, a section image data storage unit 125, and a coordinate-corresponding data storage unit 126.
  • the section image data storage unit 125 stores the image data of the section.
  • FIG. 29 shows an example of the intercept image data storage unit 125 according to the embodiment.
  • the intercept image data storage unit 125 has items such as “intercept image data ID” and “intercept image data”.
  • the "intercept image data ID” indicates identification information for identifying the image data of the intercept.
  • "Section image data” indicates image data of a section. In the example shown in FIG. 29, an example in which conceptual information such as “intercept image data # 11" and “intercept image data # 12" is stored in the “intercept image data” is shown, but in reality, a still image or a still image or Moving images etc. are stored. Further, the "intercept image data" may store a URL in which the content of the image data of the intercept is located, a file path name indicating a storage location thereof, or the like.
  • the coordinate-corresponding data storage unit 126 stores the coordinate-corresponding data. Specifically, the coordinate correspondence data storage unit 126 stores conversion data (for example, a conversion table) that associates coordinate information between the intercept and the slide.
  • FIG. 30 shows an example of the coordinate-corresponding data storage unit 126 according to the embodiment. As shown in FIG. 30, the coordinate-corresponding data storage unit 126 has items such as “intercept ID”, “slide ID”, and “coordinate conversion table”.
  • Intercept ID indicates identification information for identifying the intercept. Specifically, the “intercept ID” indicates identification information for identifying the intercept of the corresponding slide. Specifically, the “intercept ID” indicates identification information for identifying the entire section of the corresponding slide. “Section part ID” indicates identification information for identifying a part of the section. Specifically, the “intercept ID” indicates identification information for identifying a part of the corresponding intercept. “Slide” indicates identification information for identifying the slide to be sectioned.
  • the "coordinate conversion table” shows the conversion data for associating the coordinate information between the intercept and the slide. In the example shown in FIG.
  • FIG. 31 shows an example of conversion using the “coordinate conversion table” shown in FIG.
  • a line is drawn on the image of the intercept SP1 to classify a part of the intercept SP1-1 to SP1-3.
  • the intercept parts SP1-1 to SP1-3 may be identification information for identifying the cross section of the portion where the line is drawn in the image of the intercept SP1.
  • the pathologist may prepare a slide by slicing the section according to the line drawn on a part of the section SP1-1 to SP1-3.
  • the "coordinate conversion table” stores information on the combination of the intercept line and the slide.
  • the "coordinate conversion table” stores information in which the coordinates of the section image are standardized by "1" and information in which the coordinates of the slide are standardized by "1".
  • control unit 130 As shown in FIG. 28, the control unit 130 includes a transmission unit 131, an annotation data holding unit 134, and a coordinate correspondence unit 135, and realizes or executes the information processing operation described below.
  • the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 28, and may be another configuration as long as it is a configuration for performing information processing described later.
  • the transmission unit 131 transmits the annotation data of the section image.
  • the annotation data of the section image is, for example, the position information of the mapped annotation shown in FIG.
  • the transmission unit 131 transmits the annotation data of the section image acquired from the annotation data holding unit 134.
  • FIG. 32 shows the configuration of the information processing apparatus 100 according to the third embodiment.
  • the transmission unit 131 may include the annotation data transmission unit 1313 of the section image.
  • the annotation data transmission unit 1313 of the section image may transmit the annotation data of the section image.
  • the transmission unit 131 may transmit the coordinate information of the annotation data of the section image.
  • the annotation data transmission unit 1313 of the section image may transmit the coordinate information of the annotation data of the section image.
  • the transmission unit 131 transmits the image data of the section.
  • the transmission unit 131 transmits the image data of the section acquired from the section image data storage unit 125.
  • the pathological image data transmission unit 1311 may transmit the image data of the section.
  • FIG. 33 shows the configuration of the display device 200 according to the third embodiment.
  • the acquisition unit 233 may include the intercept annotation data acquisition unit 2331.
  • the intercept annotation data acquisition unit 2331 acquires the annotation data of the intercept image.
  • Acquisition unit 233 acquires annotation data. As shown in FIG. 33, the acquisition unit 233 may have an annotation data acquisition unit 2332. In this case, the annotation data acquisition unit 2332 acquires the annotation data.
  • the acquisition unit 233 acquires image data. As shown in FIG. 33, the acquisition unit 233 may have an image data acquisition unit 2333. In this case, the image data acquisition unit 2333 acquires the image data.
  • FIG. 34 is a flowchart showing a procedure of information processing by the information processing system 1 according to the embodiment.
  • FIG. 34 is a flowchart showing the procedure of information processing in the coordinate corresponding unit 135 of the information processing device 100.
  • the information processing apparatus 100 receives an instruction to acquire annotation data of the section image (step S501).
  • the information processing device 100 receives an instruction for acquiring annotation data of a section image from the display device 200.
  • the information processing device 100 acquires all the annotation data of the corresponding slides (step S502).
  • the information processing apparatus 100 calculates the position information of the annotation corresponding to the section image based on the coordinate information of the annotation data (step S503).
  • the information processing apparatus 100 transmits annotation data for displaying the annotation in the calculated position information (step S504).
  • the information processing apparatus 100 calculates which part of the section image to map the annotation using the coordinate conversion table, and transmits the annotation data mapped to the section image.
  • the display device 200 acquires the annotation data of the section image transmitted from the information processing device 100, superimposes the annotation data, and displays the annotation data.
  • the section annotation data acquisition unit 2331 acquires the annotation data of the section image
  • the drawing unit 234 superimposes and displays the annotation data of the acquired section image.
  • the third embodiment has been described above.
  • the fourth embodiment will be described.
  • the fourth embodiment is an embodiment in which check information is set. The same description as in the first to third embodiments will be omitted as appropriate.
  • FIG. 35 is a diagram showing a configuration example of the information processing device 100 according to the embodiment.
  • the information processing device 100 includes a communication unit 110, a storage unit 120, and a control unit 130.
  • the information processing device 100 has an input unit (for example, a keyboard, a mouse, etc.) that receives various operations from the administrator of the information processing device 100, and a display unit (for example, a liquid crystal display, etc.) for displaying various information. You may.
  • the storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk. As shown in FIG. 35, the storage unit 120 includes a pathological image data storage unit 121, an annotation data storage unit 124, and a learned data storage unit 127.
  • Annotation data storage unit 124 stores annotation data.
  • FIG. 36 shows an example of the annotation data storage unit 124 according to the embodiment.
  • the annotation data storage unit 124 has items such as “annotation ID”, “slide ID”, “annotation data”, and “check”.
  • the "annotation ID”, the "slide ID”, and the “annotation data” indicate the same information as the information described above in the second embodiment.
  • “Check” indicates whether the corresponding annotation data has been checked by the user. For example, if “check” is OK, it indicates that the check has been performed. For example, when “check” is NG, it indicates that it is not checked. As shown in FIG. 36, the “check” may have items such as “check 1", "check 2", and "check 3". The number of items that the "check” has is not limited.
  • the "check 1" may be a check by a user identified by the user U1 among the users, or may be a check by any first user among the users. In the embodiment, for example, when all the "check” items are checked, the color of the corresponding annotation may be changed.
  • the learned data storage unit 127 stores the learned learned data.
  • FIG. 37 shows an example of the learned data storage unit 127 according to the embodiment.
  • the learned data storage unit 127 has items such as “learned data ID” and “learned data”.
  • “Learned data ID” indicates identification information for identifying learned data.
  • “Trained data” indicates trained data. In the example shown in FIG. 37, an example in which conceptual information such as “trained data # 11” and “trained data # 12” is stored in the “trained data” is shown, but in reality, the trained model is used. Information indicating that is stored. For example, the "trained data” stores conditional expressions of the trained model.
  • control unit 130 includes a transmission unit 131, an annotation data holding unit 134, and a learning unit 136, and realizes or executes the information processing operation described below.
  • the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 35, and may be another configuration as long as it is a configuration for performing information processing described later.
  • FIG. 38 shows the configuration of the information processing apparatus 100 according to the fourth embodiment.
  • the learning unit 136 corresponds to the AI checker unit.
  • the learning unit 136 generates the learned data based on the pathological image data transmitted from the transmitting unit 131.
  • the learning unit 136 generates learned data based on the pathological image data transmitted from the pathological image data transmitting unit 1311.
  • the learning unit 136 generates learned data based on the annotation data transmitted from the annotation data holding unit 134.
  • the learning unit 136 applies the learned data to the annotation area and determines the check.
  • the learning unit 136 determines the check by using the slide data of the image of the annotation area or the place around the area as input information.
  • control unit 230 has an acquisition unit 233, a drawing unit 234, a storage unit 235, and a determination unit 236, and realizes or executes the information processing operation described below.
  • the internal configuration of the control unit 230 is not limited to the configuration shown in FIG. 39, and may be another configuration as long as it is a configuration for performing information processing described later.
  • the storage unit 235 acquires the annotation data.
  • the storage unit 235 stores the acquired annotation data.
  • FIG. 40 shows the configuration of the display device 200 according to the fourth embodiment. In FIG. 40, the storage unit 235 corresponds to the annotation acquisition storage unit.
  • the determination unit 236 determines the display of the annotation data.
  • the determination unit 236 corresponds to the annotation display determination unit.
  • the determination unit 236 determines the color for displaying the annotation.
  • FIGS. 41 and 42 are flowcharts showing the procedure of information processing by the information processing system 1 according to the embodiment.
  • step S703 the display device 200 determines the color of the annotation of the main view / summary view to be green, but what if the color is predetermined as the color indicating that the annotation has been checked? Color may be.
  • step S704 the display device 200 determines the color of the annotation in the main view / summary view to be yellow (step S704).
  • step S704 the display device 200 determines the color of the annotation of the main view / summary view to be yellow, but any color is predetermined as a color indicating that the annotation has not been checked. It may be a color. Further, the display device 200 determines whether all the acquired annotation data has been checked (step S705).
  • step S705 If all the acquired annotation data has not been checked (step S705; NO), the display device 200 returns to the process of step S702. In this way, the display device 200 repeats the processes of steps S702 to S704 in units of annotations.
  • step S705; YES the display device 200 determines whether the angle of view is moving (step S706). For example, the display device 200 determines whether the angle of view of the main view is moving. When the angle of view is moving (step S706; YES), the display device 200 erases and displays the information related to the check information of the annotation data (step S707). As a result, the complexity of displaying the annotations at all times can be eliminated, and usability can be further improved.
  • the display device 200 displays information regarding the check information of the annotation data (step S708).
  • the display device 200 may erase the annotation data determined to be green and display the annotation data determined to be yellow.
  • FIG. 42 is a flowchart showing the procedure of information processing in the learning unit 136 of the information processing device 100.
  • the information processing apparatus 100 determines whether or not the newly added annotation data has been acquired (step S801). When the information processing apparatus 100 has not acquired the newly added annotation data (step S801; NO), the information processing apparatus 100 waits until the newly added annotation data is added. On the other hand, when the newly added annotation data is acquired (step S801; YES), the information processing apparatus 100 inputs the slide data of the angle of view region corresponding to the acquired annotation data into the classifier (step S802). .. The information processing apparatus 100 checks the check information of the corresponding annotation data based on the identification result by the classifier (step S803).
  • the information processing system may control the display by appropriately combining the above-described embodiments 1 to 4.
  • the information processing device 100 may have a display control unit 138 that controls the display state of the angle of view.
  • the display control unit 138 transmits control information for controlling the display state of the angle of view.
  • the display control unit 138 performs processing related to control of the display state of the angle of view according to the above-described embodiment.
  • the display control unit 138 transmits control information for controlling the display state of the angle of view to the display device 200.
  • the display control unit 138 controls the display state of the angle of view based on the information regarding the viewing of another user.
  • the display control unit 138 controls the display state of the angle of view so as to include information regarding viewing by another user.
  • the angle of view information is sent to each other, and the area corresponding to each angle of view is displayed.
  • the viewpoints circumscribing all the angles of view are calculated.
  • the angle of view circumscribing all the angles of view is always displayed on the display device for bird's-eye view viewing.
  • the display angle of view is adjusted so that all the annotations are included in the angle of view.
  • the position information of the annotation is mapped and displayed on the corresponding section image.
  • the color of the annotation and the appearance of the icon are changed according to the profile of the user.
  • check information is set in the annotation, and when a predetermined condition is reached, the display state of the annotation is changed.
  • the corresponding image is input to the classifier, and it is determined whether or not to check the check information.
  • the display and non-display of the annotation are automatically determined according to the profile of the user to which the annotation is added.
  • the angle of view including annotations and the like can be shared and displayed, so that cooperation between hospitals can be facilitated, for example.
  • the pathologist and the surgeon can efficiently perform a rapid diagnosis during the operation while confirming the pathological image.
  • FIG. 43 is a hardware configuration diagram showing an example of a computer that realizes the functions of the information processing device 100 and the display device 200.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM 1300, an HDD 1400, a communication interface (I / F) 1500, an input / output interface (I / F) 1600, and a media interface (I / F) 1700.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part.
  • the ROM 1300 stores a boot program executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.
  • the HDD 1400 stores a program executed by the CPU 1100, data used by such a program, and the like.
  • the communication interface 1500 receives data from another device via a predetermined communication network and sends it to the CPU 1100, and transmits the data generated by the CPU 1100 to the other device via the predetermined communication network.
  • the CPU 1100 controls an output device such as a display or a printer and an input device such as a keyboard or a mouse via the input / output interface 1600.
  • the CPU 1100 acquires data from the input device via the input / output interface 1600. Further, the CPU 1100 outputs the generated data to the output device via the input / output interface 1600.
  • the media interface 1700 reads the program or data stored in the recording medium 1800 and provides the program or data to the CPU 1100 via the RAM 1200.
  • the CPU 1100 loads the program from the recording medium 1800 onto the RAM 1200 via the media interface 1700, and executes the loaded program.
  • the recording medium 1800 is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. And so on.
  • the CPU 1100 of the computer 1000 realizes the functions of the control units 130 and 230 by executing the program loaded on the RAM 1200. To do.
  • the CPU 1100 of the computer 1000 reads and executes these programs from the recording medium 1800, but as another example, these programs may be acquired from another device via a predetermined communication network.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically distributed / physically in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • section, module, unit can be read as “means” or “circuit”.
  • acquisition unit can be read as an acquisition means or an acquisition circuit.
  • the present technology can also have the following configurations.
  • the computer acquires information on the viewing of medical images by a plurality of users, and acquires the field of view information on the field of view of the images viewed by the plurality of users among the medical images.
  • An information processing method that controls visual field information indicating a display range for displaying a medical image based on acquired information on viewing medical images of a plurality of users.
  • the information processing method according to (1), wherein the visual field information is controlled so that the information related to the viewing of the medical image of the plurality of users becomes the display target of the display.
  • the skill level, specialty level, specialty, or proficiency level of the plurality of users is provided for each of the information regarding the viewing of the medical image by the plurality of users. Display the information to be shown.
  • the information processing method according to (16). For each of the information regarding the viewing of the medical image by the plurality of users and the information regarding the viewing of the medical image by the plurality of users, whether the plurality of users are trainees, specialists, or instructors. Display the information to be shown.
  • the information processing method according to (17). (19) The information processing method according to any one of (7) to (9), wherein information for indicating whether or not the annotation has been confirmed is displayed in a predetermined area of the annotation.
  • the display state of the corresponding annotation is changed to any one of (20) to (22).
  • the check information which is information indicating whether or not the plurality of users have confirmed, the information indicating that the check information has been confirmed for each of the corresponding check information according to the operation of each of the plurality of users. Is given, the information processing method according to (23), which changes the display state of the corresponding annotation.
  • the screen is displayed on one of a screen that displays a part of the visual field information that is the target of the control and a screen that displays the entire visual field information that is the target of the control, which is displayed on the same screen.
  • As the field of view information information on the angle of view is acquired, and The information processing method according to any one of (1) to (29), which controls an angle of view indicating a display range for displaying the medical image.
  • An acquisition unit that acquires information on the viewing of medical images of a plurality of users and acquires information on the field of view of the images viewed by the plurality of users among the medical images.
  • a display control unit that controls the display of visual field information indicating a display range for displaying the medical image based on the information regarding viewing of the medical image by a plurality of users acquired by the acquisition unit.
  • Information processing device equipped with (32) Information on viewing medical images of a plurality of users by a computer, and information on the field of view of the images viewed by the plurality of users among the medical images is acquired.
  • An information processing program that controls visual field information indicating a display range for displaying the medical image based on the acquired information on viewing the medical image of a plurality of users.
  • An imaging device that captures the subject and An image processing system including software used for processing a medical image corresponding to an object imaged by the image pickup apparatus.
  • the software is information regarding viewing of the medical image by a plurality of users, and is a display for displaying the medical image based on the visual field information regarding the field of view of the image viewed by the plurality of users among the medical images.
  • An information processing device that controls the display of field information indicating the range, Information processing system including.
  • Information processing system 100 Information processing device 110 Communication unit 120 Storage unit 121 Pathological image data storage unit 122 User data storage unit 123 Angle data storage unit 124 Annotation data storage unit 125 Section image data storage unit 126 Coordinate compatible data storage unit 130 Control Unit 131 Transmission unit 132 Angle data transmission / reception unit 133 Angle data holding unit 134 Annotation data holding unit 135 Coordinate corresponding unit 136 Learning unit 137 Acquisition unit 138 Display control unit 200 Display device 210 Communication unit 220 Storage unit 230 Control unit 231 Image angle Data transmission / reception unit 232 Calculation unit 233 Acquisition unit 234 Drawing unit 235 Storage unit 236 Judgment unit 237 Display control unit 300 Imaging device N network

Abstract

本願に係る情報処理方法は、複数のユーザの医療画像の閲覧に関する情報であって、医療画像のうち複数のユーザが閲覧している画像の視野に関する視野情報を取得し、取得された複数のユーザの医療画像の閲覧に関する情報に基づいて、医療画像を表示する表示範囲を示す視野情報を制御する。

Description

情報処理方法、情報処理装置、情報処理プログラムおよび情報処理システム
　本発明は、情報処理方法、情報処理装置、情報処理プログラムおよび情報処理システムに関する。
　従来、細胞組織を観察する顕微鏡装置を用いて細胞組織を撮像し、医療画像として保存するデジタル顕微鏡装置がある。デジタル顕微鏡装置では、検体の全体を観察するために、スライドガラス上の検体を含む領域を区画する小領域を拡大撮像系により撮像し、小領域毎の複数の像を繋ぎ合わせて１枚の巨大な医療画像を作成する。その医療画像を基に病理診断などの医療の診断が行われている。
　医療の診断では、診断に見落としがないように、複数人で患部の確認を行うことがある。医療画像を用いる場合、注目領域など特定の位置に、注釈情報を付記することができる。その医療画像を、他の医師に共有することで、その注釈情報が付記された位置について議論をしたり後から閲覧したりすることができる。これは、医療画像をサーバなどに記憶して、ネットワークを介して遠距離から診断するテレパソロジーシステムにも有効である。
　特許文献１には、表示装置から要求された医療画像に、注釈情報を重畳して表示する方法が記載されている。
特許第５５８４１９３号公報
　従来の技術では、複数の表示装置で画像を同期して表示したり、所定の位置に注釈情報を付記したりはできるが、更なる医療画像の表示に関するユーザビリティの向上が求められている。
　本願は、上記に鑑みてなされたものであって、医療画像の表示に関するユーザビリティの向上を促進させることを目的とする。
　本願に係る情報処理方法は、複数のユーザの医療画像の閲覧に関する情報であって、当該医療画像のうち当該複数のユーザが閲覧している画像の画角に関する情報を取得し、取得された複数のユーザの医療画像の閲覧に関する情報に基づいて、医療画像を表示する表示範囲を示す画角の表示を制御することを特徴とする。
実施形態に係る情報処理システムの構成例を示す図である。 実施形態１に係る表示画面の一例を示す図である。 実施形態１に係る表示画面の一例を示す図である。 実施形態１に係る表示画面の一例を示す図である。 実施形態２に係る表示画面の一例を示す図である。 実施形態２に係る表示画面の一例を示す図である。 実施形態３に係る表示画面の一例を示す図である。 実施形態３に係る表示画面の一例を示す図である。 実施形態４に係る表示画面の一例を示す図である。 実施形態４に係る表示画面の一例を示す図である。 実施形態４に係る表示画面の一例を示す図である。 実施形態に係る情報処理システムの構成例を示す図である。 実施形態に係る情報処理装置の構成例を示す図である。 実施形態に係る病理画像データ記憶部の一例を示す図である。 実施形態に係るユーザデータ記憶部の一例を示す図である。 実施形態に係る画角データ記憶部の一例を示す図である。 実施形態に係る情報処理装置の構成例を示す図である。 実施形態に係る表示装置の構成例を示す図である。 実施形態に係る表示装置の構成例を示す図である。 実施形態に係る情報処理の一例を示すフローチャートである。 実施形態に係る情報処理の一例を示すフローチャートである。 実施形態に係る情報処理の一例を示すフローチャートである。 実施形態に係る情報処理装置の構成例を示す図である。 実施形態に係るアノテーションデータ記憶部の一例を示す図である。 実施形態に係る情報処理装置の構成例を示す図である。 実施形態に係る表示装置の構成例を示す図である。 実施形態に係る情報処理の一例を示すフローチャートである。 実施形態に係る情報処理装置の構成例を示す図である。 実施形態に係る切片画像データ記憶部の一例を示す図である。 実施形態に係る座標対応データ記憶部の一例を示す図である。 実施形態に係る座標変換の一例を示す図である。 実施形態に係る情報処理装置の構成例を示す図である。 実施形態に係る表示装置の構成例を示す図である。 実施形態に係る情報処理の一例を示すフローチャートである。 実施形態に係る情報処理装置の構成例を示す図である。 実施形態に係るアノテーションデータ記憶部の一例を示す図である。 実施形態に係る学習済みデータ記憶部の一例を示す図である。 実施形態に係る情報処理装置の構成例を示す図である。 実施形態に係る表示装置の構成例を示す図である。 実施形態に係る表示装置の構成例を示す図である。 実施形態に係る情報処理の一例を示すフローチャートである。 実施形態に係る情報処理の一例を示すフローチャートである。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本願に係る情報処理方法、情報処理装置、情報処理プログラムおよび情報処理システムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理方法、情報処理装置、情報処理プログラム及び情報処理システムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
　以下に示す項目順序に従って本開示を説明する。
　　１．情報処理の一例
　　　１－１．画角の共有
　　　１－２．アノテーションの共有
　　　１－３．３Ｄマッピング
　　　１－４．チェック情報
　　　１－５．その他
　　２．情報処理システムの構成
　　３．実施形態１
　　　３－１．情報処理装置の構成
　　　３－２．表示装置の構成
　　　３－３．情報処理のフロー
　　４．実施形態２
　　　４－１．情報処理装置の構成
　　　４－２．表示装置の構成
　　　４－３．情報処理のフロー
　　５．実施形態３
　　　５－１．情報処理装置の構成
　　　５－２．表示装置の構成
　　　５－３．情報処理のフロー
　　６．実施形態４
　　　６－１．情報処理装置の構成
　　　６－２．表示装置の構成
　　　６－３．情報処理のフロー
　　７．ハードウェア構成
　　８．その他
（実施形態）
〔１．情報処理の一例〕
　デジタル化された病理画像の診断を複数人により行う場合、複数人の各々が閲覧している画角に対応する領域以外もチェックする必要がある場合もある。ここで、実施形態に係る視野情報の一例が画角である。そして、実施形態に係る画角は、ユーザが画面上で閲覧可能な病理画像の表示範囲を示す情報である。具体的には、実施形態に係る画角は、病理画像の表示装置での表示範囲を示す座標情報である。なお、以下、実施形態に係る画角に対応する領域を、適宜、「画角」と表記する場合がある。医療の分野では、診断に見落としがないように、複数人によるチェックが望まれる場合がある。また、気になる箇所として、第一のユーザが注釈情報を付記した箇所は、他のユーザにより十分に確認される必要がある場合もある。
　ところで、上述したように病理画像の診断を複数人で行う場合、他のユーザの画角に対応する領域を、第一のユーザが利用する端末の画面に表示する。この場合、他のユーザの画角に対応する領域を、他のユーザごとに別々に表示すると一覧性に欠ける可能性がある。しかしながら、本実施形態では、複数人分をまとめて表示するので、一覧性の向上を促進させることができる。
　以下、複数人がネットワークを介して同一の病理画像閲覧する際の実施形態に係る情報処理を説明する。以下、病理画像を閲覧する人を、適宜、「ユーザ（参加者）」とする。実施形態に係るユーザは、複数であってもよいし、単数であってもよい。実施形態では、ユーザの画角に関する情報を、ネットワークを介して、ユーザが利用する端末から他のユーザが利用する端末に送付して、送付された画角に関する情報を他のユーザの画面に表示する。例えば、実施形態では、ユーザが閲覧している画角に対応する領域の俯瞰に関するモード（Mode）の切り替えに応じて、ユーザ全員の画角に対応する領域が含まれるように倍率を調整する。例えば、ユーザのプロパティ（例えば、スペシャリティ、熟練度、習熟度、専門度など）に基づいて、画角に対応する領域の色（例えば、画角に対応する領域の枠の色）、アイコン、文字などを変更して表示する。
　実施形態に係る情報処理には、４つの場合がある。具体的には、画角の共有に基づいて画角を調整する場合と、アノテーションの共有に基づいて画角を調整する場合と、切片画像にアノテーションをマッピングする場合と、複数のユーザがアノテーションを確認したか否かを示す場合とがある。なお、実施形態に係る共有とは、画面上に他のユーザの操作による対象が表示されることである。なお、実施形態に係るアノテーションとは、ユーザによって病理画像に付与された情報であれば、どのようなものであってもよいものとする。また、以下の実施形態では、ユーザの閲覧に関する情報が表示対象となるように画角を制御する。以下、図１乃至４を用いて画角の共有に基づいて画角を調整する処理を説明する。
（１－１．画角の共有）
　図１は、実施形態に係る情報処理システムの一例を示す。図１は、複数人がネットワークを介して病理画像を閲覧する場合を示す。図１では、所定のサーバ（例えば、ＷＳＩ（Ｗｈｏｌｅ　Ｓｌｉｄｅ　Ｉｍａｇｉｎｇ）サーバ）と複数の表示装置とがネットワークを介して接続される場合を示す。ここで、複数の表示装置とは、ユーザの各々が閲覧するために利用する端末である。例えば、表示装置１は、ユーザＵ１が閲覧している端末である。図１では、表示装置１は、他の表示装置の画角に対応する領域を表示する。ここで、他の表示装置の画角とは、他の表示装置が閲覧している表示の表示範囲を示す。具体的には、表示装置１は、表示装置２と表示装置３との画角に対応する領域を表示する。また、他のユーザの画角は、他のユーザの閲覧に応じて、他のユーザの画角に対応する領域を表示するユーザの画面上でリアルタイムに動き得るものとする。
　各々の表示装置は、各々の表示装置で観察している領域の画像、すなわち各々のユーザの画角に対応する領域の画像と共に、他のユーザの画角に対応する領域もわかるように俯瞰して表示する。ここで、俯瞰とは、画像をズームアウトすることによって、表示範囲を広げることである。これにより、ユーザは、引いた位置から画像を閲覧することができる。なお、実施形態では、俯瞰の度合は、画角の表示に応じて決定されてもよい。例えば、俯瞰の度合は、画面上に所定のユーザの画角に対応する領域の全てが含まれるように決定されてもよい。また、各々の表示装置は、俯瞰した画像を表示するモードである俯瞰モードを設定してもよい。すなわち、各々の表示装置は、俯瞰モードを設定することにより、ユーザの画角に対応する領域の全てが含まれるように俯瞰した画像を表示してもよい。ユーザが俯瞰モードを設定する場合、表示装置は他のユーザ全員の画角情報を送信するよう所定のサーバに要求して、他のユーザ全員の画角情報を取得してもよい。
　俯瞰表示装置は、複数の表示装置とは異なる端末であり、複数の表示装置の画角に対応する領域を俯瞰した画像を表示する。また、俯瞰表示装置は、ユーザ全員の画角に対応する領域を表示してもよい。俯瞰表示装置を利用するユーザにとっては、俯瞰表示装置は、自身の閲覧に関する情報と、他のユーザの閲覧に関する情報とを表示するように画角を制御する。図１では、俯瞰モードで表示する俯瞰表示装置を設定する場合を示す。病理医は、自身が閲覧するための表示装置と、俯瞰モードで表示するための俯瞰表示装置（例えば、タブレットの画面）との両方を利用し、自身を含めてユーザ全員の画角情報を確認することができる。これにより、他のユーザがどの範囲を閲覧しているのか一目で表示することができる。これにより、一覧性の向上を促進させることができる。また、各々の表示装置に対して、画面上に表示された画角に対応する領域がどのようなプロパティを保持するユーザの画角であるかを示す情報を表示する。このように、実施形態では、他のユーザが閲覧している画角情報を表示する。
　図２は、実施形態に係る表示画面の一例を示す。図２では、他のユーザが閲覧している画角情報の一例を示す。画面ＭＶ１１は、画像の拡大や縮小を行って画像を観察する領域（以下、適宜、「メインビュー」とする。）である。画面ＳＶ１１は、病理画像全体を表示することができる領域（以下、適宜、「概要ビュー」とする。）である。概要ビューは、メインビューとは同一の表示装置に表示されても、異なる表示装置に表示されてもよい。実施形態では、メインビューと概要ビューとのうち、少なくともどちらか一方の画面で制御された画角に対応する領域を表示する。図２では、画面上に概要ビューは一つである場合を示すが、複数あってもよい。なお、概要ビューは、画面全体の右上にある場合に限らず、画面全体のどの位置にあってもよい。また、他のユーザの画角情報は、メインビューで表示されてもよいし、概要ビューで表示されてもよい。図２では、他のユーザの画角情報が、メインビューと概要ビューとの双方の画面で表示される場合を示す。これにより、各ユーザは、他のユーザがどの範囲を閲覧しているのか一目で分かる。
　図３は、実施形態に係る表示画面の一例を示す。図３では、複数の画角に対応する領域を表示する場合の表示の一例を示す。図３では、自身を含む４人のユーザが閲覧していて、自身を除く３人の他のユーザの画角に対応する領域をメインビューに表示する。図３Ａは画面ＧＣ１１を示す。図３Ａでは、３人の他のユーザの画角のうち、画角ＧＣ１の一部が画面ＧＣ１１に表示されない。一方、図３Ｂは画面ＧＣ２２を示す。図３Ｂは、図３Ａの画面ＧＣ１１において、３人の全ての他のユーザの画角に対応する領域の全体が含まれるように表示を調整した画面である。このため、図３Ｂでは、３人の他のユーザの画角の全てにおいて、画角の全体が表示される。具体的には、図３Ｂでは、画角ＧＣ１と画角ＧＣ２と画角ＧＣ３との画角の全てにおいて、画角の全体が画面ＧＣ２２で表示される。なお、図３では、画角に対応する領域が固定されているように示されているが、画角に対応する領域はユーザの操作に応じて画面上で動きえるものとする。このように、実施形態では、画角情報に基づいて表示範囲を制御する。このように、実施形態では、画角情報に基づいて、複数人の操作情報を一つの画面で表示するための表示範囲を制御する。
　図４は、実施形態に係る表示画面の一例を示す。図４では、各々の画角に対応する領域にユーザのプロファイルを表示する。具体的には、各々の画角に対応する領域に色、アイコン、テキストなどを付与することにより、ユーザのプロファイルを表示する。画角ＧＣ１は、プロファイルが研修医であるユーザの画角である。画角ＧＣ２は、プロファイルが専門医であるユーザの画角である。画角ＧＣ３は、プロファイルが指導医であるユーザの画角である。このように、図４では、他のユーザの閲覧に関する情報とともに、他のユーザの閲覧に関する情報の各々に対して、他のユーザのプロファイルを示す情報を表示する例を示す。具体的には、他のユーザの熟練度、専門度、スペシャリティ、又は、習熟度を示す情報を表示する。具体的な例を挙げると、他のユーザが研修医、専門医、又は、指導医であるかを示す情報を表示する。なお、図４に示す研修医、専門医、指導医などの表現は、熟練度、専門度、スペシャリティ、又は、習熟度を示す情報の一例であり、これらの例に限られないものとする。
（１－２．アノテーションの共有）
　病理画像は広大である一方、診断時には高倍率でスライドを表示することがある。そして、高倍率で表示しながら診断に影響のある領域などにひとつ、または複数のアノテーションを付与する。また、アノテーションを付与した領域について、後から確認することもある。しかしながら、広大な病理画像の拡大、縮小、移動を繰り返しながら、アノテーションの付与、またはアノテーションの確認を行う作業は、煩雑となりえる。そこで、１枚の病理画像に複数のアノテーションを付与する場合、付与済みのアノテーションの位置を認識できるように画角を調整する方法がある。以下、図５及び６を用いて、実施形態に係るアノテーションの共有に基づいて画角を調整する処理を説明する。
　図５は、実施形態に係る表示画面の一例を示す。図５では、概要ビューである画面ＳＶ１１にアノテーションが表示される。具体的には、矢印で示される３つのアノテーションが表示される。
　図６は、実施形態に係る表示画面の一例を示す。図６では、複数のアノテーションを表示する場合の表示の一例を示す。図６では、矢印で示される３つのアノテーションを表示する。例えば、ユーザにより選択されたアノテーションを表示する。図６では、アノテーション１乃至３が選択されたことを示す。図６では、複数のアノテーションの全体が含まれるように画角を調整する。図６では、複数のアノテーションが全て含まれる画角であって、かつ倍率が高い画角となるように調整して表示する。具体的には、病理画像の全てのアノテーションが含まれる画角となるように調整して表示する。また、複数のアノテーションのうち、ユーザにより選択されたアノテーションが全て含まれる画角を算出する。なお、ユーザにより選択されるアノテーションの数に制限はないものとする。また、病理画像に紐付く全てのアノテーションを自動的に選択してもよいものとする。
　図６では、表示する位置や倍率などを示す情報を算出する。例えば、アノテーション１乃至３が選択された場合、アノテーション１乃至３のアノテーションを含む最大の倍率を算出する。この場合、アノテーション１乃至３のアノテーションを含む最大の倍率と対応する位置を算出する。そして、算出された最大の倍率と位置とで画角を調整する。一方、アノテーション１及び２が選択された場合、アノテーション１及び２を含む最大の倍率で画角を調整する。
　図５及び６では、アノテーションが矢印で表示される場合を示すが、どのような形や態様で表示されてもよい。例えば、実施形態に係るアノテーションは、細胞などの領域を囲う閉曲線などによって表示されてもよい。例えば、実施形態に係るアノテーションは、癌である可能性が高い細胞などの領域を囲う閉曲線などによって表示されてもよい。例えば、実施形態に係るアノテーションは、多角形を用いたものであってもよい。また、多角形を用いてアノテーションを表示する場合、全ての多角形に外接する画角であって、最大の倍率となるように画角を調整する。
　なお、選択された全てのアノテーションを含む画角に調整する場合、表示装置の画角を含んでもよい。すなわち、選択されたアノテーション、および各々の表示装置の画角に基づいて画角の調整を行ってもよい。以上、図２乃至４では、複数の表示装置の画角を含み、かつ高倍率の画角になるよう調整する例を示したが、図５及び６では、複数のアノテーションの画角を含み、かつ高倍率の画角になるよう調整する例を示した。
（１－３．３Ｄマッピング）
　病理画像は、臓器の一部を患者の体内から取り出し、薄く切断し、その切片を試薬で染色したものを撮像して取得する。同一の臓器から取り出した切片を、それぞれ異なるスライドに配置する場合がある。それぞれのスライドを撮像して、複数の病理画像を取得し閲覧する。その場合、その病理画像が臓器のどの部位なのか、把握が難しかった。また、病理画像の注目領域にアノテーションを付与した場合、そのアノテーションが臓器のどの部位なのか、把握が難しかった。以下、図７及び８を用いて、実施形態に係るアノテーションのマッピングを説明する。
　図７は、実施形態に係る表示画面の一例を示す。図７では、切片画像の位置を示す場合の表示の一例を示す。図７では、画像ＳＧ１１は、取り出した臓器の一部を、切断する方向と同じ方向からみた場合の画像である。画像ＳＧ１１は、切片を立体的に表現した画像であってもよい。画像ＳＧ１１は、実際に撮像した画像でも、病理画像の形状から推定して作られたものでもよい。なお、実施形態に係る切片は、生体、生物、材料、病理に関する切片であれば、どのようなものであってもよい。例えば、画像ＳＧ１１は、胆のうなどの切片画像である。例えば、画像ＳＢ１１は、１５ミリほどの大きさの大腸ポリープなどの切片画像である。また、画像ＳＧ１１は、画面ＭＶ１１や画面ＳＶ１１と同一の画面上に表示される。すなわち、切片画像は、画角の表示の制御の対象となる画像と共に同一の画面上に表示されてもよい。
　図８は、実施形態に係る表示画面の一例を示す。図８では、メインビューに表示された病理画像に付与されたアノテーションに対応する位置を、画像ＳＧ１１に示す。図８では、画像ＳＧ１１に対応するアノテーションの位置を算出する。そして、算出された位置をアノテーションの位置として画像ＳＧ１１に表示する。これにより、アノテーションが付与された位置と臓器の位置との位置関係を一目で把握することができる。アノテーションが付与された位置の周辺の組織の画像をあわせて確認することで、病変部を適切に推定できる。アノテーションの色を、ユーザのプロファイルに応じて変更してもよい。
　このように、図８では、切片などの対象物の一部の領域を示す画像上に付与されたアノテーションを、対象物を立体的に表現した画像上の所定の位置に表示する。具体的には、対象物の断面を撮像した画像上に付与されたアノテーションを、対象物を立体的に表現した画像上の所定の位置であって、対象物の領域のうちアノテーションが付与された領域に対応する位置に表示する。
（１－４．チェック情報）
　病理画像で診断を行う際、病理画像は広大であるため、画像中の複数箇所を根拠として診断を下す。この時、誤診や診断の質の改善を向上させるために、複数人が同一スライドをチェックするが、複数箇所において複数人がチェックする場合、チェックが必要な箇所が一目で分からず、一覧性に欠ける場合がある。例えば、疑義のある場所の病理画像にアノテーションを付与するが、それぞれの場所の疑義を複数人でチェックする場合、チェックしたかどうか一覧性に欠ける。以下、ＵＩの一覧性を向上させるために、各ユーザが画像中の複数箇所をチェックしたか否かを示すチェック情報を設定する場合を説明する。具体的には、アノテーションにチェック情報を設定する。例えば、チェック情報は、チェックしたことを示す印を付与するためのチェックボックスであってもよい。例えば、チェック情報は、悪性又は良性など、ユーザの評価を示す印を付与するためのチェックボックスであってもよい。以下、図９乃至１１を用いて、実施形態に係るチェック情報を設定する場合を説明する。なお、実施形態４は、実施形態２（アノテーションの共有）の変形例でもある。
　図９は、実施形態に係る表示画面の一例を示す。図９では、疑いのある２箇所がアノテーションによって示される。図９では、複数人が、疑いのある２箇所をチェックする。この場合、全ての箇所がチェック済みであるか一目で分からず、一覧性に欠ける場合がある。
　図１０は、実施形態に係る表示画面の一例を示す。図１０は、実施形態に係るチェック情報の一例を示す。図１０では、チェック情報を含む情報（以下、適宜、「枠情報」とする。）が表示される。例えば、図１０では、枠情報ＣＢ１が表示される。例えば、枠情報ＣＢ１は、チェック情報ＣＢ１１と、チェック情報ＣＢ１２と、チェック情報ＣＢ１３とを含む。これにより、各ユーザは、どのユーザがチェックを行ったか一目で知ることができる。また、枠情報ＣＢ１は、各ユーザが自由に記述した自由記述を表示する。例えば、枠情報ＣＢ１は、各ユーザの自由記述をコメントとして表示する。この場合、各ユーザの自由記述は、枠情報ＣＢ１のコメント欄に表示される。これにより、各ユーザは、疑いのある箇所に関して、自由に記述を行うことができる。また、図１０では、チェックが必要な箇所に対して複数人がチェックを行ったか一覧で表示する画面ＣＢＢ１を表示する。例えば、チェックが必要な全ての箇所に対して所定の複数人がチェック済みであるか一覧で表示する画面ＣＢＢ１を表示する。例えば、画面ＣＢＢ１は、アノテーションの一覧を表示する。
　また、実施形態では、チェック情報を含むアノテーションの表示状態を変更する。例えば、チェック情報が所定の条件を満たす場合、アノテーションの表示状態を変更する。例えば、所定の人数の複数人がチェック情報にチェックを行った場合、アノテーションの表示状態を変更する。例えば、複数人全員がチェック情報にチェックを行った場合、アノテーションの表示状態を変更する。具体的には、アノテーションに対応する全てのチェック情報に対してチェックが付与された場合、対応するアノテーションの表示状態を変更する。このように、他のユーザの操作に応じて予め定められた所定の条件を満たす場合にチェック情報にチェックを行うことによって、アノテーションの表示状態を変更する。このように、他のユーザの各々の操作に応じて、対応するチェック情報の各々に対して確認済みを示す情報が付与された場合、対応するアノテーションの表示状態を変更する。このように、アノテーションごとに対応する他のユーザが確認したか否かを示すための情報が所定の条件を満たす場合、対応するアノテーションの表示状態を変更する。また、ユーザごとにチェック情報の状態を記憶することによって、アノテーションの表示方法を変更する。例えば、チェック情報の色を変更する。例えば、アノテーションの一覧の色を変更してもよい。例えば、弱拡大した際や倍率を下げた際に、全て同じチェック情報の場合、コメント欄を消してもよい。具体的には、弱拡大した際や倍率を下げた際に、複数人全員の診断が同一である場合、コメント欄を消してもよい。例えば、ユーザの一覧をアノテーションに設定することによって、ユーザ全員がチェック済みの箇所を表示する。例えば、ユーザ全員がチェック済みではない箇所を選択（例えば、クリックやタップなど）することによって、対応する箇所を含む画角に対応する領域を表示する。
　また、チェック情報へのチェックは、ユーザによるものに限らず、機械学習を用いて行ってもよい。例えば、アノテーションが付与された領域の情報を識別器に入力することによって出力される結果に基づいて、チェックを行ってもよい。ここで、識別器とは、例えば、対象か否かに関する情報を推定する識別器である。具体的な例を挙げると、識別器は、病変か否かを推定する識別器であってもよい。例えば、識別器は、アノテーションに対応する領域が病変か否かを推定する識別器であってもよい。また、アノテーションに対応する領域の画像と、対象か否かに関する情報を推定する識別器とに基づいて、アノテーションに対応する領域に対して識別器が推定した情報を表示する。図１０に、識別器を用いた場合の一例を示す。図１０では、枠情報ＣＢ１の所定の領域に、識別器に基づく推定結果を示す。例えば、識別器に基づく推定結果として、コメントを表示する。また、枠情報ＣＢ１の所定の領域には、識別器に基づく推定結果であれば、どのような情報が表示されてもよい。
　また、識別器によるチェック情報へのチェックは、ユーザによる診断と同一の診断であった場合に行われてもよい。図１０では、ユーザによる診断と同一の診断であった場合に、領域ＣＢ１１のチェック情報へのチェックを行ってもよい。
　図１１は、実施形態に係る表示画面の一例を示す。図１１では、各々のアノテーションにおいて、選択されたユーザの情報のみを表示する一例を示す。例えば、選択されたユーザのコメントのみを表示する。図１１では、ユーザＡ乃至Ｃのうち、ユーザＡ及びＢが選択される場合を示す。この場合、ユーザＡとＢとのコメントのみを表示する。また、熟練度や専門性などのユーザのプロファイルに基づいて、表示するユーザを選択してもよい。例えば、専門医と指導医とのユーザを、表示するユーザとして選択してもよい。また、熟練度や専門性などのユーザのプロファイルに基づいて、表示しないユーザを選択してもよい。例えば、研修医のユーザを、表示しないユーザとして選択してもよい。この場合、表示しないユーザとして選択されたユーザのコメントを消してもよい。また、対象となる部位情報に基づいてユーザを選択してもよい。例えば、対象となる部位が胃の部分であれば、胃の専門医のユーザのみを選択してもよい。
　このように、アノテーションを確認したか否かを示すための情報として、チェック情報をアノテーションの所定の領域に表示する場合を示した。なお、アノテーションを確認したか否かを示すための情報の一例としてチェック情報を表示する場合を示したが、チェック情報に限らず、どのようなものであってもよい。このように、アノテーションごとに他のユーザが確認したか否かを示すための情報であって、他のユーザの操作に応じて予め定められた所定の条件を満たす場合に付与される確認済みを示す情報を表示する。このように、アノテーションごとに他のユーザが確認したか否かを示すための情報に対する他のユーザの指定に基づいて、他のユーザが確認済みか否かを示す確認結果を表示する。このように、他のユーザが確認したか否かを示すための情報を表示するアノテーションに対する他のユーザの操作（例えば、閲覧のための操作）に基づいて、他のユーザが確認済みか否かを示す確認結果を表示する。
　以上、実施形態に係る４つの特徴を説明した。
　上記実施形態では、病理画像の場合を例に挙げて説明したが、病理画像に限らず、医療画像であれば、どのようなものであってもよい。例えば、情報処理装置１００は、生体、生物、材料に関する医療画像を表示する画角を制御してもよい。
　実施形態に係るスライドは、スライドを画像データに変換したバーチャルスライドであってもよい。例えば、実施形態に係るスライドは、スライドを高速でスキャンして、高画質（高解像度）な画像データに変換したバーチャルスライドであってもよい。
（１－５．その他）
　また、実施形態では、画角を追随して表示する所定の表示装置（以下、適宜、「リーダ表示装置」とする。）を設定してもよい。実施形態では、リーダ表示装置を設定する場合、設定されたリーダ表示装置の画角に追随して、リーダ表示装置の画角を優先的に表示する。この場合、リーダ表示装置を設定した表示装置の画面上に、リーダ表示装置で表示される画角情報がリアルタイムに表示される。この場合、リーダ表示装置を設定した表示装置と、リーダ表示装置とは同期される。なお、リーダ表示装置の設定は、例えば、各ユーザにより個々に設定されてもよい。
　また、実施形態では、俯瞰モードで閲覧しているユーザがいる場合、俯瞰モードで閲覧しているユーザの画角を含めずに画角の調整を行うものとする。例えば、実施形態では、画角の共有に基づいて画角を調整する場合であって、俯瞰中の画角がある場合、俯瞰中の画角以外の画角に外接する画角となるように画角を調整する。また、俯瞰モードで閲覧していたユーザが俯瞰モードを解除した場合、俯瞰モードを解除したユーザの画角を含めて画角の再調整を行ってもよい。
〔２．情報処理システムの構成〕
　図１２を用いて情報処理システム１の構成について説明する。図１２は、実施形態に係る情報処理システムの構成例を示す図である。図１２に示すように、情報処理システム１には、情報処理装置１００と、表示装置２００と、撮像装置３００とが含まれる。情報処理装置１００と、表示装置２００と、撮像装置３００とは所定の通信網（ネットワークＮ）を介して、有線または無線により通信可能に接続される。図１２は、実施形態に係る情報処理システムの構成例を示す図である。なお、図１２に示した情報処理システム１には、複数台の情報処理装置１００や、複数台の表示装置２００や、複数台の撮像装置３００が含まれてもよい。
　情報処理装置１００は、例えば、ＰＣ、ＷＳ（Work　Station）等の情報処理装置であり、表示装置２００等からネットワークＮを介して送信されてきた情報に基づいて処理を行う。情報処理装置１００は、図１のＷＳＩサーバであってもよい。
　表示装置２００は、例えば、ＰＣ、ＷＳ等の情報処理装置であり、情報処理装置１００等からネットワークＮを介して送信されてきた情報に基づいて処理を行う。表示装置２００は、図１の表示装置の各々であってもよい。例えば、表示装置２００は、図１の俯瞰表示装置であってもよい。
　撮像装置３００は、スライドに収められた観察対象物を撮像し、医療画像を取得する撮像装置である。なお、観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等である。撮像装置３００は、取得した医療画像を、表示装置２００に送る。なお、情報処理システム１は、撮像装置３００を有しなくてもよい。すなわち、情報処理システム１は、撮像装置３００により撮像された医療画像に限らず、他の情報処理システム内で撮像された医療画像を記憶してもよい。
　以下、実施形態に係る４つの特徴の構成や情報処理のフローを説明する。実施形態１は、画角の共有に基づいて画角を調整する場合の実施形態である。以下、実施形態１を説明する。
〔３．実施形態１〕
〔３－１．情報処理装置の構成〕
　次に、図１３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図１３は、実施形態に係る情報処理装置１００の構成例を示す図である。図１３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
（通信部１１０）
　通信部１１０は、例えば、ＮＩＣ等によって実現される。そして、通信部１１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、情報処理装置１００等との間で情報の送受信を行う。
（記憶部１２０）
　記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図１３に示すように、記憶部１２０は、病理画像データ記憶部１２１と、ユーザデータ記憶部１２２と、画角データ記憶部１２３とを有する。
　病理画像データ記憶部１２１は、病理画像データを記憶する。ここで、図１４に、実施形態に係る病理画像データ記憶部１２１の一例を示す。図１４に示すように、病理画像データ記憶部１２１は、「病理画像データＩＤ」、「病理画像データ」といった項目を有する。
　「病理画像データＩＤ」は、病理画像データを識別するための識別情報を示す。「病理画像データ」は、病理画像データを示す。図１４に示す例では、「病理画像データ」に「病理画像データ＃１１」や「病理画像データ＃１２」といった概念的な情報が格納される例を示したが、実際には、静止画像や動画像などが格納される。また、「病理画像データ」には、病理画像データのコンテンツが所在するＵＲＬ（Uniform　Resource　Locator）、または、これらの格納場所を示すファイルパス名などが格納されてもよい。
　ユーザデータ記憶部１２２は、ユーザデータを記憶する。ここで、図１５に、実施形態に係るユーザデータ記憶部１２２の一例を示す。図１５に示すように、ユーザデータ記憶部１２２は、「ユーザＩＤ」、「アノテーション色」、「Ｄｅｓｃｒｉｐｔｉｏｎ」、「専門部位」といった項目を有する。
　「ユーザＩＤ」は、ユーザ（ユーザ）を識別するための識別情報を示す。「アノテーション色」は、アノテーションの色を示す。例えば、「アノテーション色」は、アノテーションの枠の色を示す。「Ｄｅｓｃｒｐｉｔｉｏｎ」は、ユーザのプロパティを示す。「専門部位」は、ユーザが専門とする部位を示す。
　画角データ記憶部１２３は、画角データを記憶する。ここで、図１６に、実施形態に係る画角データ記憶部１２３の一例を示す。図１６に示すように、画角データ記憶部１２３は、「ユーザＩＤ」、「スライドＩＤ」、「画角情報」といった項目を有する。
　「ユーザＩＤ」は、ユーザを識別するための識別情報を示す。「スライドＩＤ」は、画角情報の対象となるスライドを識別するための識別情報を示す。「画角情報」は、対応するユーザの画角情報を示す。図１６に示す例では、「画角情報」に「画角情報＃１１」や「画角情報＃１２」といった概念的な情報が格納される例を示したが、実際には、スライドに対応する座標情報や倍率情報などが格納される。例えば、「画角情報」には、最大の解像度を「１」で規格化した情報が格納される。ここで、座標情報とは、中心の座標を基準とした座標情報であってもよいし、画角の４点の座標を基準した座標情報であってもよい。また、倍率情報とは、最大解像度で見たときを「０」として、その半分の倍率で見たときを「１」とした倍率情報であってもよい。具体的な例を挙げると、「画角情報」には、「Ｘ＝０．１、Ｙ＝０．２、Ｚｏｏｍ＝２」などの情報が格納される。
（制御部１３０）
　制御部１３０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
　図１３に示すように、制御部１３０は、送信部１３１と、画角データ送受信部１３２と、画角データ保持部１３３とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図１３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
（送信部１３１）
　送信部１３１は、病理画像データを送信する。例えば、送信部１３１は、病理画像データ記憶部１２１から取得した病理画像データを送信する。例えば、送信部１３１は、病理画像データの要求を受信すると、対応する病理画像データを送信する。図１７は、実施形態１に係る情報処理装置１００の構成を示す。図１７に示すように、送信部１３１は、病理画像データ送信部１３１１を有してもよい。この場合、病理画像データ送信部１３１１が、病理画像データを送信してもよい。
　送信部１３１は、ユーザプロファイルを送信する。例えば、送信部１３１は、ユーザデータ記憶部１２２から取得したユーザプロファイルを送信する。図１７に示すように、送信部１３１は、ユーザプロファイル送信部１３１２を有してもよい。この場合、ユーザプロファイル送信部１３１２が、ユーザプロファイルを送信してもよい。
（画角データ送受信部１３２）
　画角データ送受信部１３２は、画角データの送受信の処理を行う。例えば、画角データ送受信部１３２は、画角データを送信する。例えば、画角データ送受信部１３２は、画角データの要求を受信すると、対応する画角データを送信する。画角データ送受信部１３２は、ユーザの閲覧に関する情報の送受信の処理を行う。
（画角データ保持部１３３）
　画角データ保持部１３３は、画角データの保持に関する処理を行う。例えば、画角データ保持部１３３は、画角データを所定の記憶部に記憶する。
〔３－２．表示装置の構成〕
　次に、図１８を用いて、実施形態に係る表示装置２００の構成について説明する。図１８は、実施形態に係る表示装置２００の構成例を示す図である。図１８に示すように、表示装置２００は、通信部２１０と、記憶部２２０と、制御部２３０とを有する。なお、表示装置２００は、表示装置２００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
（通信部２１０）
　通信部２１０は、例えば、ＮＩＣ等によって実現される。そして、通信部２１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、情報処理装置１００等との間で情報の送受信を行う。
（記憶部２２０）
　記憶部２２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部２２０は、情報処理装置１００から受信した情報を記憶する。例えば、記憶部２２０は、画角データを記憶する。例えば、記憶部２２０は、他のユーザの画角データを記憶する。
（制御部２３０）
　制御部２３０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、表示装置２００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２３０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
　図１８に示すように、制御部２３０は、画角データ送受信部２３１と、算出部２３２と、取得部２３３と、描画部２３４とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部２３０の内部構成は、図１８に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
（画角データ送受信部２３１）
　画角データ送受信部２３１は、画角データの送受信の処理を行う。例えば、画角データ送受信部１３２は、画角データを送信する。例えば、画角データ送受信部１３２は、画角データの要求を受信すると、画角データを送信する。例えば、画角データ送受信部１３２は、画角データを受信する。例えば、画角データ送受信部２３１は、他のユーザの画角データを受信する。また、画角データ送受信部２３１は、画角データとして、スライドに基づく座標情報を用いて送受信の処理を行う。例えば、画角データ送受信部２３１は、２次元のＸＹ座標情報と倍率に関する情報との送受信の処理を行う。
（算出部２３２）
　算出部２３２は、画角を算出する。図１９は、実施形態１に係る表示装置２００の構成を示す。図１９では、算出部２３２は、画角計算部に対応する。算出部２３２は、受信した画角データに基づいて画角を算出する。例えば、算出部２３２は、他のユーザの画角データに基づいて画角を算出する。
　算出部２３２は、ＵＩによる操作に基づいて画角を算出する。例えば、算出部２３２は、表示装置２００を利用するユーザの閲覧に基づいて画角を算出する。算出部２３２は、俯瞰モードに応じて画角を算出する。例えば、算出部２３２は、俯瞰モードのＯＮ／ＯＦＦに応じて画角を算出する。例えば、算出部２３２は、ユーザが俯瞰モードをＯＮにすると、対象となる全てのユーザの画角に基づいて外接する画角を算出する。算出部２３２は、画角合わせのユーザの選択に基づいて画角を算出する。例えば、算出部２３２は、選択されたユーザの画角に外接する画角を算出する。なお、算出部２３２は、画角合わせのユーザの選択がリーダ表示装置である場合、リーダ表示装置の画角に決定してもよい。
（取得部２３３）
　取得部２３３は、画像データを取得する。図１９では、取得部２３３は、画像データ取得部に対応する。取得部２３３は、算出部２３２により算出された画角に対応する画像データを取得する。例えば、取得部２３３は、他のユーザが閲覧している画像データを取得する。例えば、取得部２３３は、他のユーザの閲覧に関する情報を取得する。
（描画部２３４）
　描画部２３４は、表示する画像データを生成する。描画部２３４は、取得部２３３により取得された画像データに基づいて、画像データを生成する。描画部２３４は、算出部２３２により算出された画角に基づいて、画像データを生成する。描画部２３４は、ユーザプロファイルに基づいて、画像データを生成する。描画部２３４は、生成した画像データを表示装置へ送信する。描画部２３４は、生成した画像データを表示する。
　描画部２３４は、算出部２３２により算出される画角を算出してもよい。また、描画部２３４は、他のユーザの画角を取得して重畳（オーバーレイ）して表示するための画像データを送信する。また、描画部２３４は、他のユーザの画角を取得して重畳して表示する。
　なお、上述した例では、情報処理装置１００と表示装置２００とは、別装置である場合を示したが、情報処理装置１００と表示装置２００とが一体であってもよい。この場合、表示装置２００は、情報処理装置１００の全て又は一部の機能を有し、情報処理装置１００により行われる全て又は一部の処理を行ってもよい。また、表示装置２００が、情報処理装置１００の一部の機能を有し、情報処理装置１００により行われる一部の処理を行う場合には、表示装置２００は、情報処理装置１００により行われる残りの処理を外部の情報処理装置に行わせてもよい。
　また、上述した例では、情報処理装置１００と撮像装置３００とは、別装置である場合を示したが、情報処理装置１００と撮像装置３００とが一体であってもよい。
〔３－３．情報処理のフロー〕
　次に、図２０乃至２２を用いて、実施形態に係る情報処理システム１による情報処理の手順について説明する。図２０乃至２２は、実施形態に係る情報処理システム１による情報処理の手順を示すフローチャートである。
　図２０は、表示装置２００の算出部２３２と取得部２３３とにおける情報処理の手順を示すフローチャートである。図２０に示すように、表示装置２００は、ＵＩから画角を算出する（ステップＳ１０１）。表示装置２００は、俯瞰モードに設定されているか判定する（ステップＳ１０２）。表示装置２００は、俯瞰モードに設定されていない場合（ステップＳ１０２；ＮＯ）、画角データ送受信部２３１を介して、情報処理装置１００へ閲覧している画角情報を送信する（ステップＳ１０３）。表示装置２００は、画角合わせのためのユーザが設定されているか判定する（ステップＳ１０４）。表示装置２００は、画角合わせのためのユーザが設定されている場合（ステップＳ１０４；ＹＥＳ）、対応するユーザの画角情報に応じて画角を設定する（ステップＳ１０５）。具体的には、表示装置２００は、対応するユーザの画角情報を情報処理装置１００に要求して、その画角情報の画角に設定する。一方、表示装置２００は、画角合わせのためのユーザが設定されていない場合（ステップＳ１０４；ＮＯ）、ＵＩに基づいて算出された画角に設定する（ステップＳ１０６）。具体的には、表示装置２００は、ステップＳ１０１において算出された画角に設定する。例えば、表示装置２００は、自身が閲覧している画角に設定する。また、表示装置２００は、ステップＳ１０２において、俯瞰モードに設定されている場合（ステップＳ１０２；ＹＥＳ）、ユーザ全員の画角情報を取得する（ステップＳ１０７）。表示装置２００は、取得された全画角のうち、最も外接する画角の倍率の画角を算出する（ステップＳ１０８）。表示装置２００は、算出された画角に設定する（ステップＳ１０９）。そして、表示装置２００は、設定された画角に応じた画角情報を取得する（ステップＳ１１０）。なお、画角合わせのためのユーザとは、リーダ表示装置であってもよい。この場合、ステップＳ１０４において、表示装置２００は、画角合わせのためのユーザとして、リーダ表示装置が設定されているか判定してもよい。そして、ステップＳ１０５において、表示装置２００は、リーダ表示装置が設定されている場合、画角をリーダ表示装置の画角に設定する。
　図２１は、情報処理装置１００の画角データ送受信部１３２における情報処理の手順を示すフローチャートである。図２１に示すように、情報処理装置１００は、表示装置２００から画角情報を取得する（ステップＳ２０１）。情報処理装置１００は、取得された画角情報に基づいて画角データ保持部１３３を更新する（ステップＳ２０２）。例えば、情報処理装置１００は、ユーザＩＤとスライドＩＤとに基づく画角データ保持部１３３の値を更新する。例えば、情報処理装置１００は、表示装置２００から現在閲覧している画角の画角情報を受信すると、スライド情報と、ユーザ情報と、画角情報とを画角データ保持部１３３に記憶する。情報処理装置１００は、表示装置２００から画角情報の要求を取得したか判定する（ステップＳ２０３）。情報処理装置１００は、表示装置２００から画角情報の要求を取得した場合（ステップＳ２０３；ＹＥＳ）、要求された画角情報を送信する（ステップＳ２０４）。ここで、画角情報の要求には、スライドを指定して、ユーザ全員の画角情報を要求する場合と、所定のユーザとスライドとを指定して、対応する画角情報を要求する場合とがある。一方、情報処理装置１００は、表示装置２００から画角情報の要求を取得しない場合（ステップＳ２０３；ＮＯ）、情報処理を終了する。
　図２２は、表示装置２００の算出部２３２と描画部２３４とにおける情報処理の手順を示すフローチャートである。図２２に示すように、表示装置２００は、算出部２３２により算出された画角を設定する（ステップＳ３０１）。表示装置２００は、ユーザ全員の画角情報を取得する（ステップＳ３０２）。表示装置２００は、自身以外のユーザごとのプロファイルを画角の枠に重畳して表示する（ステップＳ３０３）。具体的な例を挙げると、表示装置２００は、ユーザＵ１の画角に応じて、ユーザＵ１のＤｅｓｃｒｉｐｔｉｏｎや専門部位などの情報を重畳して表示する。また、表示装置２００は、ユーザＵ１の画角に応じて、ユーザＵ１に対応する色を用いて重畳して表示する。なお、描画部２３４で画角を決定する場合には、ステップＳ３０１において、表示装置２００は、描画部２３４により算出された画角を設定する。
　以上、実施形態１を説明した。以下、実施形態２を説明する。実施形態２は、アノテーションの共有に基づく場合の実施形態である。実施形態１と同様の説明は適宜省略する。
〔４．実施形態２〕
〔４－１．情報処理装置の構成〕
　次に、図２３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図２３は、実施形態に係る情報処理装置１００の構成例を示す図である。図２３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
（記憶部１２０）
　記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図２３に示すように、記憶部１２０は、病理画像データ記憶部１２１と、アノテーションデータ記憶部１２４とを有する。
　アノテーションデータ記憶部１２４は、アノテーションデータを記憶する。ここで、図２４に、実施形態に係るアノテーションデータ記憶部１２４の一例を示す。図２４に示すように、アノテーションデータ記憶部１２４は、「アノテーションＩＤ」、「スライドＩＤ」、「アノテーションデータ」といった項目を有する。
　「アノテーションデータＩＤ」は、アノテーションデータを識別するための識別情報を示す。「スライドＩＤ」は、アノテーションデータの対象となるスライドを識別するための識別情報を示す。「アノテーションデータ」は、対応するユーザのアノテーションデータを示す。図２４に示す例では、「アノテーションデータ」に「アノテーションデータ＃１１」や「アノテーションデータ＃１２」といった概念的な情報が格納される例を示したが、実際には、アノテーションの形状、スライドに対応する座標情報や倍率情報などが格納される。例えば、「アノテーションデータ」には、最大の解像度を「１」で規格化した情報が格納される。ここで、座標情報とは、中心の座標を基準とした座標情報であってもよいし、画角の４点の座標を基準した座標情報であってもよい。また、倍率情報とは、最大解像度で見たときを「０」として、その半分の倍率で見たときを「１」とした倍率情報であってもよい。具体的な例を挙げると、「アノテーションデータ」には、「Ｔｙｐｅ＝Ａｒｒｏｗ、Ｘ＝０．２、Ｙ＝０．１、Ｚｏｏｍ＝３」などの情報が格納される。ここで、「Ｔｙｐｅ＝Ａｒｒｏｗ」とは、アノテーションの形状が、矢印であることを示す。
（制御部１３０）
　図２３に示すように、制御部１３０は、画角データ送受信部１３２と、アノテーションデータ保持部１３４とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図２３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
（アノテーションデータ保持部１３４）
　図２５は、実施形態２に係る情報処理装置１００の構成を示す。図２５に示すように、アノテーションデータ保持部１３４は、アノテーションデータの保持に関する処理を行う。例えば、アノテーションデータ保持部１３４は、アノテーションデータを所定の記憶部に記憶する。
〔４－２．表示装置の構成〕
（算出部２３２）
　図２６は、実施形態２に係る表示装置２００の構成を示す。図２６に示すように、算出部２３２は、アノテーションデータを取得する。算出部２３２は、取得したアノテーションデータに基づいて画角を算出する。算出部２３２は、対象となる全てのユーザのアノテーションデータに基づいて外接する画角を算出する。例えば、算出部２３２は、選択されたユーザのアノテーションに外接する画角を算出する。
〔４－３．情報処理のフロー〕
　次に、図２７を用いて、実施形態に係る情報処理システム１による情報処理の手順について説明する。図２７は、実施形態に係る情報処理システム１による情報処理の手順を示すフローチャートである。
　図２７は、表示装置２００の算出部２３２と取得部２３３とにおける情報処理の手順を示すフローチャートである。図２７に示すように、表示装置２００は、ＵＩから画角を算出する（ステップＳ４０１）。表示装置２００は、俯瞰モードに設定されているか判定する（ステップＳ４０２）。表示装置２００は、俯瞰モードに設定されている場合（ステップＳ４０２；ＹＥＳ）、対応するスライドのアノテーションデータを全て取得する（ステップＳ４０３）。例えば、表示装置２００は、スライドに含まれるアノテーションデータを全て取得する。表示装置２００は、対象となるアノテーションの選択を受け付ける（ステップＳ４０４）。例えば、表示装置２００は、ユーザによるアノテーションの選択を受け付ける。具体的な例を挙げると、表示装置２００は、３つのうち２つのアノテーションの選択を受け付ける。表示装置２００は、選択されたアノテーションのうち、最も外接する画角の倍率の画角を算出する（ステップＳ４０５）。表示装置２００は、算出された画角に設定する（ステップＳ４０６）。表示装置２００は、設定された画角に応じた画角情報を取得する（ステップＳ４０７）。また、表示装置２００は、ステップＳ４０２において、俯瞰モードに設定されていない場合（ステップＳ４０２；ＮＯ）、ステップＳ４０７の処理を行う。例えば、表示装置２００は、画角に入っている画角情報を取得して、情報処理を終了する。なお、図２７に示されていないが、表示装置２００は、図２０に示すステップＳ１０４の画角合わせのユーザ設定の判定の処理を行ってもよい。
　以上、実施形態２を説明した。以下、実施形態３を説明する。実施形態３は、アノテーションのマッピングを行う場合の実施形態である。実施形態１及び２と同様の説明は適宜省略する。
〔５．実施形態３〕
〔５－１．情報処理装置の構成〕
　次に、図２８を用いて、実施形態に係る情報処理装置１００の構成について説明する。図２８は、実施形態に係る情報処理装置１００の構成例を示す図である。図２８に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
（記憶部１２０）
　記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図２８に示すように、記憶部１２０は、病理画像データ記憶部１２１と、アノテーションデータ記憶部１２４と、切片画像データ記憶部１２５と、座標対応データ記憶部１２６とを有する。
　切片画像データ記憶部１２５は、切片の画像データを記憶する。ここで、図２９に、実施形態に係る切片画像データ記憶部１２５の一例を示す。図２９に示すように、切片画像データ記憶部１２５は、「切片画像データＩＤ」、「切片画像データ」といった項目を有する。
　「切片画像データＩＤ」は、切片の画像データを識別するための識別情報を示す。「切片画像データ」は、切片の画像データを示す。図２９に示す例では、「切片画像データ」に「切片画像データ＃１１」や「切片画像データ＃１２」といった概念的な情報が格納される例を示したが、実際には、静止画像や動画像などが格納される。また、「切片画像データ」には、切片の画像データのコンテンツが所在するＵＲＬ、または、これらの格納場所を示すファイルパス名などが格納されてもよい。
　座標対応データ記憶部１２６は、座標対応データを記憶する。具体的には、座標対応データ記憶部１２６は、切片とスライドとの座標情報を対応付ける変換データ（例えば、変換テーブル）を記憶する。ここで、図３０に、実施形態に係る座標対応データ記憶部１２６の一例を示す。図３０に示すように、座標対応データ記憶部１２６は、「切片ＩＤ」、「スライドＩＤ」、「座標変換表」といった項目を有する。
　「切片ＩＤ」は、切片を識別するための識別情報を示す。具体的には、「切片ＩＤ」は、対応するスライドの切片を識別するための識別情報を示す。具体的には、「切片ＩＤ」は、対応するスライドの切片の全体を識別するための識別情報を示す。「切片一部ＩＤ」は、切片の一部を識別するための識別情報を示す。具体的には、「切片ＩＤ」は、対応する切片の一部を識別するための識別情報を示す。「スライド」は、切片の対象となるスライドを識別するための識別情報を示す。「座標変換表」は、切片とスライドとの座標情報を対応付ける変換データを示す。図３０に示す例では、「座標変換表」に「座標変換データ＃１１」や「座標変換データ＃１２」といった概念的な情報が格納される例を示したが、実際には、座標情報を対応付ける変換データが格納される。図３１は、図３０に示す「座標変換表」を用いた変換の一例を示す。図３１では、切片ＳＰ１の画像に線が引かれて、切片一部ＳＰ１－１乃至ＳＰ１－３が区分される。なお、切片一部ＳＰ１－１乃至ＳＰ１－３は、切片ＳＰ１の画像に線が引かれた部分の断面を識別するための識別情報であってもよい。なお、病理医は、切片一部ＳＰ１－１乃至ＳＰ１－３に引かれた線の通りに切片をスライスしてスライドを準備する場合もある。「座標変換表」には、切片の線とスライドとの組み合わせの情報が格納される。例えば、「座標変換表」には、切片画像の座標を「１」で規格化した情報と、スライドの座標を「１」で規格化した情報とが格納される。
（制御部１３０）
　図２８に示すように、制御部１３０は、送信部１３１と、アノテーションデータ保持部１３４と、座標対応部１３５とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図２８に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
（送信部１３１）
　送信部１３１は、切片画像のアノテーションデータを送信する。なお、切片画像のアノテーションデータとは、例えば、図８に示すマッピングされたアノテーションの位置情報である。例えば、送信部１３１は、アノテーションデータ保持部１３４から取得した切片画像のアノテーションデータを送信する。また、図３２は、実施形態３に係る情報処理装置１００の構成を示す。図３２に示すように、送信部１３１は、切片画像のアノテーションデータ送信部１３１３を有してもよい。この場合、切片画像のアノテーションデータ送信部１３１３が、切片画像のアノテーションデータを送信してもよい。なお、送信部１３１は、切片画像のアノテーションデータの座標情報を送信してもよい。例えば、切片画像のアノテーションデータ送信部１３１３は、切片画像のアノテーションデータの座標情報を送信してもよい。
　送信部１３１は、切片の画像データを送信する。例えば、送信部１３１は、切片画像データ記憶部１２５から取得した切片の画像データを送信する。また、病理画像データ送信部１３１１が、切片の画像データを送信してもよい。
〔５－２．表示装置の構成〕
（取得部２３３）
　取得部２３３は、切片画像のアノテーションデータを取得する。また、図３３は、実施形態３に係る表示装置２００の構成を示す。図３３に示すように、取得部２３３は、切片アノテーションデータ取得部２３３１を有してもよい。この場合、切片アノテーションデータ取得部２３３１が、切片画像のアノテーションデータを取得する。
　取得部２３３は、アノテーションデータを取得する。図３３に示すように、取得部２３３は、アノテーションデータ取得部２３３２を有してもよい。この場合、アノテーションデータ取得部２３３２が、アノテーションデータを取得する。
　取得部２３３は、画像データを取得する。図３３に示すように、取得部２３３は、画像データ取得部２３３３を有してもよい。この場合、画像データ取得部２３３３が、画像データを取得する。
〔５－３．情報処理のフロー〕
　次に、図３４を用いて、実施形態に係る情報処理システム１による情報処理の手順について説明する。図３４は、実施形態に係る情報処理システム１による情報処理の手順を示すフローチャートである。
　図３４は、情報処理装置１００の座標対応部１３５における情報処理の手順を示すフローチャートである。図３４に示すように、情報処理装置１００は、切片画像のアノテーションデータの取得命令を受信する（ステップＳ５０１）。例えば、情報処理装置１００は、表示装置２００から切片画像のアノテーションデータの取得命令を受信する。情報処理装置１００は、対応するスライドのアノテーションデータを全て取得する（ステップＳ５０２）。情報処理装置１００は、アノテーションデータの座標情報に基づいて、切片画像に対応するアノテーションの位置情報を算出する（ステップＳ５０３）。そして、情報処理装置１００は、算出された位置情報にアノテーションを表示するためのアノテーションデータを送信する（ステップＳ５０４）。このように、情報処理装置１００は、座標変換表を用いて、切片画像のどの部分にアノテーションをマッピングするのかを算出して、切片画像にマッピングされたアノテーションデータを送信する。表示装置２００は、情報処理装置１００から送信された切片画像のアノテーションデータを取得して、重畳して表示する。例えば、切片アノテーションデータ取得部２３３１が、切片画像のアノテーションデータを取得して、描画部２３４が、取得された切片画像のアノテーションデータを重畳して表示する。
　以上、実施形態３を説明した。以下、実施形態４を説明する。実施形態４は、チェック情報を設定する場合の実施形態である。実施形態１乃至３と同様の説明は適宜省略する。
〔６．実施形態４〕
〔６－１．情報処理装置の構成〕
　次に、図３５を用いて、実施形態に係る情報処理装置１００の構成について説明する。図３５は、実施形態に係る情報処理装置１００の構成例を示す図である。図３５に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
（記憶部１２０）
　記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３５に示すように、記憶部１２０は、病理画像データ記憶部１２１と、アノテーションデータ記憶部１２４と、学習済みデータ記憶部１２７とを有する。
　アノテーションデータ記憶部１２４は、アノテーションデータを記憶する。ここで、図３６に、実施形態に係るアノテーションデータ記憶部１２４の一例を示す。図３６に示すように、アノテーションデータ記憶部１２４は、「アノテーションＩＤ」、「スライドＩＤ」、「アノテーションデータ」、「チェック」といった項目を有する。
　「アノテーションＩＤ」と、「スライドＩＤ」と、「アノテーションデータ」とは、実施形態２で上述した情報と同様の情報を示す。「チェック」は、対応するアノテーションデータがユーザによりチェックされたか示す。例えば、「チェック」がＯＫである場合、チェックされたことを示す。例えば、「チェック」がＮＧである場合、チェックされていないことを示す。なお、図３６に示すように、「チェック」は、「チェック１」、「チェック２」、「チェック３」といった項目を有してもよい。なお、「チェック」が有する項目の数に限りはないものとする。例えば、「チェック１」とは、ユーザのうち、ユーザＵ１により識別されるユーザによるチェックであってもよいし、ユーザのうち、任意の一人目のユーザによるチェックであってもよい。実施形態では、例えば、「チェック」の項目が全てチェックされた場合、対応するアノテーションの色を変更してもよい。
　学習済みデータ記憶部１２７は、学習された学習済みデータを記憶する。ここで、図３７に、実施形態に係る学習済みデータ記憶部１２７の一例を示す。図３７に示すように、学習済みデータ記憶部１２７は、「学習済みデータＩＤ」、「学習済みデータ」といった項目を有する。
　「学習済みデータＩＤ」は、学習済みデータを識別するための識別情報を示す。「学習済みデータ」は、学習済みデータを示す。図３７に示す例では、「学習済みデータ」に「学習済みデータ＃１１」や「学習済みデータ＃１２」といった概念的な情報が格納される例を示したが、実際には、学習済みモデルを示す情報などが格納される。例えば、「学習済みデータ」には、学習済みモデルの条件式などが格納される。
（制御部１３０）
　図３５に示すように、制御部１３０は、送信部１３１と、アノテーションデータ保持部１３４と、学習部１３６とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図３５に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
（学習部１３６）
　学習部１３６は、学習済みデータを生成する。また、図３８は、実施形態４に係る情報処理装置１００の構成を示す。図３８では、学習部１３６は、ＡＩチェッカー部に対応する。例えば、学習部１３６は、送信部１３１から送信された病理画像データに基づいて、学習済みデータを生成する。例えば、学習部１３６は、病理画像データ送信部１３１１から送信された病理画像データに基づいて、学習済みデータを生成する。例えば、学習部１３６は、アノテーションデータ保持部１３４から送信されたアノテーションデータに基づいて、学習済みデータを生成する。例えば、学習部１３６は、アノテーションの領域に対して、学習済みデータを適用して、チェックの判定を行う。例えば、学習部１３６は、アノテーションの領域、又は、その領域の周辺の場所の画像のスライドデータを入力情報として、チェックの判定を行う。
〔６－２．表示装置の構成〕
　図３９に示すように、制御部２３０は、取得部２３３と、描画部２３４と、保存部２３５と、判断部２３６とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部２３０の内部構成は、図３９に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
（保存部２３５）
　保存部２３５は、アノテーションデータを取得する。保存部２３５は、取得したアノテーションデータを保存する。また、図４０は、実施形態４に係る表示装置２００の構成を示す。図４０では、保存部２３５は、アノテーション取得保存部に対応する。
（判断部２３６）
　判断部２３６は、アノテーションデータの表示の判断を行う。図４０では、判断部２３６は、アノテーション表示判断部に対応する。例えば、判断部２３６は、アノテーションを表示する色の判断を行う。
〔６－３．情報処理のフロー〕
　次に、図４１及び４２を用いて、実施形態に係る情報処理システム１による情報処理の手順について説明する。図４１及び４２は、実施形態に係る情報処理システム１による情報処理の手順を示すフローチャートである。
　図４１は、表示装置２００の判断部２３６における情報処理の手順を示すフローチャートである。図４１に示すように、表示装置２００は、対応するスライドのアノテーションデータを全て取得する（ステップＳ７０１）。表示装置２００は、対応するアノテーションデータのチェックが所定の条件を満たすか判定する（ステップＳ７０２）。例えば、表示装置２００は、対応するアノテーションデータの全てのチェックがチェック済みであるか判定する。表示装置２００は、対応するアノテーションデータのチェックが所定の条件を満たす場合（ステップＳ７０２；ＹＥＳ）、メインビュー／概要ビューのアノテーションの色を緑色に決定する（ステップＳ７０３）。なお、ステップＳ７０３では、表示装置２００が、メインビュー／概要ビューのアノテーションの色を緑色に決定する場合を示すが、チェック済みであることを示す色として予め定められた色であれば、どのような色であってもよい。一方、表示装置２００は、対応するアノテーションデータのチェックが所定の条件を満たさない場合（ステップＳ７０２；ＮＯ）、メインビュー／概要ビューのアノテーションの色を黄色に決定する（ステップＳ７０４）。なお、ステップＳ７０４では、表示装置２００が、メインビュー／概要ビューのアノテーションの色を黄色に決定する場合を示すが、チェック済みでないことを示す色として予め定められた色であれば、どのような色であってもよい。また、表示装置２００は、取得された全てのアノテーションデータがチェック済みであるか判定する（ステップＳ７０５）。表示装置２００は、取得された全てのアノテーションデータがチェック済みでない場合（ステップＳ７０５；ＮＯ）、ステップＳ７０２の処理に戻る。このように、表示装置２００は、ステップＳ７０２乃至Ｓ７０４の処理をアノテーション単位で繰り返す。一方、表示装置２００は、取得された全てのアノテーションデータがチェック済みである場合（ステップＳ７０５；ＹＥＳ）、画角が移動中であるか判定する（ステップＳ７０６）。例えば、表示装置２００は、メインビューの画角が移動中であるか判定する。表示装置２００は、画角が移動中である場合（ステップＳ７０６；ＹＥＳ）、アノテーションデータのチェック情報に関する情報を消して表示する（ステップＳ７０７）。これにより、アノテーションを常時表示することの煩雑感を解消できるため、よりユーザビリティの向上を促進させることができる。一方、表示装置２００は、画角が移動中でない場合（ステップＳ７０６；ＮＯ）、アノテーションデータのチェック情報に関する情報を表示する（ステップＳ７０８）。なお、ステップＳ７０７及びＳ７０８において、表示装置２００は、緑色に決定されたアノテーションデータを消して、黄色に決定されたアノテーションデータを表示してもよい。
　図４２は、情報処理装置１００の学習部１３６における情報処理の手順を示すフローチャートである。図４２に示すように、情報処理装置１００は、新しく付与されたアノテーションデータを取得したか判定する（ステップＳ８０１）。情報処理装置１００は、新しく付与されたアノテーションデータを取得していない場合（ステップＳ８０１；ＮＯ）、新しくアノテーションデータが付与されるまで待機する。一方、情報処理装置１００は、新しく付与されたアノテーションデータを取得した場合（ステップＳ８０１；ＹＥＳ）、取得されたアノテーションデータに対応する画角の領域のスライドデータを識別器に入力する（ステップＳ８０２）。情報処理装置１００は、識別器による識別結果に基づいて、対応するアノテーションデータのチェック情報へのチェックを行う（ステップＳ８０３）。
　以上、実施形態４を説明した。
　また、実施形態に係る情報処理システムは、上述した実施形態１乃至４を適宜組み合わせて表示の制御を行ってもよいものとする。
　また、情報処理装置１００は、他のユーザの閲覧に関する情報を取得する取得部１３７を有してもよい。取得部１３７は、上述した実施形態に係る閲覧情報の取得に関する処理を行う。例えば、取得部１３７は、上述した実施形態に係る画角情報の取得に関する処理を行う。
　また、情報処理装置１００は、画角の表示状態を制御する表示制御部１３８を有してもよい。この場合、表示制御部１３８は、画角の表示状態を制御するための制御情報を送信する。表示制御部１３８は、上述した実施形態に係る画角の表示状態の制御に関する処理を行う。例えば、表示制御部１３８は、画角の表示状態を制御する制御情報を表示装置２００へ送信する。例えば、表示制御部１３８は、他のユーザの閲覧に関する情報に基づいて、画角の表示状態を制御する。例えば、表示制御部１３８は、他のユーザの閲覧に関する情報を含むよう、画角の表示状態を制御する。
　また、表示装置２００は、画角の表示状態を制御する表示制御部２３７を有してもよい。表示制御部２３７は、上述した実施形態に係る画角の表示状態の制御に関する処理を行う。例えば、表示制御部２３７は、他のユーザの閲覧に関する情報に基づいて、画角の表示状態を制御する。例えば、表示制御部２３７は、他のユーザの閲覧に関する情報を含むよう、画角の表示状態を制御する。
　上述したように、デジタル病理診断システムでは、ネットワークを通して同一のスライドを閲覧する際に画角情報を送り合い、それぞれの画角に対応する領域を表示する。この際、実施形態に係る情報処理システムでは、全体モードが設定されると、全ての画角に外接する視点を算出する。これにより、実施形態に係る情報処理システムでは、算出された画角で閲覧することにより、一覧性の向上を促進することができる。また、実施形態に係る情報処理システムでは、俯瞰閲覧用の表示装置に全ての画角を外接する画角を常に表示する。また、実施形態に係る情報処理システムでは、アノテーションが全て画角に含まれるように表示画角を調整する。また、実施形態に係る情報処理システムでは、病理画像にアノテーションを付記するときに、対応する切片画像にアノテーションの位置情報をマッピングして表示する。また、実施形態に係る情報処理システムでは、アノテーションの色、アイコンの見た目をユーザのプロファイルに応じて変更する。また、実施形態に係る情報処理システムでは、アノテーションにチェック情報を設定して、所定の条件に達したら、アノテーションの表示状態を変更する。また、実施形態に係る情報処理システムでは、アノテーションの画角を基に、対応する画像を識別器に投入して、チェック情報にチェックを行うか否かを判定する。また、実施形態に係る情報処理システムでは、アノテーションの表示と非表示とをアノテーションを付記したユーザのプロファイルに応じて自動的に判定する。
　これにより、病理画像を確認できる病理医が少ない場合であっても、アノテーションなどを含む画角を共有して表示することができるため、例えば、病院間での連携を容易にすることができる。これにより、例えば、外科の医師と連携する場合、病理医と外科とのお互いが病理画像を確認しながら、手術中の迅速診断を効率的に行うことができる。
〔７．ハードウェア構成〕
　また、上述してきた実施形態に係る情報処理装置１００および表示装置２００は、例えば、図４３に示すような構成のコンピュータ１０００によって実現される。図４３は、情報処理装置１００および表示装置２００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
　ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
　ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
　メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る情報処理装置１００および表示装置２００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０および２３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
〔８．その他〕
　また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
　また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　コンピュータが
　複数のユーザの医療画像の閲覧に関する情報であって、当該医療画像のうち当該複数のユーザが閲覧している画像の視野に関する視野情報を取得し、
　取得された複数のユーザの医療画像の閲覧に関する情報に基づいて、前記医療画像を表示する表示範囲を示す視野情報を制御する
　情報処理方法。
（２）
　前記複数のユーザの医療画像の閲覧に関する情報が前記表示の表示対象となるように、前記視野情報を制御する
　（１）に記載の情報処理方法。
（３）
　前記複数のユーザが閲覧する視野情報を含むように、前記視野情報を制御する
　（２）に記載の情報処理方法。
（４）
　前記制御の対象となる視野情報内の画像に、前記複数のユーザが閲覧する視野情報を表示する
　（２）または（３）に記載の情報処理方法。
（５）
　前記複数のユーザが閲覧する全ての視野情報を含むように、前記視野情報を制御する
　（２）～（４）のいずれか１項に記載の情報処理方法。
（６）
　前記複数のユーザが閲覧する全ての視野情報に外接する視野情報となるように、前記視野情報を制御する
　（２）～（５）のいずれか１項に記載の情報処理方法。
（７）
　前記複数のユーザによって付与された情報であるアノテーションを含むように、前記視野情報を制御する
　（２）～（６）のいずれか１項に記載の情報処理方法。
（８）
　前記複数のユーザによって付与された全ての前記アノテーションを含むように、前記視野情報を制御する
　（７）に記載の情報処理方法。
（９）
　前記複数のユーザによって付与された全ての前記アノテーションに外接する視野情報となるように、前記視野情報を制御する
　（７）または（８）に記載の情報処理方法。
（１０）
　前記コンピュータを利用するユーザの前記医療画像の閲覧に関する情報を取得し、
　取得された前記コンピュータを利用するユーザの前記医療画像の閲覧に関する情報と、前記複数のユーザの閲覧に関する情報とが前記表示対象となるように、前記視野情報を制御する
　（２）～（９）のいずれか１項に記載の情報処理方法。
（１１）
　対象物の一部の領域を示す画像上に付与された前記アノテーションを、当該対象物を立体的に表現した画像上の所定の位置に表示する
　（７）～（９）のいずれか１項に記載の情報処理方法。
（１２）
　前記対象物の断面である前記領域を示す画像上に付与された前記アノテーションを、当該対象物を立体的に表現した画像上の所定の位置であって、当該対象物の当該領域のうち、当該アノテーションが付与された領域に対応する位置に表示する
　（１１）に記載の情報処理方法。
（１３）
　前記対象物の一部の領域を示す前記画像であって、前記制御の対象となる視野情報内の画像と、当該対象物を立体的に表現した前記画像とを、同一画面上に表示する
　（１１）または（１２）に記載の情報処理方法。
（１４）
　前記アノテーションに対応する情報を、前記複数のユーザのプロファイルに応じて表示する
　（７）～（９）のいずれか１項に記載の情報処理方法。
（１５）
　前記アノテーションに対応する情報を、前記複数のユーザの熟練度、専門度、スペシャリティ、及び、習熟度のうち少なくともいずれか一つに応じて表示する
　（１４）に記載の情報処理方法。
（１６）
　前記複数のユーザの前記医療画像の閲覧に関する情報とともに、当該複数のユーザの当該医療画像の閲覧に関する情報の各々に対して、当該複数のユーザのプロファイルを示す情報を表示する
　（１４）または（１５）に記載の情報処理方法。
（１７）
　前記複数のユーザの前記医療画像の閲覧に関する情報とともに、当該複数のユーザの当該医療画像の閲覧に関する情報の各々に対して、当該複数のユーザの熟練度、専門度、スペシャリティ、又は、習熟度を示す情報を表示する
　（１６）に記載の情報処理方法。
（１８）
　前記複数のユーザの前記医療画像の閲覧に関する情報とともに、当該複数のユーザの当該医療画像の閲覧に関する情報の各々に対して、当該複数のユーザが研修医、専門医、又は、指導医であるかを示す情報を表示する
　（１７）に記載の情報処理方法。
（１９）
　前記アノテーションを確認したか否かを示すための情報を、当該アノテーションの所定の領域に表示する
　（７）～（９）のいずれか１項に記載の情報処理方法。
（２０）
　前記アノテーションごとに前記複数のユーザが確認したか否かを示すための情報であって、前記複数のユーザの操作に応じて予め定められた所定の条件を満たす場合に当該確認済みを示す情報が付与される情報を、当該アノテーションの所定の領域に表示する
　（１９）に記載の情報処理方法。
（２１）
　前記アノテーションごとに前記複数のユーザが確認したか否かを示すための情報に対する当該複数のユーザの指定に基づいて、当該複数のユーザが前記確認済みか否かを示す確認結果を表示する
　（２０）に記載の情報処理方法。
（２２）
　前記複数のユーザが確認したか否かを示すための情報を表示する前記アノテーションに対する当該複数のユーザの閲覧操作に基づいて、当該複数のユーザが前記確認済みか否かを示す確認結果を表示する
　（２０）または（２１）に記載の情報処理方法。
（２３）
　前記アノテーションごとに対応する前記複数のユーザが確認したか否かを示すための情報が所定の条件を満たす場合、対応する当該アノテーションの表示状態を変更する
　（２０）～（２２）のいずれか１項に記載の情報処理方法。
（２４）
　前記複数のユーザが確認したか否かを示すための情報であるチェック情報に対して、当該複数のユーザの各々の操作に応じて、対応する当該チェック情報の各々に対して確認済みを示す情報が付与された場合、対応する当該アノテーションの表示状態を変更する
　（２３）に記載の情報処理方法。
（２５）
　前記アノテーションに対応する領域の画像と、対象か否かに関する情報を推定する識別器とに基づいて、当該領域に対して当該識別器が推定した情報を表示する
　（１９）～（２４）のいずれか１項に記載の情報処理方法。
（２６）
　前記アノテーションに対応する領域の画像と、病変か否かを推定する識別器とに基づいて、当該領域に対して当該識別器が推定した情報を表示する
　（２５）に記載の情報処理方法。
（２７）
　前記アノテーションに対応する領域の画像と、当該領域が病変か否かを推定する識別器とに基づいて、当該領域が病変か否かを確認した情報を表示する
　（２５）または（２６）に記載の情報処理方法。
（２８）
　同一画面上に表示される、前記制御の対象となる視野情報の一部を表示する画面と、当該制御の対象となる視野情報の全体を表示する画面とのうち、どちらか一方の画面に当該制御の結果を表示する
　（１）～（２７）のいずれか１項に記載の情報処理方法。
（２９）
　生体、生物、材料、又は、病理に関する前記医療画像を表示する前記視野情報を制御する
　（１）～（２８）のいずれか１項に記載の情報処理方法。
（３０）
　前記視野情報として、画角に関する情報を取得し、
　前記医療画像を表示する表示範囲を示す画角を制御する
　（１）～（２９）のいずれか１項に記載の情報処理方法。
（３１）
　複数のユーザの医療画像の閲覧に関する情報であって、当該医療画像のうち当該複数のユーザが閲覧している画像の視野に関する情報を取得する取得部と、
　前記取得部により取得された複数のユーザの前記医療画像の閲覧に関する情報に基づいて、前記医療画像を表示する表示範囲を示す視野情報の表示を制御する表示制御部と、
　を備える情報処理装置。
（３２）
　コンピュータによって
　複数のユーザの医療画像の閲覧に関する情報であって、当該医療画像のうち当該複数のユーザが閲覧している画像の視野に関する情報を取得し、
　取得された複数のユーザの医療画像の閲覧に関する情報に基づいて、前記医療画像を表示する表示範囲を示す視野情報を制御する
　情報処理プログラム。
（３３）
　被写体を撮像する撮像装置と、
　前記撮像装置により撮像される対象物に対応する医療画像の処理に使われるソフトウェアとを含んで構成される画像処理システムであって、
　前記ソフトウェアは、複数のユーザの前記医療画像の閲覧に関する情報であって、当該医療画像のうち当該複数のユーザが閲覧している画像の視野に関する視野情報に基づいて、当該医療画像を表示する表示範囲を示す視野情報の表示を制御する情報処理装置と、
　を含む情報処理システム。
　　　　　１　情報処理システム
　　　１００　情報処理装置
　　　１１０　通信部
　　　１２０　記憶部
　　　１２１　病理画像データ記憶部
　　　１２２　ユーザデータ記憶部
　　　１２３　画角データ記憶部
　　　１２４　アノテーションデータ記憶部
　　　１２５　切片画像データ記憶部
　　　１２６　座標対応データ記憶部
　　　１３０　制御部
　　　１３１　送信部
　　　１３２　画角データ送受信部
　　　１３３　画角データ保持部
　　　１３４　アノテーションデータ保持部
　　　１３５　座標対応部
　　　１３６　学習部
　　　１３７　取得部
　　　１３８　表示制御部
　　　２００　表示装置
　　　２１０　通信部
　　　２２０　記憶部
　　　２３０　制御部
　　　２３１　画角データ送受信部
　　　２３２　算出部
　　　２３３　取得部
　　　２３４　描画部
　　　２３５　保存部
　　　２３６　判断部
　　　２３７　表示制御部
　　　３００　撮像装置
　　　Ｎ　　　ネットワーク

Claims (33)

  1. 　コンピュータが
    　複数のユーザの医療画像の閲覧に関する情報であって、当該医療画像のうち当該複数のユーザが閲覧している画像の視野に関する視野情報を取得し、
    　取得された複数のユーザの医療画像の閲覧に関する情報に基づいて、前記医療画像を表示する表示範囲を示す視野情報を制御する
    　情報処理方法。
  2. 　前記複数のユーザの医療画像の閲覧に関する情報が前記表示の表示対象となるように、前記視野情報を制御する
    　請求項１に記載の情報処理方法。
  3. 　前記複数のユーザが閲覧する視野情報を含むように、前記視野情報を制御する
    　請求項２に記載の情報処理方法。
  4. 　前記制御の対象となる視野情報内の画像に、前記複数のユーザが閲覧する視野情報を表示する
    　請求項３に記載の情報処理方法。
  5. 　前記複数のユーザが閲覧する全ての視野情報を含むように、前記視野情報を制御する
    　請求項４に記載の情報処理方法。
  6. 　前記複数のユーザが閲覧する全ての視野情報に外接する視野情報となるように、前記視野情報を制御する
    　請求項５に記載の情報処理方法。
  7. 　前記複数のユーザによって付与された情報であるアノテーションを含むように、前記視野情報を制御する
    　請求項２に記載の情報処理方法。
  8. 　前記複数のユーザによって付与された全ての前記アノテーションを含むように、前記視野情報を制御する
    　請求項７に記載の情報処理方法。
  9. 　前記複数のユーザによって付与された全ての前記アノテーションに外接する視野情報となるように、前記視野情報を制御する
    　請求項８に記載の情報処理方法。
  10. 　前記コンピュータを利用するユーザの前記医療画像の閲覧に関する情報を取得し、
    　取得された前記コンピュータを利用するユーザの当該医療画像の閲覧に関する情報と、前記複数のユーザの当該医療画像の閲覧に関する情報とが前記表示対象となるように、前記視野情報を制御する
    　請求項２に記載の情報処理方法。
  11. 　対象物の一部の領域を示す画像上に付与された前記アノテーションを、当該対象物を立体的に表現した画像上の所定の位置に表示する
    　請求項７に記載の情報処理方法。
  12. 　前記対象物の断面である前記領域を示す画像上に付与された前記アノテーションを、当該対象物を立体的に表現した画像上の所定の位置であって、当該対象物の当該領域のうち、当該アノテーションが付与された領域に対応する位置に表示する
    　請求項１１に記載の情報処理方法。
  13. 　前記対象物の一部の領域を示す前記画像であって、前記制御の対象となる視野情報内の画像と、当該対象物を立体的に表現した前記画像とを、同一画面上に表示する
    　請求項１１に記載の情報処理方法。
  14. 　前記アノテーションに対応する情報を、前記複数のユーザのプロファイルに応じて表示する
    　請求項７に記載の情報処理方法。
  15. 　前記アノテーションに対応する情報を、前記複数のユーザの熟練度、専門度、スペシャリティ、及び、習熟度のうち少なくともいずれか一つに応じて表示する
    　請求項１４に記載の情報処理方法。
  16. 　前記複数のユーザの前記医療画像の閲覧に関する情報とともに、当該複数のユーザの当該医療画像の閲覧に関する情報の各々に対して、当該複数のユーザのプロファイルを示す情報を表示する
    　請求項２に記載の情報処理方法。
  17. 　前記複数のユーザの前記医療画像の閲覧に関する情報とともに、当該複数のユーザの当該医療画像の閲覧に関する情報の各々に対して、当該複数のユーザの熟練度、専門度、スペシャリティ、又は、習熟度を示す情報を表示する
    　請求項１６に記載の情報処理方法。
  18. 　前記複数のユーザの前記医療画像の閲覧に関する情報とともに、当該複数のユーザの当該医療画像の閲覧に関する情報の各々に対して、当該複数のユーザが研修医、専門医、又は、指導医であるかを示す情報を表示する
    　請求項１７に記載の情報処理方法。
  19. 　前記アノテーションを確認したか否かを示すための情報を、当該アノテーションの所定の領域に表示する
    　請求項７に記載の情報処理方法。
  20. 　前記アノテーションごとに前記複数のユーザが確認したか否かを示すための情報であって、前記複数のユーザの操作に応じて予め定められた所定の条件を満たす場合に当該確認済みを示す情報が付与される情報を、当該アノテーションの所定の領域に表示する
    　請求項１９に記載の情報処理方法。
  21. 　前記アノテーションごとに前記複数のユーザが確認したか否かを示すための情報に対する当該複数のユーザの指定に基づいて、当該複数のユーザが前記確認済みか否かを示す確認結果を表示する
    　請求項２０に記載の情報処理方法。
  22. 　前記複数のユーザが確認したか否かを示すための情報を表示する前記アノテーションに対する当該複数のユーザの閲覧操作に基づいて、当該複数のユーザが前記確認済みか否かを示す確認結果を表示する
    　請求項２０に記載の情報処理方法。
  23. 　前記アノテーションごとに対応する前記複数のユーザが確認したか否かを示すための情報が所定の条件を満たす場合、対応する当該アノテーションの表示状態を変更する
    　請求項２０に記載の情報処理方法。
  24. 　前記複数のユーザが確認したか否かを示すための情報であるチェック情報に対して、当該複数のユーザの各々の操作に応じて、対応する当該チェック情報の各々に対して確認済みを示す情報が付与された場合、対応する当該アノテーションの表示状態を変更する
    　請求項２３に記載の情報処理方法。
  25. 　前記アノテーションに対応する領域の画像と、対象か否かに関する情報を推定する識別器とに基づいて、当該領域に対して当該識別器が推定した情報を表示する
    　請求項１９に記載の情報処理方法。
  26. 　前記アノテーションに対応する領域の画像と、病変か否かを推定する識別器とに基づいて、当該領域に対して当該識別器が推定した情報を表示する
    　請求項２５に記載の情報処理方法。
  27. 　前記アノテーションに対応する領域の画像と、当該領域が病変か否かを推定する識別器とに基づいて、当該領域が病変か否かを確認した情報を表示する
    　請求項２５に記載の情報処理方法。
  28. 　同一画面上に表示される、前記制御の対象となる視野情報の一部を表示する画面と、当該制御の対象となる視野情報の全体を表示する画面とのうち、どちらか一方の画面に当該制御の結果を表示する
    　請求項１に記載の情報処理方法。
  29. 　生体、生物、材料、又は、病理に関する前記医療画像を表示する前記視野情報を制御する
    　請求項１に記載の情報処理方法。
  30. 　前記視野情報として、画角に関する情報を取得し、
    　前記医療画像を表示する表示範囲を示す画角を制御する
    　請求項１に記載の情報処理方法。
  31. 　複数のユーザの医療画像の閲覧に関する情報であって、当該医療画像のうち当該複数のユーザが閲覧している画像の視野に関する視野情報を取得する取得部と、
    　前記取得部により取得された複数のユーザの医療画像の閲覧に関する情報に基づいて、前記医療画像を表示する表示範囲を示す視野情報の表示を制御する表示制御部と、
    　を備える情報処理装置。
  32. 　コンピュータによって
    　複数のユーザの医療画像の閲覧に関する情報であって、当該医療画像のうち当該複数のユーザが閲覧している画像の視野に関する視野情報を取得し、
    　取得された複数のユーザの医療画像の閲覧に関する情報に基づいて、前記医療画像を表示する表示範囲を示す視野情報を制御する
    　情報処理プログラム。
  33. 　被写体を撮像する撮像装置と、
    　前記撮像装置により撮像される対象物に対応する医療画像の処理に使われるソフトウェアとを含んで構成される画像処理システムであって、
    　前記ソフトウェアは、複数のユーザの前記医療画像の閲覧に関する情報であって、当該医療画像のうち当該複数のユーザが閲覧している画像の視野に関する視野情報に基づいて、当該医療画像を表示する表示範囲を示す視野情報の表示を制御する情報処理装置と、
    　を含む情報処理システム。
PCT/JP2020/045136 2019-12-10 2020-12-03 情報処理方法、情報処理装置、情報処理プログラムおよび情報処理システム WO2021117613A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-222994 2019-12-10
JP2019222994 2019-12-10

Publications (1)

Publication Number Publication Date
WO2021117613A1 true WO2021117613A1 (ja) 2021-06-17

Family

ID=76330321

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/045136 WO2021117613A1 (ja) 2019-12-10 2020-12-03 情報処理方法、情報処理装置、情報処理プログラムおよび情報処理システム

Country Status (1)

Country Link
WO (1) WO2021117613A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001118015A (ja) * 1999-10-18 2001-04-27 Hitachi Ltd ３次元画像を用いた遠隔診療支援方法および遠隔診療支援システムと端末
JP2011227628A (ja) * 2010-04-16 2011-11-10 Sony Corp 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP2013152699A (ja) * 2011-12-26 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2018195226A (ja) * 2017-05-22 2018-12-06 コニカミノルタ株式会社 医療情報管理装置及び医療情報表示システム
JP2019093137A (ja) * 2017-11-22 2019-06-20 ゼネラル・エレクトリック・カンパニイ 放射線学的所見のためのポイントオブケア警報を送達するためのシステムおよび方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001118015A (ja) * 1999-10-18 2001-04-27 Hitachi Ltd ３次元画像を用いた遠隔診療支援方法および遠隔診療支援システムと端末
JP2011227628A (ja) * 2010-04-16 2011-11-10 Sony Corp 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP2013152699A (ja) * 2011-12-26 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2018195226A (ja) * 2017-05-22 2018-12-06 コニカミノルタ株式会社 医療情報管理装置及び医療情報表示システム
JP2019093137A (ja) * 2017-11-22 2019-06-20 ゼネラル・エレクトリック・カンパニイ 放射線学的所見のためのポイントオブケア警報を送達するためのシステムおよび方法

Similar Documents

Publication Publication Date Title
Deng et al. Easy-to-use augmented reality neuronavigation using a wireless tablet PC
JP6462275B2 (ja) 医用画像表示システム、医用画像サーバーシステム及び医用画像表示方法
JP6348504B2 (ja) 生体試料の分割画面表示及びその記録を取り込むためのシステム及び方法
AU2018236172B2 (en) Augmented reality diagnosis guidance
US10403398B2 (en) Efficient management of visible light still images and/or video
JP5355782B2 (ja) 制御装置及び方法
CN106569673A (zh) 多媒体病历报告的显示方法及多媒体病历报告的显示设备
WO2013001439A2 (en) Method of anatomical tagging of findings in image data
JP6440135B1 (ja) 医療情報仮想現実サーバ、医療情報仮想現実プログラム、および医療情報仮想現実用データの作製方法
EP2724272A2 (en) Anatomical tagging of findings in image data of serial studies
JP2014066788A (ja) 画面表示装置及び画面表示システム
JP2006142022A (ja) 利用者によりマッピングされた関心領域を用いた画像の同期方法及び装置
JP7229721B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6004875B2 (ja) 医用画像表示装置、医用画像表示方法及びプログラム
WO2021117613A1 (ja) 情報処理方法、情報処理装置、情報処理プログラムおよび情報処理システム
JP2020081280A (ja) 画像表示制御システム、画像表示システム及び画像解析装置
WO2013114817A1 (en) Image processing apparatus, image processing system, image processing method, and program
US20080144910A1 (en) Image fusion visualization
JP6327966B2 (ja) 医用画像表示装置、表示制御装置および表示制御方法、プログラム
JPWO2019198128A1 (ja) 内視鏡業務支援システムおよび内視鏡業務支援方法
JP5858774B2 (ja) 表示画面生成装置及びその制御方法
WO2014045759A1 (ja) 画像表示装置、方法、プログラム及び顕微鏡システム
JP2003290218A (ja) 医用画像表示装置
JP6472950B2 (ja) 診断用システム
KR20150047935A (ko) 다중 의료 영상을 표시하는 방법 및 이를 수행하기 위한 의료 영상 기기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20898717

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20898717

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP