WO2020170369A1 - 情報処理装置、情報処理システム、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2020170369A1
WO2020170369A1 PCT/JP2019/006369 JP2019006369W WO2020170369A1 WO 2020170369 A1 WO2020170369 A1 WO 2020170369A1 JP 2019006369 W JP2019006369 W JP 2019006369W WO 2020170369 A1 WO2020170369 A1 WO 2020170369A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information processing
display
unit
area
Prior art date
Application number
PCT/JP2019/006369
Other languages
English (en)
French (fr)
Inventor
渡辺　伸之
英敏 西村
堀内　一仁
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2019/006369 priority Critical patent/WO2020170369A1/ja
Priority to JP2021501210A priority patent/JP7219804B2/ja
Publication of WO2020170369A1 publication Critical patent/WO2020170369A1/ja
Priority to US17/395,666 priority patent/US11972619B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Definitions

  • the present disclosure relates to an information processing device that displays an image, an information processing system, an information processing method, and a program.
  • Patent Document 1 the user operates the operation dial or the zoom wheel to change the position of the display area of the image and the magnification of the display area each time the image is displayed. There is a problem in that the operation becomes complicated because a huge amount of work is required to search the attention area from the image.
  • the present disclosure has been made in view of the above, and an object thereof is to provide an information processing device, an information processing system, an information processing method, and a program capable of presenting a region of interest of an image with a simple operation. ..
  • an information processing apparatus is image data input from an external device and an instruction signal input from the external device, and corresponds to the image data. Generating a display image corresponding to the display area selected by the instruction signal, using a first image corresponding to the image data, based on an instruction signal selecting a predetermined display area in the image to be displayed.
  • 1 generation unit a storage unit that stores display region information indicating a position of the display region in the first image, and a count value indicating a display frequency for each predetermined region in the first image;
  • a first determination unit that determines whether or not information satisfies a predetermined condition; and an addition unit that adds a predetermined value to the count value of the region determined by the first determination unit to satisfy the predetermined condition.
  • a setting unit that sets a region of high interest in the first image as a region of interest based on the count value.
  • the display area information represents coordinate information indicating a position of the display image and a size of the display image in a coordinate system with the first image as a reference. It is information.
  • the setting unit sets the area having the larger count value as the area of interest having a higher degree of attention.
  • the setting unit sets an area where the count value is larger than a predetermined value as the attention area.
  • the information processing apparatus further includes a display control unit that causes the display unit to display the display image, and the predetermined condition is a display time displayed on the display unit.
  • the first determination unit determines whether or not the display is displayed for a predetermined time in a predetermined size and within a predetermined movement range, and the addition unit determines the display time by the first determination unit for a predetermined time. The count value of the area determined to be displayed longer is added.
  • the information processing apparatus further includes, in the above disclosure, a display control unit that causes the display unit to display the display image, and a second determination unit that determines a predetermined condition different from the first determination unit.
  • the second determination unit determines, for each of the predetermined regions, whether the display region at a target time is larger than a display region before and after the target time. Then, the adding unit adds the count value of the region determined to be larger than the display regions before and after the target time by the second determination unit.
  • the addition unit weights the predetermined value as the display area is smaller, and adds the weighted value to the count value.
  • the image data is two-dimensional plane image data or three-dimensional stereoscopic image data.
  • the predetermined condition of the second determination unit may be a deviation between a display position of the display image and a size of a display area of the display image, or the predetermined time period. It is a deviation between the display position of the display image and the size of the display area of the display image, and the addition unit calculates the count value of the area for which the second judgment unit judges that the deviation is equal to or less than a predetermined value. to add.
  • the image data is two-dimensional plane image data or three-dimensional stereoscopic image data.
  • the information processing apparatus analyzes the feature amount of the first image to perform segmentation for each feature amount, and analyzes the attention region feature amount of the attention region.
  • a feature amount analysis unit and an extraction unit that extracts a region similar to the attention region from the first image based on the attention region feature amount and the feature amount.
  • the information processing device includes a query generation unit that generates a query for searching similar image data from a plurality of image data based on the attention area feature amount, and the query.
  • a search unit is further provided for searching an image from an image database that stores a plurality of image data.
  • the information processing apparatus further includes a second generation unit that superimposes the attention area on the display image to generate a superposed image.
  • the information processing device further includes a calculation unit that calculates display area information indicating a position of the display area based on the instruction signal in the above disclosure.
  • the instruction signal is position information indicating a position of the stage from a reference position provided in a microscope and detected by a position detection unit, and a magnification provided in the microscope.
  • Magnification information indicating the observation magnification for observing the specimen detected by the detection unit.
  • An information processing system is an information processing system including an observation device for observing an object, the selection position of the object selected by the observation device, and at least the size of the visual field of the observation device.
  • Storage section for storing the field-of-view information indicating the depth and a count value indicating the display frequency for each predetermined area, a first determination section for determining whether the field-of-view information satisfies a predetermined condition, and the first determination section 1
  • An addition unit that adds a predetermined value to the count value of the region that the determination unit has determined to satisfy the predetermined condition, and a high degree of attention in the coordinate system corresponding to the object based on the count value
  • a setting unit that sets the region as a region of interest.
  • the visual field information further includes coordinate information indicating a position of the visual field in a coordinate system with respect to a field.
  • the information processing system further includes a display control unit that causes the display unit to display information regarding the attention area in the observed image of the object.
  • the information processing system includes, in the above disclosure, an observation optical system, and a display control unit that superimposes information related to the attention area on an observation image of the object formed by the observation optical system. Further prepare.
  • An information processing method is an information processing method executed by an information processing device, which includes image data input from an external device and an instruction signal input from the external device, and Based on an instruction signal for selecting a predetermined display area in a corresponding image, a display image corresponding to the display area selected by the instruction signal is generated using a first image corresponding to the image data, Acquiring the display area information from a storage unit that stores display area information indicating a position of the display area in the first image and a count value indicating a display frequency for each predetermined area in the first image, It is determined whether or not the display area information satisfies a predetermined condition, the count value of the area determined to satisfy the predetermined condition is counted up, and the attention level in the first image is determined based on the count value. A region with a high value is set as a region of interest.
  • the program according to the present disclosure selects image data input from an external device and an instruction signal input from the external device to an information processing device, and selects a predetermined display area in an image corresponding to the image data.
  • the display area information is acquired from a storage unit, and whether the display area information satisfies a predetermined condition. Whether or not it is determined, the count value of the region that is determined to satisfy the predetermined condition is counted up, and the region of high attention in the first image is set as the attention region based on the count value.
  • FIG. 1 is a block diagram showing a functional configuration of the information processing system according to the first embodiment.
  • FIG. 2 is a flowchart showing an outline of processing executed by the information processing apparatus.
  • FIG. 3 is a flowchart showing an outline of the addition process of FIG.
  • FIG. 4 is a diagram showing an example of a superimposed image displayed on the display unit by the display control unit according to the first embodiment.
  • FIG. 5 is a flowchart showing an outline of addition processing according to the second modification of the first embodiment.
  • FIG. 6 is a diagram showing an example of a superimposed image displayed on the display unit by the display control unit according to the second modification of the first embodiment.
  • FIG. 7 is a flowchart showing an outline of addition processing according to the third modification of the first embodiment.
  • FIG. 1 is a block diagram showing a functional configuration of the information processing system according to the first embodiment.
  • FIG. 2 is a flowchart showing an outline of processing executed by the information processing apparatus.
  • FIG. 3 is a flowchart
  • FIG. 8 is a diagram illustrating an example of a superimposed image displayed on the display unit by the display control unit according to the third modification of the first embodiment.
  • FIG. 9 is a flowchart showing an outline of the addition processing according to the modified example 4 of the first embodiment.
  • FIG. 10 is a diagram showing an example of a superimposed image displayed on the display unit by the display control unit according to the fourth modification of the first embodiment.
  • FIG. 11 is a block diagram showing a functional configuration of the information processing system according to the second embodiment.
  • FIG. 12 is a diagram schematically illustrating an example of the first image acquired by the acquisition unit according to the second embodiment.
  • FIG. 13 is a diagram schematically illustrating an example of the first image that has been segmented.
  • FIG. 14 is a diagram schematically showing an example of the superimposed image.
  • FIG. 15 is a diagram schematically showing an example of the similar region.
  • FIG. 16 is a block diagram showing a functional configuration of the information processing system according to the third embodiment.
  • FIG. 17 is a schematic diagram showing the functional configuration of the information processing system according to the fourth embodiment.
  • FIG. 18 is a diagram schematically showing the stage according to the fourth embodiment.
  • FIG. 19 is a diagram schematically showing a register corresponding to the stage according to the fourth embodiment.
  • FIG. 20 is a diagram schematically showing an example of the superimposed image according to the fourth embodiment.
  • FIG. 21 is a diagram schematically showing the position of the cover glass on the slide glass according to the fourth embodiment.
  • FIG. 22 is a schematic diagram showing the functional configuration of the information processing system according to the first modification of the fourth embodiment.
  • FIG. 22 is a schematic diagram showing the functional configuration of the information processing system according to the first modification of the fourth embodiment.
  • FIG. 23 is a schematic diagram showing the functional configuration of the information processing system according to the second modification of the fourth embodiment.
  • FIG. 24 is a schematic diagram showing the functional configuration of the information processing system according to the third modification of the fourth embodiment.
  • FIG. 25 is a block diagram showing a functional configuration of the information processing system according to the fifth embodiment.
  • FIG. 26 is a diagram schematically showing an example of a CT image according to the fifth embodiment.
  • FIG. 27 is a diagram schematically showing an adding method when adding the count value of the display frequency for each sectional image according to the fifth embodiment.
  • FIG. 28 is a diagram schematically illustrating a case where a region of interest is stereoscopically superimposed and displayed on a CT image according to the fifth embodiment.
  • FIG. 1 is a block diagram showing a functional configuration of the information processing system according to the first embodiment.
  • the information processing system 1 illustrated in FIG. 1 includes an information processing device 10, an image database 20 (hereinafter, referred to as “image DB 20”), an operation unit 30, and a display unit 40.
  • image DB 20 image database 20
  • operation unit 30 operation unit 30
  • display unit 40 display unit 40
  • the information processing device 10 acquires desired image data from a plurality of image data recorded in the image DB 20 according to the operation of the operation unit 30 by the user, and uses this image data as an instruction signal according to the operation of the operation unit 30.
  • a display image corresponding to the corresponding display area (observation field of view) is output to the display unit 40.
  • the image data is two-dimensional plane data obtained by imaging a sample or a sample with a microscope or the like. The detailed configuration of the information processing device 10 will be described later.
  • the image DB 20 stores a plurality of two-dimensional image data generated by capturing an image of a specimen or a sample with a microscope or the like.
  • the image DB 20 is configured by using a server system via a network or a local HDD (Hard Disk Drive) and SSD (Solid State Drive).
  • the operation unit 30 receives a user's operation and outputs an instruction signal according to the received operation to the information processing device 10.
  • the operation unit 30 is configured by using a keyboard, a mouse, a touch panel and the like.
  • the display unit 40 displays an image corresponding to the image data input from the information processing device 10 under the control of the information processing device 10.
  • the display unit 40 is configured by using a display panel such as liquid crystal or organic EL (Electro Luminescence).
  • the information processing device 10 includes an acquisition unit 11, a storage unit 12, and a control unit 13.
  • the acquisition unit 11 receives an instruction signal input from the operation unit 30 from a plurality of image data of the two-dimensional plane stored in the image DB 20 according to the instruction signal input from the operation unit 30.
  • the image data selected according to is acquired.
  • the acquisition unit 11 is configured using, for example, a predetermined I/F circuit.
  • the acquisition unit 11 acquires image data from the image DB 20 by wire or wirelessly.
  • the storage unit 12 is a display area in the image displayed by the display unit 40, and stores the position of a predetermined display area in the first image (hereinafter, referred to as “target image”) corresponding to the image data acquired by the acquisition unit 11.
  • a display information storage unit 121 that stores the display area information that is displayed, and a count value (hereinafter simply referred to as “count value”) that indicates the display frequency for each predetermined area in the display area in the target image displayed by the display unit 40 are stored. It has a count value storage unit 122 and a program recording unit 123 that stores various programs executed by the information processing system 1.
  • the storage unit 12 is configured by using a volatile memory, a non-volatile memory, an HDD, an SSD, a memory card, and the like.
  • the control unit 13 controls each unit that constitutes the information processing system 1.
  • the control unit 13 is configured using hardware including a memory and a processor such as a CPU (Central Processing Unit), an FPGA (Field Programmable Gate Array), and an ASIC (Application Specific Integrated Circuit).
  • the control unit 13 includes a first generation unit 131, a calculation unit 132, a first determination unit 133, an addition unit 134, a second determination unit 135, a setting unit 136, a second generation unit 137, and display control. And a section 138.
  • the first generation unit 131 determines the target image based on the image data acquired by the acquisition unit 11 and the instruction signal input from the operation unit 30 that selects a predetermined display area in the target image.
  • a display image corresponding to the display area selected by the instruction signal is generated by using the display image.
  • the first generation unit 131 uses the target image to perform a trimming process for cutting out the display area selected by the instruction signal to generate a trimming image, and the trimming image is displayed up to the display area of the display unit 40.
  • a display image is generated by performing a resizing process of enlarging/reducing process or interpolation process.
  • the calculation unit 132 calculates display area information indicating the position and size of the display image in the target image acquired by the acquisition unit 11, and stores the calculation result in the display information storage unit 121. Specifically, when the predetermined position in the target image is the origin, for example, the pixel at the upper left end of the target image is the origin (0, 0), the calculation unit 132 is a pixel address indicating the position of the display area in the target image. Is calculated as the display area information.
  • the pixel address indicating the position of the display area in the target image is, for example, the pixel address of the lower right corner of the display area in the target image or each vertex of a rectangle.
  • the first determination unit 133 determines whether or not a predetermined condition is satisfied for each predetermined region in the target image, based on the display region information stored in the display information storage unit 121.
  • the predetermined condition is a display time during which the target image is displayed on the display unit 40.
  • the first determination unit 133 determines whether or not the display time is displayed longer than the predetermined time for each predetermined region in the target image.
  • the adding unit 134 counts up the count value of the area determined by the first determination unit 133 to satisfy the predetermined condition. Specifically, the addition unit 134 adds the count value by incrementing, for example, “1”, the count value of the region determined by the first determination unit 133 to satisfy the predetermined condition.
  • the second determination unit 135 determines a predetermined condition different from that of the first determination unit 133. Specifically, the second determination unit 135 determines, for each predetermined area, whether the display area at the target time is larger than the display areas before and after the target time.
  • the setting unit 136 sets a region of high interest in the target image corresponding to the image data acquired by the acquisition unit 11 as a region of interest based on the count value stored in the count value storage unit 122. Specifically, the setting unit 136 sets a region with a larger count value stored in the count value storage unit 122 as a region of interest with a higher degree of attention. Further, the setting unit 136 sets an area in which the count value stored in the count value storage unit 122 is larger than a predetermined value as the attention area.
  • the second generation unit 137 generates a superimposed image in which the attention information regarding the attention area set by the setting unit 136 is superimposed on the target image corresponding to the image data acquired by the acquisition unit 11.
  • the second generation unit 137 generates a superimposed image in which the frame corresponding to the attention area is identifiably superimposed as attention information based on the count value of the attention area set by the setting unit 136.
  • the second generation unit 137 emphasizes the saturation, the tint, and the contrast of the attention area based on the count value of the attention area set by the setting unit 136 so as to identify the superimposed image that is superimposed as the attention information. It may be generated.
  • the display control unit 138 causes the display unit 40 to display the display image generated by the first generation unit 131 or the superimposed image generated by the second generation unit 137. In addition, the display control unit 138 causes the display unit 40 to display various information regarding the information processing system 1.
  • FIG. 2 is a flowchart showing an outline of the processing executed by the information processing device 10.
  • the acquisition unit 11 acquires image data corresponding to an instruction signal input from the operation unit 30 from the image DB 20 (step S1).
  • the first generation unit 131 issues an instruction signal to the target image corresponding to the image data acquired by the acquisition unit 11 based on the instruction signal input from the operation unit 30 and indicating the display area in the target image.
  • a display image corresponding to the display area selected in is generated (step S2).
  • the calculation unit 132 calculates display area information including relative coordinates (world coordinates) based on a predetermined position in the display range (entire display area) in the coordinates of the target image, and the size of the display area (step). S3). Specifically, the calculation unit 132 sets the relative coordinates (xk, yk) of the display image with the upper left end of the display range in the coordinate system with the target image (first image) as the reference (0, 0). , Display area information including the size (wk, hk) of the display range of the display image is calculated. In this case, the calculation unit 132 stores the display area information in the display information storage unit 121.
  • the first determination unit 133 determines whether or not a predetermined condition is satisfied for each predetermined region in the target image based on the display region information stored in the display information storage unit 121 (step S4).
  • the predetermined condition is based on the display time displayed by the display unit 40.
  • the method for determining the predetermined condition by the first determination unit 133 is, for example, for each predetermined time interval ⁇ t, on the display information, for example, the time t generated in step S2 described above on the image data selected in step S1 described above.
  • the starting point (xt, yt) and the size (wt, ht) of the display information display of the display image are acquired (see step SS3 described above), and the size does not change for a certain period of time, that is, the magnification is constant.
  • a predetermined condition is satisfied. If it can be assumed that the aspect ratio of the display area is constant, either wt or ht may be stored.
  • step S4 determines that the predetermined condition is satisfied (step S4: Yes)
  • step S5 determines that the predetermined condition is not satisfied
  • step S6 described below.
  • step S5 the addition unit 134 executes an addition process of adding the count value of the display frequency for each predetermined area in the target image displayed by the display unit 40.
  • FIG. 2 shows an example in which the display information is generated at predetermined intervals, the condition is determined, and the addition process is performed, the display information (xk, yk, wk, hk) is generated at predetermined intervals.
  • the data may be stored in the storage unit 12 and then read again for evaluation. In that case, the above-mentioned constant time invariant condition may be used before and after the time t.
  • FIG. 3 is a flowchart showing an outline of the addition processing in step S5 of FIG. 2 described above.
  • the adding unit 134 sets the starting point (xk, yk), width (wk), and height (hk) of the display area information (step S101).
  • W the width of the target image acquired from the image DB 20
  • H the height
  • the target image is divided into m ⁇ m pixel areas, and p ⁇ q addition registers are prepared.
  • the relationship among W, H, m, p, and q can be expressed by the following equations (1) and (2).
  • W m ⁇ p (1)
  • H m ⁇ q (2)
  • the adding unit 134 sets a vertical address (for pi in range (ps, pe)) for each area in the display image (step S103), and an address in the width direction (for qi in for each area in the display image). range(qs, qe)) is set (step S104).
  • the information processing apparatus 10 proceeds to step S107 described later.
  • the information processing apparatus 10 returns to step S104 described above. ..
  • step S107: Yes the information processing apparatus 10 returns to the main routine of FIG.
  • step S107: No the information processing apparatus 10 described above. Return to step S103.
  • step S6 when the information processing apparatus 10 does not display the display image on the display unit 40, that is, does not generate the next image, the information processing apparatus 10 determines the end (step S6: Yes), and proceeds to step S7 described later.
  • step S6: No when the display of the display image by the display unit 40 is not finished (step S6: No), the information processing apparatus 10 proceeds to step S2 described above to generate the display image. Further, as described above, the information processing apparatus 10 generates the display information (xk, yk, wk, hk) at a predetermined interval, temporarily stores the display information in the storage unit 12, and then rereads the display information for evaluation.
  • step S6 when the process is not completed in step S6 described above (step S6: No), the determination process may be performed by returning to step S4 described above.
  • step S7 the setting unit 136 sets the attention area based on the count value for each predetermined area in the target image stored in the count value storage unit 122. ..
  • the second generation unit 137 generates attention area information regarding the attention area generated by the setting unit 136 (step S8), and generates a superimposed image in which the attention area information is superimposed on the target image (step S9).
  • FIG. 4 is a diagram showing an example of a superimposed image displayed on the display unit 40 by the display control unit 138. As shown in FIG. 4, the display control unit 138 superimposes the attention area information F1 to F6 generated by the second generation unit 137 on the attention area set by the setting unit 136 for the target image. P1 is displayed on the display unit 40. This allows the user to intuitively understand the attention area in the target image.
  • the information processing device 10 ends this process.
  • the setting unit 136 presents an area of high interest in the target image based on the count value indicating the display frequency for each predetermined area stored in the count value storage unit 122. (Eg, FIG. 4).
  • the setting unit 136 since the setting unit 136 sets a region with a larger count value as a region of interest with a higher degree of attention, the user can grasp the importance of each region of interest.
  • the setting unit 136 sets an area having a count value larger than the predetermined value as the attention area, it is possible to exclude an area having a small display frequency from the attention area.
  • the addition unit 134 adds the count value of the region whose display time is displayed longer than the predetermined time by the first determination unit 133, the incorrectly displayed region is set as the attention region. It can be prevented from being set.
  • Modification 1 of Embodiment 1 Next, a first modification of the first embodiment will be described.
  • the modification 1 of the first embodiment is different in the addition processing executed by the addition unit 134.
  • the display history is stored to repeat the process N times, but in the first modification of the first embodiment, the display frequencies are added at predetermined time intervals.
  • FIG. 5 is a flowchart showing an outline of addition processing according to the second modification of the first embodiment. 5, steps S301 to S304, steps S306 and S307 correspond to steps S101 to 104 and steps S106 and S107 of FIG. 3 described above, respectively, and only step S305 is different. Therefore, only step S307 will be described below.
  • the addition unit 134 weights the count value for each display magnification of the display image and counts up like a power exponent ( ⁇ (w/wk)) ⁇ .
  • the display magnification does not exceed the predetermined value, the addition unit 134 may determine that the entire image is being observed instead of gazing, and may prohibit counting up the display frequency.
  • the display control unit 138 displays the superimposed image P2 in which the attention area information F10 to F15 is superimposed on the attention area set by the setting unit 136 by the second generation unit 137 with respect to the target image. It is displayed on the display unit 40.
  • the count value of the area determined to be smaller than the display area before and after the target time by the first determination unit 133 is added to the user.
  • the attention area can be set for the area the user is gazing at.
  • the determination criterion included in the addition process executed by the addition unit 134 is different.
  • the display area in the display image currently displayed by the display unit 40, the display image displayed before the predetermined time when the display image is displayed, or the predetermined time is displayed.
  • the count value of the display frequency is added by comparing with the display area of the display image displayed after the elapse, and determining whether the display magnification is large.
  • the premise of the third modification of the first embodiment is that after the display area information (xt, yt, wt, ht) relating to the display image is accumulated. Therefore, in the following description, it is assumed that the data before and after the time k to be determined can be acquired, as will be described later in step S402.
  • FIG. 7 is a flowchart showing an outline of addition processing according to the third modification of the first embodiment.
  • steps S403 to S405, step S407, and step S408 correspond to steps S102 to S104, step S106, and step S107 of FIG. 3 described above, respectively. Therefore, in the following, step S401, step S402 and step S406 will be described.
  • step S401 the adding unit 134 causes the start point (xk, yk), the width (wk) and the height (hk) of the display area information at the target time, and the width (wk-u) before u times before the target time. , The width (wk+v) v times after the target time is set.
  • the second determination unit 135 determines that the width wk of the target time is smaller than the width wk-u before u times (wk ⁇ wk-u), and the width wk of the target time is smaller than the width wk+v after v times.
  • step S402 Yes
  • the information processing apparatus 10 moves to step S403.
  • the unit 134 moves to step S405.
  • the second determination unit 135 determines that the width wk of the target time is not smaller than the width wk-u before u times (wk ⁇ wk-u) and the width wk of the target time is after v times.
  • the information processing apparatus 10 ends the addition process and returns to the main routine of FIG.
  • the second determination unit 135 determines that the user has performed a magnification change operation of the display area with respect to the sample image, that is, 4 times ⁇ 10 times ⁇ 20 times, it can be assumed that the user has focused 20 times. It is during observation. For this reason, when the second determination unit 135 determines that the width Wk of the target time is 10 times observation, the addition unit 134 ends the addition process without adding the count value, and proceeds to the main routine of FIG. Return.
  • the addition unit 134 based on the determination result of the second determination unit 135, shows a difference in whether or not there is a gaze even in the same 10-fold observation state, and therefore, not only the magnification information of the display area but also the magnification of the front-back relation thereof.
  • the count value of the display frequency is added by setting the gaze degree based on the information.
  • the display control unit 138 causes the display unit 40 to display the superimposition information P3 in which the attention area information F20 is superimposed on the attention area set by the setting unit 136 for the target image.
  • the addition unit 134 proceeds to step S405.
  • the effect similar to that of the first embodiment described above can be obtained, and more detailed conditions for gaze area estimation can be set based on the magnification change process. ..
  • the addition unit 134 weights and adds the value to be added to the count value according to the size of the display area, the count value according to the degree of gaze of the user. Can be added.
  • Modification 4 of Embodiment 1 a modified example 4 of the first embodiment will be described.
  • the addition processing executed by the addition unit 134 is different. Specifically, in the fourth modification of the first embodiment, the display frequency count value is added according to the deviation of the past n pieces of data. Therefore, in the following, the addition process executed by the addition unit 134 according to the fourth modification of the first embodiment will be described.
  • FIG. 9 is a flowchart showing an outline of the addition processing according to the modified example 4 of the first embodiment.
  • steps S503 to S508 correspond to the above-mentioned steps S403 to S408, respectively, and only steps S501 and S502 are different. In the following, step S501 and step S502 will be described.
  • the addition unit 134 starts the display area information at the target time (xk, yk), (xk-1, yk-1),..., (xk-n, yk-n). , Width (wk), (wk-1),..., (wk-n) and height (hk), (hk-1),..., (hk-n) are set (step S501). ..
  • the second determination unit 135 determines whether the total deviation of the past n pieces of data is less than or equal to a certain value (Thr1, Thr1) (step S502).
  • a certain value Thr1, Thr1
  • the information processing apparatus 10 proceeds to step S503.
  • the information processing apparatus 10 causes the information processing apparatus 10 to perform the main routine of FIG. Return to.
  • the addition unit 134 makes a difference based on the determination result of the second determination unit 135 whether or not the user is gazing in the same 10 ⁇ observation state.
  • the count value of the display frequency is added by assuming the gaze degree based on the magnification information of.
  • the display control unit 138 causes the display unit 40 to display the superimposition information P4 in which the attention area information F30 is superimposed on the attention area set by the setting unit 136 for the target image.
  • the configuration is the same as that of the first embodiment described above, and it is possible to set the detailed conditions for estimating the gaze area in consideration of the deviation of the display area.
  • the addition unit 134 adds the count values of the regions in which the deviation is determined to be less than or equal to the predetermined value by the first determination unit 133, the region in which the user gazed is added. On the other hand, the count value can be surely added.
  • FIG. 11 is a block diagram showing a functional configuration of the information processing system according to the second embodiment.
  • An information processing system 1A shown in FIG. 11 includes an information processing device 10A instead of the information processing device 10 of the information processing system 1 according to the first embodiment described above.
  • the information processing apparatus 10A includes a control unit 13A instead of the control unit 13 according to the first embodiment described above. Further, the control unit 13A further includes an image analysis unit 141, a feature amount analysis unit 142, and an extraction unit 143 in addition to the configuration of the control unit 13 according to the first embodiment described above.
  • the image analysis unit 141 performs a known analysis process on the sample image acquired by the acquisition unit 11 to analyze a known feature amount, and performs segmentation on the sample image for each feature amount.
  • the feature amount analysis unit 142 analyzes each feature amount of the plurality of attention areas set by the setting unit 136.
  • the extraction unit 143 compares the segmentation for each feature amount analyzed by the image analysis unit 141 with each feature amount of the plurality of attention regions analyzed by the feature amount analysis unit 142, and extracts a similar region similar to the attention region. ..
  • the acquisition unit 11 first outputs the image data according to the operation of the operation unit 30 from the image DB 20. Specifically, as shown in FIG. 12, the acquisition unit 11 acquires the target image P10 corresponding to the image data.
  • the image analysis unit 141 performs a known analysis process for analyzing the feature amount on the target image acquired by the acquisition unit 11, and performs segmentation on the target image for each feature amount. Specifically, as shown in FIG. 13, the image analysis unit 141 performs a known analysis process of analyzing a known feature amount on the target image P10 acquired by the acquisition unit 11 to determine the characteristics of the target image P10. An image P11 segmented by quantity is generated.
  • the feature amount analysis unit 142 analyzes the feature amount of each of the plurality of attention areas set by the setting unit 136. Specifically, as shown in FIG. 14, the feature amount of each of the plurality of attention areas F30 to F32 in the target image P10 set by the setting unit 136 is analyzed.
  • the attention area is schematically represented by a rectangular frame.
  • the present invention is not limited to this. For example, even if the display area is displayed such that the higher the count value of the display frequency, the darker the density becomes. Good.
  • the extraction unit 143 compares the segmentation for each feature amount analyzed by the image analysis unit 141 with each feature amount of the plurality of attention regions analyzed by the feature amount analysis unit 142, and a similar region similar to the attention region. To extract. Specifically, as shown in FIG. 15, the extraction unit 143 extracts similar regions Z11 to Z15 that are similar to the attention region Z1 in the target image P10. In this case, the display control unit 138 may display the similar regions Z11 to Z15 extracted by the extraction unit 143 on the target image P13 by superimposing them on the display unit 40. Note that the display control unit 138 may cause the display unit 40 to sequentially display each of the similar regions Z11 to Z15 extracted by the extraction unit 143 on a full screen at predetermined time intervals.
  • the attention area of the image can be presented by a simple operation.
  • the extraction unit 143 compares the segmentation for each feature amount analyzed by the image analysis unit 141 with each feature amount of the plurality of attention areas analyzed by the feature amount analysis unit 142, Since a similar region similar to the region of interest is extracted, it is possible to prevent overlooking the region in which the target image is to be interpreted, and because the similar region is preferentially interpreted, the target image can be efficiently interpreted. it can.
  • FIG. 16 is a block diagram showing a functional configuration of the information processing system according to the third embodiment.
  • An information processing system 1B shown in FIG. 16 includes an information processing device 10B instead of the information processing device 10 of the information processing system 1 according to the first embodiment described above.
  • a feature analyzed image database 50 (hereinafter, referred to as “feature analyzed image DB 50”) that stores a plurality of image data whose feature amounts are analyzed is further provided.
  • the information processing apparatus 10B includes a query generation unit 150 and a search unit 151 in place of the configuration of the control unit 13A according to the second embodiment described above, in place of the image analysis unit 141 and the extraction unit 143, and otherwise, the control unit. It has the same structure as 13A.
  • the query generation unit 150 generates a query for searching similar image data from a plurality of image data based on the attention area feature amount analyzed by the feature amount analysis unit 142. Specifically, the query generation unit 150 generates a query for each feature amount of the attention area feature amount analyzed by the feature amount analysis unit 142.
  • the search unit 151 acquires a plurality of similar image data from the feature-analyzed image DB 50 based on the query generated by the query generation unit 150.
  • the search unit 151 searches the feature-analyzed image DB 50 for a plurality of similar image data based on the query generated by the query generation unit 150, and Similar image data similar in quantity is acquired. After that, the display control unit 138 causes the display unit 40 to display the similar image corresponding to the similar image data acquired by the search unit 151.
  • the search unit 151 searches the feature-analyzed image DB 50 for a plurality of similar image data based on the query generated by the query generation unit 150, thereby determining the feature amount of the attention area. Since the similar image data similar to each other is acquired, the image can be read while comparing with the similar image corresponding to the similar image data.
  • the attention area is set based on the display frequency of the display area in the image corresponding to the image data captured by the microscope.
  • the configuration of the information processing system according to the fourth embodiment will be described below.
  • the same components as those of the information processing system 1 according to the first embodiment described above are designated by the same reference numerals and detailed description thereof will be omitted.
  • FIG. 17 is a schematic diagram showing the functional configuration of the information processing system according to the fourth embodiment.
  • the information processing system 1C illustrated in FIG. 17 includes an information processing device 10C, a display unit 40, and a microscope 100.
  • the information processing device 10C acquires image data from the microscope 100 and causes the display unit 40 to display an image corresponding to the acquired image data.
  • the detailed configuration of the information processing device 10C will be described later.
  • the microscope 100 has a substantially C-shaped casing 101, a stage 102 movably attached to the casing 101 in a three-dimensional direction, and a plurality of objective lenses 103 having different observation magnifications.
  • a revolver 104 that arranges a desired objective lens 103 according to a user's operation, and a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide) that captures an image of a sample placed on the stage 102 via the objective lens 103.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide
  • a position detection unit 108 that detects the position of the stage 102 from the reference position, which is configured using an encoder or the like, and a magnification detection unit 109 that detects magnification information indicating the observation magnification at which the microscope 100 observes the sample.
  • the microscope 100 functions as an observation device.
  • the objective lens 103 functions as an observation optical system.
  • the information processing device 10C includes an acquisition unit 11C, a storage unit 12C, and a control unit 13C, instead of the acquisition unit 11, the storage unit 12, and the control unit 13 according to the first embodiment described above.
  • the acquisition unit 11C acquires image data from the imaging unit 105 of the microscope 100. Further, the acquisition unit 11C acquires position information regarding the position of the stage 102 from the position detection unit 108 and magnification information from the magnification detection unit 109 as instruction signals.
  • the storage unit 12C further includes a visual field information storage unit 124 in addition to the configuration of the storage unit 12 according to the first embodiment described above.
  • the visual field information storage unit 124 stores the selected position of the object selected by the microscope 100 and at least visual field information indicating the size of the visual field of the microscope 100. Further, the visual field information storage unit 124 includes coordinate information representing the position of the visual field in the coordinate system with the field as a reference.
  • the control unit 13C includes a calculation unit 132C and a second generation unit 137C instead of the calculation unit 132 and the second generation unit 137 of the control unit 13 according to the first embodiment described above.
  • the calculation unit 132C based on the position information of the stage 102 detected by the position detection unit 108 and the magnification information detected by the magnification detection unit 109, the display area of the image corresponding to the image data generated by the imaging unit 105 ( The visual field area) is calculated, and the calculation result is stored in the display information storage unit 121.
  • the second generation unit 137C generates a superimposed image in which the attention area set by the setting unit 136 is superimposed on the live view image generated by the first generation unit 131, based on the calculation result calculated by the calculation unit 132C.
  • FIG. 18 is a diagram schematically showing the stage 102.
  • FIG. 19 is a diagram schematically showing a register corresponding to the stage 102.
  • FIG. 20 is a diagram schematically showing the position of the cover glass 101B on the slide glass 101A.
  • the coordinates of the end position of the register are (pe, qe)
  • a margin is provided and set so as to include the cover glass 101B on the slide glass 101A.
  • the calculation unit 132C displays the position on the object plane (target object) corresponding to the optical center axis based on the positional relationship between the stage 102 and the imaging unit 105, based on the position information of the stage 102 detected by the position detection unit 108. It is specified by calculating the area information or the selected value of the object. Further, the calculation unit 132C, based on the magnification information detected by the magnification detection unit 109, the selected position on the object plane corresponding to the viewing angle (display area) from the optical center position in the coordinate system with the field as a reference. Is specified as the display area information, and is specified.
  • the addition unit 134 is based on the display area information (observation visual field information) on the object surface acquired by the calculation unit 132C, and any one of the above-described first embodiment and the modified examples 1 to 4 according to the first embodiment.
  • An addition process of adding the count value of the display frequency is performed by performing one of the addition processes.
  • the setting unit 136 sets a region of interest indicating which position has a high display frequency in the entire sample and which has received attention, based on the count value added by the adding unit 134. Specifically, the setting unit 136, based on the count value added by the adding unit 134, indicates that in the coordinate system corresponding to the entire sample, which position has a high display frequency and which has a high attention level is focused. It is set as the attention area to be shown.
  • the second generation unit 137C generates a superimposed image P100 in which the attention areas F101 to F106 are superimposed on the target image obtained by photographing the entire specimen.
  • the second generation unit 137C generates the superimposed image P100 such that the higher the count value of the attention area is, the darker it is than the other pixels. This allows the user and other observers to intuitively understand the attention area in which the user has focused.
  • the attention area of the sample image can be presented by a simple operation.
  • FIG. 22 is a schematic diagram showing the functional configuration of the information processing system according to the first modification of the fourth embodiment.
  • An information processing system 1D shown in FIG. 22 includes an information processing device 10D instead of the information processing device 10C of the information processing system 1C according to the fourth embodiment described above.
  • the information processing device 10D includes a storage unit 12D instead of the storage unit 12 of the information processing device 10C according to the fourth embodiment described above.
  • the storage unit 12D stores an entire image storage unit 125 that associates and stores a sample image, stage position information, and a display frequency count value. Have.
  • the object plane is not the position of the sample but the position of the stage 102 as a reference. Therefore, even if the slide glass 101A including the sample is removed from the stage 102, the slide glass 101A is again placed on the stage 102 again.
  • the entire image storage unit 125 associates the target image (sample image), the position information of the stage, and the display frequency count value with each other. Since it is stored, when the same sample is observed again, the region of interest can be superimposed and displayed on the live view image of the display unit 40.
  • the attention area of the sample image can be presented by a simple operation.
  • FIG. 23 is a schematic diagram showing the functional configuration of the information processing system according to the second modification of the fourth embodiment.
  • the information processing system 1E illustrated in FIG. 23 includes an information processing device 10E instead of the information processing device 10D of the information processing system 1D according to the first modification of the fourth embodiment described above.
  • the information processing device 10E includes a control unit 13E instead of the control unit 13C of the information processing device 10D according to the first modification of the fourth embodiment described above.
  • the control unit 13E further includes a position alignment processing unit 160 in addition to the configuration of the control unit 13C according to the first modification of the fourth embodiment described above.
  • the alignment processing unit 160 aligns the image corresponding to the image data acquired by the acquisition unit 11C from the microscope 100 with the sample image corresponding to the entire image data at the previous observation stored in the entire image storage unit 125. Performs alignment processing.
  • the information processing system 1 ⁇ /b>E configured as described above re-observes the object plane at the time of re-observation based on the count value of the display frequency of the display area stored in the count value storage unit 122. Since the display position of the live view image is associated with the position, the display region at the time of re-observation is acquired, so that the attention region can be superimposed and displayed at an appropriate position on the live view image at the time of re-observation.
  • the attention area of the sample image can be presented by a simple operation.
  • FIG. 24 is a schematic diagram showing the functional configuration of the information processing system according to the third modification of the fourth embodiment.
  • the information processing system 1F illustrated in FIG. 24 includes a microscope 100F instead of the microscope 100 according to the above-described fourth embodiment.
  • the microscope 100F is provided with an intermediate lens barrel 110 and an intermediate lens barrel 110, and the observation image formed by the objective lens 103 is captured by the imaging unit 105 and the eyepiece.
  • a half mirror 111 that transmits an image emitted from a display unit 60, which will be described later, to the image capturing unit 105 and the eyepiece unit 106, and an image toward the half mirror 111 under the control of the control unit 13C.
  • a display unit 60 that emits light.
  • the information processing system 1F configured in this way, since the count values of the display frequency in the display area of the object plane are associated with each other, the display area (observation visual field) and the magnification information are acquired again when the sample is observed. As a result, it is possible to directly superimpose and display the attention area on the observation image observed through the eyepiece lens 106.
  • the attention area of the observation image can be presented by a simple operation.
  • the attention area is set for the plane image such as the two-dimensional sample image, but in the fifth embodiment, the attention area is set for the three-dimensional image such as the CT image, the MRI image and the three-dimensional sample image. Set the area.
  • the same components as those of the information processing system 1 according to the first embodiment described above are designated by the same reference numerals, and detailed description thereof will be omitted.
  • FIG. 25 is a block diagram showing a functional configuration of the information processing system according to the fifth embodiment.
  • An information processing system 1G shown in FIG. 25 has a plurality of stereoscopic images such as a CT image, an MRI image, and a three-dimensional sample image in place of the image DB 20 and the information processing device 10 of the information processing system 1 according to the first embodiment described above.
  • An image DB 20G that stores image data and an information processing device 10G are provided.
  • the information processing device 10G includes a control unit 13G instead of the control unit 13 of the information processing device 10 according to the first embodiment described above.
  • the control unit 13G includes an adding unit 134G instead of the adding unit 134 according to the first embodiment described above.
  • the adding unit 134G adds up by counting up the count value of the display frequency of the three-dimensional image.
  • the adding unit 134G performs the same processing as in the above-described first to fourth embodiments on the three-dimensional image.
  • the addition unit 134G counts the display frequency for each cross-sectional image F300. The values are added (see FIG. 27).
  • the display control unit 138 stereoscopically displays the attention area Q100 on the CT image.
  • the attention area of the sample image can be presented by a simple operation.
  • Various embodiments can be formed by appropriately combining the plurality of constituent elements disclosed in the above-described first to fifth embodiments. For example, some constituent elements may be deleted from all the constituent elements described in the first to fifth embodiments. Furthermore, the constituent elements described in the above-described first to fifth embodiments may be combined appropriately.
  • the above-mentioned “section” can be read as “means” or "circuit".
  • the control unit can be read as a control unit or a control circuit.
  • the program executed by the information processing apparatus is a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile) in the form of installable or executable file data. It is provided by being recorded in a computer-readable recording medium such as a disk), a USB medium, or a flash memory.
  • the program executed by the information processing apparatus according to the first to fifth embodiments may be stored on a computer connected to a network such as the Internet and may be provided by being downloaded via the network. Furthermore, the program executed by the information processing apparatus according to the first to sixth embodiments may be provided or distributed via a network such as the Internet.
  • signals are transmitted from various devices via a transmission cable, but it does not have to be wired, for example, and may be wireless.
  • signals may be transmitted from each device according to a predetermined wireless communication standard (for example, Wi-Fi (registered trademark) or Bluetooth (registered trademark)).
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • wireless communication may be performed according to another wireless communication standard.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

簡易な操作で標本画像の注目領域を提示することができる情報処理装置、情報処理システム、情報処理方法およびプログラムを提供する。情報処理装置は、記憶部が記憶する表示領域情報が所定の条件を満たすか否かを判定する判定部と、判定部が所定の条件を満たすと判定した領域のカウント値に所定の値を加算する加算部と、カウント値に基づいて、第１画像において注目度が高い注目領域を設定する設定部と、を備える。

Description

情報処理装置、情報処理システム、情報処理方法およびプログラム
　本開示は、画像を表示する情報処理装置、情報処理システム、情報処理方法およびプログラムに関する。
　従来、バーチャルスライドによってデジタル化された標本画像の一部を拡大することによって表示する技術が知られている（例えば特許文献１参照）。この技術によれば、複数の画像をつなぎ合わせて合成することで、顕微鏡の視野よりも大きなデジタルの標本画像を表示し、ユーザが操作ダイヤルを操作することによって標本画像の表示位置を上下左右に移動したり、ズーム用ホイールを操作することによって表示倍率を変更したりすることで、標本画像内から診断上重要となる注目領域を探索しながら観察を行っている。
特表２０１５－５０４５２９号公報
　しかしながら、上述した特許文献１では、ユーザが操作ダイヤルやズーム用ホイールを操作することによって、その都度、画像の表示領域の位置や表示領域の倍率を変更することによって表示させているため、ユーザが画像から注目領域を探索するのに膨大な作業が生じることで、操作が煩雑になるという問題点があった。
　本開示は、上記に鑑みてなされたものであって、簡易な操作で画像の注目領域を提示することができる情報処理装置、情報処理システム、情報処理方法およびプログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本開示に係る情報処理装置は、外部装置から入力される画像データと、外部装置から入力される指示信号であって、前記画像データに対応する画像における所定の表示領域を選択する指示信号と、に基づいて、前記画像データに対応する第１画像を用いて、前記指示信号によって選択される前記表示領域に対応する表示画像を生成する第１生成部と、前記第１画像における前記表示領域の位置を示す表示領域情報と、前記第１画像における所定の領域毎の表示頻度を示すカウント値と、を記憶する記憶部と、前記表示領域情報が所定の条件を満たすか否かを判定する第１判定部と、前記第１判定部が前記所定の条件を満たすと判定した前記領域の前記カウント値に所定の値を加算する加算部と、前記カウント値に基づいて、前記第１画像において注目度が高い領域を注目領域として設定する設定部と、を備える。
　また、本開示に係る情報処理装置は、上記開示において、前記表示領域情報は、前記第１画像を基準とした座標系で前記表示画像の位置を表す座標情報と前記表示画像の大ききを表す情報である。
　また、本開示に係る情報処理装置は、上記開示において、前記設定部は、前記カウント値が大きい領域ほど注目度が高い前記注目領域として設定する。
　また、本開示に係る情報処理装置は、上記開示において、前記設定部は、前記カウント値の値が所定値より大きい領域を前記注目領域として設定する。
　また、本開示に係る情報処理装置は、上記開示において、前記表示画像を表示部に表示させる表示制御部をさらに備え、前記所定の条件は、前記表示部において表示された表示時間であり、前記第１判定部は、前記表示が所定時間、一定の大きさで所定の移動範囲内で表示されたか否かを判定し、前記加算部は、前記第１判定部によって前記表示時間が所定の時間より長く表示されたと判定された前記領域の前記カウント値を加算する。
　また、本開示に係る情報処理装置は、上記開示において、前記表示画像を表示部に表示させる表示制御部と、前記第１判定部と異なる所定の条件を判定する第２判定部と、をさらに備える。
　また、本開示に係る情報処理装置は、上記開示において、前記第２判定部は、前記所定の領域毎に、対象時刻における前記表示領域が対象時刻の前後の表示領域より大きいか否かを判定し、前記加算部は、前記第２判定部によって対象時刻における前記表示領域が対象時刻の前後の表示領域より大きいと判定された前記領域の前記カウント値を加算する。
　また、本開示に係る情報処理装置は、前記加算部は、前記所定の値に対して、前記表示領域が小さいほど重み付けを行って前記カウント値に加算する。
　また、本開示に係る情報処理装置は、上記開示において、前記画像データは、２次元の平面画像データまたは３次元の立体画像データである。
　また、本開示に係る情報処理装置は、上記開示において、前記第２判定部の所定の条件は、前記表示画像の表示位置および前記表示画像の表示領域の大きさの偏差、または所定時間における前記表示画像の表示位置および前記表示画像の表示領域の大きさの偏差であり、　前記加算部は、前記第２判定部によって前記偏差が所定値以下であると判定された前記領域の前記カウント値を加算する。
　また、本開示に係る情報処理装置は、上記開示において、前記画像データは、２次元の平面画像データまたは３次元の立体画像データである。
　また、本開示に係る情報処理装置は、上記開示において、前記第１画像の特徴量を解析することによって特徴量毎にセグメンテーションを行う画像解析部と、前記注目領域の注目領域特徴量を解析する特徴量解析部と、前記注目領域特徴量と前記特徴量とに基づいて、前記第１画像から前記注目領域に類似する領域を抽出する抽出部と、をさらに備える。
　また、本開示に係る情報処理装置は、上記開示において、前記注目領域特徴量に基づいて、複数の画像データから類似する画像データを検索するためのクエリを生成するクエリ生成部と、前記クエリに基づいて、複数の画像データを記憶する画像データベースから画像を検索する検索部をさらに備える。
　また、本開示に係る情報処理装置は、上記開示において、前記表示画像に前記注目領域を重畳して重畳画像を生成する第２生成部をさらに備える。
　また、本開示に係る情報処理装置は、上記開示において、前記指示信号に基づいて、前記表示領域の位置を示す表示領域情報を算出する算出部をさらに備える。
　また、本開示に係る情報処理装置は、上記開示において、前記指示信号は、顕微鏡に設けられ位置検出部が検出した基準位置からのステージの位置を示す位置情報と、前記顕微鏡に設けられた倍率検出部が検出した標本を観察する観察倍率を示す倍率情報と、を含む。
　また、本開示に係る情報処理システムは、対象物を観察する観察装置を備える情報処理システムであって、前記観察装置によって選択される前記対象物の選択位置と、少なくとも前記観察装置の視野の大きさを示す視野情報と、所定の領域毎の表示頻度を示すカウント値と、を記憶する記憶部と、前記視野情報が所定の条件を満たすか否かを判定する第１判定部と、前記第１判定部が前記所定の条件を満たすと判定した前記領域の前記カウント値に所定の値を加算する加算部と、前記カウント値に基づいて、前記対象物に対応する座標系において注目度が高い領域を注目領域として設定する設定部と、を備える。 
　また、本開示に係る情報処理システムは、上記開示において、前記視野情報は、被写界を基準とした座標系における前記視野の位置を表す座標情報をさらに含む。 
　また、本開示に係る情報処理システムは、上記開示において、前記対象物の観察像に前記注目領域に係る情報を表示部に表示させる表示制御部をさらに備える。
　また、本開示に係る情報処理システムは、上記開示において、観察光学系と、前記観察光学系が結像する前記対象物の観察像に前記注目領域に係る情報を重畳する表示制御部と、をさらに備える。
　また、本開示に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、外部装置から入力される画像データと、外部装置から入力される指示信号であって、前記画像データに対応する画像における所定の表示領域を選択する指示信号と、に基づいて、前記画像データに対応する第１画像を用いて前記指示信号によって選択される前記表示領域に対応する表示画像を生成し、前記第１画像における前記表示領域の位置を示す表示領域情報と、前記第１画像における所定の領域毎の表示頻度を示すカウント値と、を記憶する記憶部から前記表示領域情報を取得し、前記表示領域情報が所定の条件を満たすか否かを判定し、前記所定の条件を満たすと判定した前記領域の前記カウント値をカウントアップし、前記カウント値に基づいて、前記第１画像において注目度が高い領域を注目領域として設定する。
　また、本開示に係るプログラムは、情報処理装置に、外部装置から入力される画像データと、外部装置から入力される指示信号であって、前記画像データに対応する画像における所定の表示領域を選択する指示信号と、に基づいて、前記画像データに対応する第１画像を用いて前記指示信号によって選択される前記表示領域に対応する表示画像を生成し、前記第１画像における前記表示領域の位置を示す表示領域情報と、前記第１画像における所定の領域毎の表示頻度を示すカウント値と、を記憶する記憶部から前記表示領域情報を取得し、前記表示領域情報が所定の条件を満たすか否かを判定し、前記所定の条件を満たすと判定した前記領域の前記カウント値をカウントアップし、前記カウント値に基づいて、前記第１画像において注目度が高い領域を注目領域として設定する。
　本開示によれば、簡易な操作で画像の注目領域を提示することができるという効果を奏する。
図１は、実施の形態１に係る情報処理システムの機能構成を示すブロック図である。 図２は、情報処理装置が実行する処理の概要を示すフローチャートである。 図３は、図２の加算処理の概要を示すフローチャートである。 図４は、実施の形態１に係る表示制御部が表示部に表示させる重畳画像の一例を示す図である。 図５は、実施の形態１の変形例２に係る加算処理の概要を示すフローチャートである。 図６は、実施の形態１の変形例２に係る表示制御部が表示部に表示させる重畳画像の一例を示す図である。 図７は、実施の形態１の変形例３に係る加算処理の概要を示すフローチャートである。 図８は、実施の形態１の変形例３に係る表示制御部が表示部に表示させる重畳画像の一例を示す図である。 図９は、実施の形態１の変形例４に係る加算処理の概要を示すフローチャートである。 図１０は、実施の形態１の変形例４に係る表示制御部が表示部に表示させる重畳画像の一例を示す図である。 図１１は、実施の形態２に係る情報処理システムの機能構成を示すブロック図である。 図１２は、実施の形態２に係る取得部が取得した第１画像の一例を模式的に示す図である。 図１３は、セグメンテーションを行った第１画像の一例を模式的に示す図である。 図１４は、重畳画像の一例を模式的に示す図である。 図１５は、類似領域の一例を模式的に示す図である。 図１６は、実施の形態３に係る情報処理システムの機能構成を示すブロック図である。 図１７は、実施の形態４に係る情報処理システムの機能構成を示す概略図である。 図１８は、実施の形態４に係るステージを模式的に示す図である。 図１９は、実施の形態４に係るステージに対応するレジスタを模式的に示す図である。 図２０は、実施の形態４に係る重畳画像の一例を模式的に示す図である。 図２１は、実施の形態４に係るスライドガラス上におけるカバーガラスの位置を模式的に示す図である。 図２２は、実施の形態４の変形例１に係る情報処理システムの機能構成を示す概略図である。 図２３は、実施の形態４の変形例２に係る情報処理システムの機能構成を示す概略図である。 図２４は、実施の形態４の変形例３に係る情報処理システムの機能構成を示す概略図である。 図２５は、実施の形態５に係る情報処理システムの機能構成を示すブロック図である。 図２６は、実施の形態５に係るＣＴ画像の一例を模式的に示す図である。 図２７は、実施の形態５に係る断面像毎に表示頻度のカウント値を加算する際の加算方法を模式的に示す図である。 図２８は、実施の形態５に係るＣＴ画像上に注目領域を立体的に重畳表示した際を模式的に示す図である。
　以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさ、および位置関係のみに限定されるものでない。
（実施の形態１）
　〔情報処理システムの構成〕
　図１は、実施の形態１に係る情報処理システムの機能構成を示すブロック図である。図１に示す情報処理システム１は、情報処理装置１０と、画像データベース２０（以下、「画像ＤＢ２０」という）と、操作部３０と、表示部４０と、を備える。
　情報処理装置１０は、ユーザによる操作部３０の操作に応じて、画像ＤＢ２０が記録する複数の画像データから所望の画像データを取得し、この画像データを操作部３０の操作に応じた指示信号に応じた表示領域（観察視野）に対応する表示画像を表示部４０に出力する。ここで、画像データは、標本や試料を顕微鏡等で撮像した２次元の平面データである。なお、情報処理装置１０の詳細な構成は、後述する。
　画像ＤＢ２０は、顕微鏡等によって標本や試料を撮像することによって生成された２次元の複数の画像データを記憶する。画像ＤＢ２０は、ネットワークを経由するサーバシステム、または、ローカルのＨＤＤ（Hard　Disk　Drive）およびＳＳＤ（Solid　State　Drive）等を用いて構成される。
　操作部３０は、ユーザの操作を受け付け、受け付けた操作に応じた指示信号を情報処理装置１０へ出力する。操作部３０は、キーボード、マウスおよびタッチパネル等を用いて構成される。
　表示部４０は、情報処理装置１０の制御のもと、情報処理装置１０から入力された画像データに対応する画像を表示する。表示部４０は、液晶や有機ＥＬ（Electro　Luminescence）等の表示パネルを用いて構成される。
　〔情報処理装置の構成〕
　次に、情報処理装置１０の詳細な構成について説明する。情報処理装置１０は、取得部１１と、記憶部１２と、制御部１３と、を備える。
　取得部１１は、制御部１３の制御のもと、操作部３０から入力される指示信号に応じて、画像ＤＢ２０が記憶する２次元平面の複数の画像データから操作部３０から入力される指示信号に応じて選択された画像データを取得する。取得部１１は、例えば所定のＩ／Ｆ回路を用いて構成される。なお、取得部１１は、有線または無線によって画像ＤＢ２０から画像データを取得する。
　記憶部１２は、表示部４０が表示する画像における表示領域であって、取得部１１が取得した画像データに対応する第１画像（以下、「対象画像」という）における所定の表示領域の位置を示す表示領域情報を記憶する表示情報記憶部１２１と、表示部４０が表示する対象画像における表示領域における所定の領域毎の表示頻度を示すカウント値（以下、単に「カウント値」という）を記憶するカウント値記憶部１２２と、情報処理システム１が実行する各種のプログラムを記憶するプログラム記録部１２３と、を有する。記憶部１２は、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤおよびメモリーカード等を用いて構成される。
　制御部１３は、情報処理システム１を構成する各部を制御する。制御部１３は、メモリおよびＣＰＵ（Central　Processing　Unit）、ＦＰＧＡ（Field　Programmable　Gate　Array）およびＡＳＩＣ（Application　Specific　Integrated　Circuit）等のプロセッサを有するハードウェアを用いて構成される。制御部１３は、第１生成部１３１と、算出部１３２と、第１判定部１３３と、加算部１３４と、第２判定部１３５と、設定部１３６と、第２生成部１３７と、表示制御部１３８と、を備える。
　第１生成部１３１は、取得部１１が取得した画像データと、操作部３０から入力される指示信号であって、対象画像における所定の表示領域を選択する指示信号とに基づいて、対象画像を用いて、指示信号で選択される表示領域に対応する表示画像を生成する。具体的には、第１生成部１３１は、対象画像を用いて、指示信号で選択される表示領域を切り出すトリミング処理を行ってトリミング画像を生成し、このトリミング画像を表示部４０の表示領域までに拡大・縮小処理または補間処理するリサイズ処理を行って表示画像を生成する。
　算出部１３２は、取得部１１が取得した対象画像における表示画像の位置と大きさを示す表示領域情報を算出し、この算出結果を表示情報記憶部１２１に記憶する。具体的には、算出部１３２は、対象画像における所定の位置を原点、例えば対象画像の左上端部の画素を原点（０，０）とした場合、対象画像における表示領域の位置を示す画素アドレスを表示領域情報をとして算出する。ここで、対象画像における表示領域の位置を示す画素アドレスとしては、対象画像における表示領域の右下端部または矩形の各頂点の画素アドレス等である。
　第１判定部１３３は、表示情報記憶部１２１が記憶する表示領域情報に基づいて、対象画像における所定の領域毎に所定の条件を満たすか否かを判定する。ここで、所定の条件とは、表示部４０によって対象画像が表示された表示時間である。第１判定部１３３は、対象画像における所定の領域毎に、表示時間が所定の時間より長く表示されたか否かを判定する。
　加算部１３４は、第１判定部１３３が所定の条件を満たすと判定した領域のカウント値をカウントアップする。具体的には、加算部１３４は、第１判定部１３３が所定の条件を満たすと判定した領域のカウント値を、例えば「１」をカウントアップすることによってカウント値を加算する。
　第２判定部１３５は、第１判定部１３３と異なる所定の条件を判定する。具体的には、第２判定部１３５は、所定の領域毎に、対象時刻における表示領域が対象時刻の前後の表示領域より大きいか否かを判定する。
　設定部１３６は、カウント値記憶部１２２が記憶するカウント値に基づいて、取得部１１が取得した画像データに対応する対象画像において注目度が高い領域を注目領域として設定する。具体的には、設定部１３６は、カウント値記憶部１２２が記憶するカウント値が大きい領域ほど注目度が高い注目領域として設定する。さらに、設定部１３６は、カウント値記憶部１２２が記憶するカウント値の値が所定値より大きい領域を注目領域として設定する。
　第２生成部１３７は、設定部１３６が設定した注目領域に関する注目情報を、取得部１１が取得した画像データに対応する対象画像に重畳した重畳画像を生成する。この場合、第２生成部１３７は、設定部１３６が設定した注目領域のカウント値に基づいて、注目領域に対応する枠を注目情報として識別可能に重畳した重畳画像を生成する。なお、第２生成部１３７は、設定部１３６が設定した注目領域のカウント値に基づいて、注目領域の彩度、色味およびコントラストを強調することによって注目情報として識別可能に重畳した重畳画像を生成してもよい。
　表示制御部１３８は、第１生成部１３１によって生成された表示画像または第２生成部１３７によって生成された重畳画像を表示部４０に表示させる。また、表示制御部１３８は、情報処理システム１に関する各種の情報を表示部４０に表示させる。
　〔情報処理装置の処理〕
　次に、情報処理装置１０が実行する処理について説明する。図２は、情報処理装置１０が実行する処理の概要を示すフローチャートである。
　図２に示すように、まず、取得部１１は、操作部３０から入力される指示信号に応じた画像データを画像ＤＢ２０か取得する（ステップＳ１）。
　続いて、第１生成部１３１は、取得部１１が取得した画像データに対応する対象画像に対して、操作部３０から入力された対象画像における表示領域を指示する指示信号に基づいて、指示信号で選択される表示領域に対応する表示画像を生成する（ステップＳ２）。
　その後、算出部１３２は、対象画像の座標における表示範囲（全表示領域）における所定の位置を基準とする相対座標（ワールド座標）と、表示領域の大きさとを含む表示領域情報を算出する（ステップＳ３）。具体的には、算出部１３２は、対象画像（第１画像）を基準とした座標系における表示範囲の左上端部を基準（０，０）とする表示画像の相対座標（ｘｋ，ｙｋ）と、表示画像の表示範囲の大きさ（ｗｋ，ｈｋ）と、を含む表示領域情報を算出する。この場合、算出部１３２は、表示領域情報を表示情報記憶部１２１に記憶する。
　続いて、第１判定部１３３は、表示情報記憶部１２１が記憶する表示領域情報に基づいて、対象画像における所定の領域毎に所定の条件を満たすか否かを判定する（ステップＳ４）。ここで、所定の条件とは、表示部４０によって表示された表示時間に基づく。また、第１判定部１３３による所定の条件の判定方法は、例えば、所定時間間隔Δtごとに、表示情報、例えば上述したステップＳ１において選択した画像データ上で、上述したステップＳ２において生成した時刻ｔの表示画像の表示情報表示の開始点(ｘｔ,ｙｔ)と、大きさ(ｗｔ,ｈｔ)を取得し(上述したステップＳＳ３を参照)、その大きさが一定時間不変、すなわち倍率が一定であり、開始点(ｘｔ,ｙｔ)が一定時間で所定の範囲内で有るかどうか、以下
ｘｔ－Δ＜ｘｋ＜ｘｔ＋Δ、かつ、ｙｔ－Δ＜ｙｋ＜ｙｔ＋Δ　
（ｋ＝ｔ,ｔ＋Δｔ,・・・ｎΔｔ、Δｔ：ステップ幅）
の条件を満たしているとき、「所定の条件を満たす」とする。なお、表示領域のアスペクト比が一定と仮定できる場合は、ｗｔ,ｈｔのどちらか一方を記憶すれば良い。第１判定部１３３によって所定の条件を満たすと判定された場合（ステップＳ４：Ｙｅｓ）、情報処理装置１０は、ステップＳ５へ移行する。これに対して、第１判定部１３３によって所定の条件を満たさないと判定された場合（ステップＳ４：Ｎｏ）、情報処理装置１０は、後述するステップＳ６へ移行する。
　ステップＳ５において、加算部１３４は、表示部４０によって表示された対象画像における所定の領域毎に表示頻度のカウント値を加算する加算処理を実行する。なお、図２では、所定間隔での表示情報の生成→条件判別→加算処理の順番で実施した例を示しているが、所定間隔での表示情報（ｘｋ，ｙｋ，ｗｋ，ｈｋ）を生成し、一旦記憶部１２に保持した後に再度読みだして評価する様にしても良い。その際には上記の一定時間不変の条件は、時刻ｔの前後を使用しても良い。
　〔加算処理の概要〕
　図３は、上述した図２のステップＳ５の加算処理の概要を示すフローチャートである。　　　
　加算部１３４は、表示領域情報の開始点（ｘｋ，ｙｋ）、幅（ｗｋ）および高さ（ｈｋ）を設定する（ステップＳ１０１）。以下では、画像ＤＢ２０から取得した対象画像の幅をＷ、高さをＨと表記する。対象画像をｍ×ｍ画素の領域で分割し、ｐ×ｑ個の加算用レジスタを用意する。Ｗ、Ｈ、ｍ、ｐ、ｑの関係は、以下の式（１）、（２）によって表すことができる。
　Ｗ＝ｍ×ｐ　　　・・・（１）
　Ｈ＝ｍ×ｑ　　　・・・（２）
　続いて、加算部１３４は、表示画像に対応した上記の加算用レジスタのアドレスを算出する。（ステップＳ１０２）。
　ｐｓ＝ｆｌｏｏｒ（ｘｋ／ｍ）
　ｑｓ＝ｆｌｏｏｒ（ｙｋ／ｍ）
　ｐｅ＝ｆｌｏｏｒ（（ｘｋ＋ｗｋ）／ｍ）
　ｑｅ＝ｆｌｏｏｒ（（ｙｋ＋ｈｋ）／ｍ）
　ここで、０＜ｐｉ≦ｐ、０＜ｑｓ≦ｑを満たす。
　その後、加算部１３４は、表示画像における領域毎の縦方向のアドレス（ｆｏｒ　ｐi　ｉｎ　ｒａｎｇｅ（ｐｓ，ｐｅ））を設定し（ステップＳ１０３）、表示画像における領域毎の幅方向のアドレス（ｆｏｒ　ｑi　ｉｎ　ｒａｎｇｅ（ｑｓ，ｑｅ））を設定する（ステップＳ１０４）。
　続いて、加算部１３４は、上述したステップＳ１０６で指定したレジスタＦ(ｐｉ，ｑｉ)を順次頻度のカウントアップする（ステップＳ１０５）。
　（Ｆ’（ｐｉ，ｑｉ）＝Ｆ’（ｐｉ，ｑｉ）＋１）
　続いて、第２判定部１３５は、表示画像の領域が高さ方向ｑｅに到達（ｑｉ＝ｑｅ？）したか否かを判定する（ステップＳ１０６）。第２判定部１３５によって表示画像の領域が高さ方向ｑｅに到達（ｑｉ＝ｑｅ？）したと判定された場合（ステップＳ１０６：Ｙｅｓ）、情報処理装置１０は、後述するステップＳ１０７へ移行し、第２判定部１３５によって表示画像の領域が高さ方向ｑｅに到達（ｑｉ＝ｑｅ？）していないと判定された場合（ステップＳ１０６：Ｎｏ）、情報処理装置１０は、上述したステップＳ１０４へ戻る。
　ステップＳ１０７において、第２判定部１３５は、表示画像の領域が幅方向ｐｅに到達（ｐｉ＝ｐｅ？）したか否かを判定する（ステップＳ１０７）。第２判定部１３５によって表示画像の領域が幅方向ｐｅに到達（ｐｉ＝ｐｅ？）したと判定された場合（ステップＳ１０７：Ｙｅｓ）、情報処理装置１０は、図２のメインルーチンへ戻る。これに対して、第２判定部１３５によって表示画像の領域が幅方向ｐｅに到達（ｐｉ＝ｐｅ？）していないと判定された場合（ステップＳ１０７：Ｎｏ）、情報処理装置１０は、上述したステップＳ１０３へ戻る。
　図２に戻り、ステップＳ５以降の説明を続ける。
　ステップＳ６において、情報処理装置１０は、表示部４０による表示画像の表示、すなわち次の画像の生成を行わないとき、終了判定（ステップＳ６：Ｙｅｓ）とし、後述するステップＳ７へ移行する。これに対して、表示部４０による表示画像の表示を終了しない場合（ステップＳ６：Ｎｏ）、情報処理装置１０は、上述したステップＳ２へ移行することによって表示画像の生成を行う。また、情報処理装置１０は、前記の様に、所定間隔での表示情報(ｘｋ，ｙｋ，ｗｋ，ｈｋ)を生成し、一旦記憶部１２に保持した後に、表示情報を再度読みだして評価する場合において、上述したステップＳ６において、終了しない場合（ステップＳ６：Ｎｏ）のとき、上述したステップＳ４へ戻り、判定処理を行ってもよい。
　全ての表示画像に対応するカウントアップが終了した後、ステップＳ７において、設定部１３６は、カウント値記憶部１２２が記憶する対象画像における所定の領域毎のカウント値に基づいて、注目領域を設定する。
　続いて、第２生成部１３７は、設定部１３６が生成した注目領域に関する注目領域情報を生成し（ステップＳ８）、対象画像に注目領域情報を重畳した重畳画像を生成する（ステップＳ９）。
　その後、表示制御部１３８は、第２生成部１３７が生成した重畳画像を表示部４０に表示させる（ステップＳ１０）。図４は、表示制御部１３８が表示部４０に表示させる重畳画像の一例を示す図である。図４に示すように、表示制御部１３８は、対象画像に対して設定部１３６が設定した注目領域上に、第２生成部１３７によって生成された注目領域情報Ｆ１～Ｆ６が重畳された重畳画像Ｐ１を表示部４０に表示させる。これにより、ユーザは、対象画像における注目領域を直感的に把握することができる。ステップＳ１０の後、情報処理装置１０は、本処理を終了する。
　以上説明した実施の形態１によれば、設定部１３６がカウント値記憶部１２２によって記憶された所定の領域毎の表示頻度を示すカウント値に基づいて、対象画像において注目度が高い領域を提示することができる（例えば図４）。
　また、実施の形態１によれば、設定部１３６によってカウント値が大きい領域ほど注目度が高い注目領域として設定されるため、ユーザは、注目領域毎に重要度を把握することができる。
　また、実施の形態１によれば、設定部１３６によってカウント値が所定値より大きい領域を注目領域として設定されるため、表示回数が少ない領域を注目領域から除外することができる。
　また、実施の形態１によれば、加算部１３４が第１判定部１３３によって表示時間が所定の時間より長く表示された領域のカウント値を加算するため、誤って表示された領域が注目領域として設定されることを防止することができる。
（実施の形態１の変形例１）
　次に、実施の形態１の変形例１について説明する。実施の形態１の変形例１は、加算部１３４が実行する加算処理が異なる。上述した実施の形態１では、表示履歴を記憶することによってＮ回繰り返し処理を行っていたが、実施の形態１の変形例１では、所定の時間間隔で表示頻度の加算を行う。
（実施の形態１の変形例２）
　次に、実施の形態１の変形例２について説明する。実施の形態１の変形例２では、加算部１３４が実行する加算処理が異なる。具体的には、実施の形態１の変形例２では、標本画像に対する表示画像の表示領域の倍率に応じて、表示頻度に重み付けを行って加算する。このため、以下においては、実施の形態１の変形例２に係る加算部１３４が実行する加算処理について説明する。
　〔加算処理〕
　図５は、実施の形態１の変形例２に係る加算処理の概要を示すフローチャートである。図５において、ステップＳ３０１～ステップＳ３０４、ステップＳ３０６，ステップＳ３０７は、上述した図３のステップＳ１０１～１０４およびステップＳ１０６，ステップＳ１０７それぞれに対応し、ステップＳ３０５のみ異なる。このため、以下においては、ステップＳ３０７のみについて説明する。
　ステップＳ３０５において、加算部１３４は、対象画像の全体サイズをＷ、表示画像の表示領域の幅をＷｋとしたとき、表示頻度のカウント値に表示倍率を加味することによって加算する（Ｆ’（ｐｉ，ｑｉ）＝Ｆ’（ｐｉ，ｑｉ）＋α（ｗ／ｗｋ））。この場合、加算部１３４は、カウント値に冪指数（α（ｗ／ｗｋ））βのように、表示画像の表示倍率毎にカウント値に重み付けを行ってカウントアップする。さらに、加算部１３４は、表示倍率が所定値を超えていない場合、注視でなく、画像全体を観察していると判断し、表示頻度のカウントアップを禁止してもよい。これにより、図６に示すように、表示制御部１３８は、第２生成部１３７が対象画像に対して設定部１３６が設定した注目領域上に注目領域情報Ｆ１０～Ｆ１５を重畳した重畳画像Ｐ２を表示部４０に表示させる。
　以上説明した実施の形態１の変形例２によれば、上述した実施の形態１と同様の効果を有するとともに、倍率に応じた注視度の設定に関して、より詳細な条件を設定する事ができる。
　また、実施の形態１の変形例２によれば、第１判定部１３３によって対象時刻における前記表示領域が対象時刻の前後の表示領域より小さいと判定された領域のカウント値を加算するので、ユーザが注視している領域に対して注目領域を設定することができる。
（実施の形態１の変形例３）
　次に、実施の形態１の変形例３について説明する。実施の形態１の変形例３では、加算部１３４が実行する加算処理に含まれる判別基準が異なる。具体的には、実施の形態１の変形例３では、表示部４０が現在表示している表示画像における表示領域と、この表示画像が表示された所定時間前に表示された表示画像または所定時間経過後に表示された表示画像の表示領域とを比較し、表示倍率が大きいか否かを判定することによって表示頻度のカウント値を加算する。実施の形態１の変形例３の前提としては、表示画像に係る表示領域情報（ｘｔ，ｙｔ，ｗｔ，ｈｔ）を蓄積した後に行う。そのため、以下においては、後述するステップＳ４０２で説明する様に、判定の対象とする時刻ｋの前後のデータを取得できるとしている。
　〔加算処理〕
　図７は、実施の形態１の変形例３に係る加算処理の概要を示すフローチャートである。図７において、ステップＳ４０３～ステップＳ４０５、ステップＳ４０７，ステップＳ４０８は、上述した図３のステップＳ１０２～ステップＳ１０４、ステップＳ１０６およびステップＳ１０７それぞれに対応する。このため、以下においては、ステップＳ４０１、ステップＳ４０２およびステップＳ４０６について説明する。
　ステップＳ４０１において、加算部１３４は、対象時刻の表示領域情報の開始点（ｘｋ，ｙｋ）、幅（ｗｋ）および高さ（ｈｋ）、対象時刻より前のｕ回前の幅（ｗｋ-ｕ）、対象時刻より後のｖ回後の幅（ｗｋ＋ｖ）を設定する。
　続いて、第２判定部１３５は、対象時刻の幅ｗｋがｕ回前の幅ｗｋ-ｕより小さく（ｗｋ＜ｗｋ-ｕ）、かつ、対象時刻の幅ｗｋがｖ回後の幅ｗｋ＋ｖより小さい（ｗｋ＜ｗｋ＋ｖ）場合（ステップＳ４０２：Ｙｅｓ）、情報処理装置１０は、ステップＳ４０３へ移行する。この場合、例えば、第２判定部１３５は、ユーザが標本画像に対する表示領域の倍率変更操作を、４倍→１０倍→４倍と行った場合、１０倍表示を注目したと想定できるので、加算部１３４は、ステップＳ４０５へ移行する。これに対して、第２判定部１３５は、対象時刻の幅ｗｋがｕ回前の幅ｗｋ-ｕより小さくなく（ｗｋ＜ｗｋ-ｕ）、かつ、対象時刻の幅ｗｋがｖ回後の幅ｗｋ＋ｖより小さくない（ｗｋ＜ｗｋ＋ｖ）場合（ステップＳ４０２：Ｎｏ）、情報処理装置１０は加算処理の終了し、図２のメインルーチンへ戻る。例えば、第２判定部１３５によってユーザが標本画像に対する表示領域の倍率変更操作を、４倍→１０倍→２０倍という操作を行ったと判定された場合、ユーザが注目したと想定できる状態が２０倍観察時である。このため、加算部１３４は、第２判定部１３５によって対象時刻の幅Ｗｋが１０倍観察時と判定された場合、カウント値を加算することなく、加算処理の終了し、図２のメインルーチンへ戻る。
　このように、加算部１３４は、第２判定部１３５の判定結果に基づいて、同じ１０倍観察の状態でも注視の有無の差が現れるため、表示領域の倍率情報だけなく、その前後関係の倍率情報に基づいて、注視度を設定することによって表示頻度のカウント値を加算する。
　ステップＳ４０６において、加算部１３４は、標本画像の全体サイズをＷ、表示画像の表示領域の幅をＷｋとしたとき、表示頻度のカウント値に表示倍率を加味することによって加算する（Ｆ’（ｐｉ，ｑｉ）＝Ｆ’（ｐｉ，ｑｉ）＋α×（Ｗ／Ｗｋ））。これにより、図８に示すように、表示制御部１３８は、対象画像に対して設定部１３６が設定した注目領域上に注目領域情報Ｆ２０を重畳した重畳情報Ｐ３を表示部４０に表示させる。ステップＳ４０６の後、加算部１３４は、ステップＳ４０５へ移行する。
　以上説明した実施の形態１の変形例３によれば、上述した実施の形態１と同様の効果を有するとともに、倍率の変更プロセスに基づき、より詳細な注視領域推定の条件を設定する事ができる。
　また、実施の形態１の変形例３によれば、加算部１３４が表示領域の大きさに応じてカウント値に加算する値に重み付けを行って加算するため、ユーザの注視度に応じたカウント値を加算することができる。
（実施の形態１の変形例４）
　次に、実施の形態１の変形例４について説明する。実施の形態１の変形例４では、加算部１３４が実行する加算処理が異なる。具体的には、実施の形態１の変形例４では、過去ｎ個のデータの偏差に応じて表示頻度のカウント値を加算する。このため、以下においては、実施の形態１の変形例４に係る加算部１３４が実行する加算処理について説明する。
　〔加算処理〕
　図９は、実施の形態１の変形例４に係る加算処理の概要を示すフローチャートである。図９において、ステップＳ５０３～ステップＳ５０８は、上述したステップＳ４０３～ステップＳ４０８それぞれに対応し、ステップＳ５０１およびステップＳ５０２のみ異なる。以下においては、ステップＳ５０１およびステップＳ５０２について説明する。
　図９に示すように、加算部１３４は、対象時刻の表示領域情報の開始点（ｘｋ，ｙｋ），（ｘｋ-１，ｙｋ-１）、・・・，（ｘｋ-ｎ，ｙｋ-ｎ）、幅（ｗｋ），（ｗｋ‐１），・・・，（ｗｋ-ｎ）および高さ（ｈｋ），（ｈｋ‐１），・・・，（ｈｋ-ｎ）を設定する（ステップＳ５０１）。
　続いて、第２判定部１３５は、過去ｎ個のデータの偏差の合計が一定値以下（Ｔｈｒ１，Ｔｈｒ１）であるか否かを判定する（ステップＳ５０２）。第２判定部１３５によって過去ｎ個のデータの偏差の合計が一定値以下であると判定された場合（ステップＳ５０２：Ｙｅｓ）、情報処理装置１０は、ステップＳ５０３へ移行する。これに対して、第２判定部１３５によって過去ｎ個のデータの偏差の合計が一定値以下でないと判定された場合（ステップＳ５０２：Ｎｏ）、情報処理装置１０は、上述した図２のメインルーチンへ戻る。
　このように、加算部１３４は、第２判定部１３５の判定結果に基づいて、同じ１０倍観察の状態でも注視したかいないかの差が現れるため、表示領域の倍率情報だけなく、その前後関係の倍率情報に基づいて、注視度を仮定することによって表示頻度のカウント値を加算する。これにより、図１０に示すように、表示制御部１３８は、対象画像に対して設定部１３６が設定した注目領域上に注目領域情報Ｆ３０を重畳した重畳情報Ｐ４を表示部４０に表示させる。
　以上説明した実施の形態１の変形例４によれば、上述した実施の形態１と同様の構成を有するとともに、表示領域の偏差を考慮した詳細な注視領域推定の条件を設定する事ができる。
　また、実施の形態１の変形例４によれば、加算部１３４が第１判定部１３３によって偏差が所定値以下であると判定された領域のカウント値を加算するので、ユーザの注視した領域に対して確実にカウント値を加算することができる。
（実施の形態２）
　次に、実施の形態２について説明する。上述した実施の形態１では、表示頻度のカウント値に基づいて、注目領域を設定することによって対象画像上に注目領域を重畳表示していたが、実施の形態２では、対象画像の特徴量の解析を行った後に特徴量による画像のセグメンテーションを行い、注目領域に類似する類似領域を抽出する。以下においては、実施の形態２に係る情報処理システムの構成について説明する。なお、上述した実施の形態１に係る情報処理システムと同一の構成には同一の符号を付して詳細な説明は省略する。
　〔情報処理システムの構成〕
　図１１は、実施の形態２に係る情報処理システムの機能構成を示すブロック図である。図１１に示す情報処理システム１Ａは、上述した実施の形態１に係る情報処理システム１の情報処理装置１０に換えて、情報処理装置１０Ａを備える。
　〔情報処理装置の構成〕
　情報処理装置１０Ａは、上述した実施の形態１に係る制御部１３に換えて、制御部１３Ａを備える。さらに、制御部１３Ａは、上述した実施の形態１に係る制御部１３の構成に加えて、画像解析部１４１と、特徴量解析部１４２と、抽出部１４３と、をさらに備える。
　画像解析部１４１は、取得部１１が取得した標本画像に対して周知の特徴量を解析する解析処理を行って、標本画像に対して特徴量毎のセグメンテーションを行う。
　特徴量解析部１４２は、設定部１３６が設定した複数の注目領域の各々の特徴量を解析する。
　抽出部１４３は、画像解析部１４１が解析した特徴量毎のセグメンテーションと特徴量解析部１４２が解析した複数の注目領域の各々の特徴量との比較し、注目領域に類似する類似領域を抽出する。
　このように構成された情報処理装置１０Ａは、まず、取得部１１が操作部３０の操作に応じた画像データを画像ＤＢ２０から出力する。具体的には、図１２に示すように、取得部１１が画像データに対応する対象画像Ｐ１０を取得する。
　続いて、画像解析部１４１は、取得部１１が取得した対象画像に対して周知の特徴量を解析する解析処理を行って、対象画像に対して特徴量毎のセグメンテーションを行う。具体的には、図１３に示すように、画像解析部１４１は、取得部１１が取得した対象画像Ｐ１０に対して周知の特徴量を解析する解析処理を行って、対象画像Ｐ１０に対して特徴量毎のセグメンテーションを行った画像Ｐ１１を生成する。
　その後、特徴量解析部１４２は、設定部１３６が設定した複数の注目領域の各々の特徴量を解析する。具体的には、図１４に示すように、設定部１３６が設定した対象画像Ｐ１０における複数の注目領域Ｆ３０～Ｆ３２の各々の特徴量を解析する。図１４では、模式的に矩形状の枠で注目領域を表しているが、これに限定されることなく、例えば注目領域における表示頻度のカウント値が高いほど濃度が濃くなるように表示してもよい。
　続いて、抽出部１４３は、画像解析部１４１が解析した特徴量毎のセグメンテーションと特徴量解析部１４２が解析した複数の注目領域の各々の特徴量との比較し、注目領域に類似する類似領域を抽出する。具体的には、図１５に示すように、抽出部１４３は、対象画像Ｐ１０において、注目領域Ｚ１に類似する類似領域Ｚ１１～Ｚ１５を抽出する。この場合、表示制御部１３８は、抽出部１４３が抽出した類似領域Ｚ１１～Ｚ１５を対象画像Ｐ１３に重畳表示することによって表示部４０に表示させてもよい。なお、表示制御部１３８は、抽出部１４３が抽出した類似領域Ｚ１１～Ｚ１５の各々を表示部４０に所定の時間毎に順次全画面表示させてもよい。
　以上説明した実施の形態２によれば、簡易な操作で画像の注目領域を提示することができる。
　また、実施の形態２によれば、抽出部１４３が画像解析部１４１によって解析された特徴量毎のセグメンテーションと特徴量解析部１４２が解析した複数の注目領域の各々の特徴量との比較し、注目領域に類似する類似領域を抽出するので、対象画像に対する読影を行う領域の見逃しを防止することができるうえ、類似領域を優先的に読影するため、対象画像に対する読影を効率的に行うことができる。
（実施の形態３）
　次に、実施の形態３について説明する。実施の形態３では、注目領域の特徴量を解析し、この解析結果をクエリ（Ｑｕｅｒｙ）として画像データベースから検索を行う。以下においては、実施の形態３に係る情報処理システムの構成について説明する。なお、上述した実施の形態１，２に係る情報処理システム１，１Ａと同一の構成には同一の符号を付して詳細な説明は省略する。
　〔情報処理システムの構成〕
　図１６は、実施の形態３に係る情報処理システムの機能構成を示すブロック図である。図１６に示す情報処理システム１Ｂは、上述した実施の形態１に係る情報処理システム１の情報処理装置１０に換えて、情報処理装置１０Ｂを備える。さらに、特徴量が解析された複数の画像データを記憶する特徴解析済画像データベース５０（以下、「特徴解析済画像ＤＢ５０」という）をさらに備える。
　〔情報処理装置の構成〕
　情報処理装置１０Ｂは、上述した実施の形態２に係る制御部１３Ａの構成から画像解析部１４１および抽出部１４３に換えて、クエリ生成部１５０と、検索部１５１を備え、それ以外は、制御部１３Ａと同様の構成を有する。
　クエリ生成部１５０は、特徴量解析部１４２が解析した注目領域特徴量に基づいて、複数の画像データから類似する画像データを検索するためのクエリを生成する。具体的には、クエリ生成部１５０は、特徴量解析部１４２が解析した注目領域特徴量の特徴量毎にクエリを生成する。
　検索部１５１は、クエリ生成部１５０が生成したクエリに基づいて、特徴解析済画像ＤＢ５０から複数の類似画像データを検索することによって取得する。
　このように構成された情報処理装置１０Ｂは、検索部１５１がクエリ生成部１５０によって生成されたクエリに基づいて、特徴解析済画像ＤＢ５０から複数の類似画像データを検索することによって、注目領域の特徴量に類似する類似画像データを取得する。その後、表示制御部１３８は、検索部１５１が取得した類似画像データに対応する類似画像を表示部４０に表示させる。
　以上説明した実施の形態３によれば、上述した実施の形態１と同様の効果を有するうえ、簡易な操作で画像の注目領域を提示することができる。
　また、実施の形態３によれば、検索部１５１がクエリ生成部１５０によって生成されたクエリに基づいて、特徴解析済画像ＤＢ５０から複数の類似画像データを検索することによって、注目領域の特徴量に類似する類似画像データを取得するため、類似画像データに対応する類似画像と見比べながら読影することができる。
（実施の形態４）
　次に、実施の形態４について説明する。実施の形態４では、顕微鏡が撮像した画像データに対応する画像における表示領域の表示頻度に基づいて、注目領域を設定する。以下においては、実施の形態４に係る情報処理システムの構成について説明する。なお、上述した実施の形態１に係る情報処理システム１と同一の構成には同一の符号を付して詳細な説明を省略する。
　〔情報処理システムの構成〕
　図１７は、実施の形態４に係る情報処理システムの機能構成を示す概略図である。図１７に示す情報処理システム１Ｃは、情報処理装置１０Ｃと、表示部４０と、顕微鏡１００と、を備える。
　情報処理装置１０Ｃは、顕微鏡１００から画像データを取得し、取得した画像データに対応する画像を表示部４０に表示させる。なお、情報処理装置１０Ｃの詳細な構成は、後述する。
　顕微鏡１００は、略Ｃ字状をなす筐体部１０１と、筐体部１０１に対して３次元方向に移動可能に取り付けられたステージ１０２と、互いに観察倍率が異なる複数の対物レンズ１０３を有し、ユーザの操作に応じて所望の対物レンズ１０３を配置するレボルバ１０４と、対物レンズ１０３を経由してステージ１０２上に載置された標本を撮像するＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等で構成された撮像部１０５と、対物レンズ１０３を経由して標本の観察像を観察する接眼部１０６と、ユーザの操作に応じてステージ１０２を３次元方向に移動させる操作部１０７と、基準位置からのステージ１０２の位置を検出する位置検出部１０８は、エンコーダ等を用いて構成され、顕微鏡１００が標本を観察する観察倍率を示す倍率情報を検出する倍率検出部１０９と、を備える。なお、実施の形態４では、顕微鏡１００が観察装置として機能する。さらに、実施の形態４では、対物レンズ１０３が観察光学系として機能する。
　〔情報処理装置の構成〕
　次に、情報処理装置１０Ｃの詳細な構成について説明する。情報処理装置１０Ｃは、上述した実施の形態１に係る取得部１１、記憶部１２および制御部１３に換えて、取得部１１Ｃ、記憶部１２Ｃおよび制御部１３Ｃを備える。
　取得部１１Ｃは、顕微鏡１００の撮像部１０５から画像データを取得する。さらに、取得部１１Ｃは、位置検出部１０８からステージ１０２の位置に関する位置情報と、倍率検出部１０９から倍率情報と、を指示信号として取得する。
　記憶部１２Ｃは、上述した実施の形態１に係る記憶部１２の構成に加えて、視野情報記憶部１２４をさらに備える。視野情報記憶部１２４は、顕微鏡１００によって選択される対象物の選択位置と、少なくとも顕微鏡１００の視野の大きさを示す視野情報と、を記憶する。さらに、視野情報には、視野情報記憶部１２４は、被写界を基準とした座標系における前記視野の位置を表す座標情報が含まれる。
　制御部１３Ｃは、上述した実施の形態１に係る制御部１３の算出部１３２および第２生成部１３７に換えて、算出部１３２Ｃおよび第２生成部１３７Ｃを備える。
　算出部１３２Ｃは、位置検出部１０８が検出したステージ１０２の位置情報と、倍率検出部１０９が検出した倍率情報と、に基づいて、撮像部１０５が生成した画像データに対応する画像の表示領域（視野領域）を算出し、この算出結果を表示情報記憶部１２１に記憶する。
　第２生成部１３７Ｃは、算出部１３２Ｃが算出した算出結果に基づいて、第１生成部１３１が生成したライブビュー画像上に設定部１３６によって設定された注目領域を重畳した重畳画像を生成する。
　このように構成された情報処理システム１Ｃが実行する表示領域の表示頻度のカウント値の加算方法について説明する。図１８は、ステージ１０２を模式的に示す図である。図１９は、ステージ１０２に対応するレジスタを模式的に示す図である。図２０は、スライドガラス１０１Ａ上におけるカバーガラス１０１Ｂの位置を模式的に示す図である。
　図１８および図１９に示すように、算出部１３２Ｃが算出した物体面上の表示領域の開始基準位置の座標を（Ｘｓ，Ｙｓ）とし、表示領域の終了位置の座標を（Ｘ，Ｙ）＝（Ｘｅ，Ｙｅ）とし、表示頻度を加算するためのレジスタの開始位置の座標を（０，０）＝（ｐ，ｑ）とし、レジスタの終了位置の座標を（ｐｅ，ｑｅ）とした場合、図２０に示すように、スライドガラス１０１Ａ上のカバーガラス１０１Ｂを含むように余白を設けて設定する。
　算出部１３２Ｃは、位置検出部１０８が検出したステージ１０２の位置情報に基づいて、ステージ１０２と撮像部１０５との位置関係に基づく光学中心軸に相当する物体面（対象物）上の位置を表示領域情報または対象物の選択位値として算出することによって特定する。さらに、算出部１３２Ｃは、倍率検出部１０９が検出した倍率情報に基づいて、被写界を基準とした座標系における光学中心位置からの視野角（表示領域）に相当する物体面上の選択位置を表示領域情報として算出することによって特定する。これにより、加算部１３４は、算出部１３２Ｃが取得した物体面上の表示領域情報（観察視野情報）に基づいて、上述した実施の形態１および実施の形態１に係る変形例１～４のいずれか一つの加算処理を行うことによって表示頻度のカウント値を加算する加算処理を行う。
　その後、設定部１３６は、加算部１３４が加算したカウント値に基づいて、標本全体の中で、どの位置の表示頻度が高く、注目されたことを示す注目領域を設置する。具体的には、設定部１３６は、加算部１３４が加算したカウント値に基づいて、標本全体に対応する座標系において、どの位置の表示頻度が高く、注目度が高い領域を注目されたことを示す注目領域として設定する。
　続いて、図２１に示すように、第２生成部１３７Ｃは、標本全体を撮影した対象画像上に注目領域Ｆ１０１～Ｆ１０６を重畳した重畳画像Ｐ１００を生成する。この場合、図１５に示すように、第２生成部１３７Ｃは、注目領域のカウント値が高いほど他の画素よりも濃くなるように重畳画像Ｐ１００を生成する。これにより、ユーザや他の観察者は、ユーザが注目した注目領域を直感的に把握することができる。
　以上説明した実施の形態４によれば、簡易な操作で標本画像の注目領域を提示することができる。
（実施の形態４の変形例１）
　次に、実施の形態４の変形例１について説明する。実施の形態４の変形例１では、同一のスライドを再度観察する場合、撮像部１０５が生成した画像データに対応するライブビュー画像に注目領域を表示部４０に重畳表示させる。なお、上述した実施の形態４に係る情報処理システム１Ｄと同一の部分には同一の符号を付して詳細な説明は省略する。
　〔情報処理システムの構成〕
　図２２は、実施の形態４の変形例１に係る情報処理システムの機能構成を示す概略図である。図２２に示す情報処理システム１Ｄは、上述した実施の形態４に係る情報処理システム１Ｃの情報処理装置１０Ｃに換えて、情報処理装置１０Ｄを備える。
　〔情報処理装置の構成〕
　情報処理装置１０Ｄは、上述した実施の形態４に係る情報処理装置１０Ｃの記憶部１２に換えて、記憶部１２Ｄを備える。記憶部１２Ｄは、上述した実施の形態４に係る記憶部１２の構成に加えて、標本画像と、ステージの位置情報と、表示頻度のカウント値と、を関係付けて記憶する全体画像記憶部１２５を有する。
　このように構成された情報処理システム１Ｄでは、物体面が標本の位置でなく、ステージ１０２の位置を基準としているため、標本を含むスライドガラス１０１Ａをステージ１０２から取り外しても後に、再度ステージ１０２上に載置した場合において、位置ずれが生じているときであっても、全体画像記憶部１２５が対象画像（標本画像）と、ステージの位置情報と、表示頻度のカウント値と、を関係付けて記憶しているので、再度、同一の標本を観察した場合、表示部４０のライブビュー画像上に注目領域を重畳して表示することができる。
　以上説明した実施の形態４の変形例１によれば、簡易な操作で標本画像の注目領域を提示することができる。
（実施の形態４の変形例２）
　次に、実施の形態４の変形例２について説明する。実施の形態４の変形例２では、標本画像の全体を用いて位置合わせを行うことによってライブビュー画像上に注目領域を表示部４０に重畳表示させる。なお、上述した実施の形態４に係る情報処理システム１Ｄと同一の部分には同一の符号を付して詳細な説明は省略する。
　〔情報処理システムの構成〕
　図２３は、実施の形態４の変形例２に係る情報処理システムの機能構成を示す概略図である。図２３に示す情報処理システム１Ｅは、上述した実施の形態４の変形例１に係る情報処理システム１Ｄの情報処理装置１０Ｄに換えて、情報処理装置１０Ｅを備える。
　〔情報処理装置の構成〕
　情報処理装置１０Ｅは、上述した実施の形態４の変形例１に係る情報処理装置１０Ｄの制御部１３Ｃに換えて、制御部１３Ｅを備える。制御部１３Ｅは、上述した実施の形態４の変形例１に係る制御部１３Ｃの構成に加えて、位置合わせ処理部１６０をさらに有する。
　位置合わせ処理部１６０は、取得部１１Ｃが顕微鏡１００から取得した画像データに対応する画像と、全体画像記憶部１２５が記憶する前回観察時の全体画像データに対応する標本画像との位置合わせを行う位置合わせ処理を行う。
　このように構成された情報処理システム１Ｅは、再度、ユーザが標本を再観察した場合、カウント値記憶部１２２が記憶する表示領域の表示頻度のカウント値に基づいて、再観察時の物体面の位置にライブビュー画像との表示位置を対応させるため、再観察時の表示領域を取得することで、再観察時のライブビュー画像上に注目領域を適切な位置に重畳表示することができる。
　以上説明した実施の形態４の変形例２によれば、簡易な操作で標本画像の注目領域を提示することができる。
（実施の形態４の変形例３）
　次に、実施の形態４の変形例３について説明する。実施の形態４の変形例３では、観察像に注目領域を重畳する。なお、上述した実施の形態４に係る情報処理システム１Ｃと同一の部分には同一の符号を付して詳細な説明は省略する。
　〔情報処理システムの構成〕
　図２４は、実施の形態４の変形例３に係る情報処理システムの機能構成を示す概略図である。図２４に示す情報処理システム１Ｆは、上述した実施の形態４に係る顕微鏡１００に換えて、顕微鏡１００Ｆを備える。
　顕微鏡１００Ｆは、上述した実施の形態４に係る顕微鏡１００の構成に加えて、中間鏡筒１１０と、中間鏡筒１１０に設けられ、対物レンズ１０３が結像した観察像を撮像部１０５および接眼部１０６へ透過するとともに、後述する表示部６０から出射された画像を撮像部１０５および接眼部１０６へ反射するハーフミラー１１１と、制御部１３Ｃの制御のもと、ハーフミラー１１１へ向けて画像を出射する表示部６０と、を備える。
　このように構成された情報処理システム１Ｆは、物体面の表示領域における表示頻度のカウント値の対応が取れているため、再度、標本の観察時に表示領域（観察視野）と倍率情報とを取得することで、接眼レンズ１０６を通して観察される観察像上に注目領域を直接的に重畳表示することができる。
　以上説明した実施の形態４の変形例３によれば、簡易な操作で観察像の注目領域を提示することができる。
（実施の形態５）
　次に、実施の形態５について説明する。上述した実施の形態１～４では、２次元の標本画像等の平面画像に対する注目領域を設定したが、実施の形態５では、ＣＴ画像、ＭＲＩ画像および３次元の標本画像等の立体画像に対する注目領域を設定する。なお、上述した実施の形態１に係る情報処理システム１と同一の構成には同一の符号を付して詳細な説明は省略する。
　〔情報処理システムの構成〕
　図２５は、実施の形態５に係る情報処理システムの機能構成を示すブロック図である。図２５に示す情報処理システム１Ｇは、上述した実施の形態１に係る情報処理システム１の画像ＤＢ２０および情報処理装置１０に換えて、ＣＴ画像、ＭＲＩ画像および３次元の標本画像等の複数の立体画像データを記憶する画像ＤＢ２０Ｇおよび情報処理装置１０Ｇを備える。
　〔情報処理装置の構成〕
　情報処理装置１０Ｇは、上述した実施の形態１に係る情報処理装置１０の制御部１３に換えて、制御部１３Ｇを備える。制御部１３Ｇは、上述した実施の形態１に係る加算部１３４に換えて、加算部１３４Ｇを備える。
　加算部１３４Ｇは、三次元画像の表示頻度のカウント値をカウントアップすることによって加算する。加算部１３４Ｇは、３次元画像に対して、上述した実施の形態１～４と同様の処理を行う。
　このように構成された情報処理装置１０Ｇは、図２６に示すように、２次元の断面像が断層方向に複数積み重なっているＣＴ画像の場合、加算部１３４Ｇが断面像Ｆ３００毎に表示頻度のカウント値を加算する（図２７を参照）。この場合、図２８に示すように、表示制御部１３８は、ＣＴ画像上に注目領域Ｑ１００を立体的に重畳表示する。
　以上説明した実施の形態５によれば、簡易な操作で標本画像の注目領域を提示することができる。
（その他の実施の形態）
　上述した実施の形態１～５に開示されている複数の構成要素を適宜組み合わせることによって、種々の実施の形態を形成することができる。例えば、上述した実施の形態１～５に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１～５で説明した構成要素を適宜組み合わせてもよい。
　また、実施の形態１～５において、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
　また、実施の形態１～５に係る情報処理装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
　また、実施の形態１～５に係る情報処理装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、実施の形態１～６に係る情報処理装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するようにしてもよい。
　また、実施の形態１～５では、伝送ケーブルを経由して各種機器から信号を送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、各機器から信号を送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。
　なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
　さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細、および代表的な実施の形態に限定されるものではない。従って、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
　１，１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ，１Ｆ，１Ｇ　情報処理システム
　１０，１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ，１０Ｅ，１０Ｇ　情報処理装置
　１１，１１Ｃ　取得部
　１２，１２Ｃ，１２Ｄ　記憶部
　１３，１３Ａ，１３Ｃ，１３Ｅ，１３Ｇ　制御部
　２０　画像ＤＢ
　３０　操作部
　４０，６０　表示部
　５０　特徴解析済画像ＤＢ
　１００，１００Ｆ　顕微鏡
　１０１　筐体部
　１０１Ａ　スライドガラス
　１０１Ｂ　カバーガラス
　１０２　ステージ
　１０３　対物レンズ
　１０４　レボルバ
　１０５　撮像部
　１０６　接眼部
　１０７　操作部
　１０８　位置検出部
　１０９　倍率検出部
　１１０　中間鏡筒
　１１１　ハーフミラー
　１２１　表示情報記憶部
　１２２　カウント値記憶部
　１２３　プログラム記録部
　１２４　視野情報記憶部
　１２５　全体画像記憶部
　１３１　第１生成部
　１３２，１３２Ｃ　算出部
　１３３　第１判定部
　１３４　第２判定部
　１３５，１３５Ｇ　加算部
　１３６　設定部
　１３７，１３７Ｃ　第２生成部
　１３８　表示制御部
　１４１　画像解析部
　１４２　特徴量解析部
　１４３　抽出部
　１５１　検索部
　１６０　位置合わせ処理部

Claims (21)

  1. 　外部装置から入力される画像データと、外部装置から入力される指示信号であって、前記画像データに対応する画像における所定の表示領域を選択する指示信号と、に基づいて、前記画像データに対応する第１画像を用いて、前記指示信号によって選択される前記表示領域に対応する表示画像を生成する第１生成部と、
    　前記第１画像における前記表示領域の位置を示す表示領域情報と、前記第１画像における所定の領域毎の表示頻度を示すカウント値と、を記憶する記憶部と、
    　前記表示領域情報が所定の条件を満たすか否かを判定する第１判定部と、
    　前記第１判定部が前記所定の条件を満たすと判定した前記領域の前記カウント値に所定の値を加算する加算部と、
    　前記カウント値に基づいて、前記第１画像において注目度が高い領域を注目領域として設定する設定部と、
    　を備える、
    　情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記表示領域情報は、前記第１画像を基準とした座標系で前記表示画像の位置を表す座標情報と前記表示画像の大ききを表す情報である、
    　情報処理装置。
  3. 　請求項１または２に記載の情報処理装置であって、
    　前記設定部は、
    　前記カウント値が大きい領域ほど注目度が高い前記注目領域として設定する、
    　情報処理装置。
  4. 　請求項１～３のいずれか一つに記載の情報処理装置であって、
    　前記設定部は、
    　前記カウント値の値が所定値より大きい領域を前記注目領域として設定する、
    　情報処理装置。
  5. 　請求項１～４のいずれか一つに記載の情報処理装置であって、
    　前記表示画像を表示部に表示させる表示制御部をさらに備え、
    　前記所定の条件は、
    　前記表示部において表示された表示時間であり、
    　前記第１判定部は、
    　前記表示が所定時間、一定の大きさで所定の移動範囲内で表示されたか否かを判定し、
    　前記加算部は、
    　前記第１判定部によって前記表示時間が所定の時間より長く表示されたと判定された前記領域の前記カウント値を加算する、
    　情報処理装置。
  6. 　請求項１～４のいずれか一つに記載の情報処理装置であって、
    　前記表示画像を表示部に表示させる表示制御部と、
    　前記第１判定部と異なる所定の条件を判定する第２判定部と、
    　をさらに備える、
    　情報処理装置。
  7. 　請求項６に記載の情報処理装置であって、
    　前記第２判定部は、
    　前記所定の領域毎に、対象時刻における前記表示領域が対象時刻の前後の表示領域より大きいか否かを判定し、
    　前記加算部は、
    　前記第２判定部によって対象時刻における前記表示領域が対象時刻の前後の表示領域より大きいと判定された前記領域の前記カウント値を加算する、
    　情報処理装置。
  8. 　請求項６に記載の情報処理装置であって、
    　前記加算部は、
    　前記所定の値に対して、前記表示領域が小さいほど重み付けを行って前記カウント値に加算する、
    　情報処理装置。
  9. 　請求項６に記載の情報処理装置であって、
    　前記第２判定部の所定の条件は、
    　前記表示画像の表示位置および前記表示画像の表示領域の大きさの偏差、または所定時間における前記表示画像の表示位置および前記表示画像の表示領域の大きさの偏差であり、　前記加算部は、
    　前記第２判定部によって前記偏差が所定値以下であると判定された前記領域の前記カウント値を加算する、
    　情報処理装置。
  10. 　請求項１～９のいずれか一つに記載の情報処理装置であって、
    　前記画像データは、
    　２次元の平面画像データまたは３次元の立体画像データである、
    　情報処理装置。
  11. 　請求項１～１０のいずれか一つに記載の情報処理装置であって、
    　前記第１画像の特徴量を解析することによって特徴量毎にセグメンテーションを行う画像解析部と、
    　前記注目領域の注目領域特徴量を解析する特徴量解析部と、
    　前記注目領域特徴量と前記特徴量とに基づいて、前記第１画像から前記注目領域に類似する領域を抽出する抽出部と、
    　をさらに備える、
    　情報処理装置。
  12. 　請求項１１に記載の情報処理装置であって、
    　前記注目領域特徴量に基づいて、複数の画像データから類似する画像データを検索するためのクエリを生成するクエリ生成部と、
    　前記クエリに基づいて、複数の画像データを記憶する画像データベースから画像を検索する検索部をさらに備える、
    　情報処理装置。
  13. 　請求項１～１２のいずれか一つに記載の情報処理装置であって、
    　前記表示画像に前記注目領域を重畳して重畳画像を生成する第２生成部をさらに備える、
    　情報処理装置。
  14. 　請求項１～１３のいずれか一つに記載の情報処理装置であって、
    　前記指示信号に基づいて、前記表示領域の位置を示す表示領域情報を算出する算出部をさらに備える、
    　情報処理装置。
  15. 　請求項１４に記載の情報処理装置であって、
    　前記指示信号は、
    　顕微鏡に設けられ位置検出部が検出した基準位置からのステージの位置を示す位置情報と、
    　前記顕微鏡に設けられた倍率検出部が検出した標本を観察する観察倍率を示す倍率情報と、
    　を含む、
    　情報処理装置。
  16. 　対象物を観察する観察装置を備える情報処理システムであって、
    　前記観察装置によって選択される前記対象物の選択位置と、少なくとも前記観察装置の視野の大きさを示す視野情報と、所定の領域毎の表示頻度を示すカウント値と、を記憶する記憶部と、
    　前記視野情報が所定の条件を満たすか否かを判定する第１判定部と、
    　前記第１判定部が前記所定の条件を満たすと判定した前記領域の前記カウント値に所定の値を加算する加算部と、
    　前記カウント値に基づいて、前記対象物に対応する座標系において注目度が高い領域を注目領域として設定する設定部と、
    　を備える、
    　情報処理システム。
  17. 　請求項１６に記載の情報処理システムであって、
    　前記視野情報は、
    　被写界を基準とした座標系における前記視野の位置を表す座標情報をさらに含む、
    　情報処理システム。
  18. 　請求項１６に記載の情報処理システムであって、
    　前記対象物の観察像に前記注目領域に係る情報を表示部に表示させる表示制御部をさらに備える、
    　情報処理システム。
  19. 　請求項１６に記載の情報処理システムであって、
    　観察光学系と、
    　前記観察光学系が結像する前記対象物の観察像に前記注目領域に係る情報を重畳する表示制御部と、
    　をさらに備える、
    　情報処理システム。
  20. 　情報処理装置が実行する情報処理方法であって、
    　外部装置から入力される画像データと、外部装置から入力される指示信号であって、前記画像データに対応する画像における所定の表示領域を選択する指示信号と、に基づいて、前記画像データに対応する第１画像を用いて前記指示信号によって選択される前記表示領域に対応する表示画像を生成し、
    　前記第１画像における前記表示領域の位置を示す表示領域情報と、前記第１画像における所定の領域毎の表示頻度を示すカウント値と、を記憶する記憶部から前記表示領域情報を取得し、
    　前記表示領域情報が所定の条件を満たすか否かを判定し、
    　前記所定の条件を満たすと判定した前記領域の前記カウント値をカウントアップし、
    　前記カウント値に基づいて、前記第１画像において注目度が高い領域を注目領域として設定する、
    　情報処理方法。
  21. 　情報処理装置に、
    　外部装置から入力される画像データと、外部装置から入力される指示信号であって、前記画像データに対応する画像における所定の表示領域を選択する指示信号と、に基づいて、前記画像データに対応する第１画像を用いて前記指示信号によって選択される前記表示領域に対応する表示画像を生成し、
    　前記第１画像における前記表示領域の位置を示す表示領域情報と、前記第１画像における所定の領域毎の表示頻度を示すカウント値と、を記憶する記憶部から前記表示領域情報を取得し、
    　前記表示領域情報が所定の条件を満たすか否かを判定し、
    　前記所定の条件を満たすと判定した前記領域の前記カウント値をカウントアップし、
    　前記カウント値に基づいて、前記第１画像において注目度が高い領域を注目領域として設定する、
    　プログラム。
PCT/JP2019/006369 2019-02-20 2019-02-20 情報処理装置、情報処理システム、情報処理方法およびプログラム WO2020170369A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/006369 WO2020170369A1 (ja) 2019-02-20 2019-02-20 情報処理装置、情報処理システム、情報処理方法およびプログラム
JP2021501210A JP7219804B2 (ja) 2019-02-20 2019-02-20 情報処理装置、情報処理システム、情報処理方法およびプログラム
US17/395,666 US11972619B2 (en) 2019-02-20 2021-08-06 Information processing device, information processing system, information processing method and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/006369 WO2020170369A1 (ja) 2019-02-20 2019-02-20 情報処理装置、情報処理システム、情報処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/395,666 Continuation US11972619B2 (en) 2019-02-20 2021-08-06 Information processing device, information processing system, information processing method and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2020170369A1 true WO2020170369A1 (ja) 2020-08-27

Family

ID=72144543

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006369 WO2020170369A1 (ja) 2019-02-20 2019-02-20 情報処理装置、情報処理システム、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US11972619B2 (ja)
JP (1) JP7219804B2 (ja)
WO (1) WO2020170369A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202173A (ja) * 2004-01-16 2005-07-28 Canon Inc 画像表示方法
JP2011215660A (ja) * 2010-03-31 2011-10-27 Hitachi Ltd 注目画像閲覧表示方法
JP2016139397A (ja) * 2015-01-23 2016-08-04 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、画像表示装置およびコンピュータプログラム
JP2017046340A (ja) * 2015-08-28 2017-03-02 パナソニックＩｐマネジメント株式会社 画像出力装置、画像送信装置、画像受信装置、画像出力方法および記録媒体
US20180137119A1 (en) * 2016-11-16 2018-05-17 Samsung Electronics Co., Ltd. Image management method and apparatus thereof

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0229625D0 (en) 2002-12-19 2003-01-22 British Telecomm Searching images
US8126267B2 (en) * 2007-02-05 2012-02-28 Albany Medical College Methods and apparatuses for analyzing digital images to automatically select regions of interest thereof
WO2011074198A1 (ja) 2009-12-14 2011-06-23 パナソニック株式会社 ユーザインタフェース装置および入力方法
FR2982384B1 (fr) 2011-11-04 2014-06-27 Univ Pierre Et Marie Curie Paris 6 Dispositif de visualisation d'une lame virtuelle
JP2013174581A (ja) * 2012-01-25 2013-09-05 Canon Inc 画像データ生成装置および画像データ生成方法
JP2015114798A (ja) 2013-12-11 2015-06-22 キヤノン株式会社 情報処理装置および情報処理方法、プログラム
US9437022B2 (en) * 2014-01-27 2016-09-06 Splunk Inc. Time-based visualization of the number of events having various values for a field
JP6411768B2 (ja) * 2014-04-11 2018-10-24 Hoya株式会社 画像処理装置
US9824189B2 (en) 2015-01-23 2017-11-21 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image processing method, image display system, and storage medium
CN104778009A (zh) * 2015-04-15 2015-07-15 京东方科技集团股份有限公司 驱动方法及装置、显示装置
US10048485B2 (en) 2015-08-28 2018-08-14 Panasonic Intellectual Property Management Co., Ltd. Image output device, image transmission device, image reception device, image output method, and non-transitory recording medium
US10645376B2 (en) * 2017-04-16 2020-05-05 Facebook, Inc. Systems and methods for presenting content
US10484675B2 (en) * 2017-04-16 2019-11-19 Facebook, Inc. Systems and methods for presenting content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202173A (ja) * 2004-01-16 2005-07-28 Canon Inc 画像表示方法
JP2011215660A (ja) * 2010-03-31 2011-10-27 Hitachi Ltd 注目画像閲覧表示方法
JP2016139397A (ja) * 2015-01-23 2016-08-04 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、画像表示装置およびコンピュータプログラム
JP2017046340A (ja) * 2015-08-28 2017-03-02 パナソニックＩｐマネジメント株式会社 画像出力装置、画像送信装置、画像受信装置、画像出力方法および記録媒体
US20180137119A1 (en) * 2016-11-16 2018-05-17 Samsung Electronics Co., Ltd. Image management method and apparatus thereof

Also Published As

Publication number Publication date
US20210364776A1 (en) 2021-11-25
JPWO2020170369A1 (ja) 2021-12-16
JP7219804B2 (ja) 2023-02-08
US11972619B2 (en) 2024-04-30

Similar Documents

Publication Publication Date Title
JP5818514B2 (ja) 画像処理装置および画像処理方法、プログラム
JP6112824B2 (ja) 画像処理方法および装置、プログラム。
JP5472328B2 (ja) ステレオカメラ
JP5281972B2 (ja) 撮像装置
JP2011203811A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ
JPWO2017199696A1 (ja) 画像処理装置及び画像処理方法
JPWO2017043258A1 (ja) 計算装置、計算装置の制御方法および計算プログラム
JP6552256B2 (ja) 画像処理装置及び画像処理装置の制御方法
US20240193852A1 (en) Image display method, display control device, and recording medium
TW201225658A (en) Imaging device, image-processing device, image-processing method, and image-processing program
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP2006329684A (ja) 画像計測装置及び方法
JP2007249527A (ja) 画像編集装置、画像編集方法および画像編集プログラム
JP2019045249A (ja) 計測装置および計測装置の作動方法
US11055865B2 (en) Image acquisition device and method of operating image acquisition device
WO2014087622A1 (ja) 見え方提示システム、方法およびプログラム
JP7132501B2 (ja) 測距カメラ
WO2020170369A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
JP5712810B2 (ja) 画像処理装置、そのプログラム、および画像処理方法
JP5734080B2 (ja) 情報処理装置、その処理方法及びプログラム
JP2009186369A (ja) 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体
JP7113327B1 (ja) 撮像装置
KR102355578B1 (ko) 정보 처리 장치, 프로그램을 기록한 기록 매체 및 정보 처리 방법
WO2023199583A1 (ja) ビューワ制御方法及び情報処理装置
JP5281720B1 (ja) 立体映像処理装置及び立体映像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19915854

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021501210

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19915854

Country of ref document: EP

Kind code of ref document: A1