WO2013186995A1 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

情報処理装置、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
WO2013186995A1
WO2013186995A1 PCT/JP2013/003229 JP2013003229W WO2013186995A1 WO 2013186995 A1 WO2013186995 A1 WO 2013186995A1 JP 2013003229 W JP2013003229 W JP 2013003229W WO 2013186995 A1 WO2013186995 A1 WO 2013186995A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information processing
processing apparatus
pathological image
guide
Prior art date
Application number
PCT/JP2013/003229
Other languages
English (en)
French (fr)
Inventor
長谷川　寛
日高 内田
陽一 水谷
重篤 吉岡
雅人 梶本
浩次 小倉
雅士 木元
田上　直樹
徹 見留
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2014520891A priority Critical patent/JP6083435B2/ja
Priority to US14/405,699 priority patent/US10460075B2/en
Priority to EP13804030.8A priority patent/EP2863204B1/en
Publication of WO2013186995A1 publication Critical patent/WO2013186995A1/ja
Priority to US16/590,880 priority patent/US20200035336A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/0233—Pointed or sharp biopsy instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, and an information processing program for guiding a browsing location when browsing a needle biopsy image.
  • the client viewer reads and displays an image (tile image) divided and accumulated in a tile shape on the image server in accordance with a navigation operation instruction by the user.
  • the system can recognize and display the corresponding tile image simply by selecting the part the user wants to view.
  • Patent Document 1 discloses the following technique. First, the client viewer requests image data from the virtual slide image file at a specific resolution. The server system then obtains a compressed block of image data that includes image data at a resolution close to the requested resolution and transmits this data block to the client. The client then scales this image data and presents the image at the requested resolution.
  • an object of the present technology is to provide an information processing apparatus and information that can easily move a display area appropriately by a user by guiding a browsing position when browsing a needle biopsy image.
  • a processing method and an information processing program are provided.
  • an information processing apparatus stores a pathological image of a specimen and guide information along a center line of the shape of the specimen in the pathological image.
  • a display control unit that displays on the screen at least a part of the stored pathological image as an observation image, and an instruction from a user for changing a range of the observation image displayed on the screen on the pathological image
  • a control unit that calculates a range of the observation image on the pathological image based on the instruction and the stored guide information.
  • the present technology considers the scroll instruction from the user, but depends on the guide information. Determine the range of the image on the pathological image.
  • the guide information plays an important role in determining the range of the observation image on the pathological image. Therefore, how to determine the guide information for the shape of the specimen is important. Since the guide information is set so that an observation image can be obtained along the center line of the shape of the specimen, a user who is an observer of the pathological image inputs a rough instruction to change the range of the observation image. In addition, the information processing apparatus appropriately calculates the range of the observation image along the center line of the shape of the specimen.
  • the user need only roughly input “upward” or “downward” as the scroll direction of the observation image. Since the information processing apparatus performs scrolling along the shape of the specimen, the user is freed from the adjustment work delicately. Therefore, the user can concentrate on the diagnosis of the pathological image.
  • the guide information is set for the entire specimen at a predetermined interval on the centerline of the specimen on the pathological image.
  • the guide information becomes a sequence of points set on the center line of the specimen, the range of the observation image can be easily determined at a position along the center line of the specimen.
  • the guide information is set for the entire specimen, if the range of the observation image on the pathological image is moved based on the guide information, it can be observed from end to end of the specimen, and thus the pathologist who is the observer. Can overlook some areas of the specimen.
  • the said control part of the range on the said pathological image of the said observed image calculated only based on the said instruction
  • the range of the observation image can be corrected to the range along the guide information.
  • the said control part makes 2nd center the point nearest to the said 1st center point on the said line segment.
  • the structure which makes it a point may be sufficient.
  • the same algorithm is used to guide information corresponding to the user's instruction.
  • the range based on can be set as the range of the observation image.
  • the said control part WHEREIN The auxiliary line drawn in the horizontal direction and the perpendicular direction from the said 1st center point is the said line segment. The point closest to the first center point among the points intersecting with the second center point may be used.
  • the said control part is estimated based on the said instruction
  • the observation image may be prefetched from the storage unit.
  • the prefetch cache hit rate is very high. This is because the range of the observation image is determined in advance by the guide information, and it is easy to predict the range of the observation image to be displayed next. Since the hit rate is very high, the observation image can be displayed at high speed. In particular, when the information processing apparatus is in a low-throughput environment, it is possible to improve the feeling of use related to the display of the observation image.
  • the said control part determines the range on the said pathological image of the said observation image based on the said instruction
  • the user's pathologist can concentrate on the observation of the pathological image by a rough operation instruction, and can also observe the pathological image by moving the display as desired. .
  • the said control part is based on the said guide mode based on the explicit mode switching instruction
  • the said control part is the 1st input the input method of the said instruction
  • the input unit accepts the input unit in the normal mode and the instruction input method different from the first input method is used as a second input method to determine which input method is used to input the instruction.
  • the structure which switches the said guide mode and the said normal mode based on the said determination may be sufficient.
  • the display control unit includes the sample on the screen on which a part of the sample is displayed as an observation image.
  • the configuration may be such that an arrow indicating the position and direction in which the portion deviated from the observation image continues is displayed.
  • a user who is a pathologist can know in advance in which direction the range of the observed image on the pathological image moves based on the guide information.
  • the display control unit may be configured to display the guide information on the screen.
  • a user who is a pathologist can know in advance in which direction the range of the observed image on the pathological image moves based on the guide information.
  • the display control unit displays the guide information on a thumbnail map on which the entire pathological image is displayed. But you can.
  • a user who is a pathologist can know in advance in which direction the range of the observed image on the pathological image moves based on the guide information. Further, when the user moves the range of the observation image without being based on the guide information, an instruction to move the range can be issued using this arrow as an index.
  • an information processing apparatus further includes a controller having a tilt sensor, and the user inputs the instruction by tilting the controller. But you can.
  • the user who is a pathologist can perform an operation similar to the operation of the microscope, for example, by moving the range of the observation image on the pathological image continuously in one direction by tilting the controller. Therefore, the affinity with pathological diagnosis can be increased.
  • the guide information includes a plurality of specimens photographed in the pathological image, and includes information on an end of one specimen.
  • the configuration may be such that the control unit calculates a range on the pathological image so that the end of another specimen becomes the observation image following the observation image.
  • the user who is a pathologist can save time and effort to manually move the range of the observation image between a plurality of specimens photographed in the pathological image.
  • the storage unit includes a pathological image of the specimen, and guide information along the center line of the shape of the specimen in the pathological image.
  • the display control unit displays at least a part of the stored pathological image as an observation image on the screen, and the input unit displays a range on the pathological image of the observation image displayed on the screen.
  • the control unit receives an instruction from the user to change, and calculates a range on the pathological image of the observation image based on the instruction and the stored guide information.
  • an information processing program stores a pathological image of a specimen and guide information along a center line of the shape of the specimen in the pathological image.
  • a storage unit a display control unit for displaying at least a part of the stored pathological image as an observation image on a screen, and an instruction from a user for changing a range on the pathological image of the observation image displayed on the screen
  • an information processing program that causes the computer to operate as a control unit that calculates a range of the observation image on the pathological image based on the instruction and the stored guide information.
  • an information processing system stores a pathological image of a specimen and guide information along a center line of the shape of the specimen in the pathological image.
  • a server computer comprising a storage unit, a providing unit that provides the stored pathological image and the guide information to a client computer, an acquisition unit that acquires the pathological image and the guide information from the server computer, and the acquisition
  • a display control unit for displaying at least a part of the pathological image as an observation image on a screen, and an input unit for receiving an instruction from a user for changing a range on the pathological image of the observation image displayed on the screen
  • a control unit for calculating a range of the observation image on the pathological image based on the instruction and the acquired guide information. Consisting of a client computer.
  • the user when a needle biopsy image is browsed, the user can easily move the display area appropriately by guiding the viewing location.
  • a needle biopsy is a diagnosis in which a needle is inserted into a human body and a tissue that becomes a specimen is taken in a hole of the needle and is observed using a microscope. Since the needle is used, the shape of the specimen placed on the slide glass is a long and thin line. Usually, specimens obtained from a plurality of needles are arranged on a single glass slide for observation, so a pathologist observes an image in which a plurality of elongated specimens are arranged.
  • the pathologist may look directly into the microscope for observation, but as in this embodiment, there is a method for observing an image taken using an imaging device attached to the microscope as a virtual slide via a viewer computer. . In the following description, it is assumed that a pathologist observes a pathological image taken as a virtual slide using a viewer computer.
  • FIG. 1 is a diagram showing an example of a virtual slide obtained by photographing a needle biopsy specimen.
  • specimens obtained from three needles are photographed side by side on a slide glass.
  • the central specimen is taken from one needle, but it is divided into three parts because two places are cut off in the middle.
  • FIG. 2 is a diagram illustrating a typical usage environment of the viewer computer 500 according to the present technology.
  • a scanner 100 including a microscope 10 and a scanner computer 20 is installed in a histology laboratory HL in a hospital.
  • the RAW image photographed by the microscope 10 is subjected to image processing such as development processing, shading processing, color balance correction, gamma correction, and 8-bit processing on the scanner computer 20. Thereafter, the image is divided into tiles of 256 pixels in length and width, converted into JPEG (Joint Photographic Experts Group) images, compressed, and stored on the hard disk HD1.
  • JPEG Joint Photographic Experts Group
  • the JPEG image stored in the hard disk HD1 of the scanner computer 20 is then uploaded via the network 300 to the hard disk HD2 on the image management server 400 in the data center DC in the same hospital.
  • the pathologist who is an observer is stored in the hard disk HD2 of the image management server 400 using the viewer computer 500 connected to the image management server 400 and the network 300 in the pathology room PR in the hospital or the building EX outside the hospital. Observe the JPEG image.
  • FIG. 3 is a block diagram illustrating a hardware configuration of the viewer computer 500 according to the present technology.
  • the viewer computer 500 includes a CPU (Central Processing Unit) 21 that performs arithmetic control, a ROM (Read Only Memory) 22, a RAM (Random Access Memory) 23 that is a work memory of the CPU 21, and an operation for inputting a command according to a user operation.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input unit 24, an interface unit 25, a display unit 26, a storage unit 27, a network interface unit 28, and a bus 29 for connecting them together are provided.
  • the ROM 22 stores programs for executing various processes.
  • a controller 30 is connected to the interface unit 25.
  • the controller 30 is provided with various buttons and sticks and can accept various inputs by the user.
  • the controller 30 has a built-in acceleration sensor and tilt sensor, and can accept an instruction given to the controller 30 when the user tilts or shakes the controller 30.
  • a network 300 is connected to the network interface unit 28.
  • a liquid crystal display, an EL (Electro Luminescence) display, a plasma display, or the like is applied to the display unit 26.
  • a magnetic disk represented by HDD (Hard Disk Drive), a semiconductor memory, an optical disk, or the like is applied.
  • the CPU 21 develops a program corresponding to a command given from the operation input unit 24 among the plurality of programs stored in the ROM 22, and appropriately controls the display unit 26 and the storage unit 27 according to the developed program. .
  • the CPU 21 realizes each functional block described later.
  • the CPU 21 executes programs stored in the ROM 22, the storage unit 27, and the like, and controls each of the above members as necessary. Thereby, the viewer computer 500 can implement
  • FIG. 1 A block diagram illustrating an exemplary computing environment in accordance with the present disclosure.
  • FIG. 4 is a diagram illustrating a game controller, which is a specific example of the controller 30.
  • the controller 30 can be held by both hands, and can operate buttons such as a cross key with the left and right index fingers and thumbs.
  • buttons such as a cross key with the left and right index fingers and thumbs.
  • two sticks in total, one on each of the left and right sides, are provided where the left and right thumbs hit each other, and the direction can be input over 360 degrees.
  • controller 30 is provided with an acceleration sensor and a tilt sensor, various instructions can be input by swinging or tilting the main body of the controller 30.
  • the controller 30 can be easily scrolled by assigning a continuous scroll operation as a process corresponding to an operation of holding the stick by tilting it in a certain direction or an operation of tilting and holding the controller 30 main body by a certain amount. You can continue. Further, since the continuous scroll operation is similar to the operation of the microscope, it has a high affinity for pathological diagnosis.
  • the pathologist wants to frequently scale the image and scroll while keeping an eye on the image and keeping an eye on the image. Therefore, it is more effective to assign a process to an operation of assigning a process to a button or stick of the controller 30 and performing a direct operation, or shaking or tilting the main body of the controller 30, rather than a menu operation with a mouse.
  • Specific Example of Instruction Input by Controller 30 Specific examples of the instruction input by the controller 30 are as follows. The controller 30 is shaken vertically to enlarge the image. The controller 30 is shaken to scroll the image horizontally. The controller 30 is shaken diagonally to hide additional information displayed on the screen. The controller 30 is tilted for a moment to display the next image. The screen is divided by operating the left stick of the controller 30.
  • operations in the normal mode and the guide mode can be assigned to the controller 30.
  • the screen in the normal mode, the screen can be scrolled by tilting the controller 30, and in the guide mode, the right stick on the controller 30 can be tilted to scroll along a guide line to be described later.
  • the hardware configuration of the image management server is basically the same as the hardware configuration of the viewer computer 500 except that the controller 30 is not connected. Therefore, detailed description is omitted.
  • FIG. 5 is a diagram illustrating functional blocks of the image management server 400.
  • the image management server 400 includes an image storage unit 41 (storage unit), an image provision unit 42, a guide data generation unit 43, a guide data storage unit 44 (storage unit), and a guide data provision unit 45.
  • the image storage unit 41 stores pathological images.
  • the pathological image is divided into tile-shaped images of 256 pixels in the vertical and horizontal directions and stored, and is provided to the viewer computer 500 via the image providing unit 42 in response to an image request from the viewer computer 500.
  • the image providing unit 42 receives an image request from the viewer computer 500, acquires a pathological image corresponding to the image request from the image storage unit 41, and transmits the acquired pathological image to the viewer computer 500.
  • the guide data generation unit 43 acquires the entire pathological image from the image storage unit 41 and generates guide data.
  • the generation of the guide data is performed as a batch process when one slide of the pathological image is prepared. It is not generated little by little in synchronization with the image request from the viewer computer 500.
  • the generated guide data is stored in the guide data storage unit 44.
  • the guide data storage unit 44 stores the guide data of the pathological image generated by the guide data generation unit 43.
  • the stored guide data is provided to the viewer computer 500 via the guide data providing unit 45 in response to a guide data request from the viewer computer 500.
  • the guide data providing unit 45 receives a guide data request from the viewer computer 500, acquires corresponding guide data from the guide data storage unit 44, and transmits the guide data to the viewer computer 500.
  • each functional block is not limited to the above-described image management server 400, but may be configured to be executed on the viewer computer 500 on the client side.
  • FIG. 6 is a diagram showing functional blocks of the viewer computer 500.
  • the viewer computer 500 includes a guide data acquisition unit 51, an image acquisition unit 52, an input control unit 53 (input unit), a display control unit 54 (display control unit), a movement destination calculation unit 55 (control unit), and a prefetch unit 56 (control). Section), a mode switching section 57 (control section), and a guide direction calculation section 58 (control section).
  • the guide data acquisition unit 51 acquires guide data described later from the image management server 400.
  • a pathological image to be observed by a user who is a pathologist is acquired from the image management server 400 and displayed on the viewer computer 500.
  • guide data corresponding to the pathological image is first acquired by the guide data acquisition unit 51.
  • the acquired guide data is transferred to the movement destination calculation unit 55, the prefetching unit 56, and the guide direction calculation unit 58, and is used according to each purpose.
  • the image acquisition unit 52 acquires a pathological image designated by the user for observation from the image management server 400.
  • the image acquisition unit 52 acquires an appropriate image from the image management server 400 every time the user enlarges or reduces the pathological image or scrolls the display area to acquire a new image.
  • the acquisition of the image is performed according to a user operation and is also acquired by prefetching by the prefetching unit 56.
  • the image acquired from the image management server 400 is displayed on the display unit 26 via the display control unit 54.
  • the input control unit 53 interprets an operation by a user accepted by the operation input unit 24, for example, a keyboard or a mouse, or an operation accepted by a controller 30, for example, a game controller via the interface unit 25, and related functional blocks. Give instructions.
  • the controller 30 when the controller 30 is tilted when the scroll mode is the normal mode, the tilted direction and amount are recognized, and the image is continuously scrolled at a speed according to the tilted amount. Instruct the relevant functional block.
  • the display control unit 54 displays the image acquired from the image management server 400 by the image acquisition unit 52, the GUI (Graphical User Interface) for the user to input various operations, and the like on the screen of the display unit 26. Further, when the scroll mode is the guide mode, the display control unit 54 displays an arrow described later at the position and direction calculated by the guide direction calculation unit 58.
  • the movement destination calculation unit 55 determines how to move the display range of the pathological image currently displayed on the screen, and what position image should be newly read from the image management server when the display range is moved. calculate.
  • the display range of the new screen is calculated according to the scroll direction and the scroll amount received by the operation of the controller 30 by the user.
  • the scroll mode is the guide mode
  • the scroll direction and the scroll amount based on the guide data are calculated, and the display range of the new screen is obtained. A method for calculating the scroll direction and the scroll amount based on the guide data will be described later.
  • the pre-reading unit 56 is predicted to be displayed next based on the display range of the current image, the current user operation, and the like. Is pre-read from the image management server 400 in advance.
  • the range of the image to be prefetched varies greatly depending on whether the scroll mode is the normal mode or the guide mode. Details of which range is prefetched in which mode will be described later.
  • the mode switching unit 57 receives the switching of the scroll mode from the user via the input control unit 53. Whenever the user switches the scroll mode between the normal mode and the guide mode, the mode switching unit 57 issues an instruction to the movement destination calculation unit 55, the prefetch unit 56, and the guide direction calculation unit 58, and the respective modes. The processing according to is performed.
  • the guide direction calculation unit 58 calculates the display position and display direction of the arrow when the arrow indicating the scroll direction is displayed on the screen when the scroll mode is the guide mode.
  • the calculated display position and display direction are transmitted to the display control unit 54, and an arrow indicating the scroll direction is displayed at a predetermined position on the screen via the display control unit 54 and the display unit 26.
  • the viewer computer 500 and the image management server 400 constitute a client-server system, what functions are given to the client side and which functions are given to the server side is designed. It is a matter. Therefore, some execution locations of the functional blocks are not limited to the above-described viewer computer 500, but may be configured to be executed on the image management server 400 on the server side.
  • FIG. 7 is a diagram showing an example in which the display range is scrolled while finely adjusting the stick of the controller 30.
  • the user tilts the direction of tilting the stick of the controller 30 in the lower left direction, and finely adjusts the tilting direction so that the display range does not deviate from the sample.
  • the user tilts the stick in the lower right direction and repeats fine adjustment in the same manner.
  • the solution is to allow the viewer computer 500 to accurately scroll the display range along the irregular shape of the specimen even if the scroll instruction by the user is rough.
  • the user By adopting such a method, for example, in the case of a vertically elongated sample, the user only has to roughly input “upward” or “downward” as the scroll direction. Since the viewer computer 500 performs scrolling along the shape of the specimen, the user is freed from the operation of delicately operating the direction in which the stick of the controller 30 is tilted. Therefore, the user can concentrate on the diagnosis of the pathological image.
  • scrolling by the viewer computer 500 is performed from end to end of the specimen, it is possible to prevent a user who is a pathologist from overlooking a part of the specimen.
  • scroll mode corresponding to this solution is referred to herein as a guide mode
  • conventional scroll mode in which scrolling is performed in a free direction designated by the user is referred to as a normal mode for distinction.
  • FIG. 8 is a diagram showing an example of accurately scrolling the display range while roughly operating the stick of the controller 30.
  • the display range is initially at DA1, and from there it is scrolled to DA2 at the lower left.
  • the operation performed by the user at this time is to tilt the stick of the controller 30 downward.
  • the direction to be tilted may be the lower right direction, the lower left direction, or the right lower direction as long as the angle includes the downward component. In this example, the user tilts the stick in the downward direction.
  • the guide data is a set of coordinates of the point sequence described below.
  • FIG. 9 is a diagram illustrating an example in which a pathological image is analyzed and a point sequence serving as guide data is arranged on a specimen.
  • An image analysis method will be described later.
  • the figure shows three specimens.
  • the first point P 1 to the top of the left side of the sample is located. From there, along the center of the specimen, Yuki stipulated a point by predetermined intervals, the point P 14 is the bottom of the left sample is disposed.
  • Next point P 15 is located at the top of the center of the specimen, as well, P 30 is coming to the bottom of the center of the specimen.
  • Next point P 31 of P 30 continues to the top of the right sample, it is arranged Pn is at the bottom.
  • the point sequence Pn (n is an integer of 1 or more) is arranged in order from the left side to the right side of the vertically arranged samples and from the top to the bottom of one sample. If it is a method to arrange in order, it is not restricted to this arrangement.
  • the center point of the display range is referred to as a viewpoint.
  • a method for obtaining the point sequence Pn (n is an integer of 1 or more) as guide data from the analysis of the pathological image obtained by imaging the specimen is not particularly limited as long as the point sequence Pn passing through the center line of the specimen is obtained. .
  • the point sequence Pn may be obtained using the midpoint of the shortest line segment among the line segments connecting the contour lines on both sides.
  • FIG. 10 is a diagram illustrating an example in which the point Pn is obtained as the midpoint of the shortest line segment.
  • FIG. 11 is a diagram illustrating an example in which a horizontal line is defined and the point Pn is obtained using the center point of the horizontal width of the specimen.
  • the next viewpoint setting method is that when the next viewpoint candidate is obtained by the user's stick operation, the point on the point sequence line segment closest to the coordinates of the viewpoint candidate is obtained, and that point is determined as the next view. It is a method of setting points. When this method is used, the next viewpoint can be obtained appropriately regardless of whether the direction in which the specimen is placed is the vertical direction or the horizontal direction.
  • FIG. 12 is a diagram illustrating an example of obtaining the next viewpoint from viewpoint candidates.
  • the point Q on the point line segment closest to the next viewpoint candidate C is determined as the next viewpoint.
  • FIG. 13 is a diagram illustrating an algorithm for obtaining the point Q on the point sequence line segment closest to the viewpoint candidate C.
  • FIG. 14 is a diagram for explaining another algorithm.
  • an auxiliary line is extended from the point C of the viewpoint candidate in the horizontal direction and the vertical direction toward the point sequence line segment.
  • the auxiliary line extending in the vertical direction is the point Q V points intersects a point sequence segment.
  • the point on the point sequence line segment constituting the selected line segment is set as the next viewpoint.
  • the point Q H is the following viewpoint.
  • FIG. 15 is a diagram showing which of the points constituting the point sequence is an edge point.
  • six points of points P 1 , P 14 , P 15 , P 30 , P 31 , and P n are edge points.
  • the user can search for the end of the next specimen and start the observation again from that point. Can do.
  • edge point processing is effective only when the scroll mode is the guide mode.
  • FIG. 16 is a diagram illustrating an example in which guide lines are displayed on the viewer screen.
  • the viewer screen 60 is composed of a thumbnail map 61 shown in the upper right of the viewer screen 60 and an observation area 62 for observing a pathological image.
  • the thumbnail map 61 On the thumbnail map 61, a reduced image of the entire image, a frame FR that equivalently shows the range of the image displayed in the observation area 62 on the thumbnail map 61, and a guide line GL are displayed.
  • the frame FR moves on the thumbnail map 61 every time the image displayed in the observation area 62 is scrolled according to an instruction from the user.
  • the user can know in advance how scrolling is performed when the scroll mode is the guide mode.
  • the guide line GL is displayed on the thumbnail map 61 not only when the scroll mode is the guide mode but also when the scroll mode is the normal mode. This is because the position of the center line of the specimen can be known from the guide line GL.
  • the guide line GL is displayed on the thumbnail map 61.
  • the present invention is not limited thereto, and the guide line GL may be displayed on the observation area 62.
  • the display of the guide line GL can be turned on / off. This is to prevent the pathologist from hindering image diagnosis.
  • the scroll mode when scrolling the pathological image displayed on the viewer screen includes the normal mode and the guide mode.
  • the normal mode the user can freely determine the scroll direction and the scroll amount, and in the guide mode, the scroll instruction by the user is corrected and the scroll is performed along the guide line.
  • Switching between the normal mode and the guide mode is performed according to an instruction from the user. For example, when the user performs an operation of pushing the stick on the right side of the controller 30, the input control unit 53 detects this and notifies the mode switching unit 57 so that the mode switching unit 57 switches the scroll mode.
  • the scroll mode is assumed to be switched between the normal mode and the guide mode. In that case, the two modes do not coexist at the same time.
  • the user performs the scroll specified in the guide mode by tilting the right stick of the controller 30, but after that, the user tilts the controller 30 so that the center of the display range deviates from the viewpoint. It may be done.
  • the guide line GL displayed on the thumbnail map 61 has been described as a method of indicating to the user how scrolling is performed when the scroll mode is the guide mode.
  • an arrow indicating the direction of the specimen, that is, the direction in which scrolling is performed in the guide mode can be displayed on the observation area 62 of the viewer screen 60.
  • FIG. 17 is a diagram illustrating an example in which an arrow AR indicating a scroll direction is displayed on the observation area 62 of the viewer screen 60. Except for the arrow AR, the viewer screen is the same as that shown in FIG.
  • the user can know in advance in which direction the image scrolls in the guide mode.
  • the arrow AR may be displayed not only in the guide mode but also in the normal mode.
  • the arrow AR indicates the direction of scrolling.
  • the user can freely set the normal mode. This is because the information indicated by the arrow AR is also useful when performing simple scrolling.
  • the display position and direction of the arrow AR are calculated by the guide direction calculation unit 58.
  • the calculation method obtains a point on the dot line segment passing over the specimen, and a point at a predetermined distance from the edge of the observation region 42.
  • FIG. 18 is a flowchart showing the flow of the scroll method.
  • the input control unit 53 detects the tilt of the controller 30 and the tilt of the stick on the controller 30, and receives the scroll direction and scroll amount input by the user (step S1).
  • the destination calculation unit 55 calculates viewpoint destination candidates (step S2).
  • Step S3 If the scroll mode is the normal mode (N in Step S3), the destination candidate calculated in Step S2 is set as the next viewpoint as it is.
  • the viewpoint destination is corrected based on the guide data and the next viewpoint is set (step S3). S4).
  • the edge point on the next specimen (line) is set as the next viewpoint (step S6).
  • the display control unit 54 acquires an image corresponding to the next viewpoint from the image management server 400 via the image acquisition unit 52, thereby performing actual scrolling to the set next viewpoint. Perform (step S7).
  • the pathological image is scrolled along the above flow.
  • Image prefetching is usually performed in order to display a new display range at a high speed when scrolling. By prefetching the periphery of the current display range and placing it in the cache, display speed can be increased.
  • FIG. 19 is a diagram illustrating a range of a target to be prefetched. For example, when a certain area is displayed and no scroll operation is performed, as shown on the left side of FIG. 19, the entire area around the currently displayed area is subject to prefetching. Further, as shown in the right side of FIG. 19, when the scroll operation is performed from a state where a certain area is displayed, the scroll direction is the upper right, so the range to be prefetched is the right side of the current display area and the current display area. It becomes the upper side.
  • prefetch cache hit rate the efficiency of prefetching
  • the situation is different when scrolling in guide mode with this technology.
  • FIG. 20 is a diagram showing a specific example of prefetching.
  • the regions along the guide line GL in the vertical direction as viewed from the current display range DA1 are prefetch ranges PR1, PR2, PR3, and PR4.
  • the prefetch range PR1 can be correctly read even when the view point of the current display range DA1 is applied to the edge point.
  • FIG. 22 is a flowchart showing the flow of prefetch processing.
  • the prefetch unit 56 determines whether or not the current scroll mode is the guide mode (step S11). If it is not in the guide mode (N in step S11), the process ends without doing anything.
  • the prefetching unit 56 acquires the position of the next viewpoint from the movement destination calculating unit 55 (step S12).
  • the prefetch unit 56 checks whether or not an image corresponding to the position of the next viewpoint is in the cache (step S13). If the image is not in the cache (N in step S13), a new image is prefetched (step S14).
  • the position of the current viewpoint is updated using the position of the next viewpoint (step S15).
  • step S11 if the scroll mode is not the guide mode, the process is terminated without performing anything. However, in the normal mode, the efficiency is deteriorated, but a configuration of performing a prefetch process may be used.
  • the prefetch reliability is obtained as the predicted hit rate of the prefetch cache, and when the prefetch reliability is high, many prefetch images are requested to the image management server 400 at a time. In this case, since many images are transmitted together, transmission efficiency can be improved.
  • this technique can also take the following structures.
  • a storage unit that stores a pathological image of a specimen and guide information along a center line of the shape of the specimen in the pathological image, and at least a part of the stored pathological image is displayed on the screen as an observation image
  • an input unit that receives an instruction from a user for changing a range on the pathological image of the observation image displayed on the screen, the instruction and the stored guide information
  • a control unit that calculates a range of the observed image on the pathological image.
  • control unit sets a point on the line segment closest to the first center point.
  • the control unit includes an auxiliary line drawn in a horizontal direction and a vertical direction from the first center point.
  • An information processing apparatus in which a point closest to the first center point among points intersecting the line segment is a second center point.
  • the control unit is based on the guide information and the instruction predicted to be received by the input unit.
  • control unit is configured to display the observation image on the pathological image based on the instruction and the guide information.
  • An information processing apparatus that switches between a guide mode for calculating a range of the observation image and a normal mode for calculating a range of the observation image on the pathological image based only on the instruction.
  • the control unit switches information between the guide mode and the normal mode based on an explicit mode switching instruction from the user received by the input unit. Processing equipment.
  • the control unit sets the instruction input method received by the input unit in the guide mode as a first input method, and performs the normal mode operation.
  • the input unit sometimes accepts the instruction input method different from the first input method as a second input method, determines by which input method the instruction is input, and based on the determination
  • An information processing apparatus that switches between a guide mode and the normal mode.
  • the display control unit is configured on the screen on which a part of the specimen is displayed as an observation image.
  • An information processing apparatus that displays an arrow indicating a position and a direction in which a portion of the sample deviates from the observation image continues.
  • the display control unit displays the guide information on the screen.
  • the information processing apparatus according to any one of (1) to (10), wherein the display control unit displays the guide information on a thumbnail map on which the entire pathological image is displayed. Information processing device to display. (13) The information processing apparatus according to any one of (1) to (12), further including a controller having a tilt sensor, wherein the user gives the instruction by tilting the controller. Input information processing device. (14) The information processing apparatus according to any one of (1) to (13), wherein the guide information includes a single specimen when the pathological image includes a plurality of specimens. An information processing apparatus that causes the control unit to calculate a range on the pathological image so that an end of another specimen becomes the observation image following the observation image at the end of the path.
  • the storage unit stores a pathological image of the specimen and guide information along the center line of the shape of the specimen in the pathological image, and the display control unit stores at least a part of the stored pathological image.
  • An observation image is displayed on the screen, and the input unit receives an instruction from a user to change a range on the pathological image of the observation image displayed on the screen, and a control unit stores the instruction and the memory An information processing method for calculating a range on the pathological image of the observation image based on the guide information.
  • a storage unit that stores a pathological image of the specimen and guide information along the center line of the shape of the specimen in the pathological image, and displays at least a part of the stored pathological image on the screen as an observation image
  • the input unit that receives an instruction from a user for changing the range of the observation image displayed on the screen on the pathological image, and the instruction and the stored guide information
  • An information processing program that causes a computer to operate as a control unit that calculates a range of an observation image on the pathological image.
  • a storage unit for storing a pathological image of a specimen and guide information along a center line of the shape of the specimen in the pathological image, and providing the stored pathological image and the guide information to a client computer
  • a server computer an acquisition unit that acquires the pathological image and the guide information from the server computer, a display control unit that displays at least a part of the acquired pathological image on the screen as an observation image,
  • An input unit that receives an instruction from a user for changing a range on the pathological image of the observation image displayed on the screen, and the observation image based on the instruction and the acquired guide information
  • An information processing system including a client computer including a control unit that calculates a range on a pathological image.

Abstract

【課題】針生検画像を閲覧する際に、閲覧個所をガイドすることにより、ユーザが表示領域を適切に移動させることが容易に行える情報処理装置、情報処理方法、および情報処理プログラムを提供する。 【解決手段】検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶する記憶部と、前記記憶された病理画像の少なくとも一部を観察画像として画面に表示する表示制御部と、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付ける入力部と、前記指示と前記記憶されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する制御部とを具備する。

Description

情報処理装置、情報処理方法、および情報処理プログラム
　本技術は、針生検画像を閲覧する際に、閲覧個所をガイドする情報処理装置、情報処理方法、および情報処理プログラムに関する。
　従来からの閲覧方法では、クライアント・ビューワは、画像サーバにタイル状に分割して蓄積された画像（タイル画像）を、ユーザによるナビゲーション操作指示に従い読み込んで表示していた。ユーザが閲覧を望む部位を選択するだけでシステムが対応するタイル画像を認識し、表示することができる。
　また、例えば、特許文献１には、以下の技術が開示されている。まずクライアント・ビューワがバーチャルスライド画像ファイルからの画像データを特定の解像度で要求する。次にサーバ・システムが要求された解像度に近い解像度にある画像データを含んでいる画像データの圧縮済みブロックを取得し、このデータ・ブロックをクライアントへと送信する。次いで、クライアントはこの画像データを拡大縮小し、要求された解像度で画像を提示する。
特表２００６－５１９４４３号公報
　しかし、従来の閲覧方法を用いて針生検の画像を閲覧する場合には、ユーザによるナビゲーション操作の自由度が有り過ぎ、細長い検体の方向に沿って表示領域を適切に移動させることは困難であった。
　以上のような事情に鑑み、本技術の目的は、針生検画像を閲覧する際に、閲覧個所をガイドすることにより、ユーザが表示領域を適切に移動させることが容易に行える情報処理装置、情報処理方法、および情報処理プログラムを提供することにある。
　（１）上記目的を達成するため、本技術の一形態に係る情報処理装置は、検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶する記憶部と、前記記憶された病理画像の少なくとも一部を観察画像として画面に表示する表示制御部と、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付ける入力部と、前記指示と前記記憶されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する制御部とを具備する。
　本技術では、ユーザが入力したスクロール指示のみに基づいて観察画像の病理画像上での範囲を変更する従来の方法とは異なり、ユーザからのスクロール指示も考慮するものの、ガイド情報に依存して観察画像の病理画像上での範囲を決める。ガイド情報は、病理画像上での観察画像の範囲を決める際に重要な役割を果たす。それ故、検体の形状に対するガイド情報の決め方が重要である。ガイド情報は、検体の形状の中心線に沿って観察画像が得られるように設定されるので、病理画像の観察者であるユーザが観察画像の範囲を変更するために大雑把な指示を入力しても、情報処理装置が適切に検体の形状の中心線に沿った観察画像の範囲を算出してくれる。
　この構成を採ることにより、例えば、上下方向に細長い検体の場合、ユーザは観察画像のスクロール方向として大雑把に、「上方向」か「下方向」かを入力するだけで済む。検体の形状に沿ったスクロールは情報処理装置がやってくれるので、ユーザはスクロール方向を微妙に調整作業から解放される。それ故、ユーザは病理画像の診断に集中する事ができる。
　（２）また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記ガイド情報は、前記病理画像上の検体の中心線上に予め定められた間隔により検体全体に設定される点の前記病理画像上の位置情報の並びである構成でもよい。
　この構成を採ることにより、ガイド情報は検体の中心線上に設定された点の列となるので、観察画像の範囲を容易に検体の中心線に沿った位置に決めることができる。また、ガイド情報は、検体の全体に設定されるので、ガイド情報に基づき観察画像の病理画像上での範囲を動かしてゆくと、検体の端から端まで観察できるので、観察者である病理医が検体の一部の領域を見落とすことを防ぐことができる。
　（３）また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記指示のみをもとに算出される前記観察画像の前記病理画像上の範囲の中心点を第１の中心点とし、当該第１の中心点に対応する、前記ガイド情報に含まれる隣接する点を結んだ線分上の点を第２の中心点として、当該第２の中心点を持つ前記観察画像の前記病理画像上の範囲を算出する構成でもよい。
　この構成を採ることにより、ユーザによる操作指示が大雑把なものであっても、ガイド情報に沿った範囲に、観察画像の範囲を修正できる。
　（４）また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記線分上の、前記第１の中心点に最も近い点を第２の中心点とする構成でもよい。
　この構成を採ることにより、病理画像上に撮影された検体の形状が垂直方向に長いものであっても、水平方向に長いものであっても、同じアルゴリズムを用いて、ユーザの指示に対応したガイド情報に基づく範囲を観察画像の範囲とすることができる。
　（５）また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記第１の中心点から水平方向および垂直方向に引いた補助線が前記線分と交わった点のうち当該第１の中心点に最も近い点を第２の中心点とする構成でもよい。
　この構成を採ることにより、簡単なアルゴリズムを用いて、ユーザの指示に対応したガイド情報に基づく範囲を算出することができる。
　（６）また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記ガイド情報と前記入力部が受け付けると予測される前記指示とに基づいて予測される前記観察画像を前記記憶部から先読みする構成でもよい。
　この構成では、先読みキャッシュのヒット率は非常に高い。それは、観察画像の範囲がガイド情報により予め定められており、次に表示される観察画像の範囲を予測することが容易であるからである。ヒット率が非常に高いので、観察画像の表示を高速に行うことができる。特に、情報処理装置が低スループット環境にある場合に、観察画像の表示に関する使用感を向上させることができる。
　（７）また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記指示と前記ガイド情報とに基づいて前記観察画像の前記病理画像上の範囲を算出するガイドモードと、前記指示のみに基づいて前記観察画像の前記病理画像上の範囲を算出する通常モードとを切り替える構成でもよい。
　この構成を採ることにより、ユーザである病理医は、大雑把な操作指示により病理画像の観察に集中することができる上に、病理画像の表示を自分の好きなように動かして観察することもできる。
　（８）また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記入力部が受け付けた前記ユーザによる明示的なモード切り替え指示に基づき前記ガイドモードと前記通常モードとを切り替える構成でもよい。
　この構成を採ることにより、病理医であるユーザは、確実に二つのモードを切り替えて、病理画像の観察を行うことができる。
　（９）また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記ガイドモードのときに前記入力部が受け付ける前記指示の入力方法を第１の入力方法とし、前記通常モードのときに前記入力部が受け付ける、前記第１の入力方法とは異なる前記指示の入力方法を第２の入力方法として、いずれの入力方法により前記指示が入力されたかを判定し、当該判定に基づき前記ガイドモードと前記通常モードとを切り替える構成でもよい。
　この構成を採ることにより、病理医であるユーザが二つのモードを切り替える手間を省くことができる。
　（１０）また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記表示制御部は、前記検体の一部が観察画像として表示されている前記画面上に、当該検体の、当該観察画像から外れた部分が続く位置および方向を示す矢印を表示する構成でもよい。
　この構成を採ることにより、病理医であるユーザは、観察画像の病理画像上での範囲がガイド情報に基づき、どちらの方向に移動していくかを予め知ることができる。
　（１１）また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記表示制御部は、前記ガイド情報を前記画面上に表示する構成でもよい。
　この構成を採ることにより、病理医であるユーザは、観察画像の病理画像上での範囲がガイド情報に基づき、どちらの方向に移動していくかを予め知ることができる。
　（１２）また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記表示制御部は、前記ガイド情報を前記病理画像の全体が表示されるサムネイルマップ上に表示する構成でもよい。
　この構成を採ることにより、病理医であるユーザは、観察画像の病理画像上での範囲がガイド情報に基づき、どちらの方向に移動していくかを予め知ることができる。また、ガイド情報に基づかずユーザが観察画像の範囲を移動する場合には、この矢印を指標として範囲を移動させる指示を出すことができる。
　（１３）また、上記目的を達成するため、本技術の一形態に係る情報処理装置は、傾きセンサを有するコントローラをさらに具備し、前記ユーザは、当該コントローラを傾けることにより前記指示を入力する構成でもよい。
　この構成を採ることにより、病理医であるユーザは、例えば、コントローラを傾けることにより、病理画像上の観察画像の範囲を一方向に連続的に移動させるという、顕微鏡の操作に類似した操作が行えるので、病理診断との親和性を高めることができる。
　（１４）また、上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記ガイド情報は、前記病理画像に撮影された前記検体が複数ある場合、１つの前記検体の端の前記観察画像に続いて別の前記検体の端が前記観察画像になるように前記制御部に前記病理画像上の範囲を算出させる構成でもよい。
　この構成を採ることにより、病理医であるユーザは、病理画像に撮影された複数の検体の間で、手動により観察画像の範囲を移動させる手間を省くことができる。
　（１５）また、上記目的を達成するため、本技術の一形態に係る情報処理方法では、記憶部が、検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶し、表示制御部が、前記記憶された病理画像の少なくとも一部を観察画像として画面に表示し、入力部が、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付け、制御部が、前記指示と前記記憶されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する。
　（１６）また、上記目的を達成するため、本技術の一形態に係る情報処理プログラムは、検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶する記憶部、前記記憶された病理画像の少なくとも一部を観察画像として画面に表示する表示制御部、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付ける入力部、および前記指示と前記記憶されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する制御部としてコンピュータを動作させる情報処理プログラムである。
　（１７）また、上記目的を達成するため、本技術の一形態に係る情報処理システムは、検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶する記憶部と、記憶された前記病理画像および前記ガイド情報をクライアントコンピュータに提供する提供部とを具備するサーバコンピュータと、前記サーバコンピュータから前記病理画像および前記ガイド情報を取得する取得部と、前記取得された病理画像の少なくとも一部を観察画像として画面に表示する表示制御部と、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付ける入力部と、前記指示と前記取得されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する制御部とを具備するクライアントコンピュータとからなる。
　以上のように、本技術によれば、針生検画像を閲覧する際に、閲覧個所をガイドすることにより、ユーザが表示領域を適切に移動させることが容易に行える。
針生検の検体を撮影したバーチャルスライドの例を示す図である。 本技術に係るビューワコンピュータの典型的な使用環境を表した図である。 本技術に係るビューワコンピュータのハードウェアの構成を示すブロック図である。 コントローラの具体例である、ゲームコントローラを示す図である。 イメージ管理サーバの機能ブロックを示す図である。 ビューワコンピュータの機能ブロックを示す図である。 コントローラのスティックを微調整しながら表示範囲をスクロールさせる例を示す図である。 コントローラのスティックを大雑把に操作しながら表示範囲を正確にスクロールさせる例を示す図である。 病理画像の画像解析を行い、検体の上にガイドデータとなる点列を配した例を示す図である。 最も長さが短い線分の中点として、点Ｐｎを求める場合の例を示す図である。 水平線を定め、検体の水平方向の幅の中心点を用いて点Ｐｎを求める場合の例を示す図である。 ビューポイント候補から次のビューポイントを求める例を示す図である。 ビューポイント候補Ｃに最も近い点列線分上の点Ｑを求めるアルゴリズムを示す図である。 次のビューポイントを求める別のアルゴリズムを説明する図である。 点列を構成する点の内、どの点がエッジポイントであるかを示す図である。 ガイド線が、ビューワ画面上において表示される例を示す図である。 ビューワ画面の観察領域上に、スクロール方向を示す矢印ＡＲを表示させる例を示す図である。 スクロール方法の流れを示すフローチャートである。 先読みする対象の範囲を示す図である。 先読みの具体例を示す図である。 現在の表示範囲ＤＡ１のビューポイントがエッジポイントにかかる場合の先読み範囲ＰＲ１を示す図である。 先読み処理の流れを示すフローチャートである。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
　［針生検について］
　針生検とは、人体に針を刺し、針の穴の中に検体となる組織を採ったものを顕微鏡を用いて観察する診断である。針を用いるので、検体をスライドガラスの上に置いた形状は、細長い線状のものとなる。通常、複数本の針から得た検体を一つのスライドガラスの上に並べて観察を行うので、複数本の細長い検体が並んだ画像を病理医は観察する。
　病理医は、直接顕微鏡を覗いて観察することもあるが、本実施の形態のように、顕微鏡に取り付けた撮像装置を用いて撮像した画像をバーチャルスライドとしてビューワコンピュータを介して観察する方法もある。以下の説明では、病理医が、バーチャルスライドとして撮影された病理画像を、ビューワコンピュータを用いて観察することを前提にする。
　図１は、針生検の検体を撮影したバーチャルスライドの例を示す図である。この例では、３本の針から得られた検体をスライドガラスの上に並べて撮影したものである。中央の検体は、１本の針から取り出されたものであるが、途中で２個所切れているため、３つの部分に分かれてしまっている。
　［ビューワコンピュータの使用環境について］
　図２は、本技術に係るビューワコンピュータ５００の典型的な使用環境を表した図である。
　顕微鏡１０およびスキャナ用コンピュータ２０からなるスキャナ１００は、病院内の組織学ラボＨＬに設置されている。顕微鏡１０により撮影されたＲＡＷ画像は、スキャナ用コンピュータ２０上において、現像処理、シェーディング処理、カラーバランス補正、ガンマ補正、８ｂｉｔ化処理などの画像処理が行われる。その後、縦横２５６ピクセルのタイル状に分割され、ＪＰＥＧ（Joint Photographic Experts Group）画像に変換され圧縮された後、ハードディスクＨＤ１上に格納される。
　スキャナ用コンピュータ２０のハードディスクＨＤ１に格納されたＪＰＥＧ画像は、次に、同じ病院内のデータセンタＤＣにあるイメージ管理サーバ４００上のハードディスクＨＤ２に、ネットワーク３００を経由してアップロードされる。観察者である病理医は、病院内の病理学室ＰＲまたは病院外の建物ＥＸにいてイメージ管理サーバ４００とネットワーク３００により接続されたビューワコンピュータ５００を用いて、イメージ管理サーバ４００のハードディスクＨＤ２に格納されたＪＰＥＧ画像を観察する。
　［ビューワコンピュータ５００の構成］
　次に、ビューワコンピュータ５００の構成について説明する。
　図３は、本技術に係るビューワコンピュータ５００のハードウェアの構成を示すブロック図である。
　ビューワコンピュータ５００は、演算制御を行うＣＰＵ(Central Processing Unit)２１、ＲＯＭ(Read Only Memory)２２、ＣＰＵ２１のワークメモリとなるＲＡＭ(Random Access Memory)２３、ユーザの操作に応じた命令を入力する操作入力部２４、インターフェイス部２５、表示部２６、記憶部２７、ネットワークインターフェイス部２８、およびこれらを互いに接続するバス２９を備える。
　ＲＯＭ２２には、各種の処理を実行するためのプログラムが格納される。インターフェイス部２５には、コントローラ３０が接続される。コントローラ３０には、各種ボタンやスティックが備えられておりユーザによる様々な入力を受け付けることができる。またコントローラ３０は、加速度センサや傾きセンサを内蔵しており、ユーザがコントローラ３０を傾けたり振ったりすることによりコントローラ３０に与える指示を受け付けることができる。
　ネットワークインターフェイス部２８には、ネットワーク３００が接続される。表示部２６には、液晶ディスプレイ、ＥＬ（Electro Luminescence）ディスプレイ又はプラズマディスプレイ等が適用される。記憶部２７には、ＨＤＤ（Hard Disk Drive）に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。
　ＣＰＵ２１は、ＲＯＭ２２に格納される複数のプログラムのうち、操作入力部２４から与えられる命令に対応するプログラムをＲＡＭ２３に展開し、該展開したプログラムにしたがって、表示部２６及び記憶部２７を適宜制御する。
　ＣＰＵ２１は、後述する各機能ブロックを実現する。ＣＰＵ２１は、ＲＯＭ２２および記憶部２７等に格納されたプログラムを実行して、必要に応じて、上記各部材を制御する。これにより、ビューワコンピュータ５００は、種々の機能ブロックを実現することができ、上記各部材を、ビューワコンピュータ５００として動作させることができる。
　［コントローラ３０の具体例］
　図４は、コントローラ３０の具体例である、ゲームコントローラを示す図である。このコントローラ３０は、両手により保持することができ、左右それぞれの人差し指および親指により十字キーなどのボタンを操作できる。また、左右それぞれの親指が当たる個所には左右それぞれ１本、合計２本のスティックが設けられており、３６０度に亘って方向を入力することができる。
　なお、上述のとおり、コントローラ３０には加速度センサや傾きセンサが設けられているので、コントローラ３０本体を振ったり傾けたりすることにより、様々な指示を入力することができる。
　［コントローラ３０の使用による利点］
　病理診断では、巨大な画像を扱うので、画像が表示された画面に対してスクロールの指示を多く連続して与える機会がある。その際、マウスを用いると、例えば、画像をドラッグしてスクロールさせる場合、ドラッグ操作を何度も繰り返さなければならない。
　その点、コントローラ３０では、スティックを一定方向に倒して保持する操作やコントローラ３０本体を一定量傾けて保持する操作に対応した処理として、連続的なスクロール動作を割り当てておけば、容易にスクロールし続けることができる。また、連続的なスクロール操作は、顕微鏡の操作に類似しているので、病理診断との親和性が高い。
　また、病理診断では、病理医は、画像に集中し画像から目を離さない状態で頻繁な画像の拡大縮小やスクロールを行いたいと思う。そのため、マウスによるメニュー操作よりも、コントローラ３０のボタンやスティックに処理を割り付けて直接的に操作を行ったり、コントローラ３０本体を振ったり傾けたりする動作に処理を割り付けることが有効である。
　［コントローラ３０による指示入力の具体例］
　コントローラ３０による指示入力の具体例としては、以下のものが考えられる。コントローラ３０を縦に振って、画像の拡大を行う。コントローラ３０を横に振って、画像を横にスクロールする。コントローラ３０を斜めに振って、画面上に表示された追加的な情報を隠す。コントローラ３０を一瞬だけ傾けて次の画像を表示させる。コントローラ３０の左側スティックの操作により、画面を分割する、などである。
　なお、後述するスクロールモードに関して、通常モードおよびガイドモードでの動作をコントローラ３０に割り付けることができる。例えば、通常モードのときは、コントローラ３０を傾けることにより画面をスクロールさせ、ガイドモードのときは、コントローラ３０上の右側スティックを傾けることにより、後述するガイド線に沿ったスクロールをさせることができる。
　［イメージ管理サーバ４００の構成］
　次に、イメージ管理サーバ４００の構成について説明する。
　イメージ管理サーバのハードウェア構成は、コントローラ３０が接続されない点を除けば、基本的にビューワコンピュータ５００のハードウェア構成と同じである。そのため、詳細な説明は省略する。
　［イメージ管理サーバ４００の機能ブロック］
　次に、イメージ管理サーバ４００の機能ブロックについて説明する。イメージ管理サーバ４００の主な機能は、ビューワコンピュータ５００に対して、タイル化された病理画像や後述のガイドデータを提供することである。図５は、イメージ管理サーバ４００の機能ブロックを表す図である。
　イメージ管理サーバ４００は、画像格納部４１（記憶部）、画像提供部４２、ガイドデータ生成部４３、ガイドデータ格納部４４（記憶部）、およびガイドデータ提供部４５を備えている。
　画像格納部４１は、病理画像を格納している。病理画像は、縦横それぞれ２５６ピクセルのタイル状の画像に分割され保存されており、ビューワコンピュータ５００からの画像要求に対応して、画像提供部４２を介してビューワコンピュータ５００に提供される。
　画像提供部４２は、ビューワコンピュータ５００からの画像要求を受け付け、画像要求に対応した病理画像を画像格納部４１から取得し、ビューワコンピュータ５００に送信する。
　ガイドデータ生成部４３は、画像格納部４１から病理画像全体を取得し、ガイドデータを生成する。ガイドデータの生成は、病理画像のスライド１枚分が揃った時点において、バッチ処理として行われる。ビューワコンピュータ５００からの画像要求と同期して少しずつ生成されるわけではない。生成されたガイドデータは、ガイドデータ格納部４４に格納される。
　ガイドデータ格納部４４は、ガイドデータ生成部４３により生成された病理画像のガイドデータを格納する。格納されているガイドデータは、ビューワコンピュータ５００からのガイドデータ要求に対応して、ガイドデータ提供部４５を介してビューワコンピュータ５００に提供される。
　ガイドデータ提供部４５は、ビューワコンピュータ５００からのガイドデータ要求を受け付け、対応するガイドデータをガイドデータ格納部４４から取得し、ビューワコンピュータ５００に送信する。
　なお、イメージ管理サーバ４００とビューワコンピュータ５００とは、クライアント・サーバ型システムを構成しているので、どの機能をクライアント側に持たせ、どの機能をサーバ側に持たせるかは、設計事項である。それ故、上記各機能ブロックの実行場所は上述のイメージ管理サーバ４００上に限定されるものではなく、クライアント側であるビューワコンピュータ５００上において実行される構成でもよい。
　［ビューワコンピュータ５００の機能ブロック］
　次に、ビューワコンピュータ５００の機能ブロックについて説明する。ビューワコンピュータ５００の主な機能は、病理医であるユーザからの操作指示を受け付け、対応する病理画像およびガイドデータをイメージ管理サーバ４００から取得し、ユーザに対し表示することである。図６は、ビューワコンピュータ５００の機能ブロックを示す図である。
　ビューワコンピュータ５００は、ガイドデータ取得部５１、画像取得部５２、入力制御部５３（入力部）、表示制御部５４（表示制御部）、移動先計算部５５（制御部）、先読み部５６（制御部）、モード切替部５７（制御部）、およびガイド方向計算部５８（制御部）を備えている。
　ガイドデータ取得部５１は、後述するガイドデータをイメージ管理サーバ４００から取得する。病理医であるユーザが観察を行う病理画像をイメージ管理サーバ４００から取得してビューワコンピュータ５００上に表示するが、その際、まずその病理画像に対応したガイドデータがガイドデータ取得部５１により取得される。取得されたガイドデータは、移動先計算部５５、先読み部５６、およびガイド方向計算部５８に渡され、それぞれの目的に応じて利用される。
　画像取得部５２は、イメージ管理サーバ４００から、ユーザが観察をするために指定した病理画像を取得する。また、ユーザが病理画像を拡大縮小したり、表示領域をスクロールしたりして、新たな画像の取得が必要になるたびに、画像取得部５２がイメージ管理サーバ４００から適切な画像を取得する。
　画像の取得は、ユーザの操作に応じて行われると共に、先読み部５６による先読みによっても取得される。イメージ管理サーバ４００から取得した画像は、表示制御部５４を介して、表示部２６上に表示される。
　入力制御部５３は、操作入力部２４、例えばキーボードやマウスにより受け付けられたユーザによる操作や、インターフェイス部２５を介してコントローラ３０、例えばゲームコントローラにより受け付けられた操作を解釈し、関係する各機能ブロックに指示を出す。
　例えば、スクロールモードが通常モードであるときに、コントローラ３０が傾けられた場合、傾けられた方向および量を認識して、その方向に傾けた量に応じた速度により画像を連続的にスクロールするように、関係する機能ブロックに指示を出す。
　表示制御部５４は、画像取得部５２によりイメージ管理サーバ４００から取得された画像や、ユーザが各種操作を入力するためのＧＵＩ（Graphical User Interface）などを、表示部２６の画面上に表示する。また、表示制御部５４は、スクロールモードがガイドモードである場合に、ガイド方向計算部５８が計算した位置および方向に、後述する矢印を表示する。
　移動先計算部５５は、現在画面に表示されている病理画像の表示範囲をどのように動かすか、また、表示範囲を動かした際にどの位置の画像を新たにイメージ管理サーバから読み込むべきかを計算する。
　スクロールモードが通常モードである場合は、ユーザによるコントローラ３０の操作により受け付けたスクロール方向およびスクロール量に応じて、新しい画面の表示範囲を計算する。スクロールモードがガイドモードである場合は、ガイドデータに基づいたスクロール方向およびスクロール量を計算し、新しい画面の表示範囲を求める。ガイドデータに基づいたスクロール方向およびスクロール量の計算方法については後述する。
　先読み部５６は、表示部２６への画像の表示をスムーズに行う為に、現在の画像の表示範囲や現在行われているユーザ操作などに基づいて、次に表示されると予測される表示範囲に含まれる病理画像を、予めイメージ管理サーバ４００から先読みする。先読みする画像の範囲は、スクロールモードが通常モードであるかガイドモードであるかにより大きく異なる。どのモードのときにどの範囲を先読みするかについて、詳細は後述する。
　モード切替部５７は、入力制御部５３を介して、ユーザからスクロールモードの切り替えを受け付ける。モード切替部５７は、ユーザにより、スクロールモードが通常モードとガイドモードとの間で切り替えられるたびに、移動先計算部５５、先読み部５６、およびガイド方向計算部５８に指示を出し、それぞれのモードに応じた処理を行わせる。
　ガイド方向計算部５８は、スクロールモードがガイドモードである場合に、スクロール方向を示す矢印を画面上に表示する際の、矢印の表示位置および表示方向を計算する。計算された表示位置および表示方向は、表示制御部５４に伝えられ、表示制御部５４および表示部２６を介して、画面上の予め定められた位置に、スクロール方向を示す矢印が表示される。
　なお、上述のとおり、ビューワコンピュータ５００とイメージ管理サーバ４００とは、クライアント・サーバ型システムを構成しているので、どの機能をクライアント側に持たせ、どの機能をサーバ側に持たせるかは、設計事項である。それ故、上記各機能ブロックのうち、一部の実行場所は上述のビューワコンピュータ５００上に限定されるものではなく、サーバ側であるイメージ管理サーバ４００上において実行される構成でもよい。
　［針生検画像をビューワにより観察する際の問題点と解決策］
　次に、針生検画像をビューワにより観察する際の問題点とその解決策について説明する。まず問題点である。従来は、針生検画像に撮影された細長い検体にそって観察を行う際、ユーザは、スクロール方向を微調整しながら、不規則な検体の形状に沿って表示範囲をスクロールさせなければならなかった。その為、コントローラ３０のスティック操作を微調整しながらスクロールしなければならず、画像診断に集中することが困難であるという問題があった。
　図７は、コントローラ３０のスティックを微調整しながら表示範囲をスクロールさせる例を示す図である。表示範囲をＤＡ１からＤＡ２にスクロールさせるために、ユーザは、コントローラ３０のスティックを倒す方向を左下方向に倒し、表示範囲が検体から外れないように倒す方向を微調整している。表示範囲をＤＡ２からＤＡ３にスクロールさせるためには、ユーザは、スティックを右下方向に倒し、同じ様に微調整を繰り返している。
　次に解決策である。解決策は、ユーザによるスクロール指示が大雑把なものであっても、ビューワコンピュータ５００が不規則な検体の形状に沿って正確に表示範囲をスクロールさせるというものである。
　このような方法を採ることにより、例えば、上下方向に細長い検体の場合、ユーザはスクロール方向として大雑把に、「上方向」か「下方向」かを入力するだけで済む。検体の形状に沿ったスクロールはビューワコンピュータ５００がやってくれるので、ユーザはコントローラ３０のスティックを傾ける方向を微妙に操作する作業から解放される。それ故、ユーザは病理画像の診断に集中する事ができる。
　また、ビューワコンピュータ５００によるスクロールは、検体の端から端まで行われるので、病理医であるユーザが、検体の一部の領域を見落とすことを防ぐことができる。
　なお、この解決策にあたるスクロールモードのことをここではガイドモードと呼び、従来からのユーザが指定した自由な方向にスクロールが行われるスクロールモードを通常モードと呼んで区別を行う。
　図８は、コントローラ３０のスティックを大雑把に操作しながら表示範囲を正確にスクロールさせる例を示す図である。表示範囲は最初ＤＡ１にあり、そこから左下にあるＤＡ２にスクロールさせる。このときユーザが行う操作は、コントローラ３０のスティックを、下方向に倒すことである。倒す方向は下方向の成分が入っている角度ならば、右下方向でも左下方向でも真下方向でもよい。この例では、ユーザは真下方向にスティックを倒している。
　表示範囲をＤＡ２から右下のＤＡ３にスクロールさせる場合も、ユーザが行うべき操作は、スティックを下方向に倒すだけである。この例では、ユーザがスティックを真下に倒したのに対し、表示範囲は右下にスクロールされている。
　なお、上記の解決策を実現するための方法の詳細について、イメージ管理サーバ４００およびビューワコンピュータ５００が持つべきハードウェアおよび機能ブロックについては、上述のとおりである。その他の詳細については以下に記述する。
　［ガイドデータについて］
　次に、本技術による解決策である、ビューワコンピュータ５００による、検体の形状に沿った正確なスクロールを行う為に必要となるガイドデータについて説明する。なおガイドデータとは、以下に述べる点列の座標の集合のことである。
　図９は、病理画像の画像解析を行い、検体の上にガイドデータとなる点列を配した例を示す図である。画像解析の方法については後述する。図には３本の検体が写っている。左側の検体の最上部に最初の点Ｐ１が位置する。そこから、検体の中心に沿って、予め定められた間隔により点が定められてゆき、左側の検体の最下部には点Ｐ１４が配置されている。次の点Ｐ１５は、中央の検体の最上部に位置し、同様に、中央の検体の最下部にＰ３０が来ている。Ｐ３０の次の点Ｐ３１は右側の検体の最上部に続き、最下部にＰｎが配置されている。
　なお、この例では、点列Ｐｎ（ｎは１以上の整数）は、縦に並んだ検体の左側から右側へ、一つの検体の上から下へと順番に並んでいるが、並び方は端から順番に並べる方法であれば、この並び方に限らない。
　以下の説明では、点列Ｐｎ（ｎは１以上の整数）のうち、隣り合う点ＰｊおよびＰｊ＋１（ｊ＝１，２，…，ｎ－１）を結んだ線分を点列線分ＰｊＰｊ＋１と呼ぶ。
　ガイドモードでは、ガイドデータの点Ｐｎ、または点列線分上の点が表示範囲の中心にくるように、スクロールが行われる。なお、以下では、表示範囲の中心点のことをビューポイントと呼ぶ。
　［ガイドデータの計算方法］
　次に、イメージ管理サーバ４００のガイドデータ生成部４３が行う、ガイドデータの計算方法について説明する。ガイドデータである点列Ｐｎ（ｎは１以上の整数）を、検体が撮像された病理画像の解析から求める方法は、検体の中心線を通る点列Ｐｎが得られるのであれば、特に限定されない。
　例えば、細長い検体の中央付近では、両側の輪郭線を結んだ線分の内、最も長さが短い線分の中点を用いて点列Ｐｎを求めてもよい。図１０は、最も長さが短い線分の中点として、点Ｐｎを求める場合の例を示す図である。
　また、例えば、縦に置かれた検体から点列Ｐｎを求める場合、まず検体を水平方向に横切る水平線を定め、検体の水平方向の幅の中心点を用いて点列Ｐｎを求めてもよい。図１１は、水平線を定め、検体の水平方向の幅の中心点を用いて点Ｐｎを求める場合の例を示す図である。
　［スクロール先となるビューポイントの求め方（その１）］
　次に、スクロールモードがガイドモードである場合に、ユーザがコントローラ３０のスティックを操作した方向および量に応じて、表示範囲のスクロール先となるビューポイントを求める方法を説明する。
　次のビューポイントの設定方法は、ユーザのスティック操作により、次のビューポイント候補が得られたら、そのビューポイント候補の座標から最も近い点列線分上の点を求め、その点を次のビューポイントに設定する方法である。この方法を用いると、検体の置かれた方向が縦方向であっても横方向であっても、適切に次のビューポイントを求めることができる。
　図１２は、ビューポイント候補から次のビューポイントを求める例を示す図である。次のビューポイント候補Ｃに最も近い点列線分上の点Ｑを次のビューポイントとして定める。
　［最も近い線分上の点を求めるアルゴリズムについて］
　次に、ビューポイント候補Ｃに最も近い点列線分上の点Ｑを求めるアルゴリズムについて説明する。図１３を用いて説明する。図１３は、ビューポイント候補Ｃに最も近い点列線分上の点Ｑを求めるアルゴリズムを示す図である。
　まず、ビューポイント候補の点Ｃと点列線分の一つである線分ＰｊＰｊ＋１が与えられたとき、ＰｊＣを結ぶベクトルａとＰｊＰｊ＋１を結ぶベクトルｂの内積ａ・ｂを計算する。
　ｉ）ａ・ｂ≦０の場合
　　ａ・ｂ＝｜ａ｜｜ｂ｜ｃｏｓθ≦０よりｃｏｓθ≦０
　　よってＰｊが最も近い点となる。（図１３の上側の図参照）
　ｉｉ）ａ・ｂ＞０の場合
　　｜ａ｜ｃｏｓθ≦｜ｂ｜ならＱが最も近い点となる。（図１３の中央の図参照）
　　｜ａ｜ｃｏｓθ＞｜ｂ｜ならＰｊ＋１が最も近い点となる。（図１３の下側の図参照）
　次に、上記の計算を、ビューポイント候補の点Ｃと、全ての点列線分ＰｊＰｊ＋１（ｊ＝１，２，…，ｎ－１）に対して適用し、その中で最も距離が短い点を求める。
　最後に、最も距離が短い点として求められた点を、次のビューポイントに設定する。
　［スクロール先となるビューポイントの求め方（その２）］
　上記では、ビューポイント候補Ｃに最も近い点列線分上の点Ｑを次のビューポイントとして定めるアルゴリズムを説明した。ここでは、それ以外のアルゴリズムを用いて次のビューポイントを求める方法を説明する。図１４は、この別のアルゴリズムを説明する図である。
　まず、ビューポイント候補の点Ｃから、水平方向および垂直方向に、点列線分に向かって補助線を伸ばす。水平方向に伸ばした補助線が点列線分と交わった点を点ＱＨとし、垂直方向に伸ばした補助線が点列線分と交わった点を点ＱＶとする。
　次に、線分ＣＱＨと線分ＣＱＶとの長さを比較し、短いほうを選択する。図１４では、線分ＣＱＨのほうが短いのでこちらが選択される。
　最後に、選択した線分を構成する、点列線分上の点を次のビューポイントに設定する。図１４の例では、点ＱＨが次のビューポイントとなる。
　［エッジポイントの処理について］
　次に、エッジポイントの処理について説明する。エッジポイントとは、検体の上に並ぶ点列の点のうち、最も端にある点のことである。図１５は、点列を構成する点の内、どの点がエッジポイントであるかを示す図である。この図では、点Ｐ１、Ｐ１４、Ｐ１５、Ｐ３０、Ｐ３１、Ｐｎの６個の点がエッジポイントである。
　エッジポイントの処理とは、図１５を例にとると、ビューポイントが左側の検体の点Ｐ１４まで下がってきたとき、次の表示範囲を、Ｐ１４より下に移動させるのではなく、ビューポイントを中央の検体の最上部の点Ｐ１５に移す処理である。
　このように処理を行うことにより、最初の検体の端まで観察した後、ユーザが次の検体の端を探してそこから再度観察を開始する場合に比べ、格段に観察位置を探す手間を省くことができる。
　なお、エッジポイントの処理は、スクロールモードがガイドモードである場合のみ有効である。
　［ガイド線の表示について］
　ガイド線とは、検体の画像の上に、点列線分を実際の線として表示したものである。
　図１６は、ガイド線が、ビューワ画面上において表示される例を示す図である。この図にあるように、ビューワ画面６０は、ビューワ画面６０の右上に示されるサムネイルマップ６１と、病理画像を観察するための観察領域６２とから構成されている。サムネイルマップ６１上には、画像全体の縮小画像と、観察領域６２に表示されている画像の範囲をサムネイルマップ６１上において等価的に示す枠ＦＲと、ガイド線ＧＬとが表示されている。
　枠ＦＲは、サムネイルマップ６１上において、ユーザからの指示によって観察領域６２に表示されている画像がスクロールするたびに、そのスクロールに応じて移動が行われる。
　ガイド線ＧＬがサムネイルマップ６１上に表示されることにより、ユーザは、スクロールモードがガイドモードである場合に、スクロールがどのように行われるかを予め知る事ができる。
　なお、ガイド線ＧＬがサムネイルマップ６１上に表示されるのは、スクロールモードがガイドモードの場合に限らず、スクロールモードが通常モードのときであってもよい。ガイド線ＧＬにより、検体の中心線の位置がわかるからである。
　また、上記では、ガイド線ＧＬがサムネイルマップ６１上に表示されるとしたが、これに限らず、ガイド線ＧＬが観察領域６２上に表示される構成でもよい。ガイド線ＧＬが観察領域６２上に表示される構成では、さらに、ガイド線ＧＬの表示のオンオフができる構成であることが望ましい。病理医による画像診断の妨げになることを防ぐためである。
　［スクロールモードの切り替えについて］
　ビューワ画面に表示された病理画像をスクロールする際のスクロールモードには、上述のとおり、通常モードとガイドモードがある。通常モードでは、ユーザが自由にスクロール方向やスクロール量を決めてスクロールを行うことができるのに対し、ガイドモードでは、ユーザによるスクロール指示が修正され、ガイド線に沿ったスクロールが行われる。
　通常モードとガイドモードとの切り替えは、ユーザからの指示により行われる。例えば、ユーザがコントローラ３０の右側のスティックを押し込む操作をすると、入力制御部５３がそれを検知し、モード切替部５７に通知することにより、モード切替部５７がスクロールモードを切り替える。
　なお、上記の説明では、スクロールモードは、通常モードとガイドモードとの間において切り替えられるものであるとした。その場合、二つのモードは同時に併存はしない。
　しかし、両方のモードが併存する構成を採ることもできる。例えば、ユーザは、コントローラ３０の右スティックを傾けることにより、ガイドモードにおいて規定されたスクロールが行われるが、その後に、ユーザがコントローラ３０を傾けることにより、表示範囲の中心がビューポイントから外れるスクロールが行われてもよい。
　このように、モード切替部５７がユーザによる操作が何を用いて行われたかを判定することにより、通常モードとガイドモードとが自動的に相互に切り替わる構成を採ることができる。この構成により、ユーザがスクロールモードの切り替えを指示する手間を省くことができる。
　［ガイド方向の表示について］
　スクロールモードがガイドモードである場合に、ユーザに対し、どのようにスクロールが行われるかを示す方法として、上記では、サムネイルマップ６１上に示されるガイド線ＧＬについて説明した。これ以外の方法として、ビューワ画面６０の観察領域６２上に、検体の方向、すなわちガイドモードにおいてスクロールが行われる方向を示す矢印を表示させることもできる。
　図１７は、ビューワ画面６０の観察領域６２上に、スクロール方向を示す矢印ＡＲを表示させる例を示す図である。矢印ＡＲ以外は、図１６において示したビューワ画面と同様なので、説明は省略する。
　観察領域６２上にこの矢印ＡＲが表示されることにより、ユーザは、ガイドモードのときに画像のスクロールがどちらの方向へ行われるかを予め知ることができる。この矢印ＡＲは、ガイドモードのときのみならず、通常モードのときも表示される構成でもよい。上記の説明ではこの矢印ＡＲがスクロールの方向を示すとしたが、この矢印ＡＲは、同時に観察領域６２外のどの方向に検体の画像が伸びているかも示しているため、通常モードにおいてユーザが自由なスクロールを行う際も、矢印ＡＲにより示される情報は有用だからである。
　なお、矢印ＡＲの表示位置および方向は、ガイド方向計算部５８により計算される。計算方法は、例えば、図１７に示した例の場合、検体の上を通っている点列線分上の点であって、観察領域４２の縁から予め定められた距離にある点を求め、その点の上に、点列線分の方向に合わせて矢印を表示する方法がある。
　［スクロール方法のまとめ］
　ここで、画像のスクロール方法の流れをまとめておく。図１８は、スクロール方法の流れを示すフローチャートである。
　まず、入力制御部５３が、コントローラ３０の傾きやコントローラ３０上のスティックの傾きを検知して、ユーザが入力したスクロール方向およびスクロール量を受け付ける(ステップＳ１)。
　次に、移動先計算部５５が、ビューポイントの移動先候補を計算する（ステップＳ２）。
　スクロールモードが通常モードである場合は（ステップＳ３のＮ）、ステップＳ２において計算された移動先候補をそのまま次のビューポイントをして設定する。ビューポイントの移動先を計算する際に、スクロールモードがガイドモードである場合は（ステップＳ３のＹ）、ガイドデータに基づき、ビューポイントの移動先を補正して次のビューポイントを設定する（ステップＳ４）。
　ビューポイントの移動先がエッジポイントとなる場合は（ステップＳ５のＹ）、次の検体（ライン）上のエッジポイントを次のビューポイントに設定する（ステップＳ６）。
　最後に、表示制御部５４が、次のビューポイントに該当する画像を画像取得部５２を介してイメージ管理サーバ４００から取得し、することにより、設定された次のビューポイントへ、実際のスクロールを行う（ステップＳ７）。
　以上の流れに沿って、病理画像のスクロールは行われることになる。
　［画像の先読みについて］
　次に画像の先読みについて説明する。
　画像の先読みは、通常、スクロール時の新しい表示範囲の表示を高速に行う為に行われる。現在の表示範囲の周辺を先読みしてキャッシュに置いておくことにより、表示の高速化が実現される。
　先読みする範囲は、状況により大きく異なる。図１９は、先読みする対象の範囲を示す図である。例えば、ある領域が表示され、何もスクロール操作が行われていない静止時には、図１９の左側に示すように、現在表示している領域の周辺全てが先読みの対象となる。また、図１９の右側にあるように、ある領域が表示された状態からスクロール操作が行われている場合は、スクロール方向が右上なので、先読みの対象となる範囲は、現在の表示領域の右側および上側となる。
　このように、先読みを行う範囲は状況によって大きく異なる上、表示範囲の移動先が必ずしも予測した通りにはならないため、先読みした画像が使われないこともあり、先読みの効率（先読みキャッシュのヒット率）は良いとは限らなかった。
　しかし、本技術によるガイドモードでのスクロールの場合は、状況が異なってくる。スクロールを行う際の、表示範囲の中心となるビューポイントは、点列線分上、すなわちガイド線ＧＬ上を一軸方向に移動するだけであり、次の表示範囲の予測を容易にかつ確実に行うことができる。そのため、先読みキャッシュのヒット率は高く、先読みを行うことは表示を高速化するために非常に有効な手段となる。
　図２０は、先読みの具体例を示す図である。現在の表示範囲ＤＡ１からみて上下方向それぞれに、ガイド線ＧＬに沿った領域が、先読み範囲ＰＲ１、ＰＲ２、ＰＲ３、およびＰＲ４である。
　なお、図２１に示すように、現在の表示範囲ＤＡ１のビューポイントがエッジポイントにかかる場合でも、先読み範囲ＰＲ１を正しく読み込むことができる。
　［先読み処理の流れについて］
　次に、先読み処理の流れについて説明する。図２２は、先読み処理の流れを示すフローチャートである。
　まず、先読み部５６が、現在のスクロールモードがガイドモードであるか否かを判断する（ステップＳ１１）。ガイドモードではない場合は（ステップＳ１１のＮ）、何もしないで終了する。
　次に、先読み部５６は、移動先計算部５５から、次のビューポイントの位置を取得する（ステップＳ１２）。
　次に、先読み部５６は、次のビューポイントの位置に対応した画像がキャッシュにあるかどうかを確認する（ステップＳ１３）。もし画像がキャッシュに無い場合は（ステップＳ１３のＮ）、新たに画像を先読みする（ステップＳ１４）。
　最後に、現在のビューポイントの位置を、次のビューポイントの位置を用いて更新しておく（ステップＳ１５）。
　以上が、先読みを行う際の処理の流れである。なお、ステップＳ１１では、スクロールモードがガイドモードではない場合は、何もせず終了するとしたが、通常モードの場合も、効率は悪くなるが、先読み処理を行う構成でもよい。
　［先読みによる効果について］
　スクロールモードがガイドモードである場合に、先読みを行う事による効果について述べる。
　まず、上述したように、先読みキャッシュのヒット率があがるので、ビューワコンピュータ５００が使用するネットワーク３００が低スループット環境にある場合のビューワの使用感が向上する。
　また、無駄な画像データの先読みが少なくなるので、ネットワーク帯域を有効に活用することができる。
　［その他の先読み例について］
　上記では、ガイドモードのときに、ガイド線ＧＬに沿って、画像の先読みを行う方法を示した。これ以外に、病理診断において、画像の先読みを行う方法として、例えば、病理医の癖を学習し、その癖に基づいて先読みを行う方法が考えられる。また、病理画像上にアノテーションが打たれた個所の近傍を優先的に先読みすることも考えられる。
　また、先読みキャッシュの予測ヒット率の高さとして先読み信頼度を求め、この先読み信頼度が高い場合は、一度に多くの先読み画像をイメージ管理サーバ４００に要求することが考えられる。この場合、多くの画像をまとめて伝送するので、伝送効率を高めることができる。
　［本技術の別の構成］
　なお、本技術は以下のような構成も採ることができる。
（１）検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶する記憶部と、前記記憶された病理画像の少なくとも一部を観察画像として画面に表示する表示制御部と、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付ける入力部と、前記指示と前記記憶されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する制御部とを具備する情報処理装置。
（２）前記（１）に記載の情報処理装置であって、前記ガイド情報は、前記病理画像上の検体の中心線上に予め定められた間隔により検体全体に設定される点の前記病理画像上の位置情報の並びである情報処理装置。
（３）前記（１）または（２）に記載の情報処理装置であって、前記制御部は、前記指示のみをもとに算出される前記観察画像の前記病理画像上の範囲の中心点を第１の中心点とし、当該第１の中心点に対応する、前記ガイド情報に含まれる隣接する点を結んだ線分上の点を第２の中心点として、当該第２の中心点を持つ前記観察画像の前記病理画像上の範囲を算出する情報処理装置。
（４）前記（１）から（３）のうちいずれか１つに記載の情報処理装置であって、前記制御部は、前記線分上の、前記第１の中心点に最も近い点を第２の中心点とする情報処理装置。
（５）前記（１）から（３）のうちいずれか１つに記載の情報処理装置であって、前記制御部は、前記第１の中心点から水平方向および垂直方向に引いた補助線が前記線分と交わった点のうち当該第１の中心点に最も近い点を第２の中心点とする情報処理装置。
（６）前記（１）から（５）のうちいずれか１つに記載の情報処理装置であって、前記制御部は、前記ガイド情報と前記入力部が受け付けると予測される前記指示とに基づいて予測される前記観察画像を前記記憶部から先読みする情報処理装置。
（７）前記（１）から（６）のうちいずれか１つに記載の情報処理装置であって、前記制御部は、前記指示と前記ガイド情報とに基づいて前記観察画像の前記病理画像上の範囲を算出するガイドモードと、前記指示のみに基づいて前記観察画像の前記病理画像上の範囲を算出する通常モードとを切り替える情報処理装置。
（８）前記（７）に記載の情報処理装置であって、前記制御部は、前記入力部が受け付けた前記ユーザによる明示的なモード切り替え指示に基づき前記ガイドモードと前記通常モードとを切り替える情報処理装置。
（９）前記（７）に記載の情報処理装置であって、前記制御部は、前記ガイドモードのときに前記入力部が受け付ける前記指示の入力方法を第１の入力方法とし、前記通常モードのときに前記入力部が受け付ける、前記第１の入力方法とは異なる前記指示の入力方法を第２の入力方法として、いずれの入力方法により前記指示が入力されたかを判定し、当該判定に基づき前記ガイドモードと前記通常モードとを切り替える情報処理装置。
（１０）前記（１）から（９）のうちいずれか１つに記載の情報処理装置であって、前記表示制御部は、前記検体の一部が観察画像として表示されている前記画面上に、当該検体の、当該観察画像から外れた部分が続く位置および方向を示す矢印を表示する情報処理装置。
（１１）前記（１）から（１０）のうちいずれか１つに記載の情報処理装置であって、前記表示制御部は、前記ガイド情報を前記画面上に表示する情報処理装置。
（１２）前記（１）から（１０）のうちいずれか１つに記載の情報処理装置であって、前記表示制御部は、前記ガイド情報を前記病理画像の全体が表示されるサムネイルマップ上に表示する情報処理装置。
（１３）前記（１）から（１２）のうちいずれか１つに記載の情報処理装置であって、傾きセンサを有するコントローラをさらに具備し、前記ユーザは、当該コントローラを傾けることにより前記指示を入力する情報処理装置。
（１４）前記（１）から（１３）のうちいずれか１つに記載の情報処理装置であって、前記ガイド情報は、前記病理画像に撮影された前記検体が複数ある場合、１つの前記検体の端の前記観察画像に続いて別の前記検体の端が前記観察画像になるように前記制御部に前記病理画像上の範囲を算出させる情報処理装置。
（１５）記憶部が、検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶し、表示制御部が、前記記憶された病理画像の少なくとも一部を観察画像として画面に表示し、入力部が、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付け、制御部が、前記指示と前記記憶されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する情報処理方法。
（１６）検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶する記憶部、前記記憶された病理画像の少なくとも一部を観察画像として画面に表示する表示制御部、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付ける入力部、および前記指示と前記記憶されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する制御部としてコンピュータを動作させる情報処理プログラム。
（１７）検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶する記憶部と、記憶された前記病理画像および前記ガイド情報をクライアントコンピュータに提供する提供部とを具備するサーバコンピュータと、前記サーバコンピュータから前記病理画像および前記ガイド情報を取得する取得部と、前記取得された病理画像の少なくとも一部を観察画像として画面に表示する表示制御部と、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付ける入力部と、前記指示と前記取得されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する制御部とを具備するクライアントコンピュータとからなる情報処理システム。
　　１０…顕微鏡
　　２０…スキャナ用コンピュータ
　　２１…ＣＰＵ
　　２２…ＲＯＭ
　　２３…ＲＡＭ
　　２４…操作入力部
　　２５…インターフェイス部
　　２６…表示部
　　２７…記憶部
　　２８…ネットワークインターフェイス部
　　２９…バス
　　３０…コントローラ
　　４１…画像格納部
　　４２…画像提供部
　　４３…ガイドデータ生成部
　　４４…ガイドデータ格納部
　　４５…ガイドデータ提供部
　　５１…ガイドデータ取得部
　　５２…画像取得部
　　５３…入力制御部
　　５４…表示制御部
　　５５…移動先計算部
　　５６…先読み部
　　５７…モード切替部
　　５８…ガイド方向計算部
　　６０…ビューワ画面
　　６１…サムネイルマップ
　　６２…観察領域
　１００…スキャナ
　３００…ネットワーク
　４００…イメージ管理サーバ
　５００…ビューワコンピュータ

Claims (17)

  1. 　検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶する記憶部と、
    　前記記憶された病理画像の少なくとも一部を観察画像として画面に表示する表示制御部と、
    　前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付ける入力部と、
    　前記指示と前記記憶されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する制御部と
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記ガイド情報は、
    　前記病理画像上の検体の中心線上に予め定められた間隔により検体全体に設定される点の前記病理画像上の位置情報の並びである
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記制御部は、
    　前記指示のみをもとに算出される前記観察画像の前記病理画像上の範囲の中心点を第１の中心点とし、当該第１の中心点に対応する、前記ガイド情報に含まれる隣接する点を結んだ線分上の点を第２の中心点として、当該第２の中心点を持つ前記観察画像の前記病理画像上の範囲を算出する
    　情報処理装置。
  4. 　請求項３に記載の情報処理装置であって、
    　前記制御部は、
    　前記線分上の、前記第１の中心点に最も近い点を第２の中心点とする
    　情報処理装置。
  5. 　請求項３に記載の情報処理装置であって、
    　前記制御部は、
    　前記第１の中心点から水平方向および垂直方向に引いた補助線が前記線分と交わった点のうち当該第１の中心点に最も近い点を第２の中心点とする
    　情報処理装置。
  6. 　請求項４に記載の情報処理装置であって、
    　前記制御部は、
    　前記ガイド情報と前記入力部が受け付けると予測される前記指示とに基づいて予測される前記観察画像を前記記憶部から先読みする
    　情報処理装置。
  7. 　請求項６に記載の情報処理装置であって、
    　前記制御部は、
    　前記指示と前記ガイド情報とに基づいて前記観察画像の前記病理画像上の範囲を算出するガイドモードと、
    　前記指示のみに基づいて前記観察画像の前記病理画像上の範囲を算出する通常モードと
    を切り替える
    　情報処理装置。
  8. 　請求項７に記載の情報処理装置であって、
    　前記制御部は、
    　前記入力部が受け付けた前記ユーザによる明示的なモード切り替え指示に基づき前記ガイドモードと前記通常モードとを切り替える
    　情報処理装置。
  9. 　請求項７に記載の情報処理装置であって、
    　前記制御部は、
    　前記ガイドモードのときに前記入力部が受け付ける前記指示の入力方法を第１の入力方法とし、
    　前記通常モードのときに前記入力部が受け付ける、前記第１の入力方法とは異なる前記指示の入力方法を第２の入力方法として、
    　いずれの入力方法により前記指示が入力されたかを判定し、当該判定に基づき前記ガイドモードと前記通常モードとを切り替える
    　情報処理装置。
  10. 　請求項８に記載の情報処理装置であって、
    　前記表示制御部は、
    　前記検体の一部が観察画像として表示されている前記画面上に、当該検体の、当該観察画像から外れた部分が続く位置および方向を示す矢印を表示する
    　情報処理装置。
  11. 　請求項１０に記載の情報処理装置であって、
    　前記表示制御部は、
    　前記ガイド情報を前記画面上に表示する
    　情報処理装置。
  12. 　請求項１１に記載の情報処理装置であって、
    　前記表示制御部は、
    　前記ガイド情報を前記病理画像の全体が表示されるサムネイルマップ上に表示する
    　情報処理装置。
  13. 　請求項１２に記載の情報処理装置であって、
    　傾きセンサを有するコントローラをさらに具備し、
    　前記ユーザは、当該コントローラを傾けることにより前記指示を入力する
    　情報処理装置。
  14. 　請求項１３に記載の情報処理装置であって、
    　前記ガイド情報は、
    　前記病理画像に撮影された前記検体が複数ある場合、
    　１つの前記検体の端の前記観察画像に続いて別の前記検体の端が前記観察画像になるように前記制御部に前記病理画像上の範囲を算出させる
    　情報処理装置。
  15. 　記憶部が、検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶し、
    　表示制御部が、前記記憶された病理画像の少なくとも一部を観察画像として画面に表示し、
    　入力部が、前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付け、
    　制御部が、前記指示と前記記憶されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する
    　情報処理方法。
  16. 　検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶する記憶部、
    　前記記憶された病理画像の少なくとも一部を観察画像として画面に表示する表示制御部、
    　前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付ける入力部、および
    　前記指示と前記記憶されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する制御部
    としてコンピュータを動作させる情報処理プログラム。
  17. 　検体の病理画像と、この病理画像における前記検体の形状の中心線に沿ったガイド情報とを記憶する記憶部と、
    　記憶された前記病理画像および前記ガイド情報をクライアントコンピュータに提供する提供部と
    　を具備するサーバコンピュータと、
    　前記サーバコンピュータから前記病理画像および前記ガイド情報を取得する取得部と、
    　前記取得された病理画像の少なくとも一部を観察画像として画面に表示する表示制御部と、
    　前記画面に表示された前記観察画像の前記病理画像上の範囲を変更するためのユーザからの指示を受け付ける入力部と、
    　前記指示と前記取得されたガイド情報とをもとに前記観察画像の前記病理画像上の範囲を算出する制御部と
    　を具備するクライアントコンピュータと
    からなる情報処理システム。
PCT/JP2013/003229 2012-06-14 2013-05-21 情報処理装置、情報処理方法、および情報処理プログラム WO2013186995A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014520891A JP6083435B2 (ja) 2012-06-14 2013-05-21 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
US14/405,699 US10460075B2 (en) 2012-06-14 2013-05-21 Information processing apparatus and method to move a display area of a needle biopsy image
EP13804030.8A EP2863204B1 (en) 2012-06-14 2013-05-21 Information processing device, information processing method, and information processing program
US16/590,880 US20200035336A1 (en) 2012-06-14 2019-10-02 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-134441 2012-06-14
JP2012134441 2012-06-14

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/405,699 A-371-Of-International US10460075B2 (en) 2012-06-14 2013-05-21 Information processing apparatus and method to move a display area of a needle biopsy image
US16/590,880 Continuation US20200035336A1 (en) 2012-06-14 2019-10-02 Information processing apparatus and information processing method

Publications (1)

Publication Number Publication Date
WO2013186995A1 true WO2013186995A1 (ja) 2013-12-19

Family

ID=49757844

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/003229 WO2013186995A1 (ja) 2012-06-14 2013-05-21 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (4)

Country Link
US (2) US10460075B2 (ja)
EP (2) EP3276332A3 (ja)
JP (3) JP6083435B2 (ja)
WO (1) WO2013186995A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017015449A1 (en) 2015-07-22 2017-01-26 Enanta Pharmaceuticals, Inc. Benzodiazepine derivatives as rsv inhibitors
WO2017123884A1 (en) 2016-01-15 2017-07-20 Enanta Pharmaceuticals, Inc. Heterocyclic compounds as rsv inhibitors
WO2018152413A1 (en) 2017-02-16 2018-08-23 Enanta Pharmaceuticals, Inc. Processes for the preparation of benzodiazepine derivatives
WO2019067864A1 (en) 2017-09-29 2019-04-04 Enanta Pharmaceuticals, Inc. PHARMACEUTICAL AGENTS IN COMBINATION AS INHIBITORS OF RSV
WO2019094903A1 (en) 2017-11-13 2019-05-16 Enanta Pharmaceuticals, Inc. Processes for the resolution of benzodiazepin-2-one and benzoazepin-2-one derivatives
JP2019169108A (ja) * 2018-03-26 2019-10-03 富士通株式会社 画像処理装置、方法、及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460075B2 (en) * 2012-06-14 2019-10-29 Sony Corporation Information processing apparatus and method to move a display area of a needle biopsy image
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5791744B1 (ja) * 2014-03-18 2015-10-07 株式会社ドワンゴ 端末装置、動画表示方法、及びプログラム
US9442857B2 (en) * 2014-10-03 2016-09-13 Adobe Systems Incorporated Dynamic memory estimations for memory bounded applications
US10792568B1 (en) * 2018-09-24 2020-10-06 Amazon Technologies, Inc. Path management for virtual environments

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152528A (ja) * 1993-11-26 1995-06-16 Fujitsu Ltd 画面スクロール装置及び方法
JP2006519443A (ja) 2003-02-28 2006-08-24 アペリオ・テクノロジーズ・インコーポレイテッド バーチャルスライドを閲覧するためのシステムおよび方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08280655A (ja) * 1995-04-18 1996-10-29 Toshiba Corp 血管像の定量解析装置
US6331116B1 (en) * 1996-09-16 2001-12-18 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual segmentation and examination
JPH10307571A (ja) * 1997-05-09 1998-11-17 Mutoh Ind Ltd 表示画面のスクロール方式
DE69831573T2 (de) 1997-07-17 2006-06-22 MonoGen, Inc., Vernon Hills Inspektionssystem mit probenvorschau
US7050072B2 (en) * 2003-09-29 2006-05-23 Galleryplayer, Inc. Method and system for specifying a pan path
GB0407336D0 (en) * 2004-03-31 2004-05-05 British Telecomm Pathfinding system
JP4490225B2 (ja) 2004-10-01 2010-06-23 シスメックス株式会社 細胞画像表示方法、細胞画像表示システム、細胞画像表示装置、及びコンピュータプログラム
US20080088621A1 (en) * 2006-10-11 2008-04-17 Jean-Jacques Grimaud Follower method for three dimensional images
US8463741B2 (en) * 2009-09-04 2013-06-11 Omnyx, LLC Digital pathology system
JP5658451B2 (ja) * 2009-11-30 2015-01-28 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP5434767B2 (ja) * 2010-04-16 2014-03-05 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP2012014640A (ja) * 2010-07-05 2012-01-19 Sony Computer Entertainment Inc 画面出力装置、画面出力システム、および画面出力方法
KR20140066709A (ko) 2011-07-21 2014-06-02 더루우브리졸코오포레이션 카르복시 피롤리디논 및 이의 사용 방법
US10460075B2 (en) * 2012-06-14 2019-10-29 Sony Corporation Information processing apparatus and method to move a display area of a needle biopsy image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152528A (ja) * 1993-11-26 1995-06-16 Fujitsu Ltd 画面スクロール装置及び方法
JP2006519443A (ja) 2003-02-28 2006-08-24 アペリオ・テクノロジーズ・インコーポレイテッド バーチャルスライドを閲覧するためのシステムおよび方法
JP2010061678A (ja) * 2003-02-28 2010-03-18 Aperio Technologies Inc バーチャルスライドを閲覧するためのシステムおよび方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2863204A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017015449A1 (en) 2015-07-22 2017-01-26 Enanta Pharmaceuticals, Inc. Benzodiazepine derivatives as rsv inhibitors
WO2017123884A1 (en) 2016-01-15 2017-07-20 Enanta Pharmaceuticals, Inc. Heterocyclic compounds as rsv inhibitors
WO2018152413A1 (en) 2017-02-16 2018-08-23 Enanta Pharmaceuticals, Inc. Processes for the preparation of benzodiazepine derivatives
WO2019067864A1 (en) 2017-09-29 2019-04-04 Enanta Pharmaceuticals, Inc. PHARMACEUTICAL AGENTS IN COMBINATION AS INHIBITORS OF RSV
WO2019094903A1 (en) 2017-11-13 2019-05-16 Enanta Pharmaceuticals, Inc. Processes for the resolution of benzodiazepin-2-one and benzoazepin-2-one derivatives
JP2019169108A (ja) * 2018-03-26 2019-10-03 富士通株式会社 画像処理装置、方法、及びプログラム

Also Published As

Publication number Publication date
US10460075B2 (en) 2019-10-29
JP6816782B2 (ja) 2021-01-20
EP2863204B1 (en) 2017-11-01
JP6497397B2 (ja) 2019-04-10
JP2017134075A (ja) 2017-08-03
JPWO2013186995A1 (ja) 2016-02-04
EP2863204A4 (en) 2016-07-13
US20150169826A1 (en) 2015-06-18
EP3276332A2 (en) 2018-01-31
JP6083435B2 (ja) 2017-02-22
EP3276332A3 (en) 2018-04-18
US20200035336A1 (en) 2020-01-30
EP2863204A1 (en) 2015-04-22
JP2019135488A (ja) 2019-08-15

Similar Documents

Publication Publication Date Title
JP6497397B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US10324602B2 (en) Display of 3D images
US10067658B2 (en) Image processing apparatus, method, and computer-readable medium for controlling the display of an image
EP2362343B1 (en) Information processing apparatus, method and computer-readable medium
JP4688739B2 (ja) 情報表示装置
US20100225668A1 (en) Modes and Interfaces for Observation, and Manipulation of Digital Images on Computer Screen in Support of Pathologist's Workflow
JP2004078693A (ja) 視野移動操作方法
JP2012115519A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
US10185804B2 (en) Input apparatus and information processing system
JP2014045966A (ja) ビデオゲーム処理装置、およびビデオゲーム処理プログラム
US20110267267A1 (en) Information processing apparatus, information processing method, and program therefor
JP5812576B2 (ja) 情報処理装置及びそのプログラム
US20130234937A1 (en) Three-dimensional position specification method
KR20130052538A (ko) 화상 표시 장치 및 화상 표시 제어 방법 및 프로그램
JP2013200639A (ja) 描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム
EP1990668A2 (en) Microscopic-measurement apparatus
JP5289797B2 (ja) 細胞画像表示システム、細胞画像表示装置およびコンピュータプログラム
JP6485831B2 (ja) 内視鏡画像表示装置、内視鏡画像表示方法及び内視鏡画像表示プログラム
JP2014063448A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP6024293B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US20140176423A1 (en) Seat layout display apparatus, seat layout display method, and program thereof
JP2007316452A (ja) 観察装置および観察装置の画面表示方法
JP2017159149A (ja) ビデオゲーム処理装置、およびビデオゲーム処理プログラム
JP2018073310A (ja) 表示システム、表示プログラム
JP2000148345A (ja) 表示方法および装置並びに記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13804030

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014520891

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2013804030

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013804030

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14405699

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE