WO2013100025A9 - 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理システム、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2013100025A9
WO2013100025A9 PCT/JP2012/083818 JP2012083818W WO2013100025A9 WO 2013100025 A9 WO2013100025 A9 WO 2013100025A9 JP 2012083818 W JP2012083818 W JP 2012083818W WO 2013100025 A9 WO2013100025 A9 WO 2013100025A9
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
magnification
image data
pixel
Prior art date
Application number
PCT/JP2012/083818
Other languages
English (en)
French (fr)
Other versions
WO2013100025A1 (ja
Inventor
辻本　卓哉
和行 佐藤
佐々木　亨
都築　英寿
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to KR1020147019757A priority Critical patent/KR20140103171A/ko
Priority to CN201280064887.XA priority patent/CN104011581A/zh
Priority to DE112012005481.4T priority patent/DE112012005481T5/de
Priority to US13/910,420 priority patent/US8947519B2/en
Publication of WO2013100025A1 publication Critical patent/WO2013100025A1/ja
Publication of WO2013100025A9 publication Critical patent/WO2013100025A9/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, an image processing system, and a program.
  • the amount of data created by the virtual slide system is enormous. Therefore, it is possible to observe from the micro (detailed enlarged image) to the macro (overall bird's-eye view) by performing the enlargement / reduction processing with the viewer. Provide convenience. By acquiring all necessary information in advance, it is possible to display immediately from the low-magnification image to the high-magnification image at the resolution and magnification required by the user.
  • the medical image data is displayed in full size on the display unit to support the diagnosis of the doctor Display devices.
  • the size of the field of view is generally different from the image observed with a microscope.
  • the observation field of view differs between the optical microscope image and the virtual slide image. there were.
  • an object of the present invention is to propose an image processing apparatus capable of generating a virtual slide image equivalent to an observation visual field visible with an optical microscope image.
  • one aspect of the present invention provides: An image processing device for processing virtual slide image data to be displayed on an image display device, An image data acquisition unit for acquiring image data obtained by imaging an imaging target; An image data generation unit that generates display image data for displaying the image to be imaged on the image display device at a display magnification corresponding to the number of fields of view of a predetermined microscope. Device.
  • An image processing method for processing a virtual slide image An image data acquisition step of acquiring image data obtained by imaging the imaging target; An image data generation step of generating display image data for displaying an image on the image display device at a display magnification corresponding to a predetermined number of fields of view of the microscope.
  • An image processing system comprising: the image processing device; and an image display device that displays the image to be imaged at a display magnification corresponding to a number of fields of view of a virtual microscope image processed by the image processing device. is there.
  • Another aspect of the present invention is: A program for causing a computer to execute each step of the image processing method.
  • an image processing apparatus capable of generating a virtual slide image equivalent to an observation visual field that can be seen with an optical microscope image.
  • FIG. 1 is a schematic overall view showing an example of an apparatus configuration of an image processing system using an image processing apparatus of the present invention. It is a functional block diagram which shows an example of a function structure of the imaging device in the image processing system using the image processing apparatus of this invention. It is a functional block diagram which shows an example of a functional block structure of the image processing apparatus of this invention. It is a block diagram which shows an example of the hardware constitutions of the image processing apparatus of this invention. It is a schematic diagram for demonstrating the concept of display magnification. It is a flowchart which shows an example of the flow of the display magnification change process of the image processing apparatus of this invention.
  • An image processing apparatus is an image processing apparatus that processes virtual slide image data to be displayed on an image display apparatus, and includes at least an image data acquisition unit and an image data generation unit.
  • the image data generation unit preferably generates display image data for displaying an image to be imaged on the image display device at a display magnification corresponding to a predetermined number of fields of the microscope.
  • the predetermined microscope visual field is determined based on information stored in advance in the image processing apparatus or the external storage device and / or a user instruction. What microscope field of view is reproduced is preferably stored in advance as the above information.
  • the information stored in advance includes initial visual field information (information selected as a microscopic visual field when there is no instruction from the user; hereinafter, also simply referred to as “initial information”), and / or a plurality of specific actual items. It is desirable to include microscope field-of-view information (a plurality of microscope field-of-view information selectable by the user). Note that the initial visual field information may be stored in a format in which one of the visual field information of the plurality of microscopes is selected.
  • the field-of-view information of the microscope includes, for example, one or both of the number of fields and the magnification of the objective lens.
  • a new observation area determined based on a user instruction may be stored as additional visual field information so that it can be selected as one of visual field information options.
  • a new observation area determined based on a user instruction may be managed for each user to be used.
  • the image data generation unit can determine the display magnification so that the diameter of the real field of the predetermined microscope matches the length of the long side or the short side of the display screen of the image display device. Further, the image data generation unit can determine the display magnification based on information regarding the field of view of the actual microscope. In addition, the image data generation unit can determine the display magnification by using, as initial information, a predetermined one of a plurality of pieces of information related to the field of view of the actual microscope. Further, the image data generation unit can determine the display magnification using one of a plurality of pieces of information regarding the field of view of the actual microscope based on a user's selection.
  • the image data generation unit can generate display image data in accordance with the number of pixels of the image display device.
  • the image data generation unit can generate display image data according to the objective lens magnification when the imaging target is imaged.
  • display image data may be abbreviated as “display image data”.
  • the image data generation unit preferably generates display image data in which the display magnification is changed by a pixel magnification represented by the following formula.
  • Pixel magnification (number of pixels on the long or short side of the display screen of the image display device / (number of fields of a predetermined microscope / pixel pitch of the image sensor)) ⁇ (display magnification / image pickup on the display screen of the image display device) Objective lens magnification)
  • a ratio of how many pixels on the display screen of the image display device are used to represent information for one pixel of the image sensor is defined as a pixel magnification.
  • pixel equal magnification display In general, displaying one pixel of image data in correspondence with one pixel of the display screen of the image display device is referred to as pixel equal magnification display.
  • information acquired by one pixel of the image sensor corresponds to one pixel of image data. In that case, the pixel magnification at the time of pixel equal magnification display is 1.
  • the pixel pitch on the side selected in the above “pixel pitch of the image sensor” and “the number of pixels on the long side or the short side of the display screen of the image display device” is selected.
  • the pixel magnification is defined using the pixel pitch. Note that here, the terms long side and short side are used assuming a rectangular display screen, but in the case of an elliptical display screen, the long axis is defined as the long side and the short axis is the short side. Defined as an edge.
  • Pixel magnification (enlargement magnification) ⁇ (pixel pitch of image sensor) / (pixel pitch on the display screen of the image display device)
  • magnification (Display magnification) / (Object lens magnification at the time of imaging) From the above formula, it can be expressed by the following formula.
  • Magnification magnification (Display magnification) ⁇ (Pixel pitch on display screen of image display device) / ((Pixel pitch of image sensor) ⁇ (Objective lens magnification during imaging))
  • the image processing apparatus can further include a mode selection unit.
  • the mode selection unit can select at least one of the following modes (1) to (3) as a mode for selecting an image to be displayed on the image display device.
  • An image processing method is an image processing method for processing a virtual slide image, and includes at least an image data acquisition step and an image data generation step.
  • image data acquisition step image data obtained by imaging the imaging target is acquired.
  • image data generation step display image data for displaying an image at a display magnification corresponding to the number of fields of view of the microscope is generated in order to form an image (observation field of view) close to an image viewed with a microscope.
  • Pixel magnification (number of pixels on the long or short side of the display screen of the image display device / (number of fields of a predetermined microscope / pixel pitch of the image sensor)) ⁇ (display magnification / image pickup on the display screen of the image display device) Objective lens magnification)
  • the program of the present invention causes a computer to execute each step of the above image processing method.
  • the image processing system of the present invention includes an image processing device that processes a virtual slide image, and an image display device that displays the virtual slide image processed by the image processing device. Further, a display unit for displaying the image data generated by the image data generation unit on the image display device may be provided.
  • the image data acquisition unit acquires image data obtained by imaging the imaging target.
  • the image data generation unit generates display image data for causing the image display device to display the virtual slide image processed by the image processing device at a display magnification corresponding to the number of fields of view of the microscope.
  • image display device may be abbreviated as “display device”.
  • the image processing apparatus of the present invention can be used in an image processing system including an imaging device and an image display device. This image processing system will be described with reference to FIG.
  • FIG. 1 is a schematic overall view showing an example of an image processing system using an image processing apparatus of the present invention.
  • An imaging apparatus (microscope apparatus or virtual slide apparatus) 101, an image processing apparatus 102, and an image display apparatus 103 are shown.
  • the imaging apparatus 101 and the image processing apparatus 102 are connected by a dedicated or general-purpose I / F cable 104, and the general-purpose I / F cable is connected between the image processing apparatus 102 and the image display apparatus 103.
  • 105 is connected.
  • a virtual slide device having a function of imaging a single two-dimensional image or a plurality of two-dimensional images at different positions in a two-dimensional plane direction and outputting a digital image can be suitably used.
  • a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) is preferably used for acquiring a two-dimensional image.
  • a digital microscope apparatus in which a digital camera is attached to an eyepiece part of a normal optical microscope can be used instead of the virtual slide apparatus.
  • the obtained image can be divided into an observation area and an outside of the observation area.
  • the image processing apparatus 102 generates data to be displayed on the image display apparatus 103 from one or a plurality of original image data acquired from the imaging apparatus 101 in response to a request from the user based on the original image data.
  • a device having functions and the like can be preferably used.
  • the image processing apparatus 102 an apparatus composed of a general-purpose computer or a workstation having hardware resources such as various I / Fs including a CPU (Central Processing Unit), a RAM, a storage device, and an operation unit is used. be able to.
  • a large-capacity information storage device such as a hard disk drive can be suitably used.
  • the storage device preferably stores programs and data for realizing each process described later, an OS (operating system), and the like.
  • the operation unit 106 includes, for example, a keyboard and a mouse, and is used for an operator to input various instructions.
  • the operation unit 106 may be a component of the image processing apparatus 102.
  • the image display device 103 in this example is a display that displays an observation image that is a result of the arithmetic processing performed by the image processing device 102, and includes a CRT, a liquid crystal display, or the like.
  • a printing device that prints and displays an image may be used as the image display device.
  • the image display device may be referred to as a display.
  • the imaging system is configured by the three devices of the imaging device 101, the image processing device 102, and the image display device 103, but the configuration of the present invention is not limited to this configuration.
  • the image processing apparatus 102 integrated with the image display apparatus 103 may be used, or the function of the image processing apparatus 102 may be incorporated in the imaging apparatus 101.
  • the functions of the imaging device 101, the image processing device 102, and the image display device 103 can be realized by a single device.
  • the functions of each device such as the image processing device 102 may be divided and realized by a plurality of devices.
  • FIG. 2 is a functional block diagram illustrating an example of a functional configuration of the imaging apparatus 101.
  • the image pickup apparatus 101 of this example is roughly shown in the illumination unit 201, stage 202, stage control unit 205, imaging optical system 207, image pickup unit 210, development processing unit 219, pre-measurement unit 220, main control system 221, and data output unit. (I / F) 222.
  • the illumination unit 201 in this example is a means for uniformly irradiating light to the preparation 206 disposed on the stage 202, and preferably includes a light source, an illumination optical system, and a light source drive control system. .
  • the stage 202 of this example is driven and controlled by a stage control unit 205, and can move in three directions of XYZ.
  • the preparation 206 of this example is a member in which a tissue section or smeared cells to be observed are pasted on a slide glass, and the tissue section or smeared cells are fixed under a cover glass together with an encapsulating agent.
  • the stage control unit 205 in this example includes a drive control system 203 and a stage drive mechanism 204.
  • the drive control system 203 receives the instruction from the main control system 221 and controls the drive of the stage 202.
  • the moving direction, moving amount, and the like of the stage 202 are based on the position information and thickness information (distance information) of the sample measured by the pre-measurement unit 220 and an instruction from the user that is input as necessary. It is determined.
  • the stage drive mechanism 204 in this example drives the stage 202 in accordance with instructions from the drive control system 203.
  • the imaging optical system 207 of this example is a lens group for forming an optical image of the specimen of the preparation 206 on the image sensor 208.
  • the imaging unit 210 of this example includes an imaging sensor 208 and an analog front end (AFE) 209.
  • the imaging sensor 208 of this example is a one-dimensional or two-dimensional image sensor that changes a two-dimensional optical image into an electrical physical quantity by photoelectric conversion.
  • the image sensor 208 for example, a CCD or a CMOS device is used.
  • a one-dimensional sensor is used, a two-dimensional image can be obtained by scanning the one-dimensional sensor in the scanning direction.
  • the imaging sensor 208 of this example outputs an electrical signal having a voltage value corresponding to the light intensity.
  • a single-plate image sensor to which a Bayer array color filter is attached can be used as the image sensor 208.
  • the imaging unit 210 of this example can capture a divided image of the specimen by moving the stage 202 in the XY axis direction and capturing an image.
  • the AFE 209 in this example is a circuit that converts an analog signal output from the imaging sensor 208 into a digital signal.
  • the AFE 209 is preferably composed of an H / V driver, a CDS (Correlated double sampling) circuit, an amplifier, an AD converter, and a timing generator, which will be described later.
  • the H / V driver of this example converts a vertical synchronization signal and a horizontal synchronization signal for driving the image sensor 208 into potentials necessary for driving the sensor.
  • the CDS of this example is a double correlation sampling circuit that removes fixed pattern noise.
  • the amplifier is an analog amplifier that adjusts the gain of an analog signal from which noise has been removed by CDS.
  • the AD converter of this example converts an analog signal into a digital signal.
  • the AD converter converts the analog signal into digital data quantized from about 10 bits to about 16 bits and outputs in consideration of subsequent processing.
  • the converted sensor output data is referred to as RAW data.
  • the RAW data is developed by the subsequent development processing unit 219.
  • the timing generator of this example generates a signal for adjusting the timing of the image sensor 208 and the timing of the development processing unit 219 in the subsequent stage.
  • the above AFE 209 is usually essential.
  • the function of the AFE 209 is usually included in the sensor.
  • the development processing unit 219 in this example includes a black correction unit 211, a white balance adjustment unit 212, a demosaicing processing unit 213, an image composition processing unit 214, a resolution conversion processing unit 215, a filter processing unit 216, a ⁇ correction unit 217, and a compression process. Part 218.
  • the black correction unit 211 of this example performs a process of subtracting the black correction data obtained at the time of shading from each pixel of the RAW data.
  • the white balance adjustment unit 212 of this example performs a process of reproducing a desired white color by adjusting the gain of each RGB color according to the color temperature of the light of the illumination unit 201. Specifically, white balance correction data is added to the RAW data after black correction. When handling a monochrome image, the white balance adjustment process is not necessary.
  • the development processing unit 219 of the present example generates hierarchical image data, which will be described later, from the divided image data of the specimen imaged by the imaging unit 210.
  • the demosaicing processing unit 213 in this example performs processing for generating image data of each color of RGB from RAW data in the Bayer array.
  • the demosaicing processing unit 213 of this example calculates the values of each RGB color of the target pixel by interpolating the values of peripheral pixels (including pixels of the same color and other colors) in the RAW data.
  • the demosaicing processing unit 213 also executes defective pixel correction processing (interpolation processing). Note that when the image sensor 208 of this example does not have a color filter and a single color image is obtained, the demosaicing process is not necessary.
  • the image composition processing unit 214 of this example performs processing for generating large-capacity image data in a desired imaging range by connecting image data acquired by dividing the imaging range by the imaging sensor 208.
  • one piece of two-dimensional image data is generated by joining the divided image data. For example, assuming that a 10 mm square area on the slide 206 is imaged with a resolution of 0.25 ⁇ m, the number of pixels on one side is 40,000 pixels of 10 mm / 0.25 ⁇ m, and the total number of pixels is 1.6 billion, which is the square of the number of pixels. It becomes a pixel.
  • the resolution conversion processing unit 215 of this example performs processing for generating a magnification image corresponding to the display magnification in advance by resolution conversion in order to display the large-capacity two-dimensional image generated by the image composition processing unit 214 at high speed.
  • a plurality of stages of image data from low magnification to high magnification are generated and configured as image data having a hierarchical structure.
  • the image data acquired by the imaging device 101 is desired to be high-resolution and high-resolution imaging data for the purpose of diagnosis. However, when a reduced image of image data consisting of billions of pixels is displayed as described above, if the resolution conversion is performed each time in accordance with a display request, the processing may be slow.
  • the hierarchical image data for display is generated by reducing the resolution using a resolution conversion method based on image data having the highest resolution.
  • bilinear which is a two-dimensional linear interpolation process
  • bicubic using a cubic interpolation equation can be used as a resolution conversion method.
  • the filter processing unit 216 of this example is a digital filter that realizes suppression of high frequency components included in an image, noise removal, and enhancement of resolution.
  • the gamma correction unit 217 of the present example executes processing for adding an inverse characteristic to an image in accordance with the gradation expression characteristic of a general display device, or performs human vision through gradation compression or dark part processing of a high luminance part. Perform gradation conversion according to the characteristics.
  • gradation conversion suitable for the subsequent display processing is applied to the image data.
  • the compression processing unit 218 of this example is a compression encoding process performed for the purpose of improving the efficiency of transmission of large-capacity 2D image data and reducing the capacity when storing the data.
  • standardized encoding methods such as JPEG (Joint Photographic Experts Group) and JPEG 2000 and JPEG XR improved and evolved from JPEG can be used.
  • the pre-measurement unit 220 of this example is a unit that performs pre-measurement to calculate the position information of the specimen on the slide 206, the distance information to the desired focal position, and the parameter for adjusting the amount of light caused by the specimen thickness. .
  • the pre-measurement unit 220 of this example grasps the position of the sample on the XY plane from the acquired image. For obtaining distance information and thickness information, a laser displacement meter or a Shack-Hartmann measuring instrument can be used.
  • the main control system 221 of this example controls various units described so far.
  • Control of the main control system 221 and the development processing unit 219 can be realized by a control circuit having a CPU, a ROM, and a RAM.
  • the functions of the main control system 221 and the development processing unit 219 are realized by storing programs and data in the ROM in advance and executing the programs using the RAM as a work memory.
  • a device such as an EEPROM or a flash memory can be used as the ROM.
  • the RAM for example, a DRAM device such as DDR3 can be used.
  • the function of the development processing unit 219 may be replaced with an ASIC implemented as a dedicated hardware device.
  • the data output unit 222 in this example is an interface for sending the RGB color image generated by the development processing unit 219 to the image processing apparatus 102.
  • the imaging apparatus 101 and the image processing apparatus 102 in this example are connected by an optical communication cable. Instead of this cable, a general-purpose interface such as USB or Gigabit Ethernet (registered trademark) may be used.
  • FIG. 3 is a functional block diagram illustrating an example of a functional configuration of the image processing apparatus 102 according to the present invention.
  • the image processing apparatus 102 includes an outline, an image data acquisition unit 301, a storage holding unit (memory) 302, a user input information acquisition unit 303, a display device information acquisition unit 304, a pixel magnification setting unit 305, and display image data acquisition. 306, a display data generation unit 307, and a display image data output unit 308.
  • the image data acquisition unit 301 in this example acquires image data captured by the imaging device 101.
  • the image data referred to in this example is based on RGB color divided image data obtained by dividing and imaging a specimen, one piece of two-dimensional image data obtained by combining the divided image data, and two-dimensional image data. Or at least one of the image data hierarchized for each display magnification.
  • the divided image data may be monochrome image data.
  • the storage holding unit 302 of this example takes in image data acquired from an external device via the image data acquisition unit 301, stores it, and holds it. In addition, it is desirable that the memory holding unit 302 holds the above-described specific real-time field-of-view information of a plurality of microscopes and information on which of the field-of-view information is initially used.
  • the user input information acquisition unit 303 of the present example via the operation unit 106 such as a mouse or a keyboard, an instruction to update display image data such as a display position change or enlargement / reduction display, display mode selection, and observation region specification
  • the user's input information such as (for example, selecting any one of a plurality of microscope field-of-view information held by the storage holding unit 302) is acquired.
  • the display mode in this example includes a mode for reproducing the microscope observation field and a mode for not reproducing. Specifying the display mode may be considered synonymous with specifying the display magnification.
  • the display device information acquisition unit 304 of this example acquires display magnification information of the currently displayed image, in addition to display area information (screen resolution, display size) of the display held by the image display device 103.
  • the pixel magnification setting unit 305 of this example generates control data for setting the display magnification according to the instruction from the user acquired by the user input information acquisition unit 303. In addition, based on the set pixel magnification, the display image data size is calculated and notified to the display image data acquisition unit 306.
  • the control data and / or display image data size output from the pixel magnification setting unit 305 of this example reflects either the above-described initial visual field information or observation area information specified by the user.
  • the observation area information specified by the user is specified by the user by revising a part of the actual microscope field-of-view information selected by the user or by partially revising the actual microscope field-of-view information.
  • Information on the observation region specified by the user regardless of the field of view information of the microscope.
  • the initial visual field information may be information obtained by reading out the initial visual field information held by the storage holding unit 302 from the storage holding unit 302.
  • control data and / or display image data size output by the pixel magnification setting unit 305 of the present example includes the magnification of the objective lens at the time of image acquisition, information at the time of imaging such as the pixel pitch of the imaging sensor 208, and the image It is desirable that information of the image display device 103 such as the pixel pitch of the display screen of the display device 103 and the number of pixels of the display screen is also reflected.
  • the display image data acquisition unit 306 in this example acquires image data necessary for display from the storage unit 302 in accordance with the control instruction of the pixel magnification setting unit 305.
  • the display data generation unit 307 in this example displays display data to be displayed on the image display device 103 from the image data acquired by the display image data acquisition unit 306 according to the display mode and pixel magnification set by the pixel magnification setting unit 305. Is generated by scaling.
  • the display data generation will be described later with reference to the flowchart of FIG.
  • the display data output unit 308 of this example outputs the display data generated by the display data generation unit 307 to the image display device 103 which is an external device.
  • FIG. 4 is a block diagram illustrating an example of a hardware configuration of the image processing apparatus according to the present invention.
  • a PC Personal Computer
  • FIG. 4 is a block diagram illustrating an example of a hardware configuration of the image processing apparatus according to the present invention.
  • a PC Personal Computer
  • FIG. 4 is a block diagram illustrating an example of a hardware configuration of the image processing apparatus according to the present invention.
  • a PC Personal Computer
  • FIG. 4 is a block diagram illustrating an example of a hardware configuration of the image processing apparatus according to the present invention.
  • a PC Personal Computer
  • the PC of this example includes a CPU (Central Processing Unit) 401, a RAM (Random Access Memory) 402, a storage device 403, a data input / output I / F 405, and an internal bus 404 that connects them to each other.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • storage device 403 a data input / output I / F 405, and an internal bus 404 that connects them to each other.
  • the CPU 401 in this example accesses the RAM 402 and the like as appropriate, and performs overall control of the entire block of the PC while performing various arithmetic processes.
  • the RAM 402 is used as a work area for the CPU 401, and various data to be processed such as an OS, various programs being executed, and generation of display data that reproduces the microscope observation field of view that is a feature of the present invention. (Including visual field information etc.) etc. temporarily.
  • the storage device 403 in this example is an auxiliary storage device that records and reads information in which firmware such as an OS, a program, and various parameters that are executed by the CPU 401 is fixedly stored.
  • a semiconductor device using a magnetic disk drive or flash memory such as HDD (Hard Disk Drive) or SSD (Solid State Disk) of this example is used.
  • the storage device 403 in this example includes various types of data to be processed (view information of a plurality of microscopes, etc.) such as the OS, various programs being executed, and generation of display data that reproduces the microscope observation field of view that is a feature of the present invention. Etc.) are stored.
  • the data input / output I / F 405 of this example includes an image server 701 via a LAN I / F 406, an image display device 103 via a graphics board 407, and a virtual slide device and digital microscope via an external device I / F 408.
  • the keyboard 410 and the mouse 411 are respectively connected via the operation I / F 409.
  • the image display apparatus 103 of this example is a display device using, for example, liquid crystal, EL (Electro-Luminescence), CRT (Cathode Ray Tube), or the like.
  • the image display device 103 is assumed to be connected as an external device, but a PC integrated with the image display device may be assumed.
  • a notebook PC corresponds to this.
  • a pointing device such as a keyboard 410 or a mouse 411 is assumed, but a configuration in which the screen of the image display device 103 such as a touch panel is directly used as an input device is also possible. It is. In that case, the touch panel can be integrated with the image display device 103.
  • FIG. 5 is a conceptual diagram showing an outline of a display form reproduced on the microscope visual field and the display of the image display device 103.
  • FIG. 5 (a) shows an example of the field of view observed when looking through a microscope.
  • the microscope field is uniquely determined by the magnification of the objective lens of the microscope and the number of fields.
  • F.I. O. V. (Number of field of view of eyepiece) / ((magnification of objective lens) ⁇ (zoom magnification)).
  • an enlarged image of the specimen as the object can be observed in a circular area 501 as shown in the figure. Since the light does not reach outside the circular observation area, the image cannot be confirmed.
  • a pathologist Prior to the existence of a virtual slide device, a pathologist as a user made a diagnosis by viewing such an observation image.
  • the diameter of the circular microscopic observation field is the number of pixels divided by the pixel pitch of the image sensor 208.
  • the height of the letter “A” is equal to the diameter of the microscope visual field.
  • FIG. 5B is an example of a display screen at the time of pixel equal magnification display.
  • Pixel equal magnification refers to a state in which each pixel sampled from a microscope observation field as digital data and the display element of the display have a one-to-one correspondence.
  • the display side also displays using 1000 pixels.
  • Reference numeral 503 assumes a display screen of the image display apparatus 103 having a large screen of 4k ⁇ 2k, for example.
  • Reference numeral 504 denotes a display screen size in the vertical direction of the display screen 503.
  • Reference numeral 505 denotes an image display size when displayed at the same pixel magnification.
  • 505 is also 1000 pixels.
  • the acquired original image data is displayed at the pixel equal magnification. Therefore, when the size of the display screen 503 is large, image data wider than the microscope observation field of view can be displayed on the screen. It becomes possible.
  • FIG. 5C is an example of a display screen in the same pixel display.
  • the case of displaying on a display having a smaller size and lower resolution than that in FIG. 5B will be described.
  • 506 is a display screen of a relatively small image display device having, for example, 1024 ⁇ 768 pixels.
  • 507 is the vertical display screen size of the display screen 506. Here, it is assumed that 768 display pixels are included.
  • Reference numeral 508 denotes an image size when displayed at the same pixel size. Since the vertical display screen size 507 (768 pixels) is smaller than the number of pixels (1000 pixels) obtained by sampling the microscope observation field, the microscope field is reduced. I can no longer see everything. As described above, in the same size pixel display, when the size of the display screen 506 is small, only image data in a range narrower than the microscope observation field can be displayed on the screen. Note that, as described above, in the present invention and this specification, the pixel magnification for pixel equal magnification display is defined as 1.
  • FIG. 5D is an example of a display screen of the same size display in which the display magnification is changed so that the size of the target image is the same even between displays of different sizes and display resolutions. Even if there are two display screens with different sizes described in FIGS. 5B and 5C, the size of the image (physical) displayed on the display as indicated by the size of 509 exists. The same size) is the same. Note that, as described above, in the present invention and the present specification, the pixel magnification for the same size display is defined by the following equation (1).
  • Pixel magnification (Enlargement magnification) ⁇ (Pixel pitch of image sensor) / (Pixel pitch on the display screen of the image display device) Expression (1)
  • the same size display is effective in the case where the display size of an object is the same even in different users and places, for example, in remote diagnosis.
  • FIG. 5 (e) is an example of a display screen for reproducing the microscope observation field, which combines the observation field of the microscope, which is a feature of the present invention, and the size of the appearance in the display area of the image display device. Even if there are two display screens having different sizes as in FIG. 5D, depending on the specifications and performance of the display, the observation field diameter 502 and the vertical sizes 510 and 511 of each display area are matched. Therefore, it is possible to display a display image in accordance with a microscope observation field familiar to the user.
  • Pixel magnification (number of pixels on the long or short side of the display screen of the image display device / (number of visual fields of a predetermined microscope / pixel pitch of the image sensor)) ⁇ (display magnification on the image display device / at the time of image acquisition) Objective lens magnification) (2)
  • the number of pixels in the vertical direction of the display screen is the number of pixels on the short side as shown in Equation (2).
  • pixel magnification (number of pixels in the vertical direction of the display screen of the image display device / (number of fields of view of a predetermined microscope / pixel pitch of the image sensor))
  • ⁇ display magnification on the image display device / Objective lens magnification during image acquisition
  • equation (2) includes the following cases. That is, for example, when some pixels are used to display information other than image display, when some pixels are used as a frame, when some pixels are used to display another image, etc. Then, after excluding those pixels, the “number of pixels on the long side or the short side of the display screen of the image display device” is counted. Further, Expression (2) also allows an error within 10 pixels when the number of pixels on the long side or the short side of the display screen of the image display device is used as a reference.
  • step S601 the size information (the number of pixels as the screen resolution) of the display area of the display which is the image display device 103 is acquired from the image display device 103 from the image display device information acquisition unit 304.
  • the size information of the display area is used when determining the size of display data to be generated.
  • step S ⁇ b> 602 information on the display magnification of the image currently displayed on the image display device 103 is acquired from the display device information acquisition unit 304.
  • a specified magnification is set.
  • the display magnification is used when selecting any image data from the hierarchical image. It is also used when determining the size of display data to be generated.
  • a numerical value of the number of visual fields required in a mode for reproducing a microscope observation visual field, which will be described later, is also acquired as a specified value or acquired by user designation.
  • step S603 display mode setting information is acquired.
  • the display mode here is large, that is, a microscope observation visual field reproduction display mode and a pixel equal magnification display mode.
  • step S604 it is determined whether or not the user has selected the microscope observation visual field reproduction display mode. If the microscope observation visual field reproduction display mode is selected, the process proceeds to step S605, and if the normal magnification visual field display mode is selected, the process proceeds to step S607.
  • step S605 image data to be displayed on the image display device 103 is acquired from the storage unit 302 based on the display area size information acquired in step S601 and the display magnification and field-of-view information acquired in step S602.
  • step S606 in response to selection of the microscope observation field reproduction display mode, image data for microscope observation field reproduction display is generated. Specifically, scaling processing is performed on the acquired image data based on the pixel magnification calculation formula shown in Formula (2).
  • step S607 based on the display area size information acquired in step S601 and the display magnification information acquired in step S602, image data to be displayed on the image display device 103 is acquired from the storage holding unit 302.
  • step S608 the display image data for the normal observation visual field is generated in response to the selection of the display mode of the pixel equal magnification which is the normal observation visual field.
  • resolution conversion processing is applied so that the image data of the close display magnification in the hierarchical image acquired in step S602 has a desired resolution. Correction processing is performed according to the characteristics of the image display device 103 as necessary.
  • step S609 the display data generated in step S606 or step S608 is output to the image display device 103.
  • step S610 the image display device 103 displays the input display data on the screen.
  • step S611 it is determined whether the image display is completed. When another sample image is selected by the user, when the operation of the display application is completed, the process ends. If the display screen is continuously updated, the process returns to step S602 and the subsequent processing is repeated.
  • the virtual slide image can be displayed in a variable magnification to reproduce the microscope observation field of view in addition to the normal pixel magnification display.
  • a zoom display function for performing the same size display is added to the first embodiment.
  • a circular visual field region is provided to make it easier to watch the observation.
  • the configuration described in the first embodiment can be used except for the configuration different from the first embodiment.
  • FIG. 7 is a schematic overall view showing an example of an apparatus constituting an image processing system according to the second embodiment of the present invention.
  • An image processing system using the image processing apparatus illustrated in FIG. 7 includes an image server 701, an image processing apparatus 102, an image display apparatus 103, and an image processing apparatus 704 located in a remote place via the network 702, and the network 702. And an image display device 705 connected to the image processing device 704 at a remote location.
  • the image processing apparatus 102 of this example can acquire image data obtained by imaging a sample from the image server 701 and generate image data to be displayed on the image display apparatus 103.
  • the image server 701 and the image processing apparatus 102 are connected via a network 702 with a general-purpose I / F LAN cable 703.
  • the image server 701 of this example is a computer including a large-capacity storage device that stores image data captured by the imaging device 101 that is a virtual slide device.
  • the image server 701 of this example may store the image data with different display magnifications as a single unit in a local storage connected to the image server 701, or divide each of them to somewhere on the network.
  • the server group (cloud server) may have a separate entity of each divided image data and link information.
  • the hierarchical image data itself does not need to be stored on a single server.
  • the image processing apparatus 102 and the image display apparatus 103 are the same as the image processing system of the first embodiment. It is assumed that the image processing apparatus 704 is in a remote place via the network 702. The function is the same as that of the image processing apparatus 102. By storing the acquired image data in the image server 701, it is possible to refer to the image data from both the image processing apparatuses 102 and 704.
  • the image processing system is configured by the five devices of the image server 701, the image processing devices 102 and 704, and the image display devices 103 and 705, but the present invention is not limited to this configuration.
  • the image processing apparatuses 102 and 704 in which the image display apparatuses 103 and 705 are integrated may be used, or some of the functions of the image processing apparatuses 102 and 704 may be incorporated in the image server 701.
  • the functions of the image server 701 and the image processing apparatuses 102 and 704 may be divided and realized by a plurality of apparatuses.
  • FIG. 8 shows the specifications and performance, such as the resolution, of the image display devices 103 and 705, which are the features of this embodiment, with respect to the processing for generating image data for displaying the microscope observation field of view described in FIG. 6 of the first embodiment.
  • 6 is a flowchart showing an example of a flow of processing for generating image data for microscope visual field display to which a scaling function of the same size display for presenting an image with the same size is added even when they are different. Except for the process of reproducing the same size display mode and the microscope observation field of view, the process is the same as in FIG.
  • step S601 to step S604 The contents of various information acquisition and branching processes necessary for the scaling process accompanying the pixel magnification change from step S601 to step S604 are the same as those described in FIG. 6 of the first embodiment.
  • step S801 image data for microscopic observation visual field reproduction display is generated in response to selection of the microscopic observation visual field reproduction display mode.
  • the scaling process of the pixel magnification using Expression (2) is the same as that in step S606, but a process of displaying a circular area that simulates the microscope observation field is added. Details will be described with reference to FIG.
  • step S802 upon receiving a display mode selection other than the microscope observation visual field reproduction mode, it is determined whether to display in the same size or in the same pixel size.
  • the process proceeds to step S803, and when the pixel equal magnification display mode is selected, the process proceeds to step S607.
  • step S803 image data to be displayed on the image display device 103 is acquired from the storage unit 302 based on the display area size information, the display pixel pitch size information acquired in step S601, and the display magnification acquired in step S602. To do.
  • step S804 image data for the same size display is generated in response to the selection of the same size display mode. Specifically, scaling processing is performed on the acquired image data based on the pixel magnification calculation formula shown in Formula (1).
  • step S605 Since the display image data acquisition in step S605 and the processing up to step S611 after the display image data acquisition in step S607 are the same as those in the first embodiment, description thereof will be omitted.
  • FIG. 9 is a flowchart showing a detailed flow of display image data generation processing for reproducing the microscope observation field of view shown in step S801 of FIG.
  • step S901 mask information is acquired.
  • the mask information has information for display pixels constituting the display area of the image display device 103, and can determine for each pixel whether the corresponding image data is displayed with the same luminance value or the luminance value is changed. There are two types, one made as described above and one that allows determination of how much the luminance is changed for each display pixel.
  • each of the luminance values has a value of 5 bits.
  • the mask information is 0, the value of the image data is used as it is as display data, and when it is an arbitrary value.
  • the luminance value is bit-shifted in the lower direction according to the value.
  • luminance data of each pixel is assumed as a calculation destination with mask information.
  • RGB color image data is a target, it is converted into luminance / color difference signals such as YUV and YCC, The luminance information after the conversion can be the target of the arithmetic processing. Further, a configuration in which a bit shift is applied to each color of RGB may be adopted.
  • the bit shift can be arbitrarily set for the display pixels in the display area.
  • the mask value in the circular visual field is set to 0, and the mask value in the other area is set.
  • the following description will be made assuming that 2 is.
  • the luminance value of the acquired image data is reduced to 1 ⁇ 4.
  • the luminance value has an 8-bit value, and the multiplication result of the mask information and each luminance value of the image data is newly calculated. Let it be the luminance value of the pixel.
  • step S606 in response to selection of the microscope observation field reproduction display mode, image data for microscope observation field reproduction display is generated. Specifically, scaling processing is performed on the acquired image data using the pixel magnification calculation formula shown in Formula (2). The contents here are the same as those described in FIG.
  • step S902 it is determined whether or not to set a circular display area that mimics the microscope observation field of view. If a circular display area is set, the process advances to step S903. If an image is displayed on the screen with the microscope visual field reproduction size described in the first embodiment, the process ends.
  • step S903 it is determined whether to display the outside of the circular display area as an image with reduced brightness due to the shift process or as an image with reduced brightness in units of display pixels.
  • step S904 When the shift process is performed, the process proceeds to step S904, and when the mask information is multiplied by the luminance value of the pixel, the process proceeds to step S907.
  • step S904 in response to reproducing the microscope field of view, the value of the mask information acquired and grasped in step S901 is referred between the corresponding pixels. It is determined whether the value of the mask information of the corresponding display pixel referred to is 0, that is, a pixel having normal luminance presented as a gaze area, or a pixel whose luminance is to be reduced outside the microscope observation field. If the mask value is 0, the process proceeds to step S905. If the mask value is other than 0, that is, if the luminance value of the pixel is decreased by bit shift, the process proceeds to step S906.
  • step S905 in response to the mask value being 0, the luminance value of the pixel of the acquired image data is directly adopted as the pixel value for display.
  • a luminance value may change.
  • step S906 in response to the mask value being a value other than 0, the luminance value of the pixel of the acquired image data is bit-shifted in the lower direction according to the value of the mask information acquired in step S901. As a result, it is possible to realize a reduction in luminance according to the mask value.
  • step S907 the mask information corresponding to each pixel of the image data is grasped.
  • the mask information is, for example, 8-bit information and takes a value from 0 to 255.
  • step S908 the brightness value of the corresponding pixel is multiplied by the value of the mask information to calculate a new brightness value.
  • the mask information is 255, the same luminance value as before the division is calculated.
  • the microscope field of view can also be reproduced by applying the same processing in units of pixels. While the brightness is reduced by bit shift, it can be calculated by multiplication with mask information, and the degree of freedom of brightness setting is further increased.
  • the mask information can be changed or newly set by a user instruction even when a predetermined value prepared in advance is used. As a result, it is possible to flexibly cope with shapes other than the circular observation visual field shape imitating the microscope visual field.
  • FIG. 10 is an example of a display screen when display data generated by the image processing apparatus 102 of the present invention is displayed on the image display apparatus 103.
  • FIG. 10 two display modes simulating a microscope observation field will be described.
  • FIG. 10A shows the basic configuration of the screen layout of the image display apparatus 103.
  • the display screen includes an information area 1002 indicating the status of display and operation and information on various images, a specimen thumbnail image 1003 to be observed, and a detailed display area 1004 indicating an area for detailed observation in the thumbnail image 1003.
  • a display area 1005 of the specimen image data for detailed observation and a display magnification 1006 of the display area 1005 are configured.
  • Each area and image may have a form in which the display area of the entire window 1001 is divided into functional areas by a single document interface, or each area and image may be constituted by separate windows by a multi-document interface.
  • the thumbnail image 1003 displays the position and size of the display area 1005 of the sample image data in the entire image of the sample.
  • the position and size can be grasped by the frame of the detailed display area 1004.
  • the detailed display area 1004 can be set by, for example, direct setting by a user instruction from an externally connected input device such as a touch panel or a mouse 411, or by moving the display area with respect to the displayed image or by an enlargement / reduction operation. Can be updated.
  • specimen image data display area 1005 specimen image data for detailed observation is displayed.
  • an enlarged / reduced image is displayed by moving the display area (selecting and moving a partial area to be observed from the entire specimen image) and changing the display magnification.
  • the image data acquired by the virtual slide device is prepared as a spliced image of image data obtained by dividing a partial region of the specimen.
  • image data and information related to the specimen can be displayed together.
  • FIG. 10B is an example of a display screen that reproduces the microscope field of view and performs uniform brightness reduction outside the microscope field of view.
  • Reference numeral 1006 denotes a display magnification. Here, it is assumed that the image is displayed at a high magnification of 40 times.
  • Reference numeral 1008 denotes an observation area simulating a visual field of a microscope, and an image is displayed with normal luminance in a circular visual field. On the other hand, the luminance of the region outside the microscope field 1007 is reduced at a certain rate.
  • the specimen image is displayed in a wide display area, by reducing the brightness of the area other than the microscope observation field to be watched, the microscope observation field familiar to the pathology is reproduced, and the virtual slide is also displayed in the surrounding area.
  • FIG. 10C is an example of a display screen in which the microscope observation field is reproduced and the brightness is reduced according to the distance from the center of the microscope field outside the microscope observation field.
  • the luminance of the region outside the microscopic observation field 1009 gradually decreases in accordance with the distance from the center of the circular region that reproduces the microscopic field.
  • the brightness of the region other than the microscope observation field is reduced according to the distance from the center of the circle that is the gazing point, without changing the presentation of the image in the microscope observation field of view.
  • the convenience is increased by making it easier to find the area of interest by increasing the amount of information to the area to be watched.
  • the image processing apparatus which can produce
  • by preparing a circular mask image it can be made the same as the appearance of the microscope.
  • the object of the present invention may be achieved by the following. That is, a recording medium (or storage medium) in which a program code of software that realizes all or part of the functions of the above-described embodiments is recorded is supplied to the system or apparatus. Then, the computer (or CPU or MPU) of the system or apparatus reads and executes the program code stored in the recording medium. In this case, the program code itself read from the recording medium realizes the functions of the above-described embodiment, and the recording medium on which the program code is recorded constitutes the present invention.
  • an operating system (OS) operating on the computer performs part or all of the actual processing based on the instruction of the program code.
  • OS operating system
  • the program code read from the recording medium is written in a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion card or function expansion unit performs part or all of the actual processing based on the instruction of the program code, and the functions of the above-described embodiments are realized by the processing. It can be included in the invention.
  • program code corresponding to the flowchart described above is stored in the recording medium.
  • the configurations described in the first and second embodiments can be combined with each other.
  • three display modes including the same size display mode described in the second embodiment may be selected.
  • the image processing apparatus may be connected to both the imaging apparatus and the image server, and an image used for processing may be acquired from any apparatus.
  • configurations obtained by appropriately combining various techniques in the above embodiments also belong to the category of the present invention.
  • the technical scope of the present invention is defined by each claim in the claims, and should not be construed as limited by the above embodiments.

Abstract

　光学顕微鏡画像で見える観察視野と同等のバーチャルスライドの表示画像を生成できる画像処理装置を提供する。　画像表示装置に表示させるバーチャルスライド画像データを処理する画像処理装置であって、　撮像対象を撮像することにより得られた画像データを取得する画像データ取得ユニットと、　前記顕微鏡の視野数に応じた表示倍率で、前記撮像対象の画像を前記画像表示装置に表示させる表示用画像データを生成するための画像データ生成ユニットと、を有することを特徴とする画像処理装置。

Description

画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
　本発明は、画像処理装置、画像処理方法、画像処理システム、およびプログラムに関する。
　近年、病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料（検体）の撮像と画像のデジタル化によってディスプレイ上での病理診断を可能とするバーチャルスライドシステムが注目を集めている。バーチャルスライドシステムを用いた病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱うことが可能となる。その結果、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られると期待されている。
　光学顕微鏡と同等程度の操作をバーチャルスライドシステムで実現するためには、プレパラート上の被検試料全体をデジタル化する必要がある。被検試料全体のデジタル化により、バーチャルスライドシステムで作成したデジタルデータをＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）やワークステーション上で動作するビューワソフトで観察することができる。被検試料全体をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。
　バーチャルスライドシステムで作成したデータ量は膨大であるが、それゆえ、ビューワで拡大・縮小処理を行うことでミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することが可能となり、種々の利便性を提供する。必要な情報を予めすべて取得しておくことで、低倍画像から高倍画像までユーザーが求める解像度・倍率による即時の表示が可能となる。
　これまで、医療画像データのピクセルピッチと画像表示装置の表示部（表示画面）のピクセルピッチに基づいて、表示部に医療画像データを原寸大で表示して、医師の診断を支援する医療画像用表示装置が提案されている。
特開２００２－２５１４６４号公報
　バーチャルスライドの画像は、観察対象を撮像した画像データを画像処理して表示させるため、顕微鏡で観察した画像とは一般に視野の大きさが異なる。従来、光学顕微鏡で対象物（検体）の画像を観察していたユーザーにとっては、光学顕微鏡画像とバーチャルスライド画像とでは観察視野領域が異なるため、バーチャルスライドで効率的な診断がやり難いという問題があった。
　そこで、本発明は、光学顕微鏡画像で見える観察視野と同等のバーチャルスライド画像を生成できる画像処理装置を提案することを目的とする。
　その目的を達成するために、本発明の一側面は、
　画像表示装置に表示させるためのバーチャルスライド画像データを処理する画像処理装置であって、
　撮像対象を撮像することにより得られた画像データを取得する画像データ取得ユニットと、
　所定の顕微鏡の視野数に応じた表示倍率で、前記撮像対象の画像を前記画像表示装置に表示させるための表示用画像データを生成する画像データ生成ユニットと、を有することを特徴とする画像処理装置である。
　また、本発明の他の側面は、
　バーチャルスライド画像を処理する画像処理方法であって、
　撮像対象を撮像することにより得られた画像データを取得する画像データ取得ステップと、
　所定の顕微鏡の視野数に応じた表示倍率で画像表示装置に画像を表示させるための表示用画像データを生成する画像データ生成ステップと、を有することを特徴とする。
　また、本発明の他の側面は、
　上記画像処理装置と、前記画像処理装置で処理されたバーチャルスライド画像を　所定の顕微鏡の視野数に応じた表示倍率で、前記撮像対象の画像を表示する画像表示装置と、を備える画像処理システムである。
　また。本発明の他の側面は、
　上記画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。
　本発明のその他の側面は、発明を実施するための形態において、添付の図面等を適宜用いて、明らかにする。
　本発明の好適な実施形態によれば、光学顕微鏡画像で見える観察視野と同等のバーチャルスライド画像を生成できる画像処理装置を提供することができる。
本発明の画像処理装置を用いた画像処理システムの装置構成の一例を示す模式的な全体図である。 本発明の画像処理装置を用いた画像処理システムにおける撮像装置の機能構成の一例を示す機能ブロック図である。 本発明の画像処理装置の機能ブロック構成の一例を示す機能ブロック図である。 本発明の画像処理装置のハードウェア構成の一例を示すブロック図である。 表示倍率の概念を説明するための模式図である。 本発明の画像処理装置の表示倍率変更処理の流れの一例を示すフローチャートである。 第２の実施形態の画像処理装置を用いた画像処理システムの装置構成の一例を示す全体図である。 第２実施形態の画像処理装置の表示倍率変更処理の流れの一例を示すフローチャートである。 本発明の画像処理装置の顕微鏡観察視野表示用画像データ生成処理の詳細な流れの一例を示すフローチャートである。 本発明の画像処理システムの表示画面の一例である。
　以下、図面を参照しながら本発明の実施の形態を説明する。
　本発明の好適な実施形態にかかる画像処理装置は、画像表示装置に表示させるバーチャルスライド画像データを処理する画像処理装置であって、少なくとも、画像データ取得ユニットと画像データ生成ユニットを有する。画像データ生成ユニットでは、所定の顕微鏡の視野数に応じた表示倍率で、撮像対象の画像を画像表示装置に表示させるための表示用画像データを生成することが好ましい。
　所定の顕微鏡視野は、画像処理装置または外部記憶装置にあらかじめ保存されている情報及び／又はユーザーの指示に基づいて決定されることが好ましい。いかなる顕微鏡の視野を再現するか、は、上記情報としてあらかじめ保存されていることが望ましい。あらかじめ保存されている情報は、初期視野情報（ユーザーの指示がない場合に顕微鏡視野として選択される情報。以下、単に「初期情報」ともいう。）、及び／又は、具体的な実在する複数の顕微鏡の視野情報（ユーザーが選択可能な複数の顕微鏡視野情報）を含むことが望ましい。なお、初期視野情報は、上記複数の顕微鏡の視野情報のうちの一つの顕微鏡視野情報を選択する、という形式で保存されていてもよい。ここで、顕微鏡の視野情報は、たとえば、視野数、対物レンズの倍率のいずれかもしくは双方を含む。また、ユーザーの指示に基づいて決定される新たな観察領域を追加の視野情報として保存し、視野情報の選択肢の一つとして選択できるようにしてもよい。さらには、ユーザー指示に基づいて決定される新たな観察領域を、使用するユーザー毎に管理するようにしてもよい。
[規則91に基づく訂正 25.02.2014]　
　画像データ生成ユニットは、前記所定の顕微鏡の実視野の直径と前記画像表示装置の表示画面の長辺の長さまたは短辺の長さとが一致するように前記表示倍率を決定することができる。また、画像データ生成ユニットは、実在する顕微鏡の視野に関する情報に基づいて前記表示倍率を決定することができる。また、画像データ生成ユニットは、実在する顕微鏡の視野に関する複数の情報のうちのあらかじめ定められた一つを初期情報として用いて、前記表示倍率を決定することができる。また、画像データ生成ユニットは、ユーザーの選択に基づいて、実在する顕微鏡の視野に関する複数の情報のうちの一つを用いて、前記表示倍率を決定することができる。また、画像データ生成ユニットは、画像表示装置の画素数に応じて、表示用画像データを生成することができる。また、画像データ生成ユニットは、撮像対象を撮像した時の対物レンズ倍率に応じて、表示用画像データを生成することができる。なお、以下の記述及び添付の図面中において、「表示用画像データ」を「表示画像データ」と省略して表記する場合がある。
　画像データ生成ユニットは、表示倍率を下記式で表されるピクセル倍率で変倍した表示用画像データを生成することが好ましい。下記ピクセル倍率で表示用画像データを生成した場合には、顕微鏡視野と画像処理装置で生成される画像とを一致させることが可能になる。
ピクセル倍率＝（画像表示装置の表示画面の長辺又は短辺の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置の表示画面上での表示倍率／撮像時の対物レンズ倍率）
　ここで、本明細書及び本発明においては、
　撮像センサ１画素分の情報を画像表示装置の表示画面の画素を何個用いて表すかという比率をピクセル倍率と定義する。一般に、画像データの１画素を画像表示装置の表示画面の１画素に対応させて表示することをピクセル等倍表示という。本発明書及び本発明においては、撮像センサ１画素で取得した情報を画像データ１画素に対応させることを前提にする。その場合、ピクセル等倍表示の際のピクセル倍率は１となる。
　なお、画素ピッチが長辺と短辺とで異なる場合は、上記「撮像センサの画素ピッチ」及び上記「画像表示装置の表示画面の長辺又は短辺の画素数」で選択した側の辺における画素ピッチを用いてピクセル倍率が定義されることとなる。なお、ここでは、長方形の表示画面を想定して、長辺、短辺という言葉を用いているが、楕円形状の表示画面の場合、その長軸を長辺と定義し、その短軸を短辺と定義する。
　また、下記ピクセル倍率で表示用画像データを生成した場合には、異なる表示画面のサイズを持つ画像表示装置間における実際に表示される画像の大きさを一致させることが可能になる。
ピクセル倍率＝（拡大倍率）×（撮像センサの画素ピッチ）／（画像表示装置の表示画面上での画素ピッチ）
　ここで、拡大倍率とは、撮像対象が表示画面上に何倍に拡大されて表示されているか、を示す倍率である。拡大倍率と表示倍率との関係は、
ピクセル倍率＝（表示倍率）／（撮像時の対物レンズ倍率）
と上式より、以下の式で表すことができる。
拡大倍率＝（表示倍率）×（画像表示装置の表示画面上での画素ピッチ）／（（撮像センサの画素ピッチ）×（撮像時の対物レンズ倍率））
　画像処理装置は、更に、モード選択ユニットを有することができる。モード選択ユニットでは画像表示装置に表示させる画像を選択するためのモードとして以下の（１）～（３）うち少なくとも一つのモードを選択することができることが好ましい。
（１）下記式で表されるピクセル倍率で生成された表示用画像データを表示するモード
　ピクセル倍率＝（画像表示装置の表示画面の長辺又は短辺の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置の表示画面上での表示倍率／撮像時の対物レンズ倍率）
（２）ピクセル等倍表示する表示用画像データを表示するモード
（３）下記式で表されるピクセル倍率で生成された表示用画像データを表示するモード
　ピクセル倍率＝（拡大倍率）×（撮像センサの画素ピッチ）／（画像表示装置の表示画面上での画素ピッチ）
ただし、拡大倍率は、（表示倍率）×（画像表示装置の表示画面上での画素ピッチ）／（（撮像センサの画素ピッチ）×（撮像時の対物レンズ倍率））である。
　なお、（１）は顕微鏡視野再現モードである。
　本発明の好適な実施形態にかかる画像処理方法は、バーチャルスライド画像を処理する画像処理方法であって、少なくとも、画像データ取得ステップと画像データ生成ステップを有する。画像データ取得ステップでは、撮像対象を撮像することにより得られた画像データを取得する。画像データ生成ステップでは、顕微鏡で見た画像に近い（観察視野）画像を形成するため、前記顕微鏡の視野数に応じた表示倍率で画像を表示させる表示用画像データを生成する。
　画像データ生成ステップでは、表示倍率を下記式で表されるピクセル倍率で変倍した表示用画像データを生成することが好ましい。
ピクセル倍率＝（画像表示装置の表示画面の長辺又は短辺の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置の表示画面上での表示倍率／撮像時の対物レンズ倍率）
　本発明のプログラムは、上記の画像処理方法の各ステップをコンピュータに実行させることを特徴とする。
　本発明の画像処理システムは、バーチャルスライド画像を処理する画像処理装置と、画像処理装置で処理されたバーチャルスライド画像を表示する画像表示装置とを備える。また、更に、画像データ生成ユニットで生成された画像データを、画像表示装置に表示させる表示ユニットを有しても良い。画像データ取得ユニットでは、撮像対象を撮像することにより得られた画像データを取得する。画像データ生成ユニットでは、前記顕微鏡の視野数に応じた表示倍率で、前記画像処理装置で処理されたバーチャルスライド画像を前記画像表示装置に表示させる表示用画像データを生成する。なお、以下の記述及び添付の図面中において、「画像表示装置」を「表示装置」と省略して表記する場合がある。
[規則91に基づく訂正 25.02.2014]　
　本発明の画像処理方法、プログラム及び画像処理システムでは、画像処理装置で記載した態様を反映させることができる。
　以下に、実施形態を示して、本発明を説明する。
　［第１の実施形態］
　本発明の画像処理装置は、撮像装置と画像表示装置を備えた画像処理システムにおいて用いることができる。この画像処理システムについて、図１を用いて説明する。
　（画像処理システムの装置構成）
　図１は、本発明の画像処理装置を用いた画像処理システムの一例を示す模式的な全体図であり、撮像装置（顕微鏡装置、またはバーチャルスライド装置）１０１、画像処理装置１０２、画像表示装置１０３から構成され、撮像対象となる検体（被検試料）の二次元画像を取得し表示する機能を有するシステムである。本例では、撮像装置１０１と画像処理装置１０２との間は、専用もしくは汎用Ｉ／Ｆのケーブル１０４で接続され、画像処理装置１０２と画像表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０５で接続されている。
　撮像装置１０１としては、一枚の二次元画像あるいは二次元の平面方向に位置の異なる複数枚の二次元画像を撮像し、デジタル画像を出力する機能を持つバーチャルスライド装置を好適に用いることができる。二次元画像の取得にはＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子が好適に用いられる。撮像装置１０１として、バーチャルスライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置を用いることもできる。なお、デジタルカメラを用いて撮像した場合であっても、高倍率表示を選択した場合や、撮像領域を変更して複数回撮像することによって得た原画像データを合成して表示用の画像データを形成した場合などには、得られた画像を、観察領域と観察領域外とに区分することが可能である。
　画像処理装置１０２としては、撮像装置１０１から取得した一枚もしくは複数枚の原画像データから、画像表示装置１０３に表示するデータを、原画像データをもとにユーザーからの要求に応じて生成する機能等を持つ装置を好適に用いることができる。画像処理装置１０２としては、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部を含む各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される装置を用いることができる。記憶装置としては、ハードディスクドライブなどの大容量情報記憶装置を好適に用いることができる。記憶装置には、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されていることが好ましい。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部１０６は、例えばキーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。操作部１０６は、画像処理装置１０２の一構成要素であってもよい。
　本例の画像表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像を表示するディスプレイであり、ＣＲＴや液晶ディスプレイ等により構成される。なお、画像表示装置として、画像を印刷して表示する印刷装置を用いてもよい。以下、画像表示装置のことをディスプレイと呼ぶ場合がある。
[規則91に基づく訂正 25.02.2014]　
　図１の例では、撮像装置１０１と画像処理装置１０２と画像表示装置１０３の３つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、画像表示装置１０３と一体化した画像処理装置１０２を用いてもよいし、画像処理装置１０２の機能を撮像装置１０１に組み込んでもよい。また撮像装置１０１、画像処理装置１０２、画像表示装置１０３の機能を１つの装置で実現することもできる。また逆に、画像処理装置１０２等の各装置の機能を分割して複数の装置によって実現してもよい。
　（撮像装置の機能構成）
　図２は、撮像装置１０１の機能構成の一例を示す機能ブロック図である。
　本例の撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１９、プレ計測ユニット２２０、メイン制御系２２１、データ出力部（Ｉ／Ｆ）２２２から構成される。
　本例の照明ユニット２０１は、ステージ２０２上に配置されたプレパラート２０６に対して均一に光を照射する手段であり、好適には、光源、照明光学系、および光源駆動の制御系から構成される。本例のステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの三軸方向への移動が可能である。本例のプレパラート２０６は、観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、この組織の切片や塗抹した細胞を封入剤とともにカバーグラスの下に固定した部材である。
　本例のステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成される。本例において、駆動制御系２０３は、メイン制御系２２１の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量などは、本例では、プレ計測ユニット２２０によって計測した検体の位置情報および厚み情報（距離情報）と、必要に応じて入力されるユーザーからの指示とに基づいて決定される。本例のステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。
　本例の結像光学系２０７は、プレパラート２０６の検体の光学像を撮像センサ２０８へ結像するためのレンズ群である。
[規則91に基づく訂正 25.02.2014]　
　本例の撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。本例の撮像センサ２０８は、二次元の光学像を光電変換によって電気的な物理量へ変える一次元もしくは二次元のイメージセンサである。撮像センサ２０８としては、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。一次元センサを用いた場合、一次元センサを走査方向へスキャンすることで二次元画像を得ることができる。本例の撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が望まれる場合には、撮像センサ２０８として、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いることができる。本例の撮像ユニット２１０は、ステージ２０２をＸＹ軸方向に移動させて撮像することにより、検体の分割画像を撮像することができる。
[規則91に基づく訂正 25.02.2014]　
　本例のＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　ｄｏｕｂｌｅ　ｓａｍｐｌｉｎｇ）回路、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成されることが好ましい。本例のＨ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。本例のＣＤＳは、固定パターンのノイズを除去する二重相関サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。本例のＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力することが好ましい。ここで、変換されたセンサ出力データをＲＡＷデータと呼ぶ。本例では、ＲＡＷデータは後段の現像処理ユニット２１９で現像処理される。本例のタイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１９のタイミングを調整する信号を生成する。
　撮像センサ２０８としてＣＣＤを用いる場合、通常上記ＡＦＥ２０９は必須が用いられる。一方、撮像センサ２０８としてデジタル出力可能なＣＭＯＳイメージセンサを用いる場合は、通常、上記ＡＦＥ２０９の機能がセンサに内包されている。また、不図示ではあるが、本例では、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタースピード、フレームレートやＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）など動作タイミングや制御を合わせて行う。
　本例の現像処理ユニット２１９は、黒補正部２１１、ホワイトバランス調整部２１２、デモザイキング処理部２１３、画像合成処理部２１４、解像度変換処理部２１５、フィルタ処理部２１６、γ補正部２１７および圧縮処理部２１８から構成される。本例の黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。本例のホワイトバランス調整部２１２は、照明ユニット２０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のＲＡＷデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。本例の現像処理ユニット２１９は、撮像ユニット２１０で撮像された検体の分割画像データから後述する階層画像データを生成する。
　本例のデモザイキング処理部２１３は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。本例のデモザイキング処理部２１３は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。またデモザイキング処理部２１３は、欠陥画素の補正処理（補間処理）も実行する。なお、本例の撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。
　本例の画像合成処理部２１４は、撮像センサ２０８によって撮像範囲を分割して取得した画像データをつなぎ合わせて所望の撮像範囲の大容量画像データを生成する処理を行う。一般に、既存のイメージセンサによって一回の撮像で取得できる撮像範囲より検体の存在範囲が広いため、一枚の二次元画像データを分割された画像データのつなぎ合わせによって生成する。例えば、０．２５μｍの分解能でプレパラート２０６上の１０ｍｍ角の範囲を撮像すると仮定した場合、一辺の画素数は１０ｍｍ／０．２５μｍの４万画素となり、トータルの画素数はその二乗である１６億画素となる。１０Ｍ（１０００万）の画素数を持つ撮像センサ２０８を用いて１６億画素の画像データを取得するには、１６億／１０００万である１６０個に領域を分割して撮像を行う必要がある。なお、複数の画像データをつなぎ合わせる方法としては、ステージ２０２の位置情報に基づいて位置合わせをしてつなぐ方法や、複数の分割画像の対応する点または線を対応させてつなぐ方法、分割画像データの位置情報に基づいてつなぐ方法などがある。つなぎ合わせの際、０次補間、線形補間、高次補間等の補間処理により滑らかにつなげることができる。本実施の形態では、一枚の大容量画像の生成を想定しているが、画像処理装置１０２の機能として、分割取得された画像を表示用データの生成時につなぎ合わせる構成をとってもよい。なお、以下の記述及び添付の図面中において、「表示用データ」を「表示データ」と省略して表記する場合がある。
　本例の解像度変換処理部２１５は、画像合成処理部２１４で生成された大容量の二次元画像を高速に表示するために、表示倍率に応じた倍率画像を予め解像度変換によって生成する処理を行う。低倍から高倍まで複数の段階の画像データを生成し、ひとまとめにした階層構造を持つ画像データとして構成する。撮像装置１０１で取得した画像データは診断の目的から高解像、高分解能の撮像データであることが望まれる。ただし、先に説明したとおり数十億画素からなる画像データの縮小画像を表示する場合、表示の要求に合わせて都度解像度変換を行っていたのでは処理が遅くなってしまう場合がある。そのため、予め倍率の異なる何段階かの階層画像を用意しておき、用意された階層画像から表示側の要求に応じて表示倍率と近接する倍率の画像データを選択し、表示倍率に合わせて倍率の調整を行うことが望ましい。画質の点を考慮すると高倍率の画像データから表示データを生成することがより好ましい。撮像を高解像で行った場合、表示用の階層画像データは、一番解像力の高い画像データをもとに、解像度変換手法によって縮小することで生成される。解像度変換の手法として二次元の線形な補間処理であるバイリニアの他、三次の補間式を用いたバイキュービックなどを用いることができる。
　本例のフィルタ処理部２１６は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。本例のγ補正部２１７は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得を行うため、後段の表示処理に適した階調変換が画像データに対して適用される。
　本例の圧縮処理部２１８は、大容量の二次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる圧縮の符号化処理である。静止画像の圧縮手法として、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ　ＸＲ等の規格化された符号化方式を用いることができる。
　本例のプレ計測ユニット２２０は、プレパラート２０６上の検体の位置情報、所望の焦点位置までの距離情報、および検体厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測（撮像画像データの取得）の前にプレ計測ユニット２２０によって情報を取得することで、無駄のない撮像を実施することが可能となる。二次元平面の位置情報取得には、撮像センサ２０８より解像力の低い二次元撮像センサを用いることができる。本例のプレ計測ユニット２２０は、取得した画像から検体のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いることができる。
　本例のメイン制御系２２１は、これまで説明してきた各種ユニットの制御を行う。メイン制御系２２１および現像処理ユニット２１９の制御は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現することができる。例えば、あらかじめＲＯＭ内にプログラムおよびデータを格納しておき、ＣＰＵがＲＡＭをワークメモリとして用いプログラムを実行することで、メイン制御系２２１および現像処理ユニット２１９の機能が実現される。ＲＯＭとしては、例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスを用いることができる。ＲＡＭとしては、例えばＤＤＲ３などのＤＲＡＭデバイスを用いることができる。なお、現像処理ユニット２１９の機能を専用のハードウェアデバイスとしてＡＳＩＣ化したもので置き換えてもよい。
　本例のデータ出力部２２２は、現像処理ユニット２１９によって生成されたＲＧＢのカラー画像を画像処理装置１０２に送るためのインターフェースである。本例の撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続されている。このケーブルに代えて、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースを用いてもよい。
　（画像処理装置の機能構成）
　図３は、本発明の画像処理装置１０２の機能構成の一例を示す機能ブロック図である。
　本例の画像処理装置１０２は、概略、画像データ取得部３０１、記憶保持部（メモリ）３０２、ユーザー入力情報取得部３０３、表示装置情報取得部３０４、ピクセル倍率設定部３０５、表示用画像データ取得部３０６、表示データ生成部３０７、および表示用画像データ出力部３０８から構成される。
　本例の画像データ取得部３０１は、撮像装置１０１で撮像された画像データを取得する。本例で言う画像データは、検体を分割して撮像することにより得られたＲＧＢのカラーの分割画像データ、分割画像データを合成した一枚の二次元画像データ、および二次元画像データをもとに表示倍率毎に階層化された画像データの少なくとも何れかである。なお、分割画像データはモノクロの画像データでもよい。また、撮像仕様である撮像装置１０１の撮像センサ２０８の画素ピッチ、および対物レンズの倍率情報が画像データには付加されているものとする。
　本例の記憶保持部３０２は、画像データ取得部３０１を介して外部装置から取得した画像データを取り込み、記憶、保持する。また、記憶保持部３０２は、前述した具体的な実在する複数の顕微鏡の視野情報及びそのうちいずれの視野情報を初期に使用するかの情報を、保持していることが望ましい。
[規則91に基づく訂正 25.02.2014]　
　本例のユーザー入力情報取得部３０３は、マウスやキーボード等の操作部１０６を介して、表示位置変更や拡大・縮小表示などの表示画像用データの更新指示や、表示モード選択、観察領域の指定（たとえば、記憶保持部３０２が保持している複数の顕微鏡視野情報のうちのいずれかを選択すること）等のユーザーによる入力情報を取得する。本例でいう表示モードとは、顕微鏡観察視野の再現するモードと再現しないモードを含む。表示モードを指定することは表示倍率を指定することと同義に捉えられる場合もある。また、表示モードの指定に加えて、顕微鏡観察視野の再現に必要な再現元となる顕微鏡の視野数の設定も行うようにすることができる。なお、視野数は一般には、１８～２６．５ｍｍ程度の値となる。
　本例の表示装置情報取得部３０４は、画像表示装置１０３が保有するディスプレイの表示エリア情報（画面解像度、ディスプレイサイズ）の他、現在表示されている画像の表示倍率の情報を取得する。
　本例のピクセル倍率設定部３０５は、ユーザー入力情報取得部３０３で取得したユーザーからの指示に従い表示倍率を設定するための制御データを生成する。また、設定したピクセル倍率に基づき、表示用の画像データサイズを算出し、表示画像データ取得部３０６へ通知する。
[規則91に基づく訂正 25.02.2014]　
　本例のピクセル倍率設定部３０５が出力する制御データ及び／または表示画像データサイズは、前述した初期視野情報、ユーザーが指定した観察領域情報のいずれかが反映されたものになっている。ここで、ユーザーが指定した観察領域情報としては、具体的な実在する顕微鏡の視野情報のうちユーザーが選択したもの、そのような実在する顕微鏡の視野情報を一部改編するなどしてユーザーが指定した情報、顕微鏡の視野情報とは無関係にユーザーが指定した観察領域の情報、等を挙げることができる。初期視野情報は、記憶保持部３０２が保持している初期視野情報を記憶保持部３０２から読み出したものであってもよい。加えて、本例のピクセル倍率設定部３０５が出力する制御データ及び／または表示画像データサイズは、画像取得時の対物レンズの倍率、撮像センサ２０８の画素ピッチなどの撮像時の情報、及び、画像表示装置１０３の表示画面の画素ピッチ、表示画面の画素数となどの画像表示装置１０３の情報も反映されていることが望ましい。
　本例の表示画像データ取得部３０６は、ピクセル倍率設定部３０５の制御指示に従い、表示に必要な画像データを記憶保持部３０２から取得する。
[規則91に基づく訂正 25.02.2014]　
　本例の表示データ生成部３０７は、ピクセル倍率設定部３０５で設定された表示モードおよびピクセル倍率に従い、表示画像データ取得部３０６によって取得された画像データから画像表示装置１０３で表示するための表示データを変倍処理で生成する。表示データ生成については図６のフローチャートを用いて後述する。
　本例の表示データ出力部３０８は、表示データ生成部３０７で生成された表示データを外部装置である画像表示装置１０３へ出力する。
[規則91に基づく訂正 25.02.2014]　
　（画像処理装置のハードウェア構成）
　図４は、本発明の画像処理装置のハードウェア構成の一例を示すブロック図である。情報処理を行う装置として、例えばＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）が用いられる。
　本例のＰＣは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）４０１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）４０２、記憶装置４０３、データ入出力Ｉ／Ｆ４０５、およびこれらを互いに接続する内部バス４０４を備える。
　本例のＣＰＵ４０１は、必要に応じてＲＡＭ４０２等に適宜アクセスし、各種演算処理を行いながらＰＣの各ブロック全体を統括的に制御する。ＲＡＭ４０２は、ＣＰＵ４０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、本発明の特徴である顕微鏡観察視野を再現した表示用データの生成など処理の対象となる各種データ複数の顕微鏡の視野情報等を含む）等を一時的に保持する。本例の記憶装置４０３は、ＣＰＵ４０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている情報を記録し読み出す補助記憶装置である。本例のＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｉｓｋ）等の磁気ディスクドライブもしくはＦｌａｓｈメモリを用いた半導体デバイスが用いられる。本例の記憶装置４０３は、ＯＳ、実行中の各種プログラム、本発明の特徴である顕微鏡観察視野を再現した表示用データの生成など処理の対象となる各種データ（複数の顕微鏡の視野情報等を含む）等のうちの一部又は全部を記憶している。
[規則91に基づく訂正 25.02.2014]　
　本例のデータ入出力Ｉ／Ｆ４０５には、ＬＡＮ　Ｉ／Ｆ４０６を介して画像サーバー７０１が、グラフィクスボード４０７を介して画像表示装置１０３が、外部装置Ｉ／Ｆ４０８を介してバーチャルスライド装置やデジタル顕微鏡に代表される撮像装置１０１が、また、操作Ｉ／Ｆ４０９を介してキーボード４１０やマウス４１１がそれぞれ接続されている。
　本例の画像表示装置１０３は、例えば液晶、ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）等を用いた表示デバイスである。当該画像表示装置１０３としては、外部装置として接続される形態を想定しているが、画像表示装置と一体化したＰＣを想定してもよい。例えばノートＰＣがこれに該当する。
　本例の操作Ｉ／Ｆ４０９との接続デバイスとしては、キーボード４１０やマウス４１１等のポインティングデバイスを想定しているが、タッチパネル等画像表示装置１０３の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは画像表示装置１０３と一体となり得る。
[規則91に基づく訂正 25.02.2014]　
　（表示倍率変更の概念図）
　図５は、顕微鏡視野ならびに画像表示装置１０３のディスプレイ上で再現された表示形態の概要を示す概念図である。
　図５（ａ）は、顕微鏡をのぞいた場合に観察される視野の一例を示している。顕微鏡視野は、顕微鏡の対物レンズの倍率と視野数によって一意に定められる。具体的には、顕微鏡の実視野Ｆ．Ｏ．Ｖ．＝（接眼レンズの視野数）÷（対物レンズの倍率）となる。ただし、実視野顕微鏡の場合は、Ｆ．Ｏ．Ｖ．＝（接眼レンズの視野数）÷（（対物レンズの倍率）×（ズーム倍率））となる。顕微鏡をのぞいた場合、図に示されるように円形の領域内５０１に対象物である検体の拡大画像を観察することができる。円形の観察領域外は光が届かないため、像の確認をすることができない。バーチャルスライド装置が存在する以前は、こうした観察像をユーザーである病理医が見て診断を行っていた。
　５０２は、円形の顕微鏡観察視野の直径である。実際には、撮像センサ２０８の画素ピッチで割った画素数となる。ここでは、「Ａ」という文字の高さと顕微鏡視野の直径が等しいものとして以下の説明を行う。
[規則91に基づく訂正 25.02.2014]　
　図５（ｂ）は、ピクセル等倍表示時の表示画面の例である。ピクセル等倍とは、顕微鏡観察視野をデジタルデータとしてサンプリングした各画素とディスプレイの表示素子とが１対１に対応する状態を指す。５０２で示される顕微鏡視野の直径を、仮に１０００の画素でサンプリングして取得した場合、表示側も同じく１０００画素を用いて表示することになる。５０３は、例えば４ｋ×２ｋの大画面を持つ画像表示装置１０３の表示画面を想定している。５０４は、表示画面５０３の縦方向の表示画面サイズである。なお、ここでは縦方向のサイズが小さいアスペクト比、すなわち縦方向の画素数が横方向の画素数よりも小さいディスプレイを想定している。また、画素ピッチは縦方向と横方向で等しいディスプレイを想定している。５０５は、ピクセル等倍で表示された場合の画像表示サイズである。５０２が１０００画素で構成される場合、５０５も同じく１０００画素となる。このように、ピクセル等倍表示では、取得した元となる画像データをピクセル等倍で表示するため、表示画面５０３のサイズが大きい場合、顕微鏡観察視野より広い画像データを画面上に表示することが可能となる。
　図５（ｃ）は、同じくピクセル等倍表示時の表示画面の例である。ここでは図５（ｂ）よりも小型、低解像のディスプレイ上に表示する場合について説明する。
　５０６は、例えば１０２４×７６８の画素を持つ比較的小型の画像表示装置の表示画面である。
　５０７は、表示画面５０６の縦方向の表示画面サイズである。ここでは、７６８の表示画素で構成されるものとする。
[規則91に基づく訂正 25.02.2014]　
　５０８は、ピクセル等倍で表示された場合の画像サイズであり、縦方向の表示画面サイズ５０７（７６８画素）が、顕微鏡観察視野をサンプリングした画素数（１０００画素）よりも小さいため、顕微鏡視野をすべて表示することができなくなっている。このように、ピクセル等倍表示では、表示画面５０６のサイズが小さい場合、顕微鏡観察視野より狭い範囲の画像データしか画面上に表示することができなくなる。なお、前述したとおり、本発明及び本明細書において、ピクセル等倍表示のピクセル倍率は１と定義するものとする。
　図５（ｄ）は、異なるサイズ、表示解像度のディスプレイ間でも、対象となる画像のサイズを同じくするように表示倍率を変更した同一サイズ表示の表示画面の例である。５０３、５０６と図５（ｂ）および（ｃ）で説明したサイズが異なる二つの表示画面が存在していても、５０９のサイズで示されるようにディスプレイ上に表示される画像の大きさ（物理的なサイズ）は同じになっている。なお、前述したとおり、本発明及び本明細書において、同一サイズ表示のピクセル倍率は以下の式（１）で定義するものとする。
ピクセル倍率＝（拡大倍率）×（撮像センサの画素ピッチ）／（画像表示装置の表示画面上での画素ピッチ）　　　・・・式（１）
　同一サイズ表示は、例えば遠隔での診断等、異なるユーザーや場所においても対象物の表示サイズを同じにする場合に有効である。
　図５（ｅ）は、本発明の特徴である顕微鏡の観察視野と画像表示装置の表示領域における見えの大きさを合わせた顕微鏡観察視野再現の表示画面の例である。図５（ｄ）と同じくサイズが異なる二つの表示画面が存在していても、観察視野の直径５０２と各表示領域の縦方向のサイズ５１０および５１１を合わせることで、ディスプレイの仕様や性能に依らずユーザーにとって見慣れた顕微鏡観察視野に合わせた表示画像を表示することができる。
[規則91に基づく訂正 25.02.2014]　
　なお、顕微鏡観察視野を再現するピクセル倍率は以下の式で算出することができる。
ピクセル倍率＝（画像表示装置の表示画面の長辺又は短辺の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置上での表示倍率／画像取得時の対物レンズ倍率）　　　・・・式（２）
　上記のように、縦方向の画素数が横方向の画素数よりも小さい表示画面を想定した場合には、表示画面の縦方向の画素数が式（２）にいう短辺の画素数になる。そして、式（２）を
ピクセル倍率＝（画像表示装置の表示画面の縦方向の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置上での表示倍率／画像取得時の対物レンズ倍率）
として計算することで、表示画面内に顕微鏡視野のすべてが表示される画像データを生成することができる。このように、表示画面内に顕微鏡視野のすべてを表示させようとする場合、短辺の画素数を式（２）に代入することとなる。
　なお、式（２）は以下のような場合も含む。すなわち、たとえば、一部の画素を画像表示以外の情報を表示するために用いる場合、一部の画素を枠として用いる場合、一部の画素を他の画像を表示するために用いる場合などには、それらの画素は除外した上で上記「画像表示装置の表示画面の長辺又は短辺の画素数」をカウントする。また、式（２）は、画像表示装置の表示画面の長辺又は短辺の画素数を基準とした場合に１０画素以内の誤差も許容する。
[規則91に基づく訂正 25.02.2014]　
　（表示倍率変更処理）
　本発明の画像処理装置１０２における表示倍率変更処理の流れの一例を図６のフローチャートを用いて説明する。
　ステップＳ６０１では、画像表示装置１０３であるディスプレイの表示エリアのサイズ情報（画面解像度である画素数）を画像表示装置１０３から画像表示装置情報取得部３０４より取得する。表示エリアのサイズ情報は、生成する表示データのサイズを決める際に用いる。
　ステップＳ６０２では、画像表示装置１０３に現在表示されている画像の表示倍率の情報を表示装置情報取得部３０４より取得する。初期の段階では規定の倍率を設定する。表示倍率は、階層画像から何れかの画像データを選択する際に用いる。また、生成する表示データのサイズを決める際にも用いる。後述する顕微鏡観察視野を再現するモードで必要となる視野数の数値も規定された値として取得もしくはユーザー指定による取得を行う。
　ステップＳ６０３では、表示モード設定情報を取得する。ここでいう表示モードは大きく、顕微鏡観察視野再現表示モードと、ピクセル等倍表示モードである。
　ステップＳ６０４では、ユーザーが顕微鏡観察視野再現表示モードを選択したか否かを判断する。顕微鏡観察視野再現表示モードが選択された場合はステップＳ６０５へ、通常観察視野であるピクセル等倍の表示モードが選択された場合はステップＳ６０７へそれぞれ進む。
　ステップＳ６０５では、ステップＳ６０１で取得した表示エリアのサイズ情報およびステップＳ６０２で取得した表示倍率、視野数の情報に基づき、画像表示装置１０３に表示するための画像データを記憶保持部３０２から取得する。
　ステップＳ６０６では、顕微鏡観察視野再現表示モードの選択を受けて、顕微鏡観察視野再現表示用の画像データを生成する。具体的には取得した画像データに対して、式（２）で示したピクセル倍率の算出式に基づく変倍処理を行う。
　ステップＳ６０７では、ステップＳ６０１で取得した表示エリアのサイズ情報およびステップＳ６０２で取得した表示倍率情報に基づき、画像表示装置１０３に表示するための画像データを記憶保持部３０２から取得する。
[規則91に基づく訂正 25.02.2014]　
　ステップＳ６０８では、通常観察視野であるピクセル等倍の表示モードの選択を受けて、通常観察視野用の表示用画像データの生成を行う。その際、ステップＳ６０２で取得した階層画像中の近接する表示倍率の画像データを、所望の解像度となるよう解像度変換処理を適用する。必要に応じて画像表示装置１０３の特性に合わせた補正処理を行う。
　ステップＳ６０９では、ステップＳ６０６またはステップＳ６０８で生成した表示データを画像表示装置１０３に対して出力する。
　ステップＳ６１０では、画像表示装置１０３が入力された表示データを画面に表示する。
　ステップＳ６１１では、画像表示が終了したか否かを判断する。ユーザーによって別の検体画像が選択された場合、表示用アプリケーションの操作が完了した場合は処理を終了する。表示画面の更新が引き続き行われる場合には、ステップＳ６０２に戻り以降の処理を繰り返す。
　（本実施形態の効果）
　光学顕微鏡画像で見える観察視野と同等のバーチャルスライド画像を生成することにより、見慣れた顕微鏡観察環境をディスプレイ上でも再現できる。
　［第２の実施形態］
　本発明の第２実施形態に係る画像処理システムについて図を用いて説明する。
　第１の実施形態では、バーチャルスライド画像を、一般的なピクセル等倍の表示の他、顕微鏡観察視野を再現する変倍表示ができるようにした。第２の実施形態では、第１の実施形態に同一サイズ表示を行う変倍表示の機能を追加する。また、より顕微鏡観察の環境を再現するために、円形の視野領域を設け、観察を注視しやすくする。第２実施形態では、第１実施形態と異なる構成以外は第１実施形態で説明した構成を用いることができる。
　（画像処理システムの装置構成）
　図７は、本発明の第２の実施形態に係る画像処理システムを構成する装置の一例を示す模式的な全体図である。
[規則91に基づく訂正 25.02.2014]　
　図７で例示されている画像処理装置を用いた画像処理システムは、画像サーバー７０１、画像処理装置１０２、画像表示装置１０３およびネットワーク７０２を介して遠隔地にある画像処理装置７０４、同じくネットワーク７０２を介して遠隔地にあり画像処理装置７０４と接続された画像表示装置７０５から構成される。本例の画像処理装置１０２は検体を撮像した画像データを画像サーバー７０１から取得し、画像表示装置１０３へ表示するための画像データを生成することができる。本例では、画像サーバー７０１と画像処理装置１０２との間は、ネットワーク７０２を介して、汎用Ｉ／ＦのＬＡＮケーブル７０３で接続される。本例の画像サーバー７０１は、バーチャルスライド装置である撮像装置１０１によって撮像された画像データを保存する大容量の記憶装置を備えたコンピュータである。本例の画像サーバー７０１は、階層化された異なる表示倍率の画像データを一つのまとまりとして画像サーバー７０１に接続されたローカルストレージに保存していても良いし、それぞれを分割してネットワーク上の何処かに存在するサーバー群（クラウド・サーバ）に対して各分割画像データの実体とリンク情報を分けて持つ構成でもよい。階層画像データ自体、一つのサーバーに保存しておく必要もない。なお、画像処理装置１０２および画像表示装置１０３は第１の実施態様の画像処理システムと同様である。画像処理装置７０４は、ネットワーク７０２を介して遠隔地にあるものとする。機能は画像処理装置１０２と同じである。取得された画像データを画像サーバー７０１に格納することで、画像処理装置１０２、７０４双方から画像データを参照することができる。
　図７の例では、画像サーバー７０１と画像処理装置１０２、７０４と画像表示装置１０３、７０５の５つの装置により画像処理システムが構成されているが、本発明はこの構成に限定されるものではない。例えば、画像表示装置１０３、７０５が一体化した画像処理装置１０２、７０４を用いてもよいし、画像処理装置１０２、７０４の持つ機能の一部を画像サーバー７０１に組み込んでもよい。また逆に、画像サーバー７０１や画像処理装置１０２、７０４の機能を分割して複数の装置によって実現してもよい。
　（顕微鏡視野表示用画像データ生成処理）
　図８は、第１の実施形態の図６で説明した顕微鏡観察視野表示用画像データ生成の処理に対して、本実施例の特徴である、画像表示装置１０３、７０５の解像度等の仕様、性能が異なる場合においても同じ大きさで画像を提示する同一サイズ表示の変倍機能を追加した顕微鏡視野表示用画像データ生成処理の流れの一例を示すフローチャートである。同一サイズ表示モードおよび顕微鏡観察視野再現の処理プロセス以外は図６と同様のため、同じ処理の説明については省略する。
　ステップＳ６０１からステップＳ６０４までのピクセル倍率変更に伴う変倍処理に必要な各種情報の取得と分岐処理の内容は第１の実施形態の図６で説明した内容と同様である。
　ステップＳ８０１では、顕微鏡観察視野再現表示モードの選択を受けて、顕微鏡観察視野再現表示用の画像データを生成する。式（２）を用いたピクセル倍率の変倍処理はステップＳ６０６と同様であるが、さらに顕微鏡観察視野を模した円形領域の表示を行う処理が追加される。詳細については図９を用いて説明する。
　ステップＳ８０２では、顕微鏡観察視野再現モード以外の表示モード選択を受けて、同一サイズで表示するか、それともピクセル等倍で表示するかを判断する。同一サイズのピクセル倍率変更表示を行う場合はステップＳ８０３へ、ピクセル等倍の表示モードを選択する場合はステップＳ６０７へそれぞれ進む。
　ステップＳ８０３では、ステップＳ６０１で取得した表示エリアのサイズ情報、表示画素ピッチのサイズ情報およびステップＳ６０２で取得した表示倍率に基づき、画像表示装置１０３に表示するための画像データを記憶保持部３０２から取得する。
　ステップＳ８０４では、同一サイズ表示モードの選択を受けて、同一サイズ表示用の画像データを生成する。具体的には取得した画像データに対して、式（１）で示したピクセル倍率の算出式に基づく変倍処理を行う。
　ステップＳ６０５の表示画像データの取得およびステップＳ６０７の表示画像データの取得以降のステップＳ６１１までの処理は第１の実施の形態と同じため、説明は省略する。
　（顕微鏡視野表示画像データ生成処理）
　図９は、図８のステップＳ８０１で示した顕微鏡観察視野を再現する表示用の画像データ生成処理の詳細な流れを示すフローチャートである。
[規則91に基づく訂正 25.02.2014]　
　ステップＳ９０１では、マスク情報を取得する。マスク情報は、画像表示装置１０３が有する表示エリアを構成する表示画素分の情報を持ち、対応する画像データをそのままの輝度値で表示させるか、それとも輝度値を変更させるかを画素毎に判断できるようにしたものと、表示画素毎にどの程度の輝度変更を行うか判断できるようにしたものの、２種類がある。ステップＳ９０４以降の輝度値シフトの処理を行う場合は、輝度値各５ビットの値を持ち、マスク情報が０のときは画像データの値をそのまま表示用データとして使用し、任意の値のときはその値に応じて下位方向に輝度値をビットシフトすることにする。例えば８ビット２５６階調の輝度データを保有している場合、マスク情報の値が１のときは１ビット右シフトすることで輝度データは半分の値になる。８ビットシフトすれば画像データの値は０となるため、完全に表示画素をマスクする（対象となる表示画素の輝度値を０にする）ことになる。本実施の形態では、マスク情報との演算先として各画素の輝度データを想定しているが、ＲＧＢのカラー画像データが対象となる場合、一端ＹＵＶやＹＣＣ等の輝度／色差信号へ変換し、変換後の輝度情報を演算処理の対象とすることができる。また、ＲＧＢ各色に対してビットシフトを適用する構成をとってもよい。ビットシフトは、表示エリア内の表示画素に対して任意に設定することができるが、ここでは顕微鏡における観察視野を再現するため、円形の視野内のマスク値を０、それ以外の領域のマスク値を２として以後の説明を行う。マスク値として２が設定された表示エリア内は、取得した画像データの輝度値を１／４に低下させることになる。さらには、特定のビットに意味を持たせる構成をとることで、逆に輝度を上げる処理を適用させることもできる。
[規則91に基づく訂正 25.02.2014]　
　また、ステップＳ９０７以降の表示画素単位で輝度値を変化させる処理を行う場合は、輝度値は各８ビットの値を持ち、マスク情報と画像データの各輝度値との乗算結果を新たに算出した画素の輝度値とする。
　ステップＳ６０６では、顕微鏡観察視野再現表示モードの選択を受けて、顕微鏡観察視野再現表示用の画像データを生成する。具体的には取得した画像データに対して、式（２）で示したピクセル倍率の算出式で変倍の処理を行う。こちらの内容は、図６で説明したものと同じである。
　ステップＳ９０２では、顕微鏡観察視野を模した円形の表示領域設定を行うか否かを判断する。円形の表示領域を設定する場合はステップＳ９０３へ、第１の実施形態で説明した顕微鏡視野再現のサイズで画面上に画像の表示を行う場合は処理を終了する。
　ステップＳ９０３では、円形の表示領域外をシフト処理による輝度低下の画像で表示するか、表示画素単位で輝度低下の画像で表示するかを判断する。
　シフト処理を行う場合はステップＳ９０４へ、マスク情報と画素の輝度値との乗算を行う場合はステップＳ９０７へそれぞれ進む。
　ステップＳ９０４では、顕微鏡視野を再現することを受けて、ステップＳ９０１で取得、把握したマスク情報の値を各対応画素間で参照する。参照した対応する表示画素のマスク情報の値が０であるか、すなわち注視領域として提示される通常輝度となる画素か、それとも顕微鏡観察視野外の輝度を低下させる対象となる画素かを判断する。マスク値が０の場合はステップＳ９０５へ、マスク値が０以外の場合、すなわちビットシフトにより画素の輝度値を低下させる場合はステップＳ９０６へそれぞれ進む。
　ステップＳ９０５では、マスク値が０であることを受けて、取得した画像データの画素の輝度値をそのまま表示用の画素値として採用する。なお、画像表示装置１０３の特性に合わせた補正処理を行う場合は、輝度値が変化する場合もある。
　ステップＳ９０６では、マスク値が０以外の値であることを受けて、取得した画像データの画素の輝度値を、ステップＳ９０１で取得したマスク情報の値に応じて下位方向にビットシフト演算を行う。この結果、マスク値に応じた輝度の低下を実現することができる。
　ステップＳ９０７では、画像データの各画素に対応するマスク情報を把握する。マスク情報は例えば８ビットの情報であり、０から２５５までの値をとる。
　ステップＳ９０８では、対応する画素の輝度値とマスク情報の値を乗算し、新たな輝度値として算出する。実際には、乗算された結果をマスク情報の最大値である２５５で割った値で正規化することによって、マスク情報が２５５の場合には除算前と同じ輝度値が算出されることになる。このように画素単位で同一処理を適用することでも顕微鏡視野を再現することができる。ビットシフトによって輝度低下を行っていたのに対して、マスク情報との乗算によって算出できることになり、より輝度の設定の自由度が増えることになる。マスク情報は予め用意しておいた規定の値を用いても、ユーザー指示によって変更または新たに設定することも可能である。その結果、顕微鏡視野を模した円形の観察視野形状以外の形状にも柔軟に対応することができる。
　（表示画面レイアウト）
　図１０は、本発明の画像処理装置１０２で生成した表示データを画像表示装置１０３に表示した場合の表示画面の一例である。図１０では、顕微鏡観察視野を模した二つの表示モードについて説明する。
[規則91に基づく訂正 25.02.2014]　
　図１０（ａ）は、画像表示装置１０３の画面レイアウトの基本構成である。表示画面は、全体ウィンドウ１００１内に、表示や操作のステータスと各種画像の情報を示す情報エリア１００２、観察対象の検体サムネイル画像１００３、サムネイル画像１００３中に詳細観察のエリアを示す詳細表示領域１００４、詳細観察用の検体画像データの表示領域１００５、表示領域１００５の表示倍率１００６、からそれぞれ構成されている。各領域、画像はシングルドキュメントインターフェースによって全体ウィンドウ１００１の表示領域が機能領域毎に分割される形態でも、マルチドキュメントインターフェースによって各々の領域が別ウィンドウで構成される形態でも構わない。サムネイル画像１００３は、検体の全体像における検体画像データの表示領域１００５の位置や大きさを表示する。位置や大きさは、詳細表示領域１００４の枠によって把握することができる。詳細表示領域１００４の設定は、例えば、タッチパネルまたはマウス４１１等の外部接続された入力装置からのユーザー指示による直接の設定でも、表示されている画像に対する表示領域の移動や拡大・縮小操作によっても設定、更新することができる。検体画像データの表示領域１００５には、詳細観察用の検体画像データが表示される。ここでは、ユーザーからの操作指示によって、表示領域の移動（検体全体画像の中から観察の対象となる部分領域の選択、移動）や表示倍率の変更による画像の拡大・縮小像が表示される。
　バーチャルスライド装置で取得された画像データは、検体の一部領域を分割して撮像した画像データの繋ぎ合わせの画像として用意される。このように、ピクセル等倍表示では、画像表示装置１０３全面に顕微鏡視野よりも広い範囲で情報を提示することが可能であり、のぞき込む動作がなくなること、ある程度の視距離を確保できること、より多くの画像データや検体に関連する情報を合わせて表示することができるなど、種々の利便性を提供することができる。
　図１０（ｂ）は、顕微鏡視野を再現し、顕微鏡観察視野外は均一な輝度低下を行った表示画面の例である。１００６は表示倍率を示している。ここでは高倍の４０倍で表示されているものとする。１００８は顕微鏡の視野を模した観察領域で、円形の視野内は通常の輝度で画像が表示されている。これに対し、１００７の顕微鏡視野外の領域は一定の割合で輝度を低下させている。広い表示エリアに検体画像は表示されているものの、注視すべき顕微鏡観察視野以外の領域の輝度を低下させることによって、病理にとって使い慣れた顕微鏡の観察視野を再現するとともに、その周辺領域にもバーチャルスライド装置の利点であるよい多くの画像情報を提示することを両立している。顕微鏡観察視野以外の情報量削減の手法としては、輝度を低下させる以外に、色情報を削減しモノクロのデータとして表示する方法がある。
　図１０（ｃ）は、顕微鏡観察視野を再現し、顕微鏡観察視野外は顕微鏡視野中心からの距離に応じて輝度低下を行った表示画面の例である。１００９の顕微鏡観察視野外の領域は、顕微鏡視野を再現した円形の領域の中心からの距離に応じて徐々に輝度が低下している。ここでは、注視すべき顕微鏡観察視野における画像の提示はそのままに、注視点である円形の中心からの距離に応じて、顕微鏡観察視野以外の領域の輝度を低下させている。図１０（ｂ）で示した顕微鏡視野以外の領域に対する一律な情報削減と比べて、注視すべき領域への情報量を増やすことで関心領域が見つけやすくなるなど利便性を増している。
　（本実施形態の効果）
　本発明によれば、光学顕微鏡画像で見える観察視野と同等のバーチャルスライド画像を生成できる画像処理装置を提供することができる。特に、遠隔地にある画像表示装置の仕様が異なる環境でも同一サイズの画像を表示することができる。また、円形のマスク画像を用意することでさらに顕微鏡の見えと同じにすることができる。
　［その他の実施形態］
　本発明の目的は、以下によって達成されてもよい。すなわち、前述した実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
　また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。
　さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。
　本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
　また、第１と第２の実施形態で説明してきた構成をお互いに組み合わせることもできる。例えば、画像処理装置と撮像装置がローカルで接続されている環境において、第２の実施形態で説明した同一サイズ表示モードを合わせた３つの表示モードを選択できるようにしてもよい。また、画像処理装置が撮像装置と画像サーバーの両方に接続されており、処理に用いる画像をいずれの装置から取得できるような構成にしてもよい。その他、上記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属する。本発明の技術的範囲は特許請求の範囲中の各請求項によって定められるものであり、上記各実施形態によって限定解釈されるべきものではない。
　　本願は、2011年12月27日提出の日本国特許出願特願2011-286783、および2012年12月26日提出の日本国特許出願特願2012-282784を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。
　１０１　撮像装置
　１０２　画像処理装置
　１０３　画像表示装置
　３０１　画像データ取得部
　３０２　記憶保持部
　３０３　ユーザー入力情報取得部
　３０４　表示装置情報取得部
　３０５　ピクセル倍率設定部
　３０６　表示用画像データ取得部
　３０７　表示データ生成部
　３０８　表示データ出力部
　７０１　画像サーバー
　７０４　ネットワークで接続された遠隔地の画像処理装置
　７０５　画像処理装置と接続される画像表示装置
 

Claims (19)

  1. 　画像表示装置に表示させるためのバーチャルスライド画像データを処理する画像処理装置であって、
    　撮像対象を撮像することにより得られた画像データを取得する画像データ取得ユニットと、
    　所定の顕微鏡の視野数に応じた表示倍率で、前記撮像対象の画像を前記画像表示装置に表示させるための表示用画像データを生成する画像データ生成ユニットと、を有することを特徴とする画像処理装置。
  2. 　前記画像データ生成ユニットは、前記所定の顕微鏡の実視野の直径と前記画像表示装置の表示画面の長辺の長さまたは短辺の長さとが一致するように前記表示倍率を決定することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記画像データ生成ユニットは、実在する顕微鏡の視野に関する情報に基づいて前記表示倍率を決定することを特徴とする請求項１又は２に記載の画像処理装置。
  4. 　前記画像データ生成ユニットは、実在する顕微鏡の視野に関する複数の情報のうちのあらかじめ定められた一つを初期情報として用いて、前記表示倍率を決定することを特徴とする請求項１～３のいずれかに記載の画像処理装置。
  5. 　前記画像データ生成ユニットは、ユーザーの選択に基づいて、実在する顕微鏡の視野に関する複数の情報のうちの一つを用いて、前記表示倍率を決定することを特徴とする請求項１～４のいずれかに記載の画像処理装置。
  6. 　前記画像データ生成ユニットは、前記画像表示装置の画素数に応じて、前記表示用画像データを生成することを特徴とする請求項１～５のいずれかに記載の画像処理装置。
  7. 　前記画像データ生成ユニットは、前記撮像対象を撮像した時の対物レンズ倍率に応じて、前記表示用画像データを生成することを特徴とする請求項１～６のいずれかに記載の画像処理装置。
  8. 　前記画像データ生成ユニットは、前記表示倍率を下記式で表されるピクセル倍率で表示用画像データを生成することを特徴とする請求項１～７のいずれかに記載の画像処理装置。
    　ピクセル倍率＝（画像表示装置の表示画面の長辺又は短辺の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置の表示画面上での表示倍率／撮像時の対物レンズ倍率）
  9. 　前記画像データ生成ユニットは、前記表示倍率を下記式で表されるピクセル倍率で表示用画像データを生成することを特徴とする請求項１～７のいずれかに記載の画像処理装置。
    　ピクセル倍率＝（拡大倍率）×（撮像センサの画素ピッチ）／（画像表示装置の表示画面上での画素ピッチ）
    ただし、拡大倍率は、（表示倍率）×（画像表示装置の表示画面上での画素ピッチ）／（（撮像センサの画素ピッチ）×（撮像時の対物レンズ倍率））である。
  10. 　前記画像処理装置は、更に、モード選択ユニットを有し、
    　前記モード選択ユニットは、画像表示装置に表示させる画像を選択するためのモードとして以下の（１）～（３）うち少なくとも一つのモードを選択することができることを特徴とする請求項１～７のいずれかに記載の画像処理装置。
    （１）下記式で表されるピクセル倍率で生成された表示用画像データを表示するモード
    　ピクセル倍率＝（画像表示装置の表示画面の長辺又は短辺の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置の表示画面上での表示倍率／撮像時の対物レンズ倍率）
    （２）ピクセル等倍表示する表示用画像データを表示するモード
    （３）下記式で表されるピクセル倍率で生成された表示用画像データを表示するモード
    　ピクセル倍率＝（拡大倍率）×（撮像センサの画素ピッチ）／（画像表示装置の表示画面上での画素ピッチ）
    ただし、拡大倍率は、（表示倍率）×（画像表示装置の表示画面上での画素ピッチ）／（（撮像センサの画素ピッチ）×（撮像時の対物レンズ倍率））である。
  11. 　バーチャルスライド画像を処理する画像処理方法であって、
    　撮像対象を撮像することにより得られた画像データを取得する画像データ取得ステップと、
    　所定の顕微鏡の視野数に応じた表示倍率で画像表示装置に画像を表示させるための表示用画像データを生成する画像データ生成ステップと、を有することを特徴とする画像処理方法。
  12. 　前記画像データ生成ステップは、前記所定の顕微鏡の実視野の直径と前記画像表示装置の表示画面の長辺の長さまたは短辺の長さとが一致するように前記表示倍率を決定するステップであることを特徴とする請求項１１に記載の画像処理方法。
  13. 　前記画像データ生成ステップは、実在する顕微鏡の視野に関する情報に基づいて前記表示倍率を決定するステップであることを特徴とする請求項１１又は１２に記載の画像処理方法。
  14. 　前記画像データ生成ステップは、実在する顕微鏡の視野に関する複数の情報のうちのあらかじめ定められた一つを初期情報として用いて、前記表示倍率を決定することを特徴とする請求項１１～１３のいずれかに記載の画像処理方法。
  15. 　前記画像データ生成ステップは、ユーザーの選択に基づいて、実在する顕微鏡の視野に関する複数の情報のうちの一つを用いて、前記表示倍率を決定するステップであることを特徴とする請求項１１～１４のいずれかに記載の画像処理方法。
  16. 　前記画像データ生成ステップは、前記表示倍率を下記式で表されるピクセル倍率で変倍し表示用画像データを生成するステップであることを特徴とする請求項１１～１５のいずれかに記載の画像処理方法。
    ピクセル倍率＝（画像表示装置の表示画面の長辺又は短辺の画素数／（所定の顕微鏡の視野数／撮像センサの画素ピッチ））×（画像表示装置の表示画面上での表示倍率／撮像時の対物レンズ倍率）
  17. 　前記画像データ生成ステップは、前記表示倍率を下記式で表されるピクセル倍率で表示用画像データを生成するステップであることを特徴とする請求項１１～１５のいずれかに記載の画像処理方法。
    ピクセル倍率＝（拡大倍率）×（撮像センサの画素ピッチ）／（画像表示装置の表示画面上での画素ピッチ）
    ただし、拡大倍率は、（表示倍率）×（画像表示装置の表示画面上での画素ピッチ）／（（撮像センサの画素ピッチ）×（撮像時の対物レンズ倍率））である。
  18. 　請求項１～１０のいずれかに記載の画像処理装置と、前記画像処理装置で処理されたバーチャルスライド画像を所定の顕微鏡の視野数に応じた表示倍率で表示する画像表示装置と、を備える画像処理システム。
  19. 　請求項１１～１７のいずれか記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
     
PCT/JP2012/083818 2011-12-27 2012-12-27 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム WO2013100025A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020147019757A KR20140103171A (ko) 2011-12-27 2012-12-27 화상 처리장치, 화상 처리 시스템, 화상 처리방법 및 기억매체
CN201280064887.XA CN104011581A (zh) 2011-12-27 2012-12-27 图像处理装置、图像处理系统、图像处理方法和图像处理程序
DE112012005481.4T DE112012005481T5 (de) 2011-12-27 2012-12-27 Bildverarbeitungsvorrichtung, Bildverarbeitungssystem, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
US13/910,420 US8947519B2 (en) 2011-12-27 2013-06-05 Image processing apparatus, image processing system, image processing method, and image processing program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-286783 2011-12-27
JP2011286783 2011-12-27
JP2012282784A JP2013152454A (ja) 2011-12-27 2012-12-26 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
JP2012-282784 2012-12-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/910,420 Continuation US8947519B2 (en) 2011-12-27 2013-06-05 Image processing apparatus, image processing system, image processing method, and image processing program

Publications (2)

Publication Number Publication Date
WO2013100025A1 WO2013100025A1 (ja) 2013-07-04
WO2013100025A9 true WO2013100025A9 (ja) 2014-05-30

Family

ID=48697504

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/083818 WO2013100025A1 (ja) 2011-12-27 2012-12-27 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム

Country Status (6)

Country Link
US (1) US8947519B2 (ja)
JP (1) JP2013152454A (ja)
KR (1) KR20140103171A (ja)
CN (1) CN104011581A (ja)
DE (1) DE112012005481T5 (ja)
WO (1) WO2013100025A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013134574A (ja) * 2011-12-26 2013-07-08 Canon Inc 画像データ生成装置、画像データ表示システムおよび画像データ生成方法
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6355082B2 (ja) * 2013-07-18 2018-07-11 パナソニックＩｐマネジメント株式会社 病理診断支援装置及び病理診断支援方法
CN104811650A (zh) * 2014-01-26 2015-07-29 吴健辉 一种图像采集系统
JP6363890B2 (ja) * 2014-07-04 2018-07-25 オリンパス株式会社 走査型顕微鏡装置および超解像画像の生成方法
WO2016027448A1 (ja) * 2014-08-22 2016-02-25 パナソニックＩｐマネジメント株式会社 画像取得装置および画像形成システム
US9595086B2 (en) * 2014-09-04 2017-03-14 Samsung Electronics Co., Ltd. Image processing device, image processing system and method for image processing
US9734553B1 (en) 2014-12-31 2017-08-15 Ebay Inc. Generating and displaying an actual sized interactive object
CN105160625A (zh) * 2015-07-17 2015-12-16 天脉聚源（北京）科技有限公司 图像拼字的方法和装置
DE102015121017A1 (de) * 2015-12-03 2017-06-08 Karl Storz Gmbh & Co. Kg Beobachtungsvorrichtung, insbesondere medizinische Beobachtungsvorrichtung, mit einer Bedieneinheit sowie Verwendung eines Eingabemoduls
JP2017114579A (ja) * 2015-12-21 2017-06-29 株式会社東芝 画像処理装置
WO2018042413A1 (en) * 2016-08-28 2018-03-08 Siegel Gabriel A system for histological examination of tissue specimens
JP6951349B2 (ja) 2016-09-30 2021-10-20 オリンパス株式会社 観察装置
CN109790502A (zh) * 2016-09-30 2019-05-21 奥林巴斯株式会社 培养观察系统
JP6826455B2 (ja) * 2017-02-14 2021-02-03 株式会社日立製作所 画像形成装置
CN107015356B (zh) * 2017-03-17 2019-08-16 中国科学院自动化研究所 显微图像的显示方法、显示装置及包含该装置的成像系统
JP6911112B2 (ja) 2017-05-29 2021-07-28 オリンパス株式会社 観察装置
JP6962714B2 (ja) * 2017-06-07 2021-11-05 オリンパス株式会社 観察装置
JP7165018B2 (ja) * 2018-10-03 2022-11-02 キヤノン株式会社 情報処理装置、情報処理方法
WO2020152860A1 (ja) * 2019-01-25 2020-07-30 オリンパス株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002251464A (ja) 2001-02-22 2002-09-06 Yokogawa Electric Corp 医療画像表示装置及び医療画像表示方法
JP4576876B2 (ja) * 2004-05-10 2010-11-10 株式会社ニコン 顕微鏡システム
CN100454078C (zh) * 2006-06-22 2009-01-21 北京普利生仪器有限公司 一种全息数字化切片的显微图像制作方法
JP2008096582A (ja) * 2006-10-10 2008-04-24 Nikon Corp カメラ
JP2011095685A (ja) * 2009-11-02 2011-05-12 Sony Corp 顕微鏡システム及び顕微鏡システムの制御方法
JP5498129B2 (ja) * 2009-11-09 2014-05-21 オリンパス株式会社 バーチャル顕微鏡システム
JP5658451B2 (ja) * 2009-11-30 2015-01-28 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP2012060394A (ja) * 2010-09-08 2012-03-22 Canon Inc 画像取得装置
US20120127297A1 (en) * 2010-11-24 2012-05-24 Baxi Vipul A Digital microscopy with focus grading in zones distinguished for comparable image structures
JP5825808B2 (ja) * 2011-03-18 2015-12-02 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
WO2013100025A1 (ja) 2013-07-04
CN104011581A (zh) 2014-08-27
US8947519B2 (en) 2015-02-03
DE112012005481T5 (de) 2014-09-04
KR20140103171A (ko) 2014-08-25
JP2013152454A (ja) 2013-08-08
US20140015954A1 (en) 2014-01-16

Similar Documents

Publication Publication Date Title
WO2013100025A9 (ja) 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
JP6124543B2 (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP6091137B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
US9224193B2 (en) Focus stacking image processing apparatus, imaging system, and image processing system
JP5350532B2 (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
WO2013100026A9 (ja) 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
JP2014071207A (ja) 画像処理装置、撮像システム、画像処理システム
JP2013200640A (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP2014130221A (ja) 画像処理装置、その制御方法、画像処理システム、及びプログラム
US20160042122A1 (en) Image processing method and image processing apparatus
WO2013100029A1 (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
JP2016038542A (ja) 画像処理方法および画像処理装置
JP5832281B2 (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP6338730B2 (ja) 表示データを生成する装置、方法、及びプログラム
JP2013141263A (ja) 画像処理装置、撮像システム、画像処理システム
JP2013250400A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2016206228A (ja) 合焦位置検出装置、合焦位置検出方法、撮像装置、撮像システム
JP2013250574A (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
JP2016038541A (ja) 画像処理方法および画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12861666

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 1120120054814

Country of ref document: DE

Ref document number: 112012005481

Country of ref document: DE

ENP Entry into the national phase

Ref document number: 20147019757

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 12861666

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 12861666

Country of ref document: EP

Kind code of ref document: A1