KR102103663B1 - 촬영 장치 및 방법과 촬영 장치 제어 프로그램 - Google Patents

촬영 장치 및 방법과 촬영 장치 제어 프로그램 Download PDF

Info

Publication number
KR102103663B1
KR102103663B1 KR1020187032332A KR20187032332A KR102103663B1 KR 102103663 B1 KR102103663 B1 KR 102103663B1 KR 1020187032332 A KR1020187032332 A KR 1020187032332A KR 20187032332 A KR20187032332 A KR 20187032332A KR 102103663 B1 KR102103663 B1 KR 102103663B1
Authority
KR
South Korea
Prior art keywords
image
stage
scanning direction
main scanning
unit
Prior art date
Application number
KR1020187032332A
Other languages
English (en)
Other versions
KR20180133895A (ko
Inventor
다카시 와쿠이
Original Assignee
후지필름 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지필름 가부시키가이샤 filed Critical 후지필름 가부시키가이샤
Publication of KR20180133895A publication Critical patent/KR20180133895A/ko
Application granted granted Critical
Publication of KR102103663B1 publication Critical patent/KR102103663B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/14—Condensers affording illumination for phase-contrast observation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H04N5/225—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/127—Calibration; base line adjustment; drift compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Abstract

세포 등의 관찰 대상의 고속 촬영이 가능하고, 또한 스테이지 등의 이동에 기인하는 떨림을 적절하며 간이하게 보정하는 촬영 장치 및 방법과 촬영 장치 제어 프로그램을 제공한다. 관찰 대상이 수용된 용기가 설치되는 스테이지와, 관찰 대상의 상을 결상시키는 결상 광학계와, 스테이지를 주주사 방향 및 주주사 방향에 직교하는 부주사 방향으로 이동시키고, 또한 스테이지를 주주사 방향에 대하여 왕복 이동시키는 수평 방향 구동부(16)과, 결상 광학계에 의하여 결상된 상을 수광하고, 관찰 대상의 화상 신호를 출력하는 촬상부(15)와, 화상 신호에 대하여, 스테이지의 이동에 기인하는 떨림을 보정하는 떨림 보정을 실시하는 떨림 보정부(21)을 구비하며, 떨림 보정부(21)이, 스테이지의 주주사 방향의 이동 방향에 따라, 떨림 보정에 이용하는 보정 필터를 전환한다.

Description

촬영 장치 및 방법과 촬영 장치 제어 프로그램
본 발명은, 관찰 대상이 수용된 용기가 설치된 스테이지와 관찰 대상의 상을 결상시키는 결상 광학계를 상대적으로 이동시킴으로써, 관찰 대상 전체의 상을 관찰하는 촬영 장치 및 방법과 촬영 장치 제어 프로그램에 관한 것이다.
종래, ES(Embryonic Stem) 세포 및 iPS(Induced Pluripotent Stem) 세포 등의 다능성 줄기 세포나 분화 유도된 세포 등을 현미경 등에 의하여 촬상하고, 그 화상의 특징을 파악함으로써 세포의 분화 상태 등을 판정하는 방법이 제안되고 있다.
ES 세포 및 iPS 세포 등의 다능성 줄기 세포는, 다양한 조직의 세포에 분화하는 능력을 구비한 것이며, 재생 의료, 약의 개발, 및 병의 해명 등에 있어서 응용이 가능한 것으로서 주목받고 있다.
한편, 상술한 바와 같이 세포를 현미경에 의하여 촬상할 때, 고배율인 광시야 화상을 취득하기 위하여, 예를 들면 웰 플레이트 등의 배양 용기의 범위 내를 결상 광학계의 관찰역에 의하여 주사하여, 관찰역마다의 화상을 촬상한 후, 그 관찰역마다의 화상을 결합하는, 이른바 타일링 촬영을 행하는 것이 제안되고 있다(예를 들면 특허문헌 1 참조).
일본 공개특허공보 2011-107669호
여기에서, 세포의 효율적인 배양을 행하기 위해서는, 고속으로 촬영을 행하는 촬영 장치가 요구되고 있다.
그러나, 예를 들면 배양 용기가 재치된 스테이지를 이동시킴으로써 관찰역을 주사하는 경우, 스테이지를 고속으로 이동시킴으로써 고속 촬영이 가능하지만, 관찰 대상을 촬상하는 촬상 소자의 노광 시간이 적절하지 않은 경우에는, 촬영된 화상에 떨림이 발생하여 버린다. 단순하게 촬상 소자의 노광 시간을 짧게 제어할 수 있으면 화상의 떨림을 억제할 수 있지만, 촬상 소자의 노광 시간의 제어에는 한계가 있어, 떨림을 충분히 억제할 수 없다.
또, 촬상된 화상에 대하여 필터 처리를 실시함으로써 떨림 보정을 실시하는 것도 생각할 수 있지만, 상술한 바와 같은 타일링 촬영을 하는 경우, 관찰역을 왕복 주사하는 경우가 있다. 이와 같은 경우, 왕로 주사의 사이에 촬상한 화상과, 복로 주사의 사이에 촬상한 화상과는 떨림의 발생의 방법이 다르다. 따라서, 관찰역마다의 화상에 대하여 동일한 떨림 보정을 실시해서는, 적절히 떨림을 보정할 수 없다.
본 발명은, 상기의 문제를 감안하여, 세포 등의 관찰 대상의 고속 촬영이 가능하고, 또한 스테이지 등의 이동에 기인하는 떨림을 적절하며 간이하게 보정할 수 있는 촬영 장치 및 방법과 촬영 장치 제어 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 촬영 장치는, 관찰 대상이 수용된 용기가 설치되는 스테이지와, 용기 내의 관찰 대상의 상을 결상시키는 결상 광학계와, 스테이지 및 결상 광학계 중 적어도 한쪽을 주주사 방향 및 주주사 방향에 직교하는 부주사 방향으로 이동시키고, 또한 상기 적어도 한쪽을 주주사 방향에 대하여 왕복 이동시키는 수평 방향 구동부와, 결상 광학계에 의하여 결상된 상을 수광하여, 관찰 대상의 화상 신호를 출력하는 촬상부와, 촬상부로부터 출력된 화상 신호에 대하여, 스테이지 및 결상 광학계 중 적어도 한쪽의 이동에 기인하는 떨림을 보정하는 떨림 보정을 실시하는 떨림 보정부를 구비하고, 떨림 보정부가, 스테이지 및 결상 광학계 중 적어도 한쪽의 주주사 방향의 이동 방향에 따라, 떨림 보정에 이용하는 보정 필터를 전환한다.
또, 상기 본 발명의 촬영 장치에 있어서, 보정 필터는, 주주사 방향에 대응하는 방향에 대하여 보정 대상의 화소 위치를 중심으로 하여 비대칭인 것이 바람직하다.
또, 상기 본 발명의 촬영 장치에 있어서는, 촬상부의 셔터 타이밍에 따라 관찰 대상에 대하여 간헐적으로 조명광을 출사하는 광원을 구비하고, 떨림 보정부는, 조명광의 발광 특성에 따른 보정 필터를 이용하여 떨림 보정을 실시할 수 있다.
또, 상기 본 발명의 촬영 장치에 있어서는, 광원으로부터 출사된 조명광의 발광 특성을 계측하는 계측부를 구비하고, 떨림 보정부는, 계측부에 의하여 계측된 발광 특성에 근거하여, 보정 필터를 갱신할 수 있다.
또, 상기 본 발명의 촬영 장치에 있어서, 떨림 보정부는, 주주사 방향의 왕로용 보정 필터와 복로용 보정 필터를 갖고, 스테이지 및 결상 광학계 중 적어도 한쪽의 주주사 방향의 이동 방향에 따라, 왕로용 보정 필터와 복로용 보정 필터를 전환할 수 있다.
또, 상기 본 발명의 촬영 장치에 있어서, 떨림 보정부는, 스테이지 및 결상 광학계 중 적어도 한쪽의 주주사 방향의 이동 방향에 따라, 보정 필터를 주주사 방향에 대응하는 방향에 대하여 반전시켜 이용할 수 있다.
또, 상기 본 발명의 촬영 장치에 있어서, 떨림 보정부는, 촬영 조건에 따른 보정 필터를 갖는 것이 바람직하다.
또, 상기 본 발명의 촬영 장치에 있어서, 떨림 보정부는, 스테이지 및 결상 광학계 중 적어도 한쪽의 주주사 방향의 이동 속도에 따른 보정 필터를 갖는 것이 바람직하다.
또, 상기 본 발명의 촬영 장치에 있어서, 결상 광학계는, 관찰 대상을 포함하는 범위를 분할한 관찰역마다의 상을 결상하고, 촬상부는, 관찰역마다의 화상 신호를 출력하며, 떨림 보정부는, 미리 설정된 모든 관찰역의 화상 신호를 취득한 후, 관찰역마다의 화상 신호가 촬상된 시점에 있어서의 스테이지 및 결상 광학계 중 적어도 한쪽의 주주사 방향의 이동 방향의 정보에 근거하여, 관찰역마다의 화상 신호에 대하여 이동 방향에 따른 보정 필터를 이용하여 떨림 보정을 실시할 수 있다.
또, 상기 본 발명의 촬영 장치에 있어서는, 떨림 보정의 강도의 변경을 접수하는 떨림 보정 강도 변경 접수부를 구비하고, 떨림 보정부는, 변경된 강도에 근거하여, 떨림 보정을 실시할 수 있다.
본 발명의 촬영 방법은, 관찰 대상이 수용된 용기가 설치되는 스테이지 및 용기 내의 관찰 대상의 상을 결상시키는 결상 광학계 중 적어도 한쪽을 주주사 방향 및 주주사 방향에 직교하는 부주사 방향으로 이동시키고, 또한 상기 적어도 한쪽을 주주사 방향에 대하여 왕복 이동시키며, 결상 광학계에 의하여 결상된 상을 촬상부에 의하여 수광하여 관찰 대상의 화상 신호를 취득하는 촬영 방법에 있어서, 촬상부로부터 출력된 화상 신호에 대하여, 스테이지 및 결상 광학계 중 적어도 한쪽의 이동에 기인하는 떨림을 보정하는 떨림 보정을 실시하고, 또한 상기 적어도 한쪽의 주주사 방향의 이동 방향에 따라, 떨림 보정에 이용하는 보정 필터를 전환한다.
본 발명의 촬영 장치 제어 프로그램은, 관찰 대상이 수용된 용기가 설치되는 스테이지 및 용기 내의 관찰 대상의 상을 결상시키는 결상 광학계 중 적어도 한쪽을 주주사 방향 및 주주사 방향에 직교하는 부주사 방향으로 이동시키고, 또한 상기 적어도 한쪽을 주주사 방향에 대하여 왕복 이동시키는 절차와, 결상 광학계에 의하여 결상된 상을 촬상부에 의하여 수광하여 관찰 대상의 화상 신호를 취득하는 절차를 컴퓨터에 실행시키는 촬영 장치 제어 프로그램에 있어서, 촬상부로부터 출력된 화상 신호에 대하여, 스테이지 및 결상 광학계 중 적어도 한쪽의 이동에 기인하는 떨림을 보정하는 떨림 보정을 실시하고, 또한 상기 적어도 한쪽의 주주사 방향의 이동 방향에 따라, 떨림 보정에 이용하는 보정 필터를 전환하는 절차를 컴퓨터에 실행시킨다.
본 발명의 촬영 장치 및 방법과 촬영 장치 제어 프로그램에 의하면, 관찰 대상이 수용된 용기가 설치되는 스테이지 및 용기 내의 관찰 대상의 상을 결상시키는 결상 광학계 중 적어도 한쪽을 주주사 방향 및 주주사 방향에 직교하는 부주사 방향으로 이동시키고, 또한 상기 적어도 한쪽을 주주사 방향에 대하여 왕복 이동시키며, 결상 광학계에 의하여 결상된 상을 촬상부에 의하여 수광하여 관찰 대상의 화상 신호를 취득한다.
그리고, 촬상부로부터 출력된 화상 신호에 대하여, 스테이지 및 결상 광학계 중 적어도 한쪽의 이동에 기인하는 떨림을 보정하는 떨림 보정을 실시하고, 또한 상기 적어도 한쪽의 주주사 방향의 이동 방향에 따라, 떨림 보정에 이용하는 보정 필터를 전환한다. 이와 같이 보정 필터를 이용하여 떨림 보정을 실시하고, 또한 이동 방향에 따라 보정 필터를 전환함으로써, 세포 등의 관찰 대상의 고속 촬영이 가능하고, 또한 스테이지 등의 이동에 기인하는 떨림을 적절하며 간이하게 보정할 수 있다.
도 1은 본 발명의 촬영 장치의 일 실시형태를 이용한 현미경 촬영 시스템의 개략 구성을 나타내는 도이다.
도 2는 결상 광학계의 구성을 나타내는 모식도이다.
도 3은 스테이지의 구성을 나타내는 사시도이다.
도 4는 본 발명의 촬영 장치의 일 실시형태를 이용한 현미경 촬영 시스템의 개략 구성을 나타내는 블록도이다.
도 5는 배양 용기 내에 있어서의 관찰역의 주사 위치를 나타내는 도이다.
도 6은 배양 용기 내의 각 관찰역에 대응하는 백색 광원의 발광 타이밍과 촬상 소자의 셔터 타이밍을 나타내는 도이다.
도 7은 백색 광원의 이상적인 발광 타이밍과, 백색 광원에 대한 실제 전압 인가의 타이밍과, 그 전압 인가에 의한 백색 광원의 실제 발광 상태를 나타내는 도이다.
도 8은 백색 광원의 발광 상태에 기인하는 떨림의 발생을 설명하기 위한 도이다.
도 9는 스트로보 광원을 이용한 경우에 있어서의 보정 필터의 일례를 나타내는 도이다.
도 10은 본 발명의 촬영 장치의 일 실시형태를 이용한 현미경 촬영 시스템의 작용을 설명하기 위한 플로차트이다.
도 11은 백색 광원을 연속 점등시킨 경우의 각 관찰역에 대응하는 촬상 소자의 셔터 타이밍을 나타내는 도이다.
도 12는 백색 광원을 연속 점등시킨 경우에 있어서의 보정 필터의 일례를 나타내는 도이다.
도 13은 본 발명의 촬영 장치의 그 외의 실시형태를 이용한 현미경 촬영 시스템의 개략 구성을 나타내는 도이다.
이하, 본 발명의 촬영 장치 및 방법과 촬영 장치 제어 프로그램의 일 실시형태를 이용한 현미경 촬영 시스템에 대하여, 도면을 참조하면서 상세하게 설명한다. 도 1은, 본 실시형태의 현미경 촬영 시스템에 있어서의 현미경 장치(10)의 개략 구성을 나타내는 블록도이다.
현미경 장치(10)은, 관찰 대상인 배양된 세포의 위상차상을 촬상하는 것이다. 구체적으로는, 현미경 장치(10)은, 도 1에 나타내는 바와 같이, 백색광을 출사하는 백색 광원(11)과, 콘덴서 렌즈(12)와, 슬릿판(13)과, 결상 광학계(14)와, 촬상부(15)를 구비하고 있다.
백색 광원(11)은, 백색광을 간헐적으로 출사하는 스트로보 광원이다. 백색 광원(11)은, 촬상부(15)의 셔터 타이밍에 따라 간헐적으로 백색광을 출사하고, 1회의 발광 기간은 2μs 정도이다. 또한, 백색 광원(11)의 발광 타이밍과 촬상부(15)의 셔터 타이밍에 대해서는, 다음에 상세하게 설명한다. 또, 본 실시형태에 있어서는, 백색 광원(11)이, 본 발명의 광원에 상당한다.
슬릿판(13)은, 백색 광원(11)로부터 출사된 백색광을 차광하는 차광판에 대하여 백색광을 투과하는 링 형상의 슬릿이 마련된 것이며, 백색광이 슬릿을 통과함으로써 링 형상의 조명광(L)이 형성된다.
결상 광학계(14)는, 링 형상의 조명광(L)의 관찰 대상에 대한 조사에 의하여 형성된 관찰 대상의 위상차상을 촬상부(15)의 촬상 소자에 결상시킨다. 도 2는, 결상 광학계(14)의 상세한 구성을 나타내는 도이다. 결상 광학계(14)는, 도 2에 나타내는 바와 같이, 위상차 렌즈(14a) 및 결상 렌즈(14d)를 구비하고 있다. 그리고, 위상차 렌즈(14a)는, 대물 렌즈(14b) 및 위상판(14c)를 구비하고 있다. 위상판(14c)는, 조명광(L)의 파장에 대하여 투명한 투명판에 위상링을 형성한 것이다. 또한, 상술한 슬릿판(13)의 슬릿의 크기는, 위상판(14c)의 위상링과 공액 관계에 있다.
위상링은, 입사된 광의 위상을 1/4 파장 어긋나게 하는 위상막과, 입사된 광을 감광하는 감광 필터가 링 형상으로 형성된 것이다. 위상링에 입사된 직접광은, 위상링을 통과함으로써 위상이 1/4 파장 어긋남과 함께, 그 밝기가 약해진다. 한편, 관찰 대상에 의하여 회절된 회절광은 대부분이 위상판(14c)의 투명판을 통과하고, 그 위상 및 밝기는 변화하지 않는다.
또한, 위상차 렌즈(14a)의 배율을 변경 가능한 구성으로 해도 된다. 구체적으로는, 다른 배율을 갖는 위상차 렌즈(14a) 또는 결상 광학계(14)를 교환 가능하게 구성하도록 해도 된다. 위상차 렌즈(14a) 또는 결상 광학계(14)의 교환은, 자동적으로 행하도록 해도 되고, 유저가 수동에 의하여 행하도록 해도 된다.
결상 렌즈(14d)는, 위상차 렌즈(14a)를 통과한 위상차상이 입사되어, 이를 촬상부(15)에 결상하는 것이다.
또, 결상 광학계(14)는, 배양 용기(50)의 범위 내를 분할한 관찰역마다의 위상차상을 촬상부(15)에 결상한다.
촬상부(15)는, 결상 광학계(14)에 의하여 결상된 관찰역마다의 위상차상을 수광하고, 그 관찰역마다의 위상차 화상 신호를 출력하는 것이다. 촬상부(15)는, CCD(Charge-Coupled Device) 이미지 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서 등의 촬상 소자를 구비하고 있다. 촬상 소자로서는, RGB(Red Green Blue)의 컬러 필터가 마련된 촬상 소자를 이용해도 되고, 모노크롬의 촬상 소자를 이용하도록 해도 된다.
또, 촬상 소자는, 전자 셔터를 구비한 것이며, 미리 설정된 셔터 타이밍에 관찰 대상을 촬상하는 것이다. 셔터 타이밍은, 스테이지(51)의 이동 속도와, 각 관찰역의 X 방향의 폭에 근거하여 미리 설정된다.
슬릿판(13)과 결상 광학계(14)의 사이에는, 스테이지(51)이 마련되어 있다. 스테이지(51) 상에는, 관찰 대상인 세포가 수용된 배양 용기(50)이 설치된다.
배양 용기(50)으로서는, 샬레, 디시 또는 웰 플레이트 등을 이용할 수 있다. 또, 배양 용기(50)에 수용되는 세포로서는, iPS 세포 및 ES 세포라고 하는 다능성 줄기 세포, 줄기 세포로부터 분화 유도된 신경, 피부, 심근 및 간장의 세포와, 인체로부터 취출된 피부, 망막, 심근, 혈구, 신경 및 장기의 세포 등이 있다.
스테이지(51)은, 후술하는 수평 방향 구동부(16)(도 4 참조)에 의하여 서로 직교하는 X 방향 및 Y 방향으로 이동하는 것이다. X 방향 및 Y 방향은, Z 방향에 직교하는 방향이며, 수평면 내에 있어서 서로 직교하는 방향이다. 본 실시형태에 있어서는, X 방향을 주주사 방향으로 하고, Y 방향을 부주사 방향으로 한다.
도 3은, 스테이지(51)의 일례를 나타내는 도이다. 스테이지(51)의 중앙에는, 직사각형의 개구(51a)가 형성되어 있다. 이 개구(51a)를 형성하는 부재 상에 배양 용기(50)이 설치되고, 배양 용기(50) 내의 세포의 위상차 화상이 개구(51a)를 통과하도록 구성되어 있다.
다음으로, 현미경 장치(10)을 제어하고, 또한 현미경 장치(10)의 촬상부(15)로부터 출력된 위상차 화상 신호에 대하여 떨림 보정을 실시하는 현미경 제어 장치(20)의 구성에 대하여 설명한다. 도 4는, 본 실시형태의 현미경 촬영 시스템의 구성을 나타내는 블록도이다. 또한, 현미경 장치(10)에 대해서는, 현미경 제어 장치(20)의 각부에 의하여 제어되는 일부의 구성의 블록도를 나타내고 있다.
현미경 제어 장치(20)은, 현미경 장치(10) 전체를 제어하는 것이며, 특히, 주사 제어부(22) 및 표시 제어부(23)을 구비한 것이다. 또, 현미경 제어 장치(20)은, 촬상부(15)로부터 출력된 위상차 화상 신호에 대하여 떨림 보정을 실시하는 떨림 보정부(21)을 구비한 것이다. 또한, 본 실시형태의 떨림 보정은, 스테이지(51)의 이동에 기인하여 위상차 화상 신호에 발생한 떨림을 보정하는 처리이다. 떨림 보정에 대해서는, 다음에 상세하게 설명한다.
현미경 제어 장치(20)은, 중앙 처리 장치, 반도체 메모리 및 하드 디스크 등을 구비한 컴퓨터로 구성되는 것이며, 하드 디스크에 본 발명의 촬영 장치 제어 프로그램의 일 실시형태가 인스톨되어 있다. 그리고, 이 촬영 장치 제어 프로그램이 중앙 처리 장치에 의하여 실행됨으로써, 도 4에 나타내는 떨림 보정부(21), 주사 제어부(22) 및 표시 제어부(23)이 기능한다.
주사 제어부(22)는, 수평 방향 구동부(16)을 구동 제어하고, 이로써 스테이지(51)을 X 방향 및 Y 방향으로 이동시킨다. 수평 방향 구동부(16)은, 압전 소자 등을 갖는 액추에이터로 구성된다.
본 실시형태에 있어서는, 주사 제어부(22)에 의한 제어에 의하여 스테이지(51)을 X 방향 및 Y 방향으로 이동시키고, 결상 광학계(14)의 관찰역을 배양 용기(50) 내에 있어서 2차원 형상으로 주사하여 각 관찰역의 위상차 화상 신호를 취득한다. 도 5는, 배양 용기(50) 내에 있어서의 관찰역의 주사 위치를 실선(M)을 이용하여 나타낸 도이다. 또한, 본 실시형태에 있어서는, 배양 용기(50)으로서 6개의 웰(W)를 갖는 웰 플레이트를 이용한다.
도 5에 나타내는 바와 같이, 결상 광학계(14)의 관찰역은, 주사 개시점(S)로부터 주사 종료점(E)까지 실선(M)을 따라 이동한다. 즉, 관찰역은, X 방향의 정의 방향(도 5의 우측 방향)으로 주사된 후, Y 방향(도 5의 아래 방향)으로 이동하고, 그 후, X 방향의 부의 방향(도 5의 좌측 방향)으로 주사된다. 이어서, 관찰역은, 재차 Y 방향으로 이동하고, 재차 X 방향의 정의 방향으로 주사된다. 이와 같이, 관찰역은, X 방향에 대한 왕복 이동과 Y 방향에 대한 이동을 반복하여 행함으로써, 배양 용기(50) 내에서 2차원 형상으로 주사된다.
또한, 상술한 바와 같이 스테이지(51)을 X 방향으로 이동시킴으로써 관찰역을 배양 용기(50)의 범위 내에 있어서 주사하는 경우, 배양 용기(50)의 범위에 있어서의 관찰역의 이동 속도는 일정한 것이 바람직하다. 따라서, 스테이지(51)의 X 방향에 대한 이동 개시 시에는 스테이지(51)이 일정한 속도가 될 때까지 가속할 필요가 있고, 스테이지(51)의 X 방향에 대한 이동 종료 시에는, 스테이지(51)을 일정한 속도로부터 감속하여 정지시킬 필요가 있다.
또, 스테이지(51)의 X 방향에 대한 이동 속도를 일정한 속도로 하는 경우, 가속역을 거의 갖게 하지 않고 급속히 일정한 속도로 제어하는 것은 가능하지만, 이와 같은 제어를 행한 경우, 배양 용기(50)에 세포와 함께 수용된 배양액 등의 액면이 흔들려 버려, 위상차 화상의 화질의 저하를 초래할 가능성이 있다. 또, 스테이지(51)을 정지할 때에도 동일한 문제가 발생할 가능성이 있다.
따라서, 본 실시형태에 있어서는, 도 5에 나타내는 범위(R1) 및 범위(R2)를 스테이지(51)의 X 방향에 대한 이동의 가감속역으로 설정한다. 이와 같이 배양 용기(50)의 범위의 X 방향의 양측으로 가감속역을 설정함으로써, 배양 용기(50)의 범위에 있어서 관찰역을 일정한 속도로 주사할 수 있고, 또한 배양액의 액면의 흔들림도 억제할 수 있다.
상술한 바와 같이 스테이지(51)의 X 방향에 대한 이동에 의하여 결상 광학계(14)의 관찰역이 X 방향으로 주사되어, 각 관찰역의 위상차 화상 신호가 취득되지만, 각 관찰역의 위상차 화상 신호는, 관찰역의 주사와 함께, 백색 광원(11)의 발광 및 촬상부(15)의 셔터 타이밍을 제어함으로써 취득된다.
도 6은, 배양 용기(50) 내의 각 관찰역에 대응하는 백색 광원(11)의 발광 타이밍과 촬상부(15)의 셔터 타이밍을 나타낸 도이다. 또한, 스테이지(51)의 이동 속도는, 도 6에 나타내는 바와 같이 일정하다. 촬상부(15)의 전자 셔터는, 관찰역마다 미리 설정된 노광 시간만큼만 오픈된다. 노광 시간은, 스테이지(51)이 1관찰역의 X 방향의 폭만큼만 이동하는 시간 내이면 된다.
여기에서, 스테이지(51)을 이동시키면서 각 관찰역의 위상차 화상 신호를 취득한 경우, 상술한 노광 시간 동안도 스테이지(51)은 정지하지 않고 이동하고 있기 때문에, 즉 관찰 대상이 움직이고 있기 때문에, 이 이동에 기인하는 떨림이 위상차 화상 신호에 발생한다. 이 떨림을 억제하기 위하여, 노광 시간을 짧게 하는 것도 생각되지만, 촬상부(15)의 전자 셔터의 동작 속도에 한계가 있다.
따라서, 본 실시형태에 있어서는, 노광 시간을 짧게 하는 것이 아니라, 조명광(L)의 관찰 대상에 대한 조사 시간을 짧게 함으로써 떨림을 억제하고 있다. 구체적으로는, 상술한 바와 같이 백색 광원(11)을 스트로보 광원으로서 간헐적으로 백색광을 출사시켜, 이로써 조명광(L)의 조사 시간을 제어하도록 하고 있다. 본 실시형태에 있어서는, 도 6에 나타내는 바와 같이, 각 관찰역의 노광 시간의 사이에 백색 광원(11)을 발광시킨다. 백색 광원(11)의 발광 시간은, 스테이지의 이동 속도, 촬상부(15)가 갖는 촬상 소자의 화소 사이즈, 및 결상 광학계(14)의 배율 등에 근거하여 결정되고, 촬상 소자의 하나의 화소에 대하여, 관찰 대상의 1화소에 상당하는 범위의 광이 입사하도록 결정하는 것이 바람직하다.
그러나, 스트로보 광원인 백색 광원(11)에 인가되는 전압은 고압이며, 또한 스트로보 광원 자체의 성질로부터, 반드시 백색 광원(11)로부터 출사되는 백색광의 발광 특성을 도 6에 나타내는 바와 같은 발광 특성으로 할 수 없다.
도 7은, 도 6에 나타낸 백색 광원(11)의 이상적인 발광 타이밍과, 백색 광원(11)에 대한 실제 전압 인가의 타이밍과, 그 전압 인가에 의한 백색 광원(11)의 실제 발광 상태를 나타내는 도이다.
이상적인 발광 타이밍에 백색 광원(11)로부터 백색광을 출사시키기 위해서는, 도 7에 나타내는 바와 같이, 백색 광원(11)에 대한 전압 인가의 타이밍은, 이상적인 백색광의 발광 타이밍보다 앞선 타이밍으로 할 필요가 있다. 그러나, 이와 같이 전압 인가의 타이밍을 앞당긴 경우, 실제로는, 백색 광원(11)은, 이상적인 발광 타이밍보다 빨리 발광해 버린다. 또, 이상적인 발광 기간이 되도록 백색 광원(11)의 발광을 정지시키기 위해서는, 이상적인 발광 기간이 경과하기 전에 백색 광원(11)의 전압 인가를 정지할 필요가 있다. 그러나, 이와 같이 전압 인가를 정지시켰다고 해도, 백색 광원(11) 자체의 성질로부터 발광을 급속히 정지시키지 못하고, 실제는, 도 7에 나타내는 바와 같이, 백색 광원(11)의 발광은 서서히 감쇠해 나가기 때문에, 이상적인 백색광의 발광 기간보다 길어져 버린다.
따라서, 백색 광원(11)의 발광 특성이, 도 7에 나타내는 바와 같은 발광 특성에서는, 사선을 이용하여 나타내는 부분의 발광과 스테이지(51)의 이동에 기인하여 위상차 화상 신호에 떨림이 발생해 버린다. 즉, 도 8에 나타내는 바와 같이, 이상적인 발광 타이밍인 경우에는, 촬상 소자의 1화소에 대하여 관찰 대상의 위상차상의 1화소분의 광밖에 입사하지 않기 때문에, 떨림은 발생하지 않는다. 그러나, 실제로는, 백색 광원(11)의 발광 상태는, 도 8에 나타내는 바와 같이 상승부와 하강부를 가지므로, 이 부분의 발광이 촬상 소자의 1화소에 의하여 수광됨으로써, 위상차 화상 신호에 떨림이 발생해 버린다.
떨림 보정부(21)은, 상술한 바와 같은 스테이지(51)의 이동 및 백색 광원(11)의 발광 특성에 기인하는 떨림을 보정한다. 떨림 보정부(21)은, 미리 설정된 보정 필터를 이용하여, 촬상부(15)로부터 출력된 각 관찰역의 위상차 화상 신호에 대하여 떨림 보정을 실시한다.
여기에서, 도 8에 나타내는 백색 광원(11)의 실제 발광 상태(발광 특성)를 결상 광학계(14)에서 검출한 시간 단위의 광량 데이터를, 스테이지(51)의 속도, 촬상부(15)의 해상도, 및 전압 인가로부터 백색 광원(11)의 광량이 최대가 될 때까지의 시간 등을 고려하여 화소 단위의 광량 데이터로 변환하고, 그 변환 후의 광량 데이터를 광량이 최대가 되는 화소에 의하여 정규화한 것을 PSF(Point spread function)로서 구하고, 이를 보정 필터로서 이용할 수 있다. 실제로는, PSF를 푸리에 변환하여, 그 역함수에 상당하는 연산을 주파수 변환된 위상차 화상 신호에 곱함으로써 떨림 보정을 실시할 수 있다. 구체적으로는, 예를 들면 상기의 PSF에 근거하여 위너 필터를 산출하고, 이를 주파수 변환된 위상차 화상 신호에 곱함으로써 떨림 보정을 실시할 수 있다.
또, 본 실시형태에 있어서는, 상술한 바와 같이 스테이지(51)을 X 방향으로 왕복 이동시키고 있기 때문에, 즉 관찰 대상이 X 방향으로 왕복 이동하고 있기 때문에, 스테이지(51)이, X 방향에 대하여 한쪽의 방향으로 이동하고 있는 경우의 PSF와, 반대의 다른 한쪽의 방향으로 이동하고 있는 경우의 PSF가 다르다.
따라서, 떨림 보정부(21)은, 스테이지(51)의 이동 방향에 따라 보정 필터를 전환한다. 구체적으로는, 스테이지(51)이 한쪽의 방향으로 이동하고 있는 경우의 PSF와, 다른 한쪽의 방향으로 이동하고 있는 경우의 PSF는, X 방향에 대하여 반전된 형상이 된다. 따라서, 보정 필터에 대해서도, 스테이지(51)의 어느 한쪽의 방향으로 이동하고 있는 경우의 PSF를 이용한 보정 필터를 미리 설정해 두고, 스테이지(51)의 이동 방향에 따라, 이것을 X 방향에 대하여 반전시킴으로써 전환한다.
도 9는, 스테이지(51)이 왕로 이동하고 있는 경우에 취득된 위상 화상 신호에 대하여 이용되는 왕로용 보정 필터와, 스테이지(51)이 복로 이동하고 있는 경우에 취득된 위상차 화상 신호에 대하여 이용되는 복로용 보정 필터와의 일례를 나타낸 도이다. 왕로용 보정 필터와 복로용 보정 필터는, 주주사 방향에 대응하는 방향에 대하여 보정 대상의 화소 위치를 중심으로 하여 비대칭인 형태가 된다.
본 실시형태에서는, 왕로용 보정 필터를 미리 설정해 두고, 이것을 반전시켜 복로용 보정 필터로서 이용한다. 단, 이에 한정하지 않고, 왕로용 보정 필터와 복로용 보정 필터를 별개로 설정해 두고, 스테이지(51)의 이동 방향에 따라 그들 필터를 전환하여 사용하도록 해도 된다.
이와 같이 왕로용 보정 필터와 복로용 보정 필터를 별개로 마련하도록 한 경우에는, 예를 들면 스테이지(51)이 왕로 이동하고 있는 경우와 복로 이동하고 있는 경우에서, 부주사 방향에 대한 이동 떨림량이 다른 경우 등에 있어서, 이 이동 떨림량의 차이를 왕로용 보정 필터와 복로의 보정 필터에 각각 반영시킬 수 있고, 이로써 떨림 보정의 정밀도를 향상시킬 수 있다.
또, 떨림 보정부(21)은, 관찰역마다의 위상차 화상 신호가 취득될 때마다, 그 위상차 화상 신호에 대하여 떨림 보정을 실시하도록 해도 되고, 모든 관찰역의 위상차 화상 신호를 취득한 후에, 떨림 보정을 실시하도록 해도 된다. 구체적으로는, 떨림 보정부(21)은, 관찰역마다의 위상차 화상 신호가 입력될 때에, 그 시점의 스테이지(51)의 이동 방향의 정보를 취득하고, 위상차 화상 신호와 스테이지(51)의 이동 방향의 정보를 대응시켜 기억한다. 그리고, 떨림 보정부(21)은, 모든 관찰역의 위상차 화상 신호가 입력된 후, 각 관찰역의 위상차 화상 신호에 대응된 스테이지(51)의 이동 방향의 정보를 참조하고, 스테이지(51)의 이동 방향에 따른 보정 필터를 이용하여, 각 관찰역의 위상차 화상 신호에 떨림 보정을 실시하도록 해도 된다.
다음으로, 도 4로 되돌아와, 표시 제어부(23)은, 현미경 장치(10)에 의하여 촬상된 각 관찰역의 위상차 화상 신호를 결합함으로써, 1매의 합성 위상차 화상 신호를 생성하고, 그 합성 위상차 화상 신호를 표시 장치(30)에 표시시킨다.
표시 장치(30)은, 상술한 바와 같이 표시 제어부(23)에 의하여 생성된 합성 위상차 화상 신호에 근거하여 합성 위상차 화상을 표시하는 것이며, 예를 들면 액정 디스플레이 등을 구비한 것이다. 또, 표시 장치(30)을 터치 패널에 의하여 구성하고, 입력 장치(40)과 겸용하도록 해도 된다.
입력 장치(40)은, 마우스나 키보드 등을 구비하고, 유저에 의한 다양한 설정 입력을 접수한다. 본 실시형태의 입력 장치(40)은, 예를 들면 위상차 렌즈(14a)의 배율의 변경 지시, 스테이지(51)의 이동 속도의 변경 지시 및 백색 광원(11)의 광량의 변경 지시 등의 설정 입력을 접수한다.
다음으로, 본 실시형태의 현미경 촬영 시스템의 작용에 대하여, 도 10에 나타내는 플로차트를 참조하면서 설명한다.
먼저, 관찰 대상인 세포가 수용된 배양 용기(50)이, 스테이지(51) 상에 설치된다(S10). 다음으로, 스테이지(51)이 이동하여 결상 광학계(14)의 관찰역이, 도 5에 나타내는 주사 개시점(S)의 위치로 설정되고, 관찰역의 주사가 개시된다(S12).
그리고, 관찰역마다의 위상차 화상 신호가 촬상부(15)로부터 출력되고, 떨림 보정부(21)에 의하여 취득된다. 떨림 보정부(21)은, 스테이지(51)이 왕로 이동하고 있는 경우에는, 입력된 관찰역마다의 위상차 화상 신호에 대하여 왕로용 보정 필터를 이용하여 떨림 보정을 실시한다(S16, S18, NO). 그리고, 관찰역이 가감속역까지 이동하여, 스테이지(51)의 이동이 복로 방향에 대한 이동으로 전환된 경우에는(S18, YES), 떨림 보정부(21)은, 왕로용 보정 필터를 반전시켜(S20), 이를 복로용 보정 필터로서 이용하여, 관찰역마다의 위상차 화상 신호에 대하여 떨림 보정을 실시한다.
그리고, 관찰역의 모든 주사가 종료할 때까지 S14~S20까지의 처리가 반복된다(S22, NO). 그리고, 관찰역이, 도 5에 나타내는 주사 종료점(E)의 위치에 도달한 시점에 있어서 모든 주사가 종료한다(S22, YES).
모든 주사가 종료한 후, 표시 제어부(23)은, 각 관찰역의 위상차 화상 신호를 결합하여 합성 위상차 화상 신호를 생성하고(S24), 그 생성한 합성 위상차 화상 신호에 근거하여 합성 위상차 화상을 표시 장치(30)에 표시시킨다(S26).
상기 실시형태의 현미경 촬영 시스템에 의하면, 각 관찰 위치의 위상차 화상 신호에 대하여, 스테이지(51)의 이동에 기인하는 떨림을 보정하는 떨림 보정을 실시하고, 또한 스테이지(51)의 주주사 방향의 이동 방향에 따라, 떨림 보정에 이용하는 보정 필터를 전환하도록 했기 때문에, 세포 등의 관찰 대상의 고속 촬영이 가능하고, 또한 스테이지 등의 이동에 기인하는 떨림을 적절하며 간이하게 보정할 수 있다.
또한, 상기 실시형태의 현미경 촬영 시스템에 있어서는, 백색 광원(11)으로서 스트로보 광원을 이용하고, 관찰 대상에 대하여 간헐적으로 백색광을 출사시키도록 했지만, 이에 한정하지 않고, 도 11에 나타내는 바와 같이, 백색광을 연속 점등시키도록 해도 된다. 이 경우, 스테이지(51)에 기인하는 떨림을 억제하기 위하여, 촬상부(15)의 노광 시간은, 상기 실시형태보다 짧은 30μs로 설정하고, 또한 상기 실시형태와 동일하게, 보정 필터를 이용한 떨림 보정을 행한다.
백색광을 연속 점등시키는 경우에 있어서도, 상기 실시형태와 동일하게 백색광의 발광 특성을 실 PSF로 하고, 이에 근거하여 보정 필터를 산출한다. 도 12에, 백색광을 연속 점등시킨 경우의 왕로용 보정 필터와 복로용 보정 필터의 일례를 나타낸다. 백색광을 연속 점등시킨 경우의 왕로용 보정 필터와 복로용 보정 필터에 대해서도, 주주사 방향에 대응하는 방향에 대하여 보정 대상의 화소 위치를 중심으로 하여 비대칭인 형태가 된다.
그리고, 백색광을 연속 점등시키는 경우도, 상기 실시형태와 동일하게, 왕로용 보정 필터를 미리 설정해 두고, 이것을 반전시켜 복로용 보정 필터로서 이용해도 되며, 왕로용 보정 필터와 복로용 보정 필터를 별개로 설정해 두고, 스테이지(51)의 이동 방향에 따라 그들 필터를 전환하여 사용하도록 해도 된다.
또, 상기 실시형태의 현미경 촬영 시스템에 있어서, 촬영 조건에 따른 보정 필터를 설정해 두고, 촬영 조건에 따라 보정 필터를 전환하여 사용하도록 해도 된다. 촬영 조건으로서는, 스테이지(51)의 이동 속도 및 백색 광원(11)의 광량 등이 있다.
예를 들면 스테이지(51)의 이동 속도를 변화시킴으로써 이동 속도마다의 보정 필터를 떨림 보정부(21)에 미리 기억해 두고, 유저에 의한 스테이지(51)의 이동 속도의 변경 지시에 따라 보정 필터를 전환하도록 하면 된다. 또, 백색 광원(11)의 광량을 변화시킴으로써 광량마다의 보정 필터를 떨림 보정부(21)에 미리 기억해 두고, 유저에 의한 광량의 변경 지시에 따라 보정 필터를 전환하도록 하면 된다.
또한, 스테이지(51)의 이동 속도의 변경 및 백색 광원(11)의 광량의 변경에 대해서는, 예를 들면 표시 장치(30)에 이동 속도 및 광량의 변경의 입력을 접수하는 화면을 표시시켜, 유저가 입력 장치(40)을 이용하여 변경 후의 이동 속도 및 광량을 화면 상에 설정 입력하도록 하면 된다.
또, 상기 실시형태의 현미경 촬영 시스템에 있어서, 도 13에 나타내는 바와 같이, 백색 광원(11)로부터 출사된 조명광의 발광 특성을 계측하는 계측부(17)을 마련하고, 떨림 보정부(21)이, 계측부(17)에 의하여 계측된 발광 특성에 근거하여, 보정 필터를 재차 산출하여 갱신하도록 해도 된다. 백색 광원(11)은, 시간의 경과와 함께 경시 열화되어, 그 발광 특성도 변화한다. 따라서, 상술한 바와 같이 발광 특성을 계측하는 계측부(17)을 마련하고, 정기적으로 보정 필터를 갱신함으로써, 떨림 보정의 정밀도를 유지할 수 있다.
구체적으로는, 계측부(17)은, 백색 광원(11)의 상승 및/또는 하강을 계측한다. 그리고, 계측부(17)에 의하여 계측된 상승 및/또는 하강이, 전회 계측한 결과보다 크게 변화하고 있는 경우에는, 떨림 보정부(21)이, 그 계측 결과에 근거하여 보정 필터를 재차 산출하도록 하면 된다. 계측부(17)은, 백색 광원(11)로부터 출사되는 광을 검출함으로써 발광의 상승 및/또는 하강을 계측하도록 해도 되고, 백색 광원(11)의 전압 변화를 계측함으로써, 발광의 상승 및/또는 하강을 간접적으로 계측하도록 해도 된다.
보정 필터의 갱신은, 예를 들면 유저에 의한 갱신 지시 입력에 의하여 행해진다. 보정 필터의 갱신 지시 입력은, 예를 들면 표시 장치(30)에 보정 필터 갱신의 입력을 접수하는 버튼 등을 표시시켜, 유저가 입력 장치(40)을 이용하여 그 버튼을 누르도록 하면 된다. 유저에 의한 보정 필터의 갱신 지시에 따라, 계측부(17)에 의하여 백색 광원(11)의 광량 변화가 계측된다. 그리고, 계측된 광량 변화가, 스테이지(51)의 이동 속도에 따라 PSF에 변환됨으로써, 보정 필터의 갱신이 행해진다. 또한, 예를 들면 스테이지(51)의 속도가 왕로와 복로에서 다른 경우에는, 그 속도의 차이를 고려하여 보정 필터의 갱신이 행해진다.
또, 상기 실시형태의 현미경 촬영 시스템에 있어서, 떨림 보정부(21)에 있어서의 떨림 보정의 강도를 변경할 수 있도록 해도 된다. 상술한 바와 같이 떨림 보정을 행한 경우, 스테이지(51)의 이동에 기인하는 위상차 화상의 떨림은 억제되지만, 예를 들면 위상차 화상 내에 노이즈가 있는 경우에는, 떨림 보정에 의하여 노이즈가 강조되는 경우가 있다. 따라서, 위상차 화상 내에 노이즈가 있는 경우 등을 고려하여, 유저가 떨림 보정의 강도를 변경할 수 있는 것이 바람직하다. 또한, 떨림 보정의 강도의 변경에 대해서는, 미리 설정된 규칙에 근거하여, 보정 필터를 변경하도록 하면 된다.
또, 떨림 보정의 강도의 변경에 대해서는, 예를 들면 표시 장치(30)에 떨림 보정의 강도의 변경의 입력을 접수하는 화면을 표시시켜, 유저가 입력 장치(40)을 이용하여 변경 후의 떨림 보정의 강도를 화면 상에 설정 입력하도록 하면 된다. 또한, 이 경우, 떨림 보정의 강도의 변경의 입력을 접수하는 화면 및 입력 장치(40)이, 본 발명의 떨림 보정 강도 변경 접수부에 상당하는 것이다.
또한, 상기 실시형태에 있어서는, 스테이지(51)을 이동시킴으로써 관찰역을 주사하도록 했지만, 이에 한정하지 않고, 스테이지(51)을 고정으로 하고, 결상 광학계(14) 및 그 외의 위상차 화상의 촬상에 관한 구성을 이동시킴으로써 관찰역을 주사하도록 해도 되며, 스테이지(51)과 결상 광학계(14) 및 그 외의 위상차 화상의 촬상에 관한 구성과의 쌍방을 이동시킴으로써 관찰역을 주사하도록 해도 된다.
또, 상기 실시형태는, 본 발명을 위상차 현미경에 적용한 것이지만, 본 발명은, 위상차 현미경에 한정하지 않고, 미분 간섭 현미경 및 명시야 현미경 등의 그 외의 현미경에 적용하도록 해도 된다.
10 현미경 장치
11 백색 광원
12 콘덴서 렌즈
13 슬릿판
14 결상 광학계
14a 위상차 렌즈
14b 대물 렌즈
14c 위상판
14d 결상 렌즈
15 촬상부
16 수평 방향 구동부
17 계측부
20 현미경 제어 장치
21 떨림 보정부
22 주사 제어부
23 표시 제어부
30 표시 장치
40 입력 장치
50 배양 용기
51 스테이지
51a 개구
L 조명광
M 관찰역의 위치를 나타내는 실선
R1 가감속역의 범위
R2 가감속역의 범위
S 주사 개시점
E 주사 종료점
W 웰

Claims (12)

  1. 관찰 대상이 수용된 용기가 설치되는 스테이지와,
    상기 용기 내의 상기 관찰 대상의 상을 결상시키는 결상 광학계와,
    상기 스테이지 및 상기 결상 광학계 중 적어도 한쪽을 주주사 방향 및 상기 주주사 방향에 직교하는 부주사 방향으로 이동시키고, 또한 상기 적어도 한쪽을 주주사 방향에 대하여 왕복 이동시키는 수평 방향 구동부와,
    상기 결상 광학계에 의하여 결상된 상을 수광하고, 상기 관찰 대상의 화상 신호를 출력하는 촬상부와,
    상기 촬상부로부터 출력된 화상 신호에 대하여, 상기 스테이지 및 상기 결상 광학계 중 적어도 한쪽의 이동에 기인하는 떨림을 보정하는 떨림 보정을 실시하는 떨림 보정부를 구비하고,
    상기 떨림 보정부가, 상기 스테이지 및 상기 결상 광학계 중 적어도 한쪽의 상기 주주사 방향의 왕로 주사에 의한 떨림 보정을 실시하는 보정 필터를 포함하고, 상기 주주사 방향의 복로 주사에 있어서, 상기 보정 필터를 반전시킨 필터로 전환하여 떨림 보정을 실시하는 것을 특징으로 하는 촬영 장치.
  2. 청구항 1에 있어서,
    상기 떨림 보정부는, 상기 보정 필터와 상이한 필터로 전환하거나, 또는 상기 보정 필터의 방향을 반전시켜 전환함으로써 떨림 보정을 실시하는 촬영 장치.
  3. 청구항 1에 있어서,
    상기 보정 필터가, 상기 주주사 방향에 대응하는 방향에 대하여 보정 대상의 화소 위치를 중심으로 하여 비대칭인 촬영 장치.
  4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 촬상부의 셔터 타이밍에 따라 상기 관찰 대상에 대하여 간헐적으로 조명광을 출사하는 광원을 구비하고,
    상기 떨림 보정부가, 상기 조명광의 발광 특성에 따른 상기 보정 필터를 이용하여 상기 떨림 보정을 실시하는 촬영 장치.
  5. 청구항 4에 있어서,
    상기 광원으로부터 출사된 조명광의 발광 특성을 계측하는 계측부를 구비하고,
    상기 떨림 보정부가, 상기 계측부에 의하여 계측된 발광 특성에 근거하여, 상기 보정 필터를 갱신하는 촬영 장치.
  6. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 떨림 보정부가, 상기 보정 필터로서, 촬영 조건에 따른 보정 필터를 갖는 촬영 장치.
  7. 청구항 6에 있어서,
    상기 촬영 조건은, 상기 스테이지 및 상기 결상 광학계 중 적어도 한쪽의 상기 주주사 방향의 이동 속도인 촬영 장치.
  8. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 결상 광학계가, 상기 관찰 대상을 포함하는 범위를 분할한 관찰역마다의 상을 결상하고,
    상기 촬상부가, 상기 관찰역마다의 화상 신호를 출력하며,
    상기 떨림 보정부가, 미리 설정된 모든 관찰역의 화상 신호를 취득한 후, 상기 관찰역마다의 화상 신호가 촬상된 시점에 있어서의 상기 스테이지 및 상기 결상 광학계 중 적어도 한쪽의 상기 주주사 방향의 이동 방향의 정보에 근거하여, 상기 관찰역마다의 화상 신호에 대하여 상기 이동 방향에 따른 보정 필터를 이용하여 상기 떨림 보정을 실시하는 촬영 장치.
  9. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 떨림 보정의 강도의 변경을 접수하는 떨림 보정 강도 변경 접수부를 구비하고,
    상기 떨림 보정부가, 상기 변경된 강도에 근거하여, 상기 떨림 보정을 실시하는 촬영 장치.
  10. 관찰 대상이 수용된 용기가 설치되는 스테이지 및 상기 용기 내의 상기 관찰 대상의 상을 결상시키는 결상 광학계 중 적어도 한쪽을 주주사 방향 및 상기 주주사 방향에 직교하는 부주사 방향으로 이동시키고, 또한 상기 적어도 한쪽을 상기 주주사 방향에 대하여 왕복 이동시키며, 상기 결상 광학계에 의하여 결상된 상을 촬상부에 의하여 수광하여 상기 관찰 대상의 화상 신호를 취득하는 촬영 방법에 있어서,
    상기 촬상부로부터 출력된 화상 신호에 대하여, 상기 스테이지 및 상기 결상 광학계 중 적어도 한쪽의 이동에 기인하는 떨림을 보정하는 떨림 보정을 실시하고, 또한 상기 적어도 한쪽의 상기 주주사 방향의 왕로 주사에 의한 떨림 보정을 보정 필터에 의해 실시하고, 상기 주주사 방향의 복로 주사에 있어서, 상기 보정 필터를 반전시킨 필터로 전환하여 떨림 보정을 실시하는 것을 특징으로 하는 촬영 방법.
  11. 관찰 대상이 수용된 용기가 설치되는 스테이지 및 상기 용기 내의 상기 관찰 대상의 상을 결상시키는 결상 광학계 중 적어도 한쪽을 주주사 방향 및 상기 주주사 방향에 직교하는 부주사 방향으로 이동시키고, 또한 상기 적어도 한쪽을 상기 주주사 방향에 대하여 왕복 이동시키는 절차와, 상기 결상 광학계에 의하여 결상된 상을 촬상부에 의하여 수광하여 상기 관찰 대상의 화상 신호를 취득하는 절차를, 컴퓨터에 실행시키는 매체에 저장된 촬영 장치 제어 프로그램에 있어서,
    상기 촬상부로부터 출력된 화상 신호에 대하여, 상기 스테이지 및 상기 결상 광학계 중 적어도 한쪽의 이동에 기인하는 떨림을 보정하는 떨림 보정을 실시하고, 또한 상기 적어도 한쪽의 상기 주주사 방향의 왕로 주사에 의한 떨림 보정을 보정 필터에 의해 실시하고, 상기 주주사 방향의 복로 주사에 있어서, 상기 보정 필터를 반전시킨 필터로 전환하여 떨림 보정을 실시하는 절차를 컴퓨터에 실행시키는 것을 특징으로 하는 매체에 저장된 촬영 장치 제어 프로그램.
  12. 삭제
KR1020187032332A 2016-05-09 2017-03-03 촬영 장치 및 방법과 촬영 장치 제어 프로그램 KR102103663B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016093615A JP6549061B2 (ja) 2016-05-09 2016-05-09 撮影装置および方法並びに撮影装置制御プログラム
JPJP-P-2016-093615 2016-05-09
PCT/JP2017/008465 WO2017195442A1 (ja) 2016-05-09 2017-03-03 撮影装置および方法並びに撮影装置制御プログラム

Publications (2)

Publication Number Publication Date
KR20180133895A KR20180133895A (ko) 2018-12-17
KR102103663B1 true KR102103663B1 (ko) 2020-05-29

Family

ID=60267834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187032332A KR102103663B1 (ko) 2016-05-09 2017-03-03 촬영 장치 및 방법과 촬영 장치 제어 프로그램

Country Status (5)

Country Link
US (1) US10659694B2 (ko)
EP (1) EP3457192B1 (ko)
JP (1) JP6549061B2 (ko)
KR (1) KR102103663B1 (ko)
WO (1) WO2017195442A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2550202B (en) * 2016-05-13 2020-05-20 Solentim Ltd Sample imaging and image deblurring
JP6707207B2 (ja) * 2017-09-27 2020-06-10 富士フイルム株式会社 観察装置、観察方法および観察プログラム
JP2021083408A (ja) * 2019-11-29 2021-06-03 株式会社島津製作所 検査方法および検査装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014115609A (ja) * 2012-11-16 2014-06-26 Olympus Corp 撮像装置、顕微鏡システム及び撮像方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7283247B2 (en) 2002-09-25 2007-10-16 Olympus Corporation Optical probe system
JP2004145302A (ja) * 2002-10-02 2004-05-20 Olympus Corp 光走査型観察装置
JP2005017808A (ja) * 2003-06-27 2005-01-20 Olympus Corp 光学顕微鏡システム、これを用いた光軸補正方法、光軸補正プログラム、及びこのプログラムを記録した記録媒体
WO2006059904A1 (en) 2004-12-02 2006-06-08 Unilever N.V. Method for affinity purification
US7630628B2 (en) * 2007-07-27 2009-12-08 Nikon Corporation Microscope system and microscope observation method
JP5499732B2 (ja) 2009-06-23 2014-05-21 ソニー株式会社 生体サンプル像取得装置、生体サンプル像取得方法及び生体サンプル像取得プログラム
KR20110121497A (ko) * 2010-04-30 2011-11-07 경북대학교 산학협력단 Ｐｚｔ 스테이지를 이용한 공초점 현미경 시스템 및 그 스캔방법
JP5637841B2 (ja) * 2010-12-27 2014-12-10 株式会社日立ハイテクノロジーズ 検査装置
US9508130B2 (en) * 2014-10-17 2016-11-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for performing image restoration

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014115609A (ja) * 2012-11-16 2014-06-26 Olympus Corp 撮像装置、顕微鏡システム及び撮像方法

Also Published As

Publication number Publication date
EP3457192A1 (en) 2019-03-20
JP2017203795A (ja) 2017-11-16
US20190075242A1 (en) 2019-03-07
EP3457192B1 (en) 2024-01-17
EP3457192A4 (en) 2019-05-15
US10659694B2 (en) 2020-05-19
JP6549061B2 (ja) 2019-07-24
KR20180133895A (ko) 2018-12-17
WO2017195442A1 (ja) 2017-11-16

Similar Documents

Publication Publication Date Title
US10761295B2 (en) Image focusing device, image focusing method and computer readable medium with image focusing control program
KR102103663B1 (ko) 촬영 장치 및 방법과 촬영 장치 제어 프로그램
US11209637B2 (en) Observation device, observation control method, and observation control program that control acceleration of a moveable stage having an installed subject vessel
KR102236184B1 (ko) 현미경 장치 및 관찰 방법과, 현미경 장치 제어 프로그램
KR102227337B1 (ko) 관찰 장치 및 방법과, 관찰 장치 제어 프로그램
US20200192059A1 (en) Imaging control apparatus, method, and program
KR102116199B1 (ko) 관찰 장치 및 방법과 관찰 장치 제어 프로그램
JP6861842B2 (ja) 観察装置および方法並びに観察装置制御プログラム
KR102157450B1 (ko) 관찰 장치 및 방법과, 관찰 장치 제어 프로그램
US11480777B2 (en) Observation device, observation method, and observation device control program storage medium
US11635582B2 (en) Microscope apparatus and program
JP2016161610A (ja) 撮像装置および方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant