JP6900704B2 - 細胞観察システム - Google Patents

細胞観察システム Download PDF

Info

Publication number
JP6900704B2
JP6900704B2 JP2017035798A JP2017035798A JP6900704B2 JP 6900704 B2 JP6900704 B2 JP 6900704B2 JP 2017035798 A JP2017035798 A JP 2017035798A JP 2017035798 A JP2017035798 A JP 2017035798A JP 6900704 B2 JP6900704 B2 JP 6900704B2
Authority
JP
Japan
Prior art keywords
image
unit
observation
display
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017035798A
Other languages
English (en)
Other versions
JP2018141695A (ja
Inventor
祐輔 青位
祐輔 青位
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2017035798A priority Critical patent/JP6900704B2/ja
Priority to GB1803131.0A priority patent/GB2562344B/en
Priority to US15/906,390 priority patent/US10798333B2/en
Priority to CN201810168859.1A priority patent/CN108513031B/zh
Publication of JP2018141695A publication Critical patent/JP2018141695A/ja
Application granted granted Critical
Publication of JP6900704B2 publication Critical patent/JP6900704B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/14—Condensers affording illumination for phase-contrast observation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00042—Monitoring, i.e. observation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0162—Arrangements or apparatus for facilitating the optical investigation using microprocessors for control of a sequence of operations, e.g. test, powering, switching, processing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/005—Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447—In-line recording arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Biophysics (AREA)
  • Medicinal Chemistry (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Description

本発明は細胞を観察するための細胞観察システムに関し、さらに詳しくは、位相差顕微鏡で得られる位相差顕微画像やデジタルホログラフィック顕微鏡によるホログラムに基づいて作成される位相画像などを利用して生体細胞を観察するのに好適な細胞観察システムに関する。
再生医療分野では、近年、ｉＰＳ細胞やＥＳ細胞等の多能性幹細胞を用いた研究が盛んに行われている。一般に生体細胞は無色透明であって通常の光学顕微鏡では観察しにくい。そのため、生体細胞の観察には位相差顕微鏡が広く用いられている（特許文献１など参照）。位相差顕微鏡では、照明光が観察対象物を通過する際に、該対象物によって回折した光路と照明の直接光との光路の差に基づいて、明暗のコントラストが付いた２次元的な観察画像を作成することができる。この観察画像は慣用的に位相差像と呼ばれることもあるが、厳密には光の位相差情報のみならず光強度（光の振幅）の情報も一部含むため、本明細書では位相差顕微画像ということとする。
一方、最近では、ホログラフィ技術を利用して光の位相情報や振幅情報を取得し、これに基づき観察対象物の位相画像や強度画像を作成する装置も開発されている。この装置はホログラフィック顕微鏡又はデジタルホログラフィック顕微鏡と呼ばれる（特許文献２等参照）。
ホログラフィック顕微鏡では、光源からの光が観察対象物表面で反射又は透過してくる物体光と同一光源から直接到達する参照光とがイメージセンサ等の検出面で形成する干渉縞（ホログラム）を取得する。そして、そのホログラムに基づいた所定の演算処理を実施することで、観察対象物の再生像として位相画像や強度画像、或いは位相差顕微鏡における位相差顕微画像に相当する擬似位相画像などを作成する。
上記のような顕微鏡のいずれを用いる場合でも、培養中の細胞を観察する際には、一つの細胞培養プレート全体或いは複数の細胞培養プレート全体を観察する必要もあれば、一つの細胞培養プレート内の細胞を拡大して、つまりは高い倍率で子細に観察することも必要である。そのため、こうした顕微鏡を利用した細胞観察システムでは、観察対象である細胞の位相差顕微画像やホログラムを取得する際にはできるだけ高い解像度で以て広い領域についての撮影を実行し、表示画像を作成する際に、ユーザにより要求される解像度に応じて適宜解像度を落とす画像処理を行って表示画像を作成するのが一般的である（特許文献３参照）。
上述したように、例えば複数の細胞培養プレートが視野に入るような広い観察対象領域全体について個々の細胞が子細に観察できる程度の高い解像度で以てデータを取得すると、そのデータの総量は膨大なものとなる。そのため、多数のサンプルについて取得したデータを保存しておくには大きな記憶容量の記憶装置が必要である。また、また特にホログラフィック顕微鏡で得られたホログラムデータに基づく位相情報や強度情報の計算やその計算結果の画像化には膨大な量の計算が必要である。そのため、一般的なパーソナルコンピュータ（ＰＣ）で使用されているＣＰＵの能力では計算に多大な時間が掛かり効率的な解析作業は難しい。そこで、こうした細胞観察の分野では、顕微観察部に接続されたＰＣを端末装置とし、この端末装置と高性能なコンピュータであるサーバとをインターネットやイントラネット等の通信ネットワークを介して接続したコンピュータシステムを利用することが従来提案されている（特許文献３、４等参照）。こうしたシステムでは、端末装置側ではデータの取得等の比較的負荷の小さな作業のみを実施し、多量のデータに対する演算処理や画像作成処理、或いは多量のデータの管理などの負荷の大きな作業を高性能なサーバ側で行うことができる。
しかしながら、このような細胞観察システムにおいても次のような問題がある。
通信ネットワークを介してサーバと接続される閲覧用端末（実体はＰＣ）においてユーザが細胞観察を行う際には、広い観察対象領域全体の中のごく一部の領域を高倍率で拡大して見ながら着目する部分を探したり、高倍率の観察と低倍率の観察とを繰り返し行ったりすることがしばしば行われる。観察対象領域全体についての高解像度画像のデータ量は膨大であるため、こうした多量の画像データをサーバから閲覧用端末に転送しようとするとデータの送受信に時間が掛かり、閲覧用端末での画像表示の応答性が低下する。即ち、ユーザが表示画面上で観察している画像の表示範囲を移動させたり拡大又は縮小させたりする操作を行っても、表示画像が更新されるのに時間が掛かり、作業性が低下してしまうという問題がある。
また、上述したようにホログラフィック顕微鏡を用いた細胞観察システムでは、位相画像だけでなく強度画像や擬似位相画像などの他の種類の画像も得られ、これら複数種類の画像を同時に観察したいという要望も強い。しかしながら、閲覧用端末において表示する画像の種類が増えればサーバと閲覧用端末との間で送受するデータの量もそれだけ増加するため、データ転送に一層時間が掛かり、画像表示の応答性はさらに低下する。
特開２０１５−１５２６５０号公報 国際特許公開第２０１６／０８４４２０号 特開２００５−１１７６４０号公報 特開２０１４−１３２６３号公報
本発明は上記課題に鑑みて成されたものであり、通信ネットワークを介してデータ処理用のサーバと画像閲覧用の端末とが接続された細胞観察システムにおいて、閲覧用端末において高解像の位相画像等の画像を見る場合に表示画像の範囲の移動や拡大・縮小等の操作に対する応答性つまりは表示画像の更新速度を向上させ、効率の良い観察を可能とすることを主たる目的としている。
また本発明の他の目的は、閲覧用端末において複数種類の画像を同時に表示して観察する場合であっても、画像表示の応答性を高くすることができる細胞観察システムを提供することである。
上記課題を解決するために成された本発明は、観察対象物について顕微観察部により得られたデータに基づいて該観察対象物に関する画像を作成可能であるサーバと、該サーバで作成された画像を表示部の画面上で閲覧するための閲覧用端末と、が通信ネットワークを介して接続された細胞観察システムであって、
前記サーバは、
a1)顕微観察部により得られたデータに基づいて、該顕微観察部による観察対象領域全体に対する複数段階に解像度が相違する画像を作成して画像記憶部に保存しておく画像作成部と、
a2)前記閲覧用端末からの画像送信要求に応じて、前記画像記憶部に保存されている所定の解像度である画像の全て又は該画像の一部の範囲の画像情報を抽出して前記閲覧用端末に送出する画像送信処理部と、
を備える一方、前記閲覧用端末は、
b1)ユーザが、その時点で前記表示部の画面上に表示されている表示画像の一部である、観察対象物についての表示範囲を移動させる又は拡大・縮小させる操作を行うための操作部と、
b2)前記操作部を通した操作による移動後又は拡大・縮小後の前記表示範囲及び解像度に応じた画像を送信するように、前記サーバに画像送信要求を送出する画像送信要求部と、
b3)前記観察対象領域全体又は該観察対象領域の中で少なくともその時点で前記表示部の画面上に表示されている観察対象物についての前記表示範囲よりも広い範囲に対応する相対的に解像度が低い低解像度画像を記憶しておく記憶部を含み、その時点で前記表示部の画面上に表示されている観察対象物についての前記表示範囲に対応する相対的に高い解像度である高解像度画像を前記低解像度画像にオーバーレイすることで表示画像を形成する機能を有し、前記操作部を通した操作による移動後又は拡大・縮小後の前記画像送信要求に応じて前記サーバから画像情報が到来するまでは少なくとも前記低解像度画像に基づいて前記表示範囲中の画像を形成し、該画像送信要求に応じて前記サーバから画像情報が得られると前記低解像度画像に該画像情報に基づく新たな高解像度画像をオーバーレイすることで前記表示範囲中の画像を形成する表示画像形成部と、
を備えることを特徴としている。
上記閲覧用端末はパーソナルコンピュータ（ＰＣ）、タブレット型端末（タブレット型ＰＣ）、スマートフォンなどのコンピュータ又はそれに準じるデバイスであり、そうしたデバイスにインストールされたプログラムによって各部の機能を実現するものとすることができる。また、一つのサーバに対して一つのみならず複数の閲覧用端末が通信ネットワークを介して接続されていてもよい。
また、上記顕微観察部は典型的にはホログラフィック顕微鏡又は位相差顕微鏡などである。
上記顕微観察部がホログラフィック顕微鏡である場合、顕微観察部により得られたデータとはホログラムデータであり、画像作成部は、ホログラムデータに基づいて観察対象領域全体に対する位相画像、強度画像、擬似位相画像、或いは光路長差画像などを作成することができる。
また、上記顕微観察部が位相差顕微鏡である場合には、顕微観察部により得られたデータとは位相差値データであり、画像作成部は、該データに基づいて観察対象領域全体に対する位相差顕微画像を作成することができる。
本発明に係る細胞観察システムでは例えば、顕微観察部に直接接続された制御用ＰＣとサーバとが通信ネットワークを介して接続され、顕微観察部で得られたデータは通信ネットワークを通して制御用ＰＣからサーバに転送される。この制御用ＰＣは閲覧用端末を兼ねてもよい。ただし、顕微観察部で得られたデータをサーバが収集する手段についてはこれに限るものではなく、例えば顕微観察部においてデータが可搬型の記録メディアに一旦記録され、サーバ側では該メディアからデータを読み込むようにしてもよい。
例えば顕微観察部がホログラフィック顕微鏡である場合、本発明に係る細胞観察システムのサーバにおいて、画像作成部は、取得されたホログラムデータに基づいて観察対象領域における位相情報や強度情報などを算出し、そうした情報に基づいて観察対象領域全体に対する解像度が異なる複数の位相画像や強度画像を作成する。そして、作成した解像度が異なる複数の画像を構成する画像データを画像記憶部に保存しておく。画像作成部が作成する画像の解像度は、使用が想定される閲覧用端末の表示部の画面解像度（画素数）などに応じて予め適宜に定めておけばよいが、作成される画像の最高解像度は取得されたホログラムデータの空間分解能によって原理的に決まる。
一方、閲覧用端末において表示画像形成部は例えば、観察対象領域全体に対応する相対的に低解像である画像に、その時点で該表示部の画面上に表示されている表示画像の一部である、観察対象物についての表示範囲に対応する相対的に高解像である画像をオーバーレイすることで、該表示部の画面上に表示する表示画像を形成する。したがって、例えば細胞培養プレート内の一部の細胞の拡大画像を表示する際には、細胞培養プレート全体等の観察対象領域全体に対応する低解像度画像に、観察者が着目している細胞の狭い範囲の高解像度画像をオーバーレイすることで表示画像が形成される。これにより、表示部の画面上には観察者が着目している細胞の狭い範囲の高解像度画像が表示される。
この状態で観察者が例えば観察する範囲（その時点で表示部の画面上に表示される表示画像の一部の範囲）を移動させるべく閲覧用端末の操作部で所定の操作を行うと、画像送信要求部はその操作に応じた表示範囲及び解像度に応じた画像を送信するようにサーバに画像送信要求を送出する。具体的には例えば、観察対象領域全体の中での移動先の位置情報又は移動量及び移動方向の情報と、必要に応じて表示部の画面解像度に応じた表示可能な画像の画素数の情報とを併せて、画像送信要求を送出する。サーバにおいて画像送信処理部は、送られて来た画像送信要求に応じて、画像記憶部に保存されている画像の中から指定された画素数情報に適合する解像度を有する観察対象領域全体の画像を選択するとともに、該画像の中で指定された範囲に対応する部分的な画像を抽出し、その画像を形成する画像データを画像送信要求の送出元である閲覧用端末に送出する。
観察者が操作部で観察範囲を移動させている途中、つまり移動先が確定する前には、表示画像形成部の記憶部には移動中の各時点での観察範囲に対応する低解像度画像が記憶されているが、同範囲に対応する高解像度画像は必ずしも記憶されているわけではない。そこで、表示画像形成部は画像送信要求に応じた画像情報がサーバから到来するまでは、記憶部に格納されている低解像度画像に基づいて移動中の各時点での観察範囲に対応する表示画像を形成し表示する。そして、画像送信要求に応じてサーバから画像情報が到来すると、その受信した画像情報に基づく高解像度画像を低解像度画像にオーバーレイすることで表示画像を形成する。したがって、観察者が操作部で観察範囲を移動させている途中には、移動中の各時点での観察範囲に対応する低解像度画像が表示され続け、移動先が確定すると直ぐにその移動先の観察範囲に対応する高解像度画像が表示される。
高倍率の高解像度画像を構成する画像データのデータ量は多いが、表示画像の解像度を高くする必要がある場合にはその観察範囲は狭いので、サーバから閲覧用端末に送信される画像データの量は少なくて済む。そのため、画像データの送受信に掛かる時間は短くて済み、観察範囲の移動先が決まると迅速にその範囲に対応する高解像度画像を表示することができる。また、観察者が観察範囲を移動させている操作中には、低解像ではあるものの常にその移動中の観察範囲に対応する画像が表示されている。それにより、観察者は画像を確認しながら観察したい範囲を決めることができる。
なお、観察範囲の移動ではなく拡大・縮小の場合には、その拡大・縮小の度合いによって拡大・縮小後の画像の解像度が変化する場合もあるが、基本的には移動時と同様の動作で拡大・縮小の操作中や操作後の表示が行われる。
また本発明に係る細胞観察システムにおいて、顕微観察部がホログラフィック顕微鏡である場合、前記サーバは、位相画像、強度画像、又は擬似位相画像の二つ以上の種類の細胞観察画像を作成し、
前記表示画像形成部は、観察対象領域中の同じ領域に対する複数の種類の細胞観察画像を表示部の画面上に同時に表示し、且つ、表示されているいずれかの細胞観察画像上での移動又は拡大・縮小の操作に応じて、当該細胞観察画像及び表示されている他の細胞観察画像を連動させて移動又は拡大・縮小させる構成とすることができる
例えば位相画像と強度画像とでは得られる情報が異なるが、上記構成によれば、同じ観察範囲ついての位相画像と強度画像とを常に同時に確認することができる。
なお、上記構成の細胞観察システムにおいて、前記画像送信処理部は、前記閲覧用端末の表示部の画面上に表示されている複数種の細胞観察画像のそれぞれ表示領域の大きさ及び該表示部の画面解像度に対応した解像度の画像情報を前記閲覧用端末に送信するとよい。
当然のことながら、一つの画面上に表示する画像の数が多くなれば、表示画像一つ当たりに割り当てられる画素数は少なくなる。そのため、観察範囲が同じ大きさでも、一つの画面上に表示する画像の数が多ければ画像の解像度を下げることができる。そこで、画像送信処理部は、閲覧用端末の表示部の画面上に表示されている複数種の細胞観察画像のそれぞれの表示領域の大きさ及び該表示部の画面解像度に対応した解像度の画像情報を閲覧用端末へ送信する。これにより、例えば位相画像と強度画像とを同時に表示する場合であっても、サーバから閲覧用端末に送信する画像データの量を、位相画像のみを表示する場合と同程度に抑えることができ、高い表示の応答性を確保することができる。
また本発明に係る細胞観察システムでは、同じホログラムデータに基づいて作成される位相画像、強度画像等を同時に表示部の画面上に表示させる以外に、互いに関連する複数の画像を同時に表示部の画面上に表示させるようにしてもよい。具体的には、前記表示画像形成部は、同じ観察対象物の同じ領域について異なる日時に取得されている画像情報に基づいてそれぞれ画像を形成し、その複数の画像を同時に表示部の画面上に表示する構成とすることができる。
この場合にも、表示されている複数の画像のいずれかで移動又は拡大・縮小の操作を行うと、それに応じて、当該画像のみならず他の画像も連動して移動又は拡大・縮小するようにするとよい。
培養中の細胞を観察する場合、同じ細胞培養プレートを或る程度の期間に亘って日々観察し続け、細胞の状態を比較する必要があるが、上記構成によれば、異なる日時に得られた画像の比較が容易に且つ的確に行える。
本発明に係る細胞観察システムによれば、観察者が閲覧用端末において高い解像度で以て表示させている位相画像等の観察範囲を移動させたり拡大・縮小させたりする際に、その操作後の高解像の位相画像等を迅速に画面上に表示することができる。それにより、例えば広い観察対象領域の中で観察者が着目している領域を迅速に見つけることができ、効率良く細胞観察を行うことができる。
本発明に係る細胞観察システムの一実施例の全体構成図。 本実施例の細胞観察システムにおける測定用端末の概略構成図。 本実施例の細胞観察システムにおける閲覧用端末の概略構成図。 本実施例の細胞観察システムにおいてサーバ側で作成される解像度の相違する画像を示す模式図。 本実施例の細胞観察システムにおける閲覧用端末での画像形成処理の概念図。 本実施例の細胞観察システムにおける閲覧用端末で観察範囲が移動されたときの画像処理の動作を説明するための概念図。 本実施例の細胞観察システムにおける１画像表示、２画像分割表示、及び４画像分割表示の例を示す図。
以下、本発明に係る細胞観察システムの一実施例について、添付図面を参照して説明する。
図１は本実施例の細胞観察システムの全体構成図、図２は本実施例の細胞観察システムにおける測定用端末の概略構成図、図３は本実施例の細胞観察システムにおける閲覧用端末の概略構成図である。
本実施例の細胞観察システムは、インターネット、イントラネットなどの通信ネットワーク７を介して接続された測定用端末１と、閲覧用端末３と、画像処理用サーバ５と、を含む。図１には、測定用端末１及び閲覧用端末３をそれぞれ２台ずつ記載しているが、これらはそれぞれ適宜の数だけ設けることができる。
画像処理用サーバ５は一般にワークステーションと呼ばれる、パーソナルコンピュータ（ＰＣ）よりも高性能なコンピュータである。そして、図１に示すように、該コンピュータにインストールされている専用のソフトウェアにより具現化される機能ブロックとして、データ送受信部５１、測定データ記憶部５２、演算処理部５３、画像作成部５４、画像送信処理部５５、画像データ記憶部５６等を備える。
測定用端末１は顕微観察部１０と制御・処理部２０とから成る。本例では、顕微観察部１０はインライン型ホログラフィック顕微鏡（In-line Holographic Microscopy：ＩＨＭ）であり、図２に示すように、レーザダイオード等を含む光源部１１とイメージセンサ１２とを備え、光源部１１とイメージセンサ１２との間に、観察対象物である細胞１４を含む細胞培養プレート１３が配置される。制御・処理部２０の実体は顕微観察部１０の動作を制御するとともに顕微観察部１０で取得されたデータを処理するパーソナルコンピュータ（ＰＣ）であり、該ＰＣにインストールされた専用のソフトウェアにより具現化される機能ブロックとして、撮影制御部２１、データ記憶部２２、データ送受信部２３を備える。また、制御・処理部２０には、ユーザインターフェイスとしての入力部２４と表示部２５とが接続されている。
閲覧用端末３は測定用端末１における制御・処理部２０と同様に、その実体は一般的なＰＣである。そして、該ＰＣにインストールされた専用のソフトウェアにより具現化される機能ブロックとして、データ送受信部３１、画像データ記憶部３２、画像表示指示受付部３３、画像送信要求部３４、表示画像形成部３５、及び表示出力処理部３６、を備える。また、閲覧用端末３には、ユーザインターフェイスとしての入力部３７と表示部３８とが接続されている。
なお、閲覧用端末３はタブレット型ＰＣやスマートフォンなど、ＣＰＵやＲＯＭ、ＲＡＭなどを搭載した実質的なコンピュータである各種の情報端末機器でもよい。
また、測定用端末１の制御・処理部２０として機能するＰＣに閲覧用端末３の機能を持たせることもできる。その場合、測定用端末１の制御・処理部２０においても閲覧用端末３と同様の、後述する画像閲覧が可能である。
まず、本実施例の細胞観察システムにおける観察対象である細胞についてのデータ収集時の動作を説明する。
図２において、オペレータは観察対象である生体細胞（多能性細胞）１４を含む細胞培養プレート１３を所定位置にセットし、該細胞培養プレート１３を特定する識別番号や測定日時などの情報を入力部２４から入力したうえで測定実行を指示する。この指示を受けて撮影制御部２１は、顕微観察部１０を制御して以下のようにデータを取得する。
即ち、撮影制御部２１による制御の下で光源部１１は、１０°程度の微小角度の広がりを持つコヒーレント光を細胞培養プレート１３の所定の領域に照射する。細胞培養プレート１３及び細胞１４を透過した光（物体光１６）は、細胞培養プレート１３上で細胞１４に近接する領域を透過した光（参照光１５）と干渉しつつイメージセンサ１２に到達する。物体光１６は細胞１４を透過する際に位相が変化した光であり、他方、参照光１５は細胞１４を透過しないので該細胞１４に起因する位相変化を受けない光である。したがって、イメージセンサ１２の検出面（像面）上には、細胞１４により位相が変化した物体光１６と位相が変化していない参照光１５との干渉像（ホログラム）が形成される。
なお、細胞培養プレート１３は図示しない移動機構によってＸ軸、Ｙ軸の２軸方向（図２の紙面に垂直な面内）に順次移動される。これにより、光源部１１から発せられるコヒーレント光の照射領域（観察領域）を細胞培養プレート１３上でステップ状に移動させることで、広い観察領域内の各小領域に対するホログラムを繰り返し取得して該観察領域全体についてのホログラムデータを収集することができる。
上述したように顕微観察部１０で得られたホログラムデータ（イメージセンサ１２の検出面で形成されたホログラムの２次元的な光強度分布データ）は、制御・処理部２０においてデータ記憶部２２に一旦格納される。データ送受信部２３はデータ記憶部２２に格納されたホログラムデータを測定日時等の属性情報とともに、逐次、通信ネットワーク７を介して画像処理用サーバ５に転送する。複数の測定用端末１は同時に稼働可能であり、各測定用端末１で収集されたホログラムデータは通信ネットワーク７を介して１台の画像処理用サーバ５に集約される。なお、各測定用端末１からサーバ５へは生の、つまりは加工されていないホログラムデータを送ればよいが、必要に応じて、各測定用端末１固有の誤差要因を補正するような加工処理を施したホログラムデータをサーバ５へ送るようにしてもよい。
画像処理用サーバ５においてデータ送受信部５１は各測定用端末１から送られて来たホログラムデータを受け取り、測定用端末１を特定するための識別情報、撮影時に入力された細胞培養プレートの識別情報や撮影日時などの属性情報とともにホログラムデータを測定データ記憶部５２に蓄積する。
このようにしてデータを収集したあと、演算処理部５３は測定データ記憶部５２からホログラムデータを適宜読み出し、所定の演算処理を実行して、観察対象領域全体の位相情報、強度情報、擬似位相情報などをそれぞれ算出する。擬似位相情報とは、位相差顕微鏡で得られる、強度成分を含む位相差情報に相当するものである。画像作成部５４は、ホログラムデータから算出された位相情報、強度情報、擬似位相情報に基づいて、観察対象領域全体の位相画像、強度画像、及び擬似位相画像をそれぞれ作成する。なお、こうした位相情報の算出や位相画像の作成の際には、特許文献２等に開示されている既知のアルゴリズムを利用すればよい。
ここで画像作成部５４は、観察対象領域全体についての位相画像（及び他の種類の画像）を作成する際に、得られたデータにより原理的に求まる最高解像度の位相画像だけでなく、その最高解像度の位相画像を元に、ビニング処理等により解像度を落とした複数段階の解像度（倍率）の位相画像を作成する。そして、作成した解像度が異なる複数の画像を画像データ記憶部５６に格納する。こうして一つの細胞培養プレート１３について得られたホログラムデータ毎に、それぞれ解像度が相違する観察対象領域全体の位相画像、強度画像、及び擬似位相画像を形成する画像データを画像データ記憶部５６に保存しておく。
図４は、画像作成部５４で作成される解像度の相違する画像の一例を示す模式図である。（ａ）、（ｂ）及び（ｃ）は同じ観察対象領域に対する低解像度、中解像度、及び高解像度の画像の例であり、図中で格子状に区分された一つの矩形状の領域が一つの画素に対応する。この例では、低解像度画像（図４（ａ）参照）の１画素は中解像度画像（図４（ｂ）参照）では４画素分、高解像度画像（図４（ｃ）参照）では１６画素分に相当する。位相画像では一つの画素に一つの位相値が対応付けられるため、当然のことながら、解像度が高くなるほど位相画像を形成するためのデータ量は多くなる。これは、強度画像や擬似位相画像でも同様である。
次に、上述したように画像処理用サーバ５の画像データ記憶部５６に解像度の異なる複数の画像における画像データが用意されている状況の下で、閲覧用端末３で行われる細胞観察の際の動作を図１、図３〜図４に加えて図５、図６を参照して説明する。図５は閲覧用端末３での画像形成処理の概念図、図６は閲覧用端末３において観察範囲を移動する操作がなされたときの画像処理の動作を説明するための概念図である。
観察者が観察したい細胞培養プレートの識別番号や測定日時などの画像特定情報を入力部３７から入力するとともに観察したい画像の種類（位相画像、強度画像など）を指示して所定の操作を行うと、画像表示指示受付部３３がこの操作を受け付ける。例えば画像の種類として位相画像が指示されたとすると、画像送信要求部３４は画像特定情報で指示された位相画像を転送するように通信ネットワーク７を介して画像処理用サーバ５に画像送信要求を送る。該サーバ５においてこの画像送信要求を受けた画像送信処理部５５は、指定された画像特定情報に対応する解像度の相違する複数の位相画像の中で、解像度が最も低い観察対象領域全体についての位相画像を形成する画像データを画像データ記憶部５６から読み出す。そしてデータ送受信部５１はこの画像データを画像送信要求を出した閲覧用端末３に送信する。閲覧用端末３においてデータ送受信部３１は画像処理用サーバ５から送られて来た画像データを画像データ記憶部３２に格納する。
閲覧用端末３において表示画像形成部３５は、観察対象領域全体についての低解像度の位相画像を背景とし、それより解像度の高い部分的な（つまりは観察対象領域全体よりも狭い領域の）位相画像をオーバーレイすることで表示画像を形成する。そこで表示画像形成部３５は、画像処理用サーバ５から送られて来た観察対象領域全体についての低解像度の位相画像を形成する画像データが画像データ記憶部２に格納されると直ちに、該画像データに基づいて低解像度の背景画像を形成する。観察者が観察対象領域全体を表示するように指定した場合には、オーバーレイされる高解像度の画像はなく、低解像度の位相画像がそのまま表示部２５の画面上に表示画像として表示される。
観察者が観察対象領域の中の一部の領域を拡大して、つまり高い倍率で表示するように指定した場合には、観察対象領域全体の低解像度画像のほかに、表示したい領域のみの、解像度がより高い位相画像を形成する画像データがサーバ５から送られて来る。図５（ａ）に示すように、表示画像形成部３５は観察対象領域全体に対する低解像度の位相画像１００の上に、観察者が観察したい狭い範囲（観察範囲）１１０に対応する高解像度の位相画像をオーバーレイし、図５（ｂ）に示すように観察範囲に対応した表示画像を形成する。この表示画像は観察範囲１１０に対応する低解像度画像１１０Ａに高解像度画像１１０Ｂがオーバーレイされたものであるが、高解像度画像１１０Ｂの透過度は低く実際には高解像度画像１１０Ｂのみが表示部３８の画面上の表示画像に現れる。
観察対象領域全体の中で観察範囲を移動したい場合、つまりその時点で表示部３８の画面上に表示している表示画像の領域とは別の領域を同じ解像度で（倍率を変化させずに）観察したい場合、観察者は入力部３７の一部であるポインティングデバイスで表示されている表示画像をクリックしたうえで適宜の方向にドラッグする操作を行う。一例として、表示部３８の画面上に表示されている表示画像は図６（ｂ）に示すように、低解像度画像１１０Ａに高解像度画像１１０Ｂがオーバーレイされている画像であるとする。この画像上で、図６（ｂ）中に白抜き矢印で示す方向（概ね右下方向）にドラッグ操作が行われたものとする。この操作は、観察対象領域全体で見ると、図６（ａ）に示すように、観察対象領域全体の低解像度画像１００の中の観察範囲１１０から点線で示すように観察範囲を移動させる操作である。
観察対象領域全体の低解像度画像１００を形成する画像データは画像データ記憶部３２に保存されているのに対し、高解像度画像を形成する画像データは移動前の観察範囲１１０に対応するものしか画像データ記憶部３２に保存されていない。そこで、図６（ａ）右に示すように、表示画像形成部３５は上記ドラッグ操作等により観察範囲が移動されている途中において、その観察範囲１１１に移動前の観察範囲１１０が含まれている部分１１１ｂでは低解像度画像に高解像度画像をオーバーレイした画像を表示し続け、一方、その観察範囲１１１に移動前の観察範囲１１０が含まれていない部分１１１ａでは低解像度画像のみを表示する。それにより、その部分１１１ａでは画像の解像度は落ちるものの、移動途中における観察範囲に対応する全ての画像が表示され続ける。
観察者によるドラッグ操作が終了して観察範囲の移動先が定まると（移動後観察範囲１２０）、画像送信要求部３４はその移動先の観察範囲を示す位置情報（又は移動量及び移動方向の情報）とともに画像送信要求をサーバ５に送る。このとき、表示部３８の画面画素数とその画面上で表示画像を表示する領域の大きさで決まるその領域中の画素数の情報等を併せて送信してもよい。サーバ５の画像送信処理部５５は画像送信要求を受けて、指定された移動後の観察範囲１２０に対応する適切な解像度の画像データを画像データ記憶部５６から読み出して来てデータ送受信部５１へ送る。閲覧用端末３では受信した画像データを画像データ記憶部３２に格納し、表示画像形成部３５はその画像データによる高解像度画像１２０Ｂを背景である低解像度画像１２０Ａにオーバーレイし、表示画像をそのオーバーレイした画像に更新する。これにより、表示部３８の画面上には観察者の操作による移動後の観察範囲に対応する画像が低解像画像から高解像度画像に切り替わる（図６（ｃ）、（ｄ）、（ｅ）参照）。
この一連の観察範囲の移動操作の過程で、サーバ５から閲覧用端末３に送信されて来るのは、移動後の観察範囲１２０に対応する、つまりは観察対象領域全体に比べてかなり狭い範囲の高解像度画像を形成する画像データだけであり、それ以外の画像データの送受はない。そのため、画像データの転送量は少なくて済む。また表示画像形成部３５が受信した画像データに基づき観察対象領域全体に比べれば遙かに小さい範囲に対する高解像度画像を形成してオーバーレイすることで表示画像が得られるので、高い応答性で以て、つまりは操作からの時間遅れを抑えつつ高解像度の位相画像を表示することができる。
観察範囲を移動させるのではなく観察範囲を拡大又は縮小する際も基本的には同様の動作である。ただし、観察範囲の移動の場合には移動前と解像度は変化しないが、観察範囲を拡大又は縮小する場合には通常、拡大又は縮小の操作前から解像度が変化する。したがって、サーバ５の画像送信処理部５５は拡大又は縮小の操作後の観察範囲の大きさに応じた適切な解像度の観察対象領域全体の画像から観察範囲に対応する部分的な画像を切り出し、その切り出した画像に対応する画像データを取得して送信する。これにより、閲覧用端末３では、拡大又は縮小操作の際にも高い応答性を以て画像が更新される。
また上記説明は、閲覧用端末３において表示部３８の画面上に、例えば位相画像等の一つの画像のみを表示する場合（図７（ａ）参照）を前提としていたが、本実施例の細胞観察システムでは、閲覧用端末３の表示部３８の画面上に同時に複数の画像を並べて表示することもできる。
図７（ｂ）は画像表示ウインドウ２００内に二つの画像２２０Ａ、２２０Ｂを並べて表示する例、図７（ｃ）は画像表示ウインドウ２００内に最大四つの画像２３０Ａ、２３０Ｂ、２３０Ｃ、２３０Ｄを並べて表示する例である。
表示する画像の種類は入力部３７から指定することができ、例えば図７（ｂ）に示した２画像分割表示の例では例えば、同じホログラムデータに基づいて作成された位相画像と強度画像、或いは、位相画像と擬似位相画像、などを並べて表示することができる。
この場合にも、例えば表示されている位相画像又は強度画像のいずれかの画像の上でポインティングデバイスによるクリック及びドラッグ操作を行うことで、上記説明と同様に、観察範囲の移動や拡大・縮小を行うことができる。このとき、二つの画像に対する操作を連動させるようにすると都合がよい。例えば図７（ｂ）において左方に表示されている位相画像２２０Ａ上で観察者が観察範囲の移動操作を行うと、それに応じて位相画像２２０Ａが移動先の高解像度の位相画像に更新されるのと連動して、右方に表示されている強度画像２２０Ｂも同じ移動先の高解像度の強度画像に更新されるようにするとよい。これは、画像処理用サーバ５において画像送信処理部５５が位相画像と強度画像との両方について移動先の観察範囲に対応する画像データを読み出して閲覧用端末３に送信することで、容易に対応可能である。
また、同じホログラムデータに基づいて作成された位相画像と強度画像といった異なる種類の画像を並べて表示するではなく、同じ細胞培養プレート１３について異なる測定日時に取得された同じ観察範囲についての位相画像同士や強度画像同士を並べて表示することもできる。これにより、例えば多能性細胞の培養を開始してから日を追う毎の細胞の変化を容易に観察することができる。
図７（ｂ）、（ｃ）に示すように２画像又は４画像を同時に表示し、それらについての移動操作や拡大・縮小操作を連動させる場合でも、図７（ａ）に示したように１画像の移動操作や拡大・縮小操作を行う場合と、閲覧用端末３と画像処理用サーバ５との間の画像データの転送量は殆ど変わらない。何故なら、表示部３８の画面上での画像表示ウインドウ２００の大きさが同じであれば、画像表示ウインドウ２００に表示する画像の数に依らず、その一又は複数の表示画像を表示する表示領域に含まれる画素数は基本的に同じであり、その画像データの総量は殆ど同じであるためである。したがって、複数種類の画像を同時に表示し、それらの移動や拡大・縮小操作を連動させても、表示の応答性は表示画像が一つである場合と殆ど変わらず、高い応答性を維持できる。
上記実施例の細胞観察システムでは顕微観察部１０はインライン型ホログラフィック顕微鏡であるが、これはオフアクシス型や位相シフト型などの他の方式のホログラフィック顕微鏡に置き換えることもできる。その場合には、演算処理部５３で実施される位相情報等の算出のアルゴリズムが変更になることは言うまでもない。また、本発明に係る細胞観察システムでは、ホログラフィック顕微鏡でなく位相差顕微鏡を用いることもできる。その場合には、閲覧用端末３において観察される画像は位相差顕微画像である。また、本発明に係る細胞観察システムでは、細胞を観察可能な他の種類の顕微鏡を使用することもできる。
また、上記実施例はあくまでも本発明の一例であり、本発明の趣旨の範囲で適宜に変更、修正、追加を行っても本願特許請求の範囲に包含されることは当然である。
１…測定用端末
１０…顕微観察部
１１…光源部
１２…イメージセンサ
１３…細胞培養プレート
１４…細胞
１５…参照光
１６…物体光
２０…制御・処理部
２１…撮影制御部
２２…データ記憶部
２３…データ送受信部
２４…入力部
２５…表示部
３…閲覧用端末
３１…データ送受信部
３２…画像データ記憶部
３３…画像表示指示受付部
３４…画像送信要求部
３５…表示画像形成部
３６…表示出力処理部
３７…入力部
３８…表示部
５…画像処理用サーバ
５１…データ送受信部
５２…測定データ記憶部
５３…演算処理部
５４…画像作成部
５５…画像送信処理部
５６…画像データ記憶部
７…通信ネットワーク

Claims (5)

  1. 観察対象物について顕微観察部により得られたデータに基づいて該観察対象物に関する画像を作成可能であるサーバと、該サーバで作成された画像を表示部の画面上で閲覧するための閲覧用端末と、が通信ネットワークを介して接続された細胞観察システムであって、
    前記サーバは、
    a1)顕微観察部により得られたデータに基づいて、該顕微観察部による観察対象領域全体に対する複数段階に解像度が相違する画像を作成して画像記憶部に保存しておく画像作成部と、
    a2)前記閲覧用端末からの画像送信要求に応じて、前記画像記憶部に保存されている所定の解像度である画像の全て又は該画像の一部の範囲の画像情報を抽出して前記閲覧用端末に送出する画像送信処理部と、
    を備える一方、前記閲覧用端末は、
    b1)ユーザが、その時点で前記表示部の画面上に表示されている表示画像の一部である、観察対象物についての表示範囲を移動させる又は拡大・縮小させる操作を行うための操作部と、
    b2)前記操作部を通した操作による移動後又は拡大・縮小後の前記表示範囲及び解像度に応じた画像を送信するように、前記サーバに画像送信要求を送出する画像送信要求部と、
    b3)前記観察対象領域全体又は該観察対象領域の中で少なくともその時点で前記表示部の画面上に表示されている観察対象物についての前記表示範囲よりも広い範囲に対応する相対的に解像度が低い低解像度画像を記憶しておく記憶部を含み、その時点で前記表示部の画面上に表示されている観察対象物についての前記表示範囲に対応する相対的に高い解像度である高解像度画像を前記低解像度画像にオーバーレイすることで表示画像を形成する機能を有し、前記操作部を通した操作による移動後又は拡大・縮小後の前記画像送信要求に応じて前記サーバから画像情報が到来するまでは少なくとも前記低解像度画像に基づいて前記表示範囲中の画像を形成し、該画像送信要求に応じて前記サーバから画像情報が得られると前記低解像度画像に該画像情報に基づく新たな高解像度画像をオーバーレイすることで前記表示範囲中の画像を形成する表示画像形成部と、
    を備えることを特徴とする細胞観察システム。
  2. 請求項１に記載の細胞観察システムであって、
    前記顕微観察部はホログラフィック顕微鏡であり、前記画像作成部は、該ホログラフィック顕微鏡で得られたホログラムデータに基づいて観察対象領域全体に対する位相画像、強度画像、又は、擬似位相画像の少なくとも一つを作成することを特徴とする細胞観察システム。
  3. 請求項２に記載の細胞観察システムであって、
    前記サーバは、位相画像、強度画像、又は擬似位相画像の二つ以上の種類の細胞観察画像を作成し、
    前記閲覧用端末は、観察対象領域中の同じ領域に対する複数の種類の細胞観察画像を表示部の画面上に同時に表示し、且つ、表示されているいずれかの細胞観察画像上での移動又は拡大・縮小の操作に応じて、当該細胞観察画像及び表示されている他の細胞観察画像を連動させて移動又は拡大・縮小させることを特徴とする細胞観察システム。
  4. 請求項３に記載の細胞観察システムであって、
    前記画像送信処理部は、前記閲覧用端末の表示部の画面上に表示されている複数種の細胞観察画像のそれぞれ表示領域の大きさ及び該表示部の画面解像度に対応した解像度の画像情報を前記閲覧用端末に送信することを特徴とする細胞観察システム。
  5. 請求項１〜４のいずれか１項に記載の細胞観察システムであって、
    前記表示画像形成部は、同じ観察対象物の同じ領域について異なる日時に取得されている画像情報に基づいてそれぞれ画像を形成し、その複数の画像を同時に表示部の画面上に表示することを特徴とする細胞観察システム。
JP2017035798A 2017-02-28 2017-02-28 細胞観察システム Active JP6900704B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017035798A JP6900704B2 (ja) 2017-02-28 2017-02-28 細胞観察システム
GB1803131.0A GB2562344B (en) 2017-02-28 2018-02-27 Cell observation system
US15/906,390 US10798333B2 (en) 2017-02-28 2018-02-27 Cell observation system
CN201810168859.1A CN108513031B (zh) 2017-02-28 2018-02-28 细胞观察系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017035798A JP6900704B2 (ja) 2017-02-28 2017-02-28 細胞観察システム

Publications (2)

Publication Number Publication Date
JP2018141695A JP2018141695A (ja) 2018-09-13
JP6900704B2 true JP6900704B2 (ja) 2021-07-07

Family

ID=61903209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017035798A Active JP6900704B2 (ja) 2017-02-28 2017-02-28 細胞観察システム

Country Status (4)

Country Link
US (1) US10798333B2 (ja)
JP (1) JP6900704B2 (ja)
CN (1) CN108513031B (ja)
GB (1) GB2562344B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7006832B2 (ja) * 2019-03-20 2022-01-24 株式会社島津製作所 細胞解析装置
CN114697543B (zh) * 2020-12-31 2023-05-19 华为技术有限公司 一种图像重建方法、相关装置及系统
CN112862682B (zh) * 2021-02-05 2022-07-08 中国工程物理研究院激光聚变研究中心 一种多约束同轴数字全息分辨率增强方法及系统
JP2022165665A (ja) * 2021-04-20 2022-11-01 株式会社島津製作所 測定画像管理システム、測定画像管理用サーバ、および、測定画像管理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6147709A (en) * 1997-04-07 2000-11-14 Interactive Pictures Corporation Method and apparatus for inserting a high resolution image into a low resolution interactive image to produce a realistic immersive experience
US6731285B2 (en) * 2001-01-11 2004-05-04 International Business Machines Corporation System and method for providing high performance image magnification in a web browser
JP3831342B2 (ja) 2001-01-29 2006-10-11 ディジトミ・カンパニー・リミテッド オンライン出版物の画像提供方法
JP4563755B2 (ja) 2003-09-16 2010-10-13 シスメックス株式会社 標本画像の表示方法、標本画像表示用プログラム、そのプログラムを記録した記録媒体および標本画像表示用端末装置
US20050058330A1 (en) * 2003-09-16 2005-03-17 Sysmex Corporation Method of displaying smear image and retrieving method employing the same, surveillance method, system of displaying smear image, program for displaying smear image and recording medium recording the program
US7653260B2 (en) * 2004-06-17 2010-01-26 Carl Zeis MicroImaging GmbH System and method of registering field of view
JP5182945B2 (ja) * 2005-12-22 2013-04-17 フェイズ ホログラフィック イメージング ペーハーイー アーベー 細胞サンプル分析のための方法と装置
JP4820680B2 (ja) * 2006-04-12 2011-11-24 株式会社東芝 医用画像表示装置
US7812959B1 (en) * 2007-03-22 2010-10-12 University Of South Florida Total internal reflection holographic microscope
JP5614032B2 (ja) 2009-11-30 2014-10-29 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP5685928B2 (ja) * 2010-12-24 2015-03-18 ソニー株式会社 情報処理装置、画像データ最適化方法、プログラム
JP2013200640A (ja) * 2012-03-23 2013-10-03 Canon Inc 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP6106967B2 (ja) 2012-06-04 2017-04-05 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び画像表示装置
WO2014084255A1 (ja) * 2012-11-28 2014-06-05 独立行政法人科学技術振興機構 細胞観察装置、細胞観察方法及びそのプログラム
JP2015152650A (ja) 2014-02-12 2015-08-24 株式会社ニコン 位相差顕微鏡
US20160042122A1 (en) * 2014-08-11 2016-02-11 Canon Kabushiki Kaisha Image processing method and image processing apparatus
WO2016084420A1 (ja) 2014-11-27 2016-06-02 株式会社島津製作所 ディジタルホログラフィ装置及びディジタルホログラム生成方法
CN105912209B (zh) * 2016-04-11 2019-04-12 珠海市魅族科技有限公司 图像显示方法及装置
CN105956395A (zh) 2016-04-29 2016-09-21 青岛海信医疗设备股份有限公司 医学影像处理方法、装置及系统

Also Published As

Publication number Publication date
GB2562344B (en) 2020-10-07
CN108513031A (zh) 2018-09-07
CN108513031B (zh) 2020-09-25
JP2018141695A (ja) 2018-09-13
GB201803131D0 (en) 2018-04-11
US20180249117A1 (en) 2018-08-30
GB2562344A (en) 2018-11-14
US10798333B2 (en) 2020-10-06

Similar Documents

Publication Publication Date Title
Chalfoun et al. MIST: accurate and scalable microscopy image stitching tool with stage modeling and error minimization
JP6900704B2 (ja) 細胞観察システム
Kandel et al. Label-free tissue scanner for colorectal cancer screening
JP6860064B2 (ja) 細胞観察装置
de Bel et al. Automatic segmentation of histopathological slides of renal tissue using deep learning
Griffié et al. A Bayesian cluster analysis method for single-molecule localization microscopy data
KR20150094618A (ko) 생물학적 시편의 분할 스크린 디스플레이와 그 레코드를 포착하기 위한 시스템 및 방법
JP2013117848A (ja) 画像処理装置及び画像処理方法
Matrecano et al. Extended focus imaging in digital holographic microscopy: a review
CN109884018A (zh) 一种基于神经网络的亚微米级无透镜显微成像方法及系统
JP2015108837A (ja) 画像処理装置及び画像処理方法
Zhao et al. Quantitatively mapping local quality of super-resolution microscopy by rolling Fourier ring correlation
Haleem et al. Holography and its applications for industry 4.0: An overview
JP6950813B2 (ja) 細胞観察装置
JP6760477B2 (ja) 細胞観察装置
WO2018158946A1 (ja) 細胞観察装置
US20210215472A1 (en) Systems and methods for interferometric multifocus microscopy
WO2019043953A1 (ja) 細胞観察装置
US20180247395A1 (en) Cell observation apparatus
JP7036192B2 (ja) 細胞観察装置
WO2020188814A1 (ja) 細胞解析装置
Trolinger et al. A new digital holographic microscope for the study of biological systems
Zeng et al. Three-dimensional particle tracking by pixel difference method of optical path length based on digital holographic microscopy
Giepmans et al. Nanotomy
Płatek et al. Reconstruction of Gigapixel Stereometric Maps of Ceramic Surfaces

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210113

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20210126

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210301

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210531

R151 Written notification of patent or utility model registration

Ref document number: 6900704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151