JP5911296B2 - 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP5911296B2
JP5911296B2 JP2011282300A JP2011282300A JP5911296B2 JP 5911296 B2 JP5911296 B2 JP 5911296B2 JP 2011282300 A JP2011282300 A JP 2011282300A JP 2011282300 A JP2011282300 A JP 2011282300A JP 5911296 B2 JP5911296 B2 JP 5911296B2
Authority
JP
Japan
Prior art keywords
image
shading
images
image processing
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011282300A
Other languages
English (en)
Other versions
JP2013132027A (ja
Inventor
原 堀江
原 堀江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011282300A priority Critical patent/JP5911296B2/ja
Priority to EP12860928.6A priority patent/EP2796916B1/en
Priority to PCT/JP2012/074957 priority patent/WO2013094273A1/ja
Priority to CN201280063454.2A priority patent/CN104011580B/zh
Publication of JP2013132027A publication Critical patent/JP2013132027A/ja
Priority to US14/306,418 priority patent/US20140293035A1/en
Application granted granted Critical
Publication of JP5911296B2 publication Critical patent/JP5911296B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Input (AREA)

Description

本発明は、被写体を撮像した画像に対して画像処理を施す画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラムに関する。
カメラや顕微鏡等の光学機器においては、通常、レンズ等の結像光学系の特性により、光軸と直交する面内の中心に比べて周辺領域の光量が低下する現象が生じる。この現象は、一般に、シェーディングと呼ばれる。このため、従来、撮像後の画像に対して経験的に得られた補正値や実測値等に基づく画像処理を施すことにより、画像の劣化を抑制していた。このような画像処理は、シェーディング補正と呼ばれる(例えば、特許文献1及び2を参照)。
ところで、顕微鏡は、高倍率且つ高分解能の被写体(標本)観察が可能である反面、倍率を高くするほど、一度に観察可能な視野が狭くなるという問題がある。このため、1つの標本に対して視野をずらしながら撮像を行って複数の画像を取得し、これらの画像を繋ぎ合わせることにより、標本全体に対応するサイズに視野が拡大された画像を合成する画像処理が行われることがある。このような視野拡大処理がなされた連結画像は、バーチャルスライド画像と呼ばれ、バーチャルスライド画像の取得が可能な顕微鏡システムは、バーチャルスライドシステム又はバーチャル顕微鏡システムと呼ばれる(例えば、特許文献3及び4を参照)。
特開2009−159093号公報 特開2004−272077号公報 特開2008−191427号公報 特開2011−141391号公報
ところが、複数の画像を繋ぎ合わせた連結画像においては、個別の画像に生じたシェーディングの影響が規則的に現れる。このため、シェーディングが連結画像の画質に与える影響は特に大きい。従って、個別の画像に対して精度の良いシェーディング補正を行うことが重要となる。
一般的に、顕微鏡画像のシェーディング補正は、ステージに被写体を配置しない状態で視野を撮像して得られたキャリブレーション画像を用いて行われる。(特許文献1参照)。しかしながら、同じ顕微鏡であっても、キャリブレーション画像の撮像時と、被写体を撮像する時とでは、シェーディングの状態が変化している場合がある。そこで、予め用意されたキャリブレーション画像ではなく、被写体が写った補正対象画像からシェーディング補正用のデータを作成し、このシェーディング補正用データを用いて当該補正対象画像をシェーディング補正することも提案されている(特許文献2参照)。
しかしながら、補正対象画像には、シェーディングに由来する輝度成分の他に、被写体に由来する輝度成分等の様々な成分が含まれており、シェーディングに由来する輝度成分と、その他の成分とを区別することは困難である。そのため、補正対象画像から作成されたシェーディング補正用データを用いると、被写体に由来する輝度成分のように、本来補正の影響が及ぶべきでない成分に対しても補正が行われてしまう。そして、このようにシェーディング補正の精度が低下した結果、補正された画像にアーティファクトが生じるなどして画質がかえって低下してしまうおそれがある。
本発明は、上記に鑑みてなされたものであって、補正対象画像の画像データを用いて、精度の高いシェーディング補正を行うことができる画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被写体の少なくとも一部が共通する部分を持つ複数の画像を入力する画像入力手段と、前記複数の画像を補正する際に用いられる補正用画像を作成する補正画像作成手段と、を備え、前記補正画像作成手段は、前記複数の画像のうち、前記被写体が共通する共通部分を持つ2つの任意画像から、画素の輝度のを取得する比率取得手段と、前記に基づいて前記任意画像におけるシェーディング成分を検出するシェーディング検出手段と、前記シェーディング成分に基づき、前記共通部分以外の各画像内の領域におけるシェーディングの影響を推定するシェーディング推定手段と、を有することを特徴とする。
上記画像処理装置において、前記補正画像作成手段は、前記任意画像の位置調整を行い、前記共通部分における前記被写体を一致させる画像調整手段をさらに有し、前記比率取得手段は、前記画像調整手段により位置調整された状態で、前記を取得することを特徴とする。
上記画像処理装置において、前記補正画像作成手段は、前記シェーディング成分に基づき、前記共通部分以外の各画像内の領域におけるシェーディングの影響を推定するシェーディング推定手段をさらに有することを特徴とする。
上記画像処理装置において、前記複数の画像は、撮像視野を平行移動させて撮像された画像であることを特徴とする。
上記画像処理装置において、前記複数の画像は、撮像倍率を変化させて撮像された画像であることを特徴とする。
上記画像処理装置において、前記複数の画像は、撮像視野を回転させて撮像された画像であることを特徴とする。
本発明に係る撮像装置は、上記画像処理装置と、前記被写体を撮像する撮像手段とを備えることを特徴とする。
本発明に係る顕微鏡システムは、上記画像処理装置と、前記被写体としての標本を載置可能なステージと、前記ステージに対向して設けられる光学系と、前記光学系を介して前記標本上に設定される視野を撮像して画像を取得する画像取得部と、前記ステージと前記光学系との内の少なくとも一方を、前記光学系の光軸と直交する方向に移動させることにより、前記撮像視野を変化させるステージ位置変更部と、を有する顕微鏡装置とを備えることを特徴とする。
本発明に係る画像処理方法は、被写体の少なくとも一部が共通する部分を持つ複数の画像を入力する画像入力ステップと、前記複数の画像のうち、前記被写体が共通する共通部分を持つ2つの任意画像から、画素の輝度のを取得する比率取得ステップと、前記に基づいて前記任意画像におけるシェーディング成分を検出するシェーディング検出ステップと、前記シェーディング成分に基づき、前記共通部分以外の各画像内の領域におけるシェーディングの影響を推定して前記複数の画像を補正する際に用いられる補正用画像を作成する補正用画像作成ステップと、を含むことを特徴とする。
本発明に係る画像処理プログラムは、被写体の少なくとも一部が共通する部分を持つ複数の画像を入力する画像入力ステップと、前記複数の画像のうち、前記被写体が共通する共通部分を持つ2つの任意画像から、画素の輝度のを取得する比率取得ステップと、前記に基づいて前記任意画像におけるシェーディング成分を検出するシェーディング検出ステップと、前記シェーディング成分に基づき、前記共通部分以外の各画像内の領域におけるシェーディングの影響を推定して前記複数の画像を補正する際に用いられる補正用画像を作成する補正用画像作成ステップと、をコンピュータに実行させることを特徴とする。
本発明によれば、複数の画像間で被写体が共通する共通部分を持つ2つの任意画像から画素の輝度のを取得し、該に基づいて検出されたシェーディング成分に基づいて、上記複数の画像の補正に用いられる補正用画像を作成するので、精度の高いシェーディング補正を行うことが可能となる。
図1は、本発明の実施の形態1に係る顕微鏡システムの構成例を示す模式図である。 図2は、図1に示す顕微鏡装置の構成を概略的に示す模式図である。 図3は、図1に示す顕微鏡システムの動作を示すフローチャートである。 図4は、実施の形態1における画像の撮像方法を説明する模式図である。 図5は、実施の形態1における画像の撮像方法を説明する模式図である。 図6は、一部が共通する複数の画像を示す模式図である。 図7は、位置調整された複数の画像を示す模式図である。 図8は、図1に示すシェーディング検出部の動作を示すフローチャートである。 図9は、本発明の実施の形態2における画像の撮像方法を説明する模式図である。 図10は、複数の画像間で対応する画素を示す模式図である。 図11は、本発明の実施の形態3における画像の撮像方法を説明する模式図である。 図12は、一部が共通する複数の画像を示す模式図である。 図13は、位置調整された複数の画像を示す模式図である。 図14は、本発明の実施の形態4に係る顕微鏡システムの構成例を示すブロック図である。 図15は、図14に示す顕微鏡システムの動作を示すフローチャートである。 図16は、図14に示すVS画像作成部が作成したバーチャルスライド画像を示す模式図である。
以下、本発明に係る実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、以下の説明においては、本発明に係る画像処理装置を顕微鏡システムに適用した例を説明するが、本発明に係る画像処理装置は、ディジタルカメラ等、撮像機能を有する各種機器に適用することが可能である。
(実施の形態1)
図1は、本発明の実施の形態1に係る顕微鏡システムの構成を示す模式図である。図1に示すように、実施の形態1に係る顕微鏡システム1は、顕微鏡装置10と、該顕微鏡装置10の動作を制御すると共に、該顕微鏡装置10によって取得された画像を処理する画像処理装置11とを備える。
図2は、顕微鏡装置10の構成を概略的に示す模式図である。図2に示すように、顕微鏡装置10は、略C字形のアーム100と、該アーム100に取り付けられ、標本SPが載置される標本ステージ101と、鏡筒103の一端側に三眼鏡筒ユニット106を介して標本ステージ101と対向するように設けられた対物レンズ102と、鏡筒103の他端側に設けられた画像取得部104と、標本ステージ101を移動させるステージ位置変更部105とを有する。三眼鏡筒ユニット106は、対物レンズ102から入射した標本の観察光を、画像取得部104と後述する接眼レンズユニット107に分岐する。接眼レンズユニット107は、ユーザが標本を直接観察するためのものである。なお、以下において、対物レンズ102の光軸L方向をZ軸方向とし、このZ軸方向と直交する平面をXY平面とする。図2において、顕微鏡装置10は、標本ステージ101の主面が概ねXY平面と一致するように設置されている。
対物レンズ102は、倍率が互いに異なる複数の対物レンズ(例えば、対物レンズ102’)を保持可能なレボルバ108に取り付けられている。このレボルバ108を回転させて、標本ステージ101と対向する対物レンズ102、102’を変更することにより、画像取得部104が撮像する画像の倍率を変化させることができる。
鏡筒103の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部(いずれも図示せず)とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体を拡大又は縮小させる。なお、鏡筒103内の駆動部にエンコーダをさらに設けても良い。この場合、エンコーダの出力値を画像処理装置11に出力し、画像処理装置11において、エンコーダの出力値からズームレンズの位置を検出して撮像視野の倍率を自動算出するようにしても良い。
画像取得部104は、例えばCCDやCMOS等の撮像素子を含み、該撮像素子が備える各画素においてR(赤)、G(緑)、B(青)の各バンドにおける画素レベル(画素値)を持つカラー画像を撮像可能なカメラである。画像取得部104は、対物レンズ102から鏡筒103内の光学系を介して入射した光(観察光)を受光し、観察光に対応する画像データを生成して画像処理装置11に出力する。
ステージ位置変更部105は、例えば、モータ105aを含み、標本ステージ101の位置をXY平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部105には、標本ステージ101をZ軸に沿って移動させることにより、対物レンズ102の焦点を標本SPに合わせる。
また、ステージ位置変更部105には、標本ステージ101の位置を検出して検出信号を画像処理装置11に出力する位置検出部105bが設けられている。位置検出部105bは、例えばモータ105aの回転量を検出するエンコーダによって構成される。
或いは、ステージ位置変更部105を、画像処理装置11の制御部160(後述)の制御に従ってパルスを発生するパルス発生部とステッピングモータとによって構成しても良い。
画像処理装置11は、当該画像処理装置11に対する指示や情報の入力を受け付ける入力部110と、画像取得部104から出力された画像の入力を受け付けるインタフェースである画像入力部120と、顕微鏡画像やその他の情報を表示する表示部130と、記憶部140と、顕微鏡装置10により取得された画像に対して所定の画像処理を施す演算部150と、これらの各部の動作を制御する制御部160とを備える。
入力部110は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、これらのデバイスを介して入力された信号を受け付けて制御部160に入力する。
表示部130は、例えば、LCD(Liquid Crystal Display)やEL(Electro Luminescence)ディスプレイ、CRT(Cathode Ray Tube)ディスプレイ等の表示装置によって構成され、制御部160から出力された制御信号に従って、各種画面を表示する。
記憶部140は、更新記録可能なフラッシュメモリ、RAM、ROM等の半導体メモリや、内蔵若しくはデータ通信端子で接続されたハードディスク、MO、CD−R、DVD−R等の記録媒体及び該記録媒体に記録された情報を読み取る読取装置等によって構成される。記憶部140は、画像取得部104から出力された画像データや、演算部150及び制御部160がそれぞれ実行する各種プログラムや各種設定情報を記憶する。具体的には、記憶部140は、画像取得部104が取得した画像に対してシェーディング補正を施す画像処理プログラム141を記憶する。
演算部150は、例えばCPU等のハードウェアによって構成され、記憶部140に記憶された画像処理プログラム141を読み込むことにより、記憶部140に記憶された画像データに対応する画像に対してシェーディング補正を施す画像処理を実行する。
より詳細には、演算部150は、画像をシェーディング補正するための補正用画像を作成する補正用画像作成部151と、補正用画像を用いて画像を補正する画像補正部156とを有する。このうち、補正用画像作成部151は、被写体の少なくとも一部が共通する複数の画像間で共通部分が一致するように画像の位置調整を行う画像調整部152と、位置調整がなされた複数の画像間で対応する画素の輝度のを取得する比率取得部153と、輝度のに基づいて当該画像内に生じているシェーディング成分を検出するシェーディング検出部154と、該シェーディング成分に基づき、上記共通部分以外の領域におけるシェーディングの影響を推定して補正用画像を作成するシェーディング推定部155とを有する。
制御部160は、例えばCPU等のハードウェアによって構成され、記憶部140に記憶された各種プログラムを読み込むことにより、記憶部140に記憶された各種データや入力部110から入力される各種情報に基づき、画像処理装置11及び顕微鏡装置10の各部に指示やデータの転送を行い、顕微鏡システム1全体の動作を統括的に制御する。
次に、本実施の形態1におけるシェーディング補正の原理について説明する。
顕微鏡装置10によって撮像された画像には、被写体に対応する輝度成分(以下、被写体成分という)T(x,y)とシェーディングに対応する輝度成分(以下、シェーディング成分という)S(x,y)とが含まれる。なお、座標(x,y)は、画像内における各画素の位置座標を示す。そこで、各画素の輝度をI(x,y)とすると、輝度I(x,y)は次式(1−1)によって表すことができる。
I(x,y)=T(x,y)×S(x,y) …(1−1)
また、撮像条件の一部を変更して撮像した複数の画像間では、共通の被写体成分T(x,y)に対するシェーディング成分S(x,y)の影響が、画像内の位置座標に応じて変化する。そこで、複数の画像間で被写体成分T(x,y)が共通する画素の輝度から、被写体成分T(x,y)を打ち消すことにより、画像内の位置座標に応じたシェーディング成分S(x,y)の変化を算出することができる。そして、このシェーディング成分の変化から、画像内におけるシェーディング成分S(x,y)の分布を抽出することができる。
さらに、次式(1−2)に示すように、抽出されたシェーディング成分S(x,y)を輝度I(x,y)から除去することにより、被写体成分T(x,y)のみの画像を取得することができる。
T(x,y)=I(x,y)/S(x,y) …(1−2)
なお、撮像条件を変更する方法としては、例えば、標本SPに対して撮像視野を平行移動させる、倍率を変更する、標本SPに対して撮像視野を回転させるといった方法がある。本実施の形態1においては、標本SPに対して撮像視野を平行移動させる方法により、撮像条件を変更する。
次に、顕微鏡システム1の動作について説明する。図3は、顕微鏡システム1の動作を示すフローチャートである。
まず、ステップS10において、顕微鏡装置10は、制御部160の制御の下で、標本SPに対して撮像視野を変化させながら、撮像視野の一部が重複する複数の画像を撮像する。より詳細には、顕微鏡装置10は、図4に示すように、標本SPが載置された標本ステージ101を平行移動させつつ、画像取得部104に撮像視野を撮像させる。
その際、本実施の形態1において、顕微鏡装置10は、図5に示すように、撮像を行う毎に標本ステージ101をX方向に移動量dx、及び、Y方向に移動量dyだけ移動させ、隣接する撮像視野Vj、Vj+1間で一部の領域C1が重なるようにして撮像を行う(jは撮像順序を示す番号であり、j=1、2、…)。なお、撮像視野は、X方向又はY方向のいずれか一方にのみ移動させても良い。画像取得部104は、このように撮像を行って取得した画像データを画像処理装置11に出力する。画像処理装置11は、画像取得部104から出力された画像データを、記憶部140に一旦記憶させる。
ステップS11において、制御部160は、記憶部140から画像データを読み出し、該画像データに対応する複数の画像を演算部150に入力する。具体的には、図6(a)及び(b)に示すように、撮像視野Vjを写した画像Mjと、撮像視野Vj+1を写した画像Mj+1とが演算部150に入力される。画像Mj、Mj+1間においては、画像Mj内の座標(xi,yi)の画素と、画像Mj+1内の座標(x’i,y’i)(=(xi−dx,yi−dy))の画素とが、互いに画素となる。互いに対応する画素には、同じ被写体が写っている。以下、画像Mj、Mj+1の水平方向のサイズをwとし、垂直方向のサイズをhとする。
続くステップS12において、画像調整部152は、位置検出部105bからの出力値に基づいて、複数の画像間で共通部分が一致するように画像の位置調整を行う。例えば、画像Mj、Mj+1の場合、図7に示すように、画像Mjに対して画像Mj+1を撮像視野の移動量dx及びdyの分だけずらし、領域C1同士が重なるように位置調整がなされる。
ステップS13において、差分取得部153は、各画像の共通部分に含まれる画素の画素値から輝度を算出し、複数の画像間で互いに対応する画素の輝度のを算出する。例えば、画像Mj、Mj+1の場合、画像Mj内の座標(xi,yi)における画素の輝度Ij、画像Mj+1内の座標(x’i,y’i)における画素の輝度Ij+1とのが算出される。
ここで、輝度Ij、Ij+1はそれぞれ、次式(1−3)、(1−4)により与えられる。
j(xi,yi)=T(xi,yi)×S(xi,yi) …(1−3)
j+1(x’i,y’i)=T(x’i,y’i)×S(x’i,y’i
…(1−4)
また、対応する画素間において被写体成分は等しいから、次式(1−5)が成り立つ。
T(xi,yi)=T(x’i,y’i) …(1−5)
さらに、座標(x’i,y’i)=(xi−dx,yi−dy)を用いると、式(1−4)は次式(1−6)のように書き換えることができる。
j+1(x’i,y’i)=T(xi,yi)×S(xi−dx,yi−dy)
…(1−6)
式(1−3)及び(1−6)より、次式(1−7)に示す関係が成り立つ。
j+1(x’i,y’i)/Ij(xi,yi
=S(xi−dx,yi−dy)/S(xi,yi) …(1−7)
即ち、輝度のj+1(x’i,y’i)/Ij(xi,yi)は、シェーディング成分の変化に相当する。
ステップS13においては、このようなj+1(x’i,y’i)/Ij(xi,yi)が、共通部分である領域C1内の全ての座標に関して算出される。
ステップS14において、シェーディング検出部154は、画像Mj、Mj+1内のシェーディングの影響を近似するシェーディングモデルを作成し、領域C1内の各座標(xi,yi)におけるj+1(x’i,y’i)/Ij(xi,yi)に基づいて、シェーディングモデルを修正する。
各画像に生じるシェーディングの影響は、原理的には式(1−7)に従うはずであるが、実際には、対応する画素同士においても微妙に輝度が異なったり、シェーディングにばらつきがあったりするので、領域C1内の全ての座標において式(1−7)が成り立つわけではない。そこで、シェーディング成分Sを表すモデルを設定し、次式(1−8)に示す誤差評価関数により、評価値K1が最小となるときのシェーディング成分Sを求める。
Figure 0005911296
具体的なシェーディングモデルの一例として、本実施の形態1においては、次式(1−9)に示すように、画像の中心座標(w/2,h/2)を通る2次曲面を表す関数を用いる。ここで、2次曲面を用いるのは、シェーディング成分は一般に、画像の中心付近で少なく、画像の中心から離れるに従って増加するからである。
S(x,y;a)=1−a{(x−w/2)2+(y−h/2)2} …(1−9)
従って、式(1−9)を用いた誤差評価関数(1−10)によって与えられる評価値K1’が最小となるときの2次の係数(パラメータ)aを求めることにより(式(1−10’))、シェーディング成分Sを取得することができる。
Figure 0005911296
シェーディング検出部154は、このパラメータaを、図8に示す演算処理により求める。図8は、シェーディング検出部154の動作を示すフローチャートである。
まず、ステップS151において、シェーディング検出部154は、パラメータaを初期化する。
続くステップS152において、シェーディング検出部154は、パラメータa及びステップS13において算出された領域C1内の全ての座標(xi,yi)における輝度のj+1(x’i,y’i)/Ij(xi,yi)を誤差評価関数(1−10)に代入して、評価値K1’を算出する。
ステップS153において、シェーディング検出部154は、評価値K1’が所定の閾値未満であるか否かを判定する。閾値の大きさは、後に続く繰り返し処理の各回において代入されるパラメータaに基づいて補正画像を作成した場合に、パラメータaが互いに異なる補正画像間で差異が明確に認識されない程度に、充分小さい値を経験的に設定するものとする。この閾値は、繰り返し処理を終了させるために設定するものであるので、繰り返し処理を終了する条件として、繰り返しにおける評価値の変化が充分に小さくなったときに終了するなど、他の終了条件を設定しても良い。評価値K1’が所定の閾値以上である場合(ステップS153:No)、シェーディング検出部154は、パラメータaを修正する(ステップS154)。その後、動作はステップS152に戻る。一方、評価値K1’が所定の閾値未満である場合(ステップS153:Yes)、シェーディング検出部154は、そのときのパラメータaを、式(1−9)におけるパラメータとして決定する(ステップS155)。この決定されたパラメータaを含む式(1−9)が、領域C1における修正済みのシェーディングモデルを表す式である。
その後、動作はメインルーチンに戻る。
ステップS15において、シェーディング推定部155は、修正されたシェーディングモデルの適用範囲を、領域C1以外の画像Mj、Mj+1内の領域に拡張し、画像内の全領域におけるシェーディングを補正するための補正用画像を作成する。補正用画像は、シェーディングモデルS(x,y;a)を各画素の輝度とする画像である。
ステップS16において、画像補正部156は、ステップS15において作成された補正用画像を用いて、画像の補正を行う。即ち、補正対象である画像内の各画素の輝度I(x,y)を取得し、次式(1−11)により、被写体成分T(x,y)を算出する。
T(x,y)=I(x,y)/S(x,y;a) …(1−11)
それにより、シェーディングの影響が除去された補正済みの画像が取得される。なお、補正対象の画像は、シェーディング補正用画像の作成に用いた画像Mj、Mj+1に限らず、顕微鏡装置10において撮像した他の画像であっても良い。
さらに、ステップS17において演算部150は、補正済みの画像を出力する。それに応じて、制御部160は、補正済みの画像を表示部130に表示させると共に、補正済みの画像に対応する画像データを記憶部140に記憶させる。
以上説明したように、実施の形態1によれば、補正対象である画像自体の輝度に基づいてシェーディング補正用画像を作成するので、顕微鏡装置10において経時的なシェーディングの変化が生じている場合であっても、当該画像に対して精度の高いシェーディング補正を施すことができる。また、実施の形態1によれば、画像内の輝度を被写体成分とシェーディング成分とを分離し、シェーディング成分のみを抽出してシェーディング補正用画像を作成するので、シェーディング補正の精度を向上させることが可能となる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
実施の形態2に係る顕微鏡システムの全体的な構成及び動作は、実施の形態1と共通であり、実施の形態2においては、撮像視野の倍率を変化させて複数の画像を撮像し、これらの画像を用いてシェーディング補正用画像を作成することを特徴とする。従って、以下においては、互いに倍率が異なる複数の画像を用いてシェーディング補正用画像を作成する処理についてのみ説明する。
まず、顕微鏡システム1は、図9に示すように、標本SPの視野領域Vjを撮像して画像Mjを取得する。次いで、ズームを調整して倍率を変更し、同じ視野領域Vjを撮像して画像Mj+1を取得する。この場合、画像Mj、Mj+1間では、画像全体が、同じ被写体が写った共通部分となる。
演算部150において、画像調整部152は、画像Mjの中心Oと、Mj+1の中心O’とが一致するように、画像Mj、Mj+1の位置調整を行う。図10に示すように、画像Mj、Mj+1間では、画像Mjの中心Oから距離riだけ離れ、所定の軸からの回転角φiに位置する画素Piと、画像Mj+2の中心O’から距離r’iだけ離れ、所定の軸からの回転角φiに位置する画素P’iとが互いに対応する画素となる。
続いて、比率取得部153は、画像Mj、Mj+1間で対応する画素の輝度のを算出する。ここで、画像Mjの倍率をmj、画像Mj+1の倍率をmj+1とすると、距離r’iは次式(2−1)によって表すことができる。
r’i=(mj+1/mj)×ri …(2−1)
上述したとおり、各画素の輝度Iは、被写体成分Tとシェーディング成分Sとで構成されるから、画素Piの輝度Ij(ri,φi)及び画素P’iの輝度Ij+1(r’i,φi)は、それぞれ、次式(2−2)及び(2−3)によって表すことができる。
j(ri,φi)=T(ri,φi)×S(ri,φi) …(2−2)
j+1(r’i,φi)=Tj+1(r’i,φi)×Sj+1(r’i,φi
…(2−3)
ここで、一般には、撮像倍率を変更するとシェーディングも変化する。しかしながら、倍率の変化が小さい場合には、シェーディングの変化は極めて小さく、無視することができる。それに対して、画像内の被写体像の変化は倍率の変化と厳密に一致する。即ち、次式(2−4)のとおりである。
j+1(r’i,φi)=T(ri,φi) …(2−4)
従って、式(2−2)〜(2−4)より、輝度のj+1(r’i)/Ij(ri)は次式(2−5)によって与えられる。
j+1(r’i,φi)/Ij(ri,φi)=Sj+1(r’i,φi)/S(ri,φi
…(2−5)
式(2−5)に示すとおり、輝度のj+1(r’i,φi)/Ij(ri,φi)は、シェーディング成分の変化に相当する。ここで、一般にシェーディング成分は、光学系の光軸Lからの距離に応じて軸対称に変化するから、式(2−5)は次式(2−6)に書き換えることができる。
j+1(r’i,φi)/Ij(ri,φi)=Sj+1(r’i)/S(ri
…(2−6)
比率取得部153は、このようなj+1(r’i,φi)/Ij(ri,φi)を、画像Mj内の全ての画素に対して算出する。
続いて、シェーディング検出部154は、画像Mj、Mj+1内のシェーディングの影響を近似するシェーディングモデルを作成し、各座標におけるj+1(r’i,φi)/Ij(ri,φi)に基づいて、シェーディングモデルを修正する。本実施の形態2の場合、シェーディングモデルを修正するための誤差評価関数は次式(2−7)によって与えられ、評価値K2を最小にするシェーディングモデルS(ri)を求める演算が行われる。
Figure 0005911296
また、具体的なシェーディングモデルの一例として、本実施の形態2においては、次式(2−8)に示すように、画像Mjの中心からの距離rに依存して変化する2次曲面を表す関数を用いる。
S(r;b)=1−b×r …(2−8)
従って、式(2−7)を用いた誤差評価関数(2−9)によって与えられる評価値K2’が最小となるときの2次の係数であるパラメータbを求めることにより(式(2−9’))、シェーディング成分Sを取得することができる。
Figure 0005911296
シェーディング検出部154は、このパラメータbを、図8に示す演算処理により求める。ただし、図8において、パラメータaはパラメータbに読み替えられ、評価値K1’は評価値K2’に読み替えられる。それによって決定されたパラメータbを含む式(2−8)が、修正済みのシェーディングモデルを表す式である。
続いて、シェーディング推定部155は、修正されたシェーディングモデルの適用範囲を画像Mj+1全体(即ち、画像Mjよりも若干広い範囲)に拡張し、画像Mj及び画像Mj+1内の全領域におけるシェーディングを補正するための補正用画像を作成する。
その後の処理については、実施の形態1と同様である。
以上説明したように、実施の形態2によれば、画像Mj全体の画素の輝度に基づいて補正用画像を作成するので、精度の高いシェーディング補正を行うことができる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
実施の形態3に係る顕微鏡システムの全体的な構成及び動作は、実施の形態1と共通であり、実施の形態3においては、撮像視野を回転させて複数の画像を撮像し、これらの画像を用いてシェーディング補正用画像を作成することを特徴とする。従って、以下においては、XY平面における座標軸が互いに交差する複数の画像を用いてシェーディング補正用画像を作成する処理についてのみ説明する。
まず、顕微鏡システム1は、図11及び図12に示すように、標本SPの視野領域Vjを撮像して画像Mjを取得する。次いで、標本ステージ101を所定の回転中心点に対して角度dθだけXY平面内で回転させ、視野領域Vj+1を撮像して画像Mj+1を取得する。なお、実施の形態3においては、回転中心点を撮像領域Vjの中心Oに設定する。この場合、画像Mj、Mj+1間では、図11に示す領域C3が、同じ被写体が写った共通部分となる。また、図12(a)及び(b)に示すように、画像Mjの回転中心点(中心O)から距離riだけ離れ、所定の軸からの角度θiに位置する画素Qiと、画像Mj+1の回転中心点(中心O)から距離riだけ離れ、所定の軸からの角度θ’i(=θi−dθ)に位置する画素Q’iとが、互いに対応する画素となる。
演算部150において、画像調整部152は、図13に示すように、画像Mjに対して画像Mj+1を角度dθだけ回転させ、画像Mj、Mj+1間で領域C3が一致するよう、位置調整を行う。
続いて、比率取得部153は、画像Mj、Mj+1間で対応する画素の輝度の差分を算出する。具体的には、画素Qiの輝度Ij(ri,θi)と、画素Q’iの輝度Ij+1(ri,θ’i)とのj+1(ri,θ’i)/Ij(ri,θi)を算出する。
上述したとおり、各画素の輝度Iは、被写体成分Tとシェーディング成分Sとで構成されるから、画素Qiの輝度Ij(ri,θi)及び画素Q’iの輝度Ij+1(ri,θ’i)は、それぞれ、次式(3−1)及び(3−2)によって表すことができる。
j(ri,θi)=T(ri,θi)×S(ri,θi) …(3−1)
j+1(ri,θ’i)=Tj+1(ri,θ’i)×Sj+1(ri,θ’i
…(3−2)
また、対応する画素間において被写体成分は等しいから、次式(3−3)が成り立つ。
T(ri,θi)=Tj+1(ri,θ’i) …(3−3)
従って、式(3−1)〜(3−3)より、j+1(ri,θ’i)/Ij(ri,θi)は次式(3−4)によって与えられる。
j+1(ri,θ’i)/Ij(ri,θi)=Sj+1(ri,θ’i)/Sj(ri,θi
…(3−4)
即ち、輝度のj+1(ri,θ’i)/Ij(ri,θi)は、シェーディング成分の変化に相当する。
ここで、シェーディング成分Sには、レンズに起因して生じるシェーディング成分(以下、シェーディング成分Slとする)と、照明等、レンズ以外の要因によって生じるシェーディング成分(以下、シェーディング成分Smとする)とが含まれる。即ち、シェーディング成分Sは、次式(3−5)によって与えられる。
S(ri,θi)=Sm(ri,θi)×Sl(ri,θi) …(3−5)
この内、シェーディング成分Slは光軸Lを中心とする軸対称に生じるため、次式(3−6)に示すように、画像の中心から画素までの距離riのみによってモデル化することができる。
S(ri,θi)=Sm(ri,θi)×Sl(ri) …(3−6)
式(3−5)及び(3−6)より、式(3−4)を次式(3−7)のように書き換えることができる。
Figure 0005911296
式(3−7)より、対応する画素間のj+1(ri,θ’i)/Ij(ri,θi)は、照明等に起因するシェーディング成分Smの変化を表すと言える。比率取得部153は、このようなj+1(ri,θ’i)/Ij(ri,θi)を、領域C3内の全ての画素に対して算出する。
続いて、シェーディング検出部154は、画像Mj、Mj+1内のシェーディングの影響を近似するシェーディングモデルを作成し、各座標におけるj+1(ri,θ’i)/Ij(ri,θi)に基づいて、シェーディングモデルを修正する。本実施の形態3の場合、シェーディングモデルを修正するための誤差評価関数は次式(3−8)によって与えられ、評価値K3を最小にするシェーディングモデルSm(ri,θi)を求める演算が行われる。
Figure 0005911296
具体的なシェーディングモデルの一例として、本実施の形態3においては、次式(3−9)に示すように、画像Mjの中心からの距離r及び角度θに依存して変化する2次曲面を表す関数を用いる。
Figure 0005911296
式(3−9)において、r0及びθ0は所定の定数である。
従って、式(3−9)を用いた誤差評価関数(3−10)によって与えられる評価値K3’が最小となるときの2次の係数であるパラメータcを求めることにより(式(3−10’))、シェーディング成分Sを取得することができる。
Figure 0005911296
シェーディング検出部154は、このパラメータcを、図8に示す演算処理により求める。ただし、図8において、パラメータaはパラメータcに読み替えられ、評価値K1’は評価値K3’に読み替えられる。それによって決定されたパラメータcを含む式(3−9)が、照明等に起因するシェーディング成分Smの修正済みモデルを表す式である。
続いて、シェーディング推定部155は、画像Mj及び画像Mj+1内の全領域におけるシェーディングを補正するための補正用画像を作成する。ここで、レンズに起因するシェーディング成分Slは経時的な変化が少ないため、コサイン四乗則により正確に予測することができる。コサイン四乗則は、レンズに照度I0の光が入射するとき、入射光の光軸Lに対する角度Θと、入射後の光の照度I’との関係を表す。
I’=I0cos4Θ …(3−11)
シェーディング推定部155は、式(3−11)に基づいて、レンズに起因するシェーディング成分Slを表すシェーディングモデルSl(r)を作成する。
シェーディングモデルSl(r)としては、例えば、式(3−11)に基づいて、光軸中心からの距離rの値に応じたシェーディング量をルックアップテーブル化したものを用いることができる。記憶部140は、レンズごとに作成された複数種類のルックアップテーブルを格納しており、シェーディング推定部155は、選択されたレンズに対応するルックアップテーブルを記憶部140から読み出し、このルックアップテーブルを使用して、シェーディング成分Slを求める。
さらに、シェーディング推定部155は、式(3−9)によって与えられるシェーディングモデルを画像全体(領域C1以外の画像Mj及び画像Mj+1の領域)に拡張すると共に、上記ルックアップテーブルに基づくシェーディングモデルSl(r)を用いて、次式(3−12)に示すように、画像Mj及び画像Mj+1内の全領域におけるトータルのシェーディングを補正するための補正用画像を作成する。
TOTAL=Sl(r)×Sm(r,θ) …(3−12)
その後の処理については、実施の形態1と同様である。
以上説明したように、実施の形態3によれば、照明等に起因する経時的な変化が比較的大きいシェーディングについても精度良く補正を行うことができる。従って、多量の画像を撮像した場合や、撮像時間が長引いたりした場合においても、各画像に対して正確なシェーディング補正を施すことが可能となる。
(実施の形態4)
次に、本発明の実施の形態4について説明する。
図14は、実施の形態4に係る顕微鏡システムの構成を示すブロック図である。図14に示すように、実施の形態4に係る顕微鏡システム2は、図1に示す画像処理装置11の代わりに画像処理装置20を備える。画像処理装置20は、図1に示す演算部150に対してバーチャルスライド(VS)画像作成部201をさらに有する演算部200を備える。VS画像作成部201以外の画像処理装置20及び顕微鏡システム2の構成については、実施の形態1において説明したものと同様である。
VS画像作成部201は、顕微鏡装置10が標本SPに対する撮像視野を平行移動させながら撮像した複数の画像を繋ぎ合わせて、標本SP全体に対応する画像(VS画像)を作成する。
次に、顕微鏡システム2の動作について説明する。図15は、顕微鏡システム2の動作を示すフローチャートである。また、図16は、VS画像作成部が作成したバーチャルスライド画像を示す模式図である。
まず、ステップS10において、顕微鏡装置10は、制御部160の制御の下で、標本SPに対する撮像視野を平行移動させながら、撮像視野の一部が重複する複数の画像を撮像する。
続くステップS11及びS12の動作は、実施の形態1と同様である。
ステップS12に続くステップS20において、VS画像作成部201は、図16に示すように、画像調整部152による位置調整済みの複数の画像を繋ぎ合わせて、バーチャルスライド画像VSを作成する。このバーチャルスライド画像VSにおいて、X方向で隣接する画像M(k,l)とM(K+1,l)間では、領域Ckが互いに重複する(即ち、被写体が一致する)共通部分であり、Y方向で隣接する画像M(k,l)とM(k,l+1)間では、領域Clが互いに重複する共通部分である(k,l=1、2、…)。
続くステップS13〜S15の動作は、実施の形態1と同様である。ただし、この際の演算対象は、バーチャルスライド画像VS内の全ての共通部分(領域Ck及び領域Cl)であっても良いし、一部の共通部分であっても良い。後者の場合、具体的には、全ての領域Ckのみ、全ての領域Clのみ、最初と最後の領域Ck若しくは領域Clのみ、バーチャルスライド画像VSの中央近傍の領域Ck若しくは領域Clのみ、所定間隔で抽出した領域Ck若しくは領域Cl、又は、ランダムに選択した領域Ck若しくは領域Clのいずれであっても良い。複数の共通部分が演算対象となる場合には、それらの共通部分に対応する複数の補正用画像が作成される。
ステップS15に続くステップS30において、画像補正部156は、ステップS15において作成された補正用画像を用いて、バーチャルスライド画像VSを構成する各画像M(k,l)を補正する。この際、ステップS15において複数の補正用画像が作成された場合には、補正用画像の基となった共通部分の位置に応じて補正用画像を決定すると良い。例えば、全ての領域Ckから補正用画像が作成された場合には、X方向において隣接する画像M(k,l)、M(K+1,l)を、両画像の共通部分である領域Ckに基づく補正用画像を用いて補正する。また、全ての領域Clから補正用画像が作成された場合には、Y方向において隣接する画像M(k,l)、M(K,l+1)を、両画像の共通部分である領域Clに基づく補正用画像を用いて補正する。或いは、所定間隔で抽出された領域Ck若しくは領域Cl、又は、ランダムに選択された領域Ck若しくは領域Clから補正用画像が作成された場合には、領域Ck若しくは領域Clから所定範囲内の画像M(k,l)を、当該領域Ck若しくは領域Clに基づく補正用画像を用いて補正することとしても良い。
続くステップS31において、演算部200は、補正済みの画像を繋ぎ合わせたバーチャルスライド画像VSを出力する。それに応じて、制御部160は、バーチャルスライド画像VSを表示部130に表示させると共に、バーチャルスライド画像VSに対応する画像データを記憶部140に記憶させる。
以上説明したように、実施の形態4によれば、個別の撮像視野に生じたシェーディングが補正された画像によってバーチャルスライド画像を構成するので、画質の良いバーチャルスライド画像を取得することが可能となる。
(変形例)
上記実施の形態1〜3においては、顕微鏡装置10によって取得された画像に対する処理を説明したが、画像処理装置11は、顕微鏡装置10以外の各種撮像機器によって取得された画像を処理することも可能である。例えば、画像処理装置11を、パノラマ画像の撮像が可能なディジタルカメラに適用しても良い。この場合、視野の端部が重複する複数の画像を撮像し、視野の重複部分に基づいて作成した補正用画像を用いて各画像を補正して、それらの画像を繋ぎ合わせることにより、画質の良いパノラマ画像を生成することが可能である。
本発明は、上述した各実施の形態1〜4及び変形例そのままに限定されるものではなく、各実施の形態1〜4に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態1〜4に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
1、2 顕微鏡システム
10 顕微鏡装置
11、20 画像処理装置
100 アーム
101 標本ステージ
102 対物レンズ
103 鏡筒
104 画像取得部
105 ステージ位置変更部
105a モータ
105b 位置検出部
106 三眼鏡筒ユニット
107 接眼レンズユニット
108 レボルバ
110 入力部
120 画像入力部
130 表示部
140 記憶部
141 画像処理プログラム
150、200 演算部
151 補正用画像作成部
152 画像調整部
153 比率取得部
154 シェーディング検出部
155 シェーディング推定部
156 画像補正部
160 制御部
201 VS画像作成部

Claims (9)

  1. 被写体の少なくとも一部が共通する部分を持つ複数の画像を入力する画像入力手段と、
    前記複数の画像を補正する際に用いられる補正用画像を作成する補正画像作成手段と、
    を備え、
    前記補正画像作成手段は、
    前記複数の画像のうち、前記被写体が共通する共通部分を持つ2つの任意画像から、画素の輝度のを取得する比率取得手段と、
    前記に基づいて前記任意画像におけるシェーディング成分を検出するシェーディング検出手段と、
    前記シェーディング成分に基づき、前記共通部分以外の各画像内の領域におけるシェーディングの影響を推定するシェーディング推定手段と、
    を有することを特徴とする画像処理装置。
  2. 前記補正画像作成手段は、前記任意画像の位置調整を行い、前記共通部分における前記被写体を一致させる画像調整手段をさらに有し、
    前記比率取得手段は、前記画像調整手段により位置調整された状態で、前記を取得することを特徴とする請求項1に記載の画像処理装置。
  3. 前記複数の画像は、撮像視野を平行移動させて撮像された画像であることを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記複数の画像は、撮像倍率を変化させて撮像された画像であることを特徴とする請求項1又は2に記載の画像処理装置。
  5. 前記複数の画像は、撮像視野を回転させて撮像された画像であることを特徴とする請求項1又は2に記載の画像処理装置。
  6. 請求項1〜のいずれか1項に記載の画像処理装置と、
    前記被写体を撮像する撮像手段と、
    を備えることを特徴とする撮像装置。
  7. 請求項3又は5に記載の画像処理装置と、
    前記被写体としての標本を載置可能なステージと、前記ステージに対向して設けられる光学系と、前記光学系を介して前記標本上に設定される視野を撮像して画像を取得する画像取得部と、前記ステージと前記光学系との内の少なくとも一方を、前記光学系の光軸と直交する方向に移動させることにより、前記撮像視野を変化させるステージ位置変更部と、を有する顕微鏡装置と、
    を備えることを特徴とする顕微鏡システム。
  8. 被写体の少なくとも一部が共通する部分を持つ複数の画像を入力する画像入力ステップと、
    前記複数の画像のうち、前記被写体が共通する共通部分を持つ2つの任意画像から、画素の輝度のを取得する比率取得ステップと、
    前記に基づいて前記任意画像におけるシェーディング成分を検出するシェーディング検出ステップと、
    前記シェーディング成分に基づき、前記共通部分以外の各画像内の領域におけるシェーディングの影響を推定して前記複数の画像を補正する際に用いられる補正用画像を作成する補正用画像作成ステップと、
    を含むことを特徴とする画像処理方法。
  9. 被写体の少なくとも一部が共通する部分を持つ複数の画像を入力する画像入力ステップと、
    前記複数の画像のうち、前記被写体が共通する共通部分を持つ2つの任意画像から、画素の輝度のを取得する比率取得ステップと、
    前記に基づいて前記任意画像におけるシェーディング成分を検出するシェーディング検出ステップと、
    前記シェーディング成分に基づき、前記共通部分以外の各画像内の領域におけるシェーディングの影響を推定して前記複数の画像を補正する際に用いられる補正用画像を作成する補正用画像作成ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
JP2011282300A 2011-12-22 2011-12-22 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム Active JP5911296B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011282300A JP5911296B2 (ja) 2011-12-22 2011-12-22 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
EP12860928.6A EP2796916B1 (en) 2011-12-22 2012-09-27 Image processing device, imaging device, microscope system, image processing method, and image processing program
PCT/JP2012/074957 WO2013094273A1 (ja) 2011-12-22 2012-09-27 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
CN201280063454.2A CN104011580B (zh) 2011-12-22 2012-09-27 图像处理装置、摄像装置、显微镜系统以及图像处理方法
US14/306,418 US20140293035A1 (en) 2011-12-22 2014-06-17 Image processing apparatus, imaging apparatus, microscope system, image processing method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011282300A JP5911296B2 (ja) 2011-12-22 2011-12-22 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2013132027A JP2013132027A (ja) 2013-07-04
JP5911296B2 true JP5911296B2 (ja) 2016-04-27

Family

ID=48668178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011282300A Active JP5911296B2 (ja) 2011-12-22 2011-12-22 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム

Country Status (5)

Country Link
US (1) US20140293035A1 (ja)
EP (1) EP2796916B1 (ja)
JP (1) JP5911296B2 (ja)
CN (1) CN104011580B (ja)
WO (1) WO2013094273A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5996462B2 (ja) * 2013-03-13 2016-09-21 オリンパス株式会社 画像処理装置、顕微鏡システム及び画像処理方法
JP6196832B2 (ja) * 2013-07-25 2017-09-13 オリンパス株式会社 画像処理装置、画像処理方法、顕微鏡システム及び画像処理プログラム
US9443322B2 (en) * 2013-09-09 2016-09-13 Mediatek Singapore Pte. Ltd. Method and associated apparatus for correcting color artifact of image
JP6284428B2 (ja) * 2014-05-22 2018-02-28 オリンパス株式会社 顕微鏡システム
DE102014107933B4 (de) * 2014-06-05 2020-02-06 Carl Zeiss Microscopy Gmbh Verfahren zur mikroskopischen Abbildung von Proben an Böden von mit Fluid befüllten Töpfchen einer Mikrotiterplatte
CN104836942B (zh) * 2014-11-03 2017-12-19 中国计量学院 胶体金便携式ccd读数仪
JP6557520B2 (ja) * 2015-06-17 2019-08-07 オリンパス株式会社 顕微鏡システム
US10142568B2 (en) * 2017-02-13 2018-11-27 Semiconductor Components Industries, Llc Methods and apparatus for vignette and out-of-focus correction
CN110059529A (zh) * 2017-12-13 2019-07-26 台达电子工业股份有限公司 模拟计量器的指针的指向的识别方法及其影像获取设备
DE102018123781B4 (de) 2018-09-26 2023-08-03 Carl Zeiss Meditec Ag Verfahren zum Durchführen einer Shading-Korrektur und optisches Beobachtungsgerätesystem

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2688642B3 (fr) * 1992-02-17 1994-06-03 Galram Technology Ind Ltd Dispositif et procede pour la formation d'une image a haute resolution d'un objet tri-dimensionnel.
JPH08254499A (ja) * 1995-03-17 1996-10-01 Sharp Corp 表示・外観検査装置
US6587581B1 (en) * 1997-01-10 2003-07-01 Hitachi, Ltd. Visual inspection method and apparatus therefor
JP2001177738A (ja) * 1999-12-16 2001-06-29 Canon Inc 画像合成方法及び画像処理装置
JP2002057927A (ja) * 2000-08-08 2002-02-22 Canon Inc 画像補間方法、画像合成方法、撮像システム及び画像処理装置
JP2002094860A (ja) * 2000-09-11 2002-03-29 Canon Inc 画像処理装置及び画像処理方法並びにメモリ媒体
JP3539394B2 (ja) * 2001-03-26 2004-07-07 ミノルタ株式会社 画像処理装置、プログラムおよび記録媒体
JP3680827B2 (ja) * 2002-08-27 2005-08-10 コニカミノルタフォトイメージング株式会社 デジタルカメラ
JP2004272077A (ja) 2003-03-11 2004-09-30 Olympus Corp シェーディング補正装置、方法および制御プログラムを記録した記録媒体
JP2004343222A (ja) * 2003-05-13 2004-12-02 Olympus Corp 画像処理装置
JP4388327B2 (ja) * 2003-08-25 2009-12-24 オリンパス株式会社 顕微鏡像撮像装置及び顕微鏡像撮像方法
JP2008131981A (ja) * 2006-11-27 2008-06-12 Fujifilm Corp 画質評価演算方法および装置ならびにプログラム
JP5006062B2 (ja) 2007-02-05 2012-08-22 オリンパス株式会社 バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム
JP2009151163A (ja) * 2007-12-21 2009-07-09 Olympus Corp シェーディング補正装置及びシェーディング補正方法
JP5020800B2 (ja) 2007-12-25 2012-09-05 キヤノン株式会社 撮像装置及びその制御方法
JP5153599B2 (ja) * 2008-12-08 2013-02-27 オリンパス株式会社 顕微鏡システム及び該動作方法
JP2011124948A (ja) * 2009-12-14 2011-06-23 Sony Corp 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置
JP5562653B2 (ja) 2010-01-06 2014-07-30 オリンパス株式会社 バーチャルスライド作成装置およびバーチャルスライド作成方法
JP5471965B2 (ja) * 2010-08-16 2014-04-16 富士通セミコンダクター株式会社 画像処理装置、撮像装置、及び画像処理方法
JP5799863B2 (ja) * 2012-03-12 2015-10-28 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
WO2013094273A1 (ja) 2013-06-27
EP2796916A4 (en) 2015-08-19
EP2796916A1 (en) 2014-10-29
US20140293035A1 (en) 2014-10-02
EP2796916B1 (en) 2019-02-27
CN104011580B (zh) 2016-08-24
JP2013132027A (ja) 2013-07-04
CN104011580A (zh) 2014-08-27

Similar Documents

Publication Publication Date Title
JP5911296B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP5940383B2 (ja) 顕微鏡システム
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
JP6196832B2 (ja) 画像処理装置、画像処理方法、顕微鏡システム及び画像処理プログラム
JP4345940B2 (ja) 手ぶれ画像補正方法、記録媒体及び撮像装置
US8730318B2 (en) Inspection apparatus and method for producing image for inspection
US20130271593A1 (en) Image processing apparatus, image display system, and image processing method and program
WO2015190013A1 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
WO2013100029A9 (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
WO2013161348A1 (ja) 画像処理プログラム及び画像処理装置
JP6479178B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP2015055849A (ja) 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム
JP6487938B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
JP5996462B2 (ja) 画像処理装置、顕微鏡システム及び画像処理方法
JP5149984B2 (ja) 撮像装置
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP5209137B2 (ja) 撮像装置
JP2007194784A (ja) 画素位置取得方法、画像処理装置、画素位置取得方法をコンピュータ上で実行させるプログラム、及びこのプログラムが記録されたコンピュータ読み取り可能な記録媒体
JP2014202673A (ja) マルチバンド撮像装置およびその制御方法
JP2011227282A (ja) 撮像装置、合焦レベル表示方法、プログラムおよび集積回路
JP4293191B2 (ja) 画素位置取得方法、画像処理装置、画素位置取得方法をコンピュータ上で実行させるプログラム、及びこのプログラムが記録されたコンピュータ読み取り可能な記録媒体
JP2013092636A (ja) 画像処理装置、顕微鏡システム、画像処理方法、画像処理プログラム
JP2013118598A (ja) 撮像装置のシェーディング補正方法、及び撮像装置
WO2017068655A1 (ja) 画像処理装置、画像処理システム、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP2016201601A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160329

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250