JP6684646B2

JP6684646B2 - 画像取得装置

Info

Publication number: JP6684646B2
Application number: JP2016096660A
Authority: JP
Inventors: 雅之中司
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2016-05-13
Filing date: 2016-05-13
Publication date: 2020-04-22
Anticipated expiration: 2036-05-13
Also published as: EP3244367B1; EP3244367A1; JP2017203932A; US10198617B2; US20170330019A1

Description

本発明は、画像取得装置に関するものである。

従来、標本を搭載したステージを移動させることにより観察視野を移動させながら標本の撮影を行い、取得された画像を順次貼り合わせて広画角の画像を生成する顕微鏡が知られている（例えば、特許文献１参照。）。
この特許文献１においては、ステージの移動に起因する動きブレや、標本の凹凸による合焦ズレによって発生するボケを含んだ画像を貼り合わせると、生成される貼り合わせ画像の画質の低下を防止するために、取得された画像に生じた劣化を表す劣化情報を取得し、取得された劣化情報に基づいて画像を復元する画像復元処理を行っている。

特開２０１４−１１５６０９号公報

しかしながら、画像情報のみから劣化情報を求めることは困難であり、また、画像復元処理の計算量は一般的に多いため、リアルタイム性が要求される場合の画像取得が困難となるという不都合がある。
本発明は上述した事情に鑑みてなされたものであって、少ない計算量でブレやボケを低減した貼り合わせ画像を短時間で生成することができる画像取得装置を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、標本を搭載するステージと、該ステージに搭載された前記標本からの光を集光する対物レンズと、該対物レンズの光軸に交差する方向に前記ステージを駆動するステージ駆動部と、前記対物レンズにより集光された光を撮影してフレーム画像を取得する撮像部と、前記ステージの速度情報を検出するステージ速度検出部と、前記撮像部により取得された複数の前記フレーム画像を貼り合わせて貼り合わせ画像を生成する画像生成部と、該画像生成部により生成された前記貼り合わせ画像を記憶し、さらに前記速度情報と、前記貼り合わせ画像の各座標における画素値とを対応付けて記憶する記憶部とを備え、前記画像生成部が、前記貼り合わせ画像と前記フレーム画像との共通領域において、下式（１）に基づいて前記新たな貼り合わせ画像を生成するとともに該新たな貼り合わせ画像の前記画素値および前記速度情報を生成するように構成される画像取得装置を提供する。
Ｍ’（ｘ，ｙ）＝Ｆ（ｘ，ｙ）（Ｖｆ＜Ｖ（ｘ，ｙ）のとき）
Ｍ’（ｘ，ｙ）＝Ｍ（ｘ，ｙ）（Ｖｆ≧Ｖ（ｘ，ｙ）のとき）
Ｖ’（ｘ，ｙ）＝Ｖｆ（Ｖｆ＜Ｖ（ｘ，ｙ）のとき）
Ｖ’（ｘ，ｙ）＝Ｖ（ｘ，ｙ）（Ｖｆ≧Ｖ（ｘ，ｙ）のとき）（１）
ただし、Ｍ（ｘ，ｙ）は、前記記憶部に記憶された前記貼り合わせ画像の座標（ｘ，ｙ）における画素値、Ｍ’（ｘ，ｙ）は、前記新たな貼り合わせ画像の画素値、Ｆ（ｘ，ｙ）は、前記フレーム画像の画素値、Ｖ’（ｘ，ｙ）は、前記新たな貼り合わせ画像の速度情報、Ｖｆは、前記貼り合わせ画像に貼り合わせられる前記フレーム画像の速度情報、Ｖ（ｘ，ｙ）は、前記貼り合わせ画像の速度情報である。

本態様によれば、ステージに標本を搭載して、ステージ駆動部を作動させ、標本を対物レンズの光軸に交差する方向に移動させながら、各位置において、撮像部によりフレーム画像が取得されると、取得されたフレーム画像に含まれる劣化度としてのステージの速度情報が劣化度算出部としてのステージ速度検出部により検出される。そして、画像生成部は、相互に貼り合わせる２枚のフレーム画像の共通領域において、劣化度が小さいフレーム画像を選択して合成することにより、貼り合わせ画像が生成される。

すなわち、相互に貼り合わせられる２枚のフレーム画像の共通領域においては、劣化の度合いが小さいフレーム画像が合成されるので、画像復元処理のような多くの計算量を必要とせず、少ない計算量でブレやボケを低減した貼り合わせ画像を短時間で生成することができる。

上記態様においては、前記画像生成部が、前記共通領域において、前記貼り合わせ画像と前記フレーム画像との内、劣化度が小さい方の画像を選択する。
このようにすることで、２枚の画像の劣化度の比較により、劣化度の小さい一方の画像を選択するので、計算量をより少なくすることができる。

また、上記態様においては、前記ステージ駆動部による前記ステージの速度情報を検出するステージ速度検出部を備える。
このようにすることで、ステージ速度検出部により検出されたステージの速度情報を劣化度として利用することができ、簡易に劣化度を算出して、計算量をより少なくすることができる。

また、上記態様においては、前記ステージ速度検出部が、前記撮像部により異なる時刻に取得された前記フレーム画像間の相対位置に基づいて、前記速度情報を検出してもよい。
このようにすることで、ステージが手動の場合でも、エンコーダ等の装置を追加することなく、簡易に劣化度を算出して、計算量をより少なくすることができる。

また、上記態様の参考例においては、前記劣化度算出部が、前記撮像部により取得されたフレーム画像の空間周波数の高周波成分が多いほど小さくなる劣化度を算出してもよい。
動きブレおよびピントズレによるボケが発生すると、フレーム画像の空間周波数の高周波成分が減少するので、高周波成分が多いほど小さくなる劣化度を算出することにより、動きブレおよびピントズレによるボケを低減した貼り合わせフレーム画像を簡易に生成することができる。

本発明によれば、少ない計算量でブレやボケを低減した貼り合わせ画像を短時間で生成することができるという効果を奏する。

本発明の一実施形態に係る画像取得装置を示す全体構成図である。図１の画像取得装置による貼り合わせ画像とフレーム画像との貼り合わせ処理を説明する図である。図１の画像取得装置により４枚のフレーム画像を順次貼り合わせる貼り合わせ処理を説明する図である。図１の画像取得装置の第１の変形例を示す全体構成図である。図１の画像取得装置の第２の変形例を示す全体構成図である。

本発明の一実施形態に係る画像取得装置１について、図面を参照して以下に説明する。
本実施形態に係る画像取得装置１は、図１に示されるように、顕微鏡装置であって、顕微鏡本体２と、演算部３と、顕微鏡インタフェイス部４と、表示部５とを備えている。

顕微鏡本体２は、標本Ａを搭載するステージ６と、該ステージ６を３次元方向に移動させるモータ（ステージ駆動部）７と、ステージ６に搭載された標本Ａの鉛直上方に配置された対物レンズ８と、該対物レンズ８により集光された標本Ａからの光を撮影する撮像部９とを備えている。モータ７はステージ６の位置を検出するエンコーダ１０を備えている。

撮像部９は、例えば、カラー（ＲＧＢ）画像を取得可能なＣＣＤあるいはＣＭＯＳ等の撮像素子である。
撮像部９により取得された画像情報は演算部３に送られるようになっている。

演算部３は、例えば、汎用のパーソナルコンピュータ、ワークステーション、組み込みプロセッサあるいはＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）を用いた演算装置である。演算部３は、貼り合わせ画像を生成する画像生成部１１と、生成された貼り合わせ画像を記憶する記憶部１２とを備えている。記憶部１２としては、ＨＤＤあるいはＳＳＤ等を挙げることができる。

顕微鏡インタフェイス部４は、モータ７に備えられたエンコーダ１０により検出された検出情報から、ステージ６の位置情報を検出するステージ位置検出部１３と、ステージ６の速度情報（劣化度）を検出するステージ速度検出部（劣化度算出部、速度検出部）１４とを備えている。検出されたステージ６の位置情報および速度情報は、演算部３の画像生成部１１に送られるようになっている。ここで、速度情報は、数値が大きいほど、速度が大きく、劣化度が大きいことを示している。

記憶部１２は、座標（ｘ，ｙ）における画素値Ｍ（ｘ，ｙ）とステージ速度検出部１４により検出されたステージ６の速度情報Ｖ（ｘ，ｙ）とを対応づけて記憶するようになっている。
表示部５は、撮像部９により取得されたライブ画像および記憶部１２に記憶された貼り合わせ画像を表示する、例えば、液晶ディスプレイである。

画像生成部１１は、撮像部９により取得されたライブ画像と、記憶部１２に記憶されている貼り合わせ画像とを貼り合わせる貼り合わせ処理を行うようになっている。
画像生成部１１は、図２に示されるように、貼り合わせ画像が存在しない領域Ｒ１については、撮像部９により取得された画像（以下、フレーム画像Ｆという。）をそのまま貼り合わせ、速度情報Ｖ（ｘ，ｙ）については、ステージ速度検出部１４から送られてきた速度情報Ｖｆを設定するようになっている。

また、画像生成部１１は、貼り合わせ画像Ｍとフレーム画像Ｆの共通領域Ｒ２では、下式（１）に基づいて新たな貼り合わせ画像Ｍ′および速度情報Ｖ′（ｘ，ｙ）を生成するようになっている。
Ｍ′（ｘ，ｙ）＝Ｆ（ｘ，ｙ）（Ｖｆ＜Ｖ（ｘ，ｙ））
Ｍ′（ｘ，ｙ）＝Ｍ（ｘ，ｙ）（Ｖｆ≧Ｖ（ｘ，ｙ））
Ｖ′（ｘ，ｙ）＝Ｖｆ（Ｖｆ＜Ｖ（ｘ，ｙ））
Ｖ′（ｘ，ｙ）＝Ｖ（ｘ，ｙ）（Ｖｆ≧Ｖ（ｘ，ｙ））（１）

すなわち、貼り合わせ画像Ｍとフレーム画像Ｆとの共通領域においては、ステージ速度検出部１４から送られてきたステージ６の速度情報Ｖｆの大きさが、貼り合わせ画像Ｍの各画素Ｍ（ｘ，ｙ）の速度情報Ｖ（ｘ，ｙ）より小さい場合には、フレーム画像Ｆの画素Ｆ（ｘ，ｙ）が選択され、ステージ６の速度情報Ｖｆの大きさが、貼り合わせ画像Ｍの各画素Ｍ（ｘ，ｙ）の速度情報Ｖ（ｘ，ｙ）以上である場合には、貼り合わせ画像Ｍの画素Ｍ（ｘ，ｙ）が選択されるようになっている。

このように、本実施形態に係る画像取得装置１を用いて、４枚のフレーム画像Ｆから貼り合わせ画像Ｍを生成する場合について説明する。
図３（ａ）に示されるように、貼り合わせ画像Ｍが存在しない場合には、１枚目のフレーム画像Ｆ１が貼り合わせ画像Ｍとなって速度情報Ｖ（ｘ，ｙ）とともに記憶部１２に記憶される。

次いで、図３（ｂ）に示されるように、２枚目のフレーム画像Ｆ２が取得されたときには、記憶部１２に記憶されている貼り合わせ画像Ｍが呼び出されて、２枚目のフレーム画像Ｆ２が一部の共通領域を重ね合わせて貼り合わせられる。この場合に、各画像の速度情報が比較され、速度情報が小さい方の画像が共通領域の画像として選択される。この場合には、図３（ｃ）に示されるように、貼り合わせ画像Ｍ全体の速度情報が「０」、２枚目のフレーム画像Ｆ２の速度情報が「８」であり、速度情報の小さい貼り合わせ画像Ｍが、共通領域の画像として選択されている。これにより生成された図３（ｃ）の画像Ｍ′が、貼り合わせ画像Ｍとして記憶部１２に記憶される。

次いで、図３（ｄ）に示されるように、３枚目のフレーム画像Ｆ３が取得されたときには、記憶部１２に記憶されている貼り合わせ画像Ｍが呼び出されて、３枚目のフレーム画像Ｆ３が一部の共通領域を重ね合わせて貼り合わせられる。この場合に、各画像の速度情報が画素毎に比較され、速度情報が小さい方の画像が共通領域の画像として選択される。

この場合には、図３（ｅ）に示されるように、貼り合わせ画像の１枚目のフレーム画像Ｆ１との共通領域については、１枚目のフレーム画像Ｆ１の速度情報が「０」、３枚目のフレーム画像Ｆ３の速度情報が「５」であり、速度情報の小さい１枚目のフレーム画像Ｆ１が、共通領域の画像として選択されている。また、貼り合わせ画像Ｍの２枚目のフレーム画像Ｆ２との共通領域については、２枚目のフレーム画像Ｆ２の速度情報が「８」、３枚目のフレーム画像Ｆ３の速度情報が「５」であり、速度情報の小さい３枚目のフレーム画像Ｆ３が、共通領域の画像として選択されている。これにより生成された図３（ｅ）の画像Ｍ′が、貼り合わせ画像Ｍとして記憶部１２に記憶される。

さらに、図３（ｆ）に示されるように、４枚目のフレーム画像Ｆ４が取得されたときには、記憶部１２に記憶されている貼り合わせ画像Ｍが呼び出されて、４枚目のフレーム画像Ｆ４が一部の共通領域を重ね合わせて貼り合わせられる。この場合に、各画像の速度情報が画素毎に比較され、速度情報が小さい方の画像が共通領域の画像として選択される。

この場合には、図３（ｇ）に示されるように、貼り合わせ画像Ｍの１枚目のフレーム画像Ｆ１との共通領域については、１枚目のフレーム画像Ｆ１の速度情報が「０」、４枚目のフレーム画像Ｆ４の速度情報が「３」であり、速度情報の小さい１枚目のフレーム画像Ｆ１が、共通領域の画像として選択されている。また、貼り合わせ画像Ｍの２枚目のフレーム画像Ｆ２との共通領域については、２枚目のフレーム画像Ｆ２の速度情報が「８」、４枚目のフレーム画像Ｆ４の速度情報が「３」であり、速度情報の小さい４枚目のフレーム画像Ｆ４が、共通領域の画像として選択されている。さらに、貼り合わせ画像Ｍの３枚目のフレーム画像Ｆ３との共通領域については、４枚目のフレーム画像Ｆ４の速度情報が「３」、３枚目のフレーム画像Ｆ３の速度情報が「５」であり、速度情報の小さい４枚目のフレーム画像Ｆ４が、共通領域の画像として選択されている。これにより生成された図３（ｇ）の画像Ｍ′が、貼り合わせ画像Ｍとして記憶部１２に記憶される。

このように、本実施形態に係る画像取得装置１によれば、速度情報を用いて画素単位で、貼り合わせ画像Ｍとフレーム画像Ｆとの共通領域をフレーム画像Ｆで置き換えるか否かを選択することにより、同じ場所を複数回撮影する場合に、速さが最も小さい、すなわち、動きブレが最も少なく、劣化が小さい画像情報を貼り合わせ画像Ｍの生成に採用することができる。これにより動きブレの少ない貼り合わせ画像Ｍを生成することができるという利点がある。

貼り合わせ画像Ｍの一部領域をフレーム画像Ｆで置き換えるか否かの判断は、少ない計算量で行うことができ、貼り合わせ画像Ｍの生成に要する時間を大幅に短縮してリアルタイム性の要求に応えながら、貼り合わせ画像Ｍの品質を向上することができるという利点がある。

なお、本実施形態においては、画像の劣化度として速度情報を利用し、エンコーダ１０により取得していたが、これに代えて、取得された画像からステージ６の速度情報を取得することにしてもよい。
すなわち、図４に示されるように、演算部３内に動きベクトル検出部（劣化度算出部）１５を備え、撮像部９により取得されたフレーム画像Ｆと、１フレーム前に取得されたフレーム画像Ｆとの間での位置ズレによって動きベクトルを算出するようになっている。

動きベクトルの検出にはＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）やＮＣＣ（ＮｏｒｍａｌｉｚｅｄＣｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）に代表されるテンプレートマッチングや空間周波数の相関に基づく位相限定相関法等の公知技術を利用すればよい。
検出された動きベクトルは画像上での像の動きを表すので、ステージ６の移動速度と対応している。

また、動きベクトル検出部１５で検出された動きベクトルを毎フレーム積算することによってステージ位置を検出するステージ位置検出部１６を備えていてもよい。
このようにすることで、手動のステージ６を有する場合においても、エンコーダ１０等の装置を追加することなく、簡易な計算で高画質の貼り合わせ画像Ｍを取得することができるという利点がある。

また、画像の劣化度として速度情報を利用していたが、これに代えて、取得された画像の空間周波数の高周波成分の量に基づいて劣化情報を算出することにしてもよい。
すなわち、図５に示されるように、演算部３内にフレーム画像Ｆにおいて空間周波数の中域から高域部の成分を抽出して劣化情報を算出する劣化情報算出部（劣化度算出部）１７を備え、算出した劣化情報を画像生成部１１に送るようになっている。

具体的には、劣化情報算出部１７は、フレーム画像Ｆに対して、Ｌａｐｌａｃｉａｎ、ＳｏｂｅｌあるいはＰｒｅｗｉｔｔ等の公知のＦＩＲ型空間フィルタ処理を施して、フィルタ処理後の画像データの絶対値の和を劣化情報Ｂｆとして算出している。

画像生成部１１においては、式（１）に代えて、式（２）を用いることにより、貼り合わせ画像Ｍを生成すればよい。
Ｍ′（ｘ，ｙ）＝Ｆ（ｘ，ｙ）（Ｂ（ｘ，ｙ）＜Ｂｆ）
Ｍ′（ｘ，ｙ）＝Ｍ（ｘ，ｙ）（Ｂ（ｘ，ｙ）≧Ｂｆ）
Ｖ′（ｘ，ｙ）＝Ｖｆ（Ｂ（ｘ，ｙ）＜Ｂｆ）
Ｖ′（ｘ，ｙ）＝Ｖ（ｘ，ｙ）（Ｂ（ｘ，ｙ）≧Ｂｆ）（２）
ここで、Ｂ（ｘ，ｙ）は貼り合わせ画像Ｍの各画素Ｍ（ｘ，ｙ）毎の劣化情報である。

動きブレやピントズレによるボケが発生すると、一般に、空間周波数の中域から高域の成分が減少する（すなわち、劣化情報Ｂｆが減少する）ので、劣化情報が高い画素、すなわち劣化度の小さい画素を選択することで、動きブレやピントズレによるボケを低減した貼り合わせ画像を取得することができる。

このようにすることで、ステージ６の動きブレの低減に加え、ピントズレによるボケをも低減した貼り合わせ画像Ｍを生成することができる。
また、顕微鏡インタフェイス部４に設けたステージ位置検出部１３に代えて、画像からステージ位置を検出することにしてもよい。

また、本実施形態においては、貼り合わせ画像Ｍとフレーム画像Ｆとの共通領域については、両画像Ｍ，Ｆを画素毎に比較して、劣化度が小さい方を当該共通領域の画像として選択することとしたが、これに代えて、劣化度が小さい方の画像の合成比率を高くして合成することにしてもよい。例えば、貼り合せ画像Ｍとフレーム画像Ｆとの共通領域について、貼り合せ画像Ｍの座標（ｘ，ｙ）における画素値がＭ（ｘ，ｙ）で、フレーム画像Ｆの座標（ｘ，ｙ）における画素値がＦ（ｘ，ｙ）で、貼り合せ画像Ｍの速度情報（劣化情報）がＶｍで、フレーム画像Ｆの速度情報がＶｆであった場合、式（３）のように速度情報を用いた重み付け加算により、速度情報が小さい、すなわち劣化度が小さい画像が高い合成比率で合成されるように新たな貼り合せ画像Ｍ′を作成してもよい。
Ｍ′（ｘ，ｙ）＝（１−α）×Ｍ（ｘ，ｙ）＋α×Ｆ（ｘ，ｙ）
ここでα＝Ｖｍ／（Ｖｍ＋Ｖｆ）（３）

１画像取得装置
６ステージ
７モータ（ステージ駆動部）
８対物レンズ
９撮像部
１１画像生成部
１４ステージ速度検出部（劣化度算出部、速度検出部）
１５動きベクトル検出部（劣化度算出部）
１７劣化情報算出部（劣化度算出部）
Ａ標本

Claims

標本を搭載するステージと、
該ステージに搭載された前記標本からの光を集光する対物レンズと、
該対物レンズの光軸に交差する方向に前記ステージを駆動するステージ駆動部と、
前記対物レンズにより集光された光を撮影してフレーム画像を取得する撮像部と、
前記ステージの速度情報を検出するステージ速度検出部と、
前記撮像部により取得された複数の前記フレーム画像を貼り合わせて貼り合わせ画像を生成する画像生成部と、
該画像生成部により生成された前記貼り合わせ画像を記憶し、さらに前記速度情報と、前記貼り合わせ画像の各座標における画素値とを対応付けて記憶する記憶部とを備え、
前記画像生成部が、
前記記憶部に記憶されている前記貼り合わせ画像に前記画像取得部により取得された前記フレーム画像を貼り合わせて新たな貼り合わせ画像を生成し、
前記貼り合わせ画像と前記フレーム画像との共通領域において、下式（１）に基づいて前記新たな貼り合わせ画像を生成するとともに該新たな貼り合わせ画像の前記画素値および前記速度情報を生成するように構成される画像取得装置。
Ｍ’（ｘ，ｙ）＝Ｆ（ｘ，ｙ）（Ｖｆ＜Ｖ（ｘ，ｙ）のとき）
Ｍ’（ｘ，ｙ）＝Ｍ（ｘ，ｙ）（Ｖｆ≧Ｖ（ｘ，ｙ）のとき）
Ｖ’（ｘ，ｙ）＝Ｖｆ（Ｖｆ＜Ｖ（ｘ，ｙ）のとき）
Ｖ’（ｘ，ｙ）＝Ｖ（ｘ，ｙ）（Ｖｆ≧Ｖ（ｘ，ｙ）のとき）（１）
ただし、
Ｍ（ｘ，ｙ）は、前記記憶部に記憶された前記貼り合わせ画像の座標（ｘ，ｙ）における画素値、
Ｍ’（ｘ，ｙ）は、前記新たな貼り合わせ画像の画素値、
Ｆ（ｘ，ｙ）は、前記フレーム画像の画素値、
Ｖ’（ｘ，ｙ）は、前記新たな貼り合わせ画像の速度情報、
Ｖｆは、前記貼り合わせ画像に貼り合わせられる前記フレーム画像の速度情報、
Ｖ（ｘ，ｙ）は、前記貼り合わせ画像の速度情報
である。
前記ステージ速度検出部が、前記撮像部により異なる時刻に取得された前記フレーム画像間の相対位置に基づいて、前記速度情報を算出する請求項１に記載の画像取得装置。