JPWO2014045525A1 - 画像処理装置、画像処理プログラム及び画像処理方法 - Google Patents

Abstract

【課題】顕微鏡画像の撮像に利用される全体画像の視認性と画像処理精度を両立させることが可能な画像処理装置、画像処理プログラム及び画像処理方法を提供すること。【解決手段】本技術に係る画像処理装置は、出力値取得部と、第１の補間部と、第２の補間部と、画像生成部と、第１のエッジ検出部とを具備する。出力値取得部は、二次元的に配列された複数の受光素子を有する撮像素子から、複数の受光素子のそれぞれの出力値を取得する。第１の補間部は、第１の補間アルゴリズムを利用して画素値を補間する。第２の補間部は、第２の補間アルゴリズムを利用して画素値を補間する。画像生成部は、第１の補間部によって補間された画素値から画像を生成する。第１のエッジ検出部は、第２の補間部によって補間された画素値から、第１のエッジ検出アルゴリズムを利用してエッジを検出する。【選択図】図５

Description

本技術は、病理診断等に利用可能なデジタルイメージングに関する。

病理診断等の分野で利用される顕微鏡撮像画像のデジタルイメージングにおいては、病理組織等が固定された試料（スライド）が顕微鏡を介して撮像装置によって撮像される。ここで、顕微鏡を介することによって撮像装置の視野範囲は微細となるため、試料において顕微鏡観察が必要な範囲（以下、観察対象範囲）を、撮像装置の視野範囲を移動させながら複数回にわたって撮像することが一般的である。撮像された画像（以下、顕微鏡撮像画像）は位置合わせをして結合され、観察対象範囲の顕微鏡撮像画が生成される。

多くの場合、顕微鏡撮像の前に試料全体を別の倍率、もしくは別の光学系、撮像素子で撮像し、得られた画像（以下、全体画像）に対して画像処理を施すことによって上記観察対象範囲を検出することが行われる。例えば特許文献１には、試料の全体を撮像した画像から観察対象範囲を検出し、その範囲を顕微鏡撮像する「検体領域検出方法」が開示されている。

全体画像は、観察者が所望の顕微鏡撮像画像を検索するための一覧用画像（サムネイル画像）としても利用される。さらに試料には、試料を特定するための情報（文字やバーコード等）等が表示されている場合もあり、全体画像からこのような情報の読み取りも行われる。

特開２０１２−１１７９３０号公報

しかしながら、上述のようなデジタルイメージングにおいては、全体画像の生成に関する問題が見出される。具体的には、全体画像の撮像装置が備える撮像素子（ＣＣＤ等）の出力から全体画像を生成する際、一覧用画像の視認性と、観察対象範囲の検出精度及び情報読み取りの精度をの双方の要件が必要であり、どちらも重要である。視認性の高い画像と画像処理のしやすい画像はその特性が異なる事が多く、両者を同時に満たす事が難しい事がある。

上記のように全体画像は一覧用画像としても利用され、また全体画像の撮像装置は解像度がそれほど高くなく、表示はさらに縮小する場合もあり、一覧用画像には縮小表示したときの視認性が重要である。一方で、全体画像に対する画像処理結果から観察対象範囲の特定や情報認識が行われるため、視認性を重視して画像処理の精度を低下させるのは好適ではない。加えて、病理診断等の分野において顕微鏡観察が必要が試料は膨大であり、撮像プロセスの高速化も望まれている為、全体画像に対して高倍率の撮像系で複数枚撮影を行うと言う方法は避けたい。

以上のような事情に鑑み、本技術の目的は、顕微鏡画像の撮像に利用される全体画像の視認性と画像処理精度を両立させることが可能な画像処理装置、画像処理プログラム及び画像処理方法を提供することにある。

上記目的を達成するため、本技術の一形態に係る画像処理装置は、出力値取得部と、第１の補間部と、第２の補間部と、画像生成部と、第１のエッジ検出部とを具備する。
上記出力値取得部は、二次元的に配列された複数の受光素子を有する撮像素子から、上記複数の受光素子のそれぞれの出力値を取得する。
上記第１の補間部は、第１の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する。
上記第２の補間部は、上記第１の補間アルゴリズムとは異なる第２の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する。
上記画像生成部は、上記第１の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成する。
上記第１のエッジ検出部は上記第２の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、第１のエッジ検出アルゴリズムを利用してエッジを検出する。

出力値取得部は、上記撮像素子が有する複数の受光素子の出力値を取得する。ここで、各受光素子の出力値は、各受光素子に設けられた各色（例えばＲ、Ｇ、Ｂ）のカラーフィルタを透過した光の強度を示すものである。したがって、各受光素子に対応する画素値（例えばＲＧＢ値）を生成するためには、各受光素子の出力値から各受光素子に対応する画素値を補間（デモザイク）する必要がある。上記構成によれば、各受光素子の出力値から画素値を補間する際、第１の補間部が第１の補間アルゴリズムを利用して、第２の補間部が第２の補間アルゴリズムを利用して、それぞれ画素値の補間を行う。このため、画像の生成用の補間アルゴリズム（第１の補間アルゴリズム）とエッジ検出用の補間アルゴリズム（第２の補間アルゴリズム）として、それぞれに適した補間アルゴリズムを採用することができる。したがって、上記構成によれば、画像の視認性とエッジ検出の精度を両立させることが可能である。なお、エッジ検出によって検出されたエッジは、顕微鏡観察領域の検出や、試料に表示された情報の認識に利用することができるため、エッジ検出の精度を向上させると、これらの処理の精度を向上させることができる。

上記第１の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように上記画素値を補間する補間アルゴリズムであり、
上記第２の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が上記第１の補間アルゴリズムより大きくなるように上記画素値を補間する補間アルゴリズムであってもよい。

画像の生成用の第１の補間アルゴリズムを、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように画素値を補間する補間アルゴリズムとすることにより、生成された画像において画素間の画素値差（コントラスト）が小さくなり、即ち画素値が滑らかに変化する視認性に優れた画像を生成することが可能となる。また、エッジ検出用の第２の補間アルゴリズムを、隣接する受光素子にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する補間アルゴリズムとすることにより、エッジ検出処理においてエッジ（画素値の差を利用して検出される）の検出精度を向上させることが可能となる。

上記画像処理装置は、上記第１のエッジ検出部による検出結果から領域検出を行う領域検出部をさらに具備してもよい。

上述のように、第１のエッジ検出部は、第２の補間部が第２の補間アルゴリズムを利用して補間した画素値から高精度にエッジを検出することが可能である。したがって、第１のエッジ検出部の検出結果を利用する領域検出部は、高精度に領域検出を実行することが可能である。

上記画像処理装置は、
上記第２の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、上記第１のエッジ検出アルゴリズムとは異なる第２のエッジ検出アルゴリズムを利用してエッジを検出する第２のエッジ検出部と
上記第２のエッジ検出部による検出結果から、情報認識を行う情報認識部
をさらに具備してもよい。

第２のエッジ検出部は、第１のエッジ検出部と同様に第２の補間部によって補間された画素値から高精度にエッジを検出することができ、第２のエッジ検出結果を利用する情報認識部は、高精度に情報認識を行うことが可能である。領域検出に利用されるエッジを検出する第１のエッジ検出アルゴリズムと、情報認識に利用されるエッジを検出する第２のエッジ検出アルゴリズムを別々にすることによって、それぞれの処理に適したエッジ検出アルゴリズムを利用することが可能となる。

上記第２の補間部は、上記画素値の補間と共にＹＵＶ変換を行ってもよい。

第２の補間部によって補間（生成）される画素値は、エッジ検出に利用されるものであるため、ＲＧＢ形式よりＹＵＶ形式の方が好適である。このため、第２の補間部は、補間によって生成されたＲＧＢ形式の画素値をＹＵＶ形式に変換するものとすることができる。ここで、第２の補間部が、画素値の補間と共に（各画素毎に）画素値のＹＵＶ変換を実施することにより、全画素の画素値を補間した後に全画素についてＹＵＶ変換をする場合に比べ、処理時間の短縮が可能となる。

上記第１の補間アルゴリズムは、線形補間法であってもよく、
上記第２の補間アルゴリズムは、勾配法であってもよい。

線形補間法は、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように画素値を補間する補間アルゴリズムであり、第１の補間アルゴリズムとして好適である。勾配法は、隣接する受光素子にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する補間アルゴリズムであり、第２の補間アルゴリズムとして好適である。

上記領域検出部は、上記第１のエッジ検出部による検出結果においてエッジを含む領域を試料における観察対象領域として検出し、
上記情報認識部は、上記第２のエッジ検出部による検出結果から上記試料に表示された文字又はコードを認識してもよい。

第１のエッジ検出部によって検出されたエッジを含む画素の領域は、試料において検体（病理組織等）が存在する領域と判断することができる。検体が存在しない領域（スライドガラス上等）には本来的にエッジが検出されないためである。領域検出部は、高精度にエッジが検出された第１のエッジ検出部による検出結果を利用して、高精度に観察対象領域（即ち、検体が存在する領域）を検出することが可能である。また、試料に文字やコード（バーコード等）が表示されている場合において、情報認識部は、高精度にエッジが検出された第２のエッジ検出部による検出結果を利用して、高精度に文字やコードを検出し、情報として認識することが可能である。

上記画像処理装置は、
上記第１の補間アルゴリズム及び上記第２の補間アルゴリズムとは異なる第３の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する第３の補間部と
上記第３の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、上記第１のエッジ検出アルゴリズムとは異なる第２のエッジ検出アルゴリズムを利用してエッジを検出する第２のエッジ検出部
をさらに具備してもよい。

この構成によれば、第１の補間補間部及び第２の補間部に加え、第３の補間部が第３野補間アルゴリズムを利用して画素値の補間を行う。これにより、第１のエッジ検出部が補間結果（画素値）を利用する第２の補間アルゴリズムと、第２のエッジ検出部が補間結果（画素値）を利用する第３の補間アルゴリズムを、それぞれのエッジ検出処理に適した補間アルゴリズムとすることが可能である。第１のエッジ検出部と第２のエッジ検出部は共にエッジ検出を行うが、後述する領域検出と情報認識のようにエッジ検出結果が異なる処理に利用される場合において、それぞれの処理に適するエッジ検出アルゴリズムが異なる場合がある。このような場合に、画素値の補間の段階から、それぞれのエッジ検出アルゴリズムのエッジ検出に適した補間アルゴリズムを利用することにより、エッジ検出の精度を向上させることが可能である。

上記第１の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように上記画素値を補間する補間アルゴリズムであり、
上記第２の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が上記第１の補間アルゴリズムより大きくなるように上記画素値を補間する補間アルゴリズムであり、
上記第３の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が上記第１の補間アルゴリズムより大きくなるように上記画素値を補間する補間アルゴリズムであってもよい。

画像の生成用の第１の補間アルゴリズムを、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように画素値を補間する補間アルゴリズムとすることにより、生成された画像において画素間の画素値差が小さくなり、即ち画素値が滑らかに変化する視認性に優れた画像を生成することが可能となる。また、エッジ検出用の第２の補間アルゴリズム及び第３の補間アルゴリズムを、隣接する受光素子にそれぞれ対応する画素の画素値画素値の差が大きくなるように画素値を補間する補間アルゴリズムとすることにより、エッジ検出処理においてエッジの検出精度を向上させることが可能となる。

上記画像処理装置は、
上記第１のエッジ検出部による検出結果から領域検出を行う領域検出部と
上記第２のエッジ検出部による検出結果から情報認識を行う情報認識部
をさらに具備してもよい。

上述のように、第１のエッジ検出部は、第２の補間部が第２の補間アルゴリズムを利用して補間した画素値から高精度にエッジを検出することが可能である。したがって、第１のエッジ検出部の検出結果を利用する領域検出部は、高精度に領域検出を実行することが可能である。また、第２のエッジ検出部は、第３の補間部によって補間された画素値から高精度にエッジを検出することができ、第２のエッジ検出結果を利用する情報認識部は、高精度に情報認識を行うことが可能である。

上記第２の補間部は、上記画素値の補間と共にＹＵＶ変換を行い
上記第３の補間部は、上記画素値の補間と共にＹＵＶ変換を行ってもよい。

第２の補間部及び第３の補間部が、画素値の補間と共に（各画素毎に）画素値のＹＵＶ変換を実施することにより、全画素の画素値を補間した後に全画素についてＹＵＶ変換をする場合に比べ、処理時間の短縮が可能となる。

上記第１の補間アルゴリズムは、線形補間法であり、
上記第２の補間アルゴリズムは、勾配法であり
上記第３の補間アルゴリズムは、適応型カラーブレーン補間法である
画像処理装置。

線形補間法は、隣接する受光素子にそれぞれ対応する画素の差が小さくなるように画素値を補間する補間アルゴリズムであり、第１の補間アルゴリズムとして好適である。勾配法は、隣接する受光素子にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する補間アルゴリズムであり、第２の補間アルゴリズムとして好適である。適法型カラーブレーン補間法（ＡＣＰＩ：Advanced Color Plane Interpolation法）は、隣接する受光素子にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する補間アルゴリズムであり、第３の補間アルゴリズムとして好適である。

上記領域検出部は、上記第１のエッジ検出部による検出結果においてエッジを含む領域を試料における観察対象領域として検出し、
上記情報認識部は、上記第２のエッジ検出部による検出結果から上記試料に表示された文字又はコードを認識する
画像処理装置。

領域検出部は、高精度にエッジが検出された第１のエッジ検出部による検出結果を利用して、高精度に観察対象領域（即ち、検体が存在する領域）を検出することが可能である。また、情報認識部は、高精度にエッジが検出された第２のエッジ検出部による検出結果を利用して、高精度に文字やコードを検出し、情報として認識することが可能である。

上記目的を達成するため、本技術の一形態に係る画像処理プログラムは、出力値取得部と、第１の補間部と、第２の補間部と、画像生成部と、エッジ検出部ととして情報処理装置を機能させる。
上記出力値取得部は、二次元的に配列された複数の受光素子を有する撮像素子から、上記複数の受光素子のそれぞれの出力値を取得する。
上記第１の補間部は、第１の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する。
上記第２の補間部は、上記第１の補間アルゴリズムとは異なる第２の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する。
上記画像生成部は、上記第１の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成する。
上記第１のエッジ検出部は、上記第２の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、第１のエッジ検出アルゴリズムを利用してエッジを検出する。

上記目的を達成するため、本技術の一形態に係る画像処理方法は、出力値取得部が、二次元的に配列された複数の受光素子を有する撮像素子から、上記複数の受光素子のそれぞれの出力値を取得する。
第１の補間部が、第１の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する。
第２の補間部が、上記第１の補間アルゴリズムとは異なる第２の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する。
画像生成部が、上記第１の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成する。
エッジ検出部が、上記第２の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、エッジ検出アルゴリズムを利用してエッジを検出する。

以上のように、本技術によれば、顕微鏡画像の撮像に利用される全体画像の視認性と画像処理精度を両立させることが可能な画像処理装置、画像処理プログラム及び画像処理方法を提供することが可能である。

本技術の第１の実施形態に係る顕微鏡撮像装置の概略構成を示す模式図である。 同顕微鏡撮像装置が備える全体像撮像素子の構成を示す模式図である。 同顕微鏡装置が備える画像処理装置の機能的構成を示すブロックである。 同顕微鏡装置が備える画像処理装置による画素値の補間を示す模式である。 同顕微鏡装置が備える画像処理装置の動作を示す模式図である。 比較に係る顕微鏡装置が備える画像処理装置の動作を示す模式図である。 本技術の第２の実施形態に係る顕微鏡撮像装置が備える画像処理装置の機能的構成を示すブロックである。 同顕微鏡装置が備える画像処理装置の動作を示す模式図である。

（第１の実施形態）
本技術の第１の実施形態に係る顕微鏡撮像装置について説明する。

［顕微鏡撮像装置の概略構成］
本実施形態に係る顕微鏡撮像装置について説明する。図１は、顕微鏡撮像装置１の概略構成を示す模式図である。同図に示すように、顕微鏡撮像装置１は、ステージ１１、顕微鏡光学系１２、顕微鏡撮像素子１３、全体像光学系１４、全体像撮像素子１５、制御装置１６、画像処理装置１７及びディスプレイ１８から構成されている。顕微鏡撮像素子１３、全体像撮像素子１５及びステージ１１は制御装置１６に接続され、制御装置１６は画像処理装置１７に接続されている。ディスプレイ１８は画像処理装置１７に接続され、ステージ１１には、試料Ｓが載置されている。試料Ｓは、観察対象である検体（例えば病理組織）が固定されたプレパラート等である。

ステージ１１は、試料Ｓを支持し、制御装置１６による制御を受けて試料Ｓを顕微鏡光学系１２や全体像撮像素子１５に対して移動させる。なお、ステージ１１が移動する替わりに、顕微鏡光学系１２や全体像光学系１４がステージ１１に対して移動してもよい。

顕微鏡光学系１２は、試料Ｓの像を拡大し、顕微鏡撮像素子１３に導く。顕微鏡光学系１２の構成は特に限定されない。また、顕微鏡光学系１２は、制御装置１６によって拡大倍率等の制御を受けるものであってもよい。

顕微鏡撮像素子１３は、顕微鏡光学系１２によって拡大された試料Ｓの部分的な顕微鏡撮像画像（以下、顕微鏡画像）を撮像する。顕微鏡撮像素子１３は、撮像した顕微鏡画像を、制御装置１６を介して画像処理装置１７に伝送する。また、顕微鏡撮像素子１３は、制御装置１６によって撮像タイミング等の制御を受ける。顕微鏡撮像素子１３の構成は特に限定されないが、高解像度を有するものが好適である。

全体像光学系１４は、試料Ｓの像を全体像撮像素子１５に導く。全体像光学系１４の構成は特に限定されない。

全体像撮像素子１５は、全体像光学系１４を介して試料Ｓの全体的な画像（以下、全体画像）を撮像する。全体像撮像素子１５は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の、複数の受光素子（光電変換素子）を有する撮像素子である。

図２は、全体像撮像素子１５を示す模式図である。同図に示すように、全体像撮像素子１５は、二次元的に配列された複数の受光素子１５１を有する。なお、受光素子１５１の数（画素数）は実際には数十万〜数百万程度である。全体像撮像素子１５は、上記顕微鏡撮像素子１３ほど解像度が高いものでなくてもよい。

各受光素子１５１には、受光面の前にカラーフィルタが設けられている。カラーフィルタは特定の波長の光を透過させるフィルタであり、一般的には赤色（Ｒ）、青色（Ｂ）及び緑色（Ｇ）の３色が利用される。図２に示すように、各受光素子１５１には、赤色（Ｒ）、青色（Ｂ）及び緑色（Ｇ）のいずれかのカラーフィルタが設けられており、即ち全体像撮像素子１５は単板式の撮像素子である。図２に示すカラーフィルタの配列はベイヤ（Bayer)配列と呼ばれる配列であり、人間の受光感度に合わせて緑色（Ｇ）が多く配置されている。なお、本実施形態に係る全体像撮像素子１５はベイヤ配列を有するものに限られず、他のカラーフィルタ配列を有するものであってもよい。カラーフィルタの色は上記３色には限られない。

このような全体像撮像素子１５の構造によって、各受光素子１５１の出力値は、その受光素子１５１に設けられたカラーフィルタを透過した光の強度（濃淡）となる。例えば、赤色（Ｒ）のカラーフィルタが設けられた受光素子１５１の出力値には、青色（Ｂ）及び緑色（Ｇ）の情報は含まれない。このままだと、各受光素子１５１の出力値から画像を生成した場合に、その画素数が受光素子１５１の数に比較して少なくなる（１／２又は１／４）ため、受光素子１５１毎に、周囲の受光素子１５１の出力値を利用して画素値（ＲＧＢ値）の補間が行われる。この補間については後述する。

制御装置１６は、顕微鏡画像撮像素子１３及び全体画像撮像素子１５の出力を取得し、画像処理装置１７に伝送する。また、制御装置１６は、画像処理装置１７から供給された情報（領域検出結果、後述）に基づいてステージ１１や顕微鏡画像撮像素子１３を制御する。

画像処理装置１７は、顕微鏡撮像素子１３及び全体像撮像素子１５の出力を取得し、画像の生成や画像処理を実行する。また、画像処理装置１７は、ディスプレイ１８に顕微鏡画像や全体画像を表示させる。画像処理装置１７の詳細な構成は後述するが、画像処理装置１７はパーソナルコンピュータ等の情報処理装置であるものとすることができる。

ディスプレイ１８は、画像処理装置１７から供給された顕微鏡画像や全体画像を表示する。ディスプレイ１８の構成は特に限定されない。

顕微鏡撮像装置１は以上のような構成を有する。なお、上記構成は例示であり、ここに示すものと異なる構成とすることも可能である。

［顕微鏡撮像装置の動作］
顕微鏡撮像装置１は次のように動作する。まず、全体像撮像素子１５によって試料Ｓの全体画像が撮像され、全体画像データが生成される。全体画像データは、全体像撮像素子１５から制御装置１６を介して画像処理装置１７に伝送される。

画像処理装置１７は、全体画像データから全体画像を生成する。また、画像処理装置１７は、全体画像データに対して後述する画像処理を施し、試料Ｓにおいて観察対象である検体が存在する領域（以下、検体存在領域）を検出する。例えば、試料Ｓがスライドガラス上に検体が固定されたものである場合、検体が存在しないスライドガラス上の領域は観察する必要がないためである。即ち、検体存在領域は、試料Ｓにおいて顕微鏡撮像が必要な観察対象領域である。

また、画像処理装置１７は、試料Ｓに文字やコード（バーコード等）等の情報（以下、表示情報）が表示されている場合には、全体画像データからこれらの情報を認識する。なお、文字やコードは、ユーザ（観察者や検体採取者等）等が試料Ｓに記載あるいは貼付した検体番号等である。画像処理装置１７は、検出した検体存在領域を制御装置１６に供給する。

制御装置１６は、画像処理装置１７から供給された検体存在領域に基づいて、ステージ１１、顕微鏡光学系１２及び顕微鏡撮像素子１３を制御し、顕微鏡撮像素子１３に所定倍率で検体存在領域を撮像させる。顕微鏡撮像素子１３は顕微鏡光学系１２によって微細な視野範囲となるため、検体存在領域を複数領域に分割し、各領域毎に撮像する。顕微鏡撮像素子１３は、撮像によって生成された複数の顕微鏡画像データを制御装置１６を介して画像処理装置１７に伝送する。

画像処理装置１７は、複数の顕微鏡画像データを結合（スティッチング）する。これにより、検体存在領域の顕微鏡画像が生成される。画像処理装置１７は、全体画像と顕微鏡画像を関連付け、また、全体画像から読み取った表示情報があればこれらに関連付け、保存する。

ユーザが試料の画像を閲覧する際には、画像処理装置１７は、全体画像を一覧用画像（サムネイル画像）としてディスプレイ１８に表示させることができ、各全体画像に表示情報を付加的に表示することもできる。ユーザが一覧用画像や表示情報を参照して所望の試料を選択すると、画像処理装置１７は選択された試料に関連付けられている顕微鏡画像をディスプレイ１８に表示させるものとすることができる。

上記のように、顕微鏡撮像装置１においては、全体像撮像素子１５によって撮像された試料Ｓの全体画像データを利用して、顕微鏡撮像素子１３の撮像範囲（即ち検体存在領域）の検出や表示情報の認識が行われる。また、全体画像データから生成された全体画像は、ユーザが所望の顕微鏡画像を検索するための一覧用画像としても利用される。

ここで、一般に全体像撮像素子１５の解像度は低く、検体存在領域の抽出や表示情報の認識の精度が問題となる。全体像撮像素子１５の解像度を向上させると、これらの処理に時間を要するため好適ではない。特に病理診断の分野等においては、顕微鏡観察が必要な試料Ｓの数は膨大となることが多く、撮像プロセスの高速化が求められている。本実施形態に係る顕微鏡撮像装置１においては、次に説明する画像処理装置１７の構成によって、検体存在領域の検出や表示情報の認識の精度を向上させると共に、これらの処理に必要な時間を短縮することが実現されている。

［画像処理装置の機能的構成］
画像処理装置１７の機能的構成について説明する。図３は、画像処理装置１７の機能的構成を示すブロック図である。同図に示すように、画像処理装置１７は、出力値取得部１７１、第１補間部１７２、第２補間部１７３、画像生成部１７４、第１エッジ検出部１７５、第２エッジ検出部１７６、領域検出部１７７、情報認識部１７８、記憶部１７９及び画像表示部１８０を有する。

このような画像処理装置１７の機能的構成は、ＣＰＵ（Central Processing Unit）やメモリ等のハードウェアとソフトウェアの協働によって実現されるものである。また、これらの構成は必ずしも一つの機器によって実現されている必要はなく、複数の機器によって実現されていてもよく、コンピュータネットワークを介して、あるいはコンピュータネットワーク上に実現されていてもよい。

出力値取得部１７１は、制御装置１６（図示略）を介して、全体像撮像素子１５から各受光素子１５１の出力値を取得する。上述のように、各受光素子１５１には各色（Ｒ、Ｇ又はＢ）のカラーフィルタが設けられており、各受光素子１５１の出力値はカラーフィルタを透過した特定の色の光の強度（濃淡）である。以下、出力値取得部１７１が各受光素子１５１から取得する各色の出力値を、図２に付した記号（Ｒ_１１等）で示す。出力値取得部１７１は、取得した各受光素子１５１の出力値を第１補間部１７２と第２補間部１７３に供給する。

第１補間部１７２及び第２補間部１７２は、出力値取得部１７１から供給された各受光素子１５１の出力値から、各受光素子１５１のそれぞれに対応する画素の画素値を生成（補間）する。

図４は画素値の補間を示す模式図である。図４（ａ）に各受光素子１５１から出力された出力値（G_３２等）を示す。同図に示すように、中央の画素の出力値は緑色についての値（緑色のカラーフィルタが設けられた受光素子１５１の出力値）であるが、その周囲（上下左右）の受光素子１５１の出力値は赤色（Ｒ）または青色（Ｂ）についての値である。

このため、図４（ｂ）に示すように中央の画素は、自己の出力値を緑色成分（Ｇ）とし、赤色成分（Ｒ’）及び青色成分（Ｂ’）を周囲に位置する画素の出力値を用いて補間することができる。このような画素値の補間は「デモザイク」と呼ばれる。以下、各受光素子１５１について、自己の出力値と周囲の受光素子の出力値を利用して補間された各色の成分（ＲＧＢ値）を、その受光素子１５１に対応する画素の画素値とする。なお、ここに示す画素値の生成方法は、特定の補間アルゴリズムを示すものではない。

第１補間部１７２は、第１補間アルゴリズムを利用して、各受光素子１５１の出力値から、各受光素子１５１に対応する画素の画素値を生成する。ここで、第１補間アルゴリズムは、隣接する受光素子１５１にそれぞれ対応する画素の画素値の差が小さくなるように画素値を補間する補間アルゴリズムとすることができる。そのような補間アルゴリズムは、具体的には、「線形補間法」を挙げることができる。

線形補間法は、補間すべき画素の画素値を、周囲に位置する画素の出力値の平均値とすることによって補間する補間アルゴリズムである。線形補間法では、各画素の画素値は平滑化され、後述する第２補間アルゴリズムに比較して画素値の差が小さくなる。隣接画素との差を少なくするアルゴリズムの場合、縮小表示する場合に例えば画素を間引いたり、平均化して縮小表示しても、元の画像に比して極端に変わるような事はない。

なお、第１補間アルゴリズムは線形補間法に限定されず、後述する第２補間アルゴリズムに比較して画素値の差が小さくなる他の補間アルゴリズムとすることも可能である。また、例えば、偽色と呼ばれる画素値の補間によって生じる色のずれを防止することができる「曲面当てはめ法」を第１補間アルゴリズムとすることも可能である。第１補間部１７２は、補間した各受光素子１５１に対応する画素の画素値を、画像生成部１７４に供給する。

第２補間部１７３は、第２補間アルゴリズムを利用して、各受光素子１５１の出力値から、各受光素子１５１に対応する画素の画素値を生成する。ここで、第２補間アルゴリズムは、第１補間アルゴリズムとは異なる補間アルゴリズムである。特に第２補間アルゴリズムは、第１補間アルゴリズムに比較して隣接する受光素子１５１にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する補間アルゴリズムが好適である。そのような補間アルゴリズムは、具体的には、「勾配法」を挙げることができる。

勾配法は、各画素の緑色成分を、連続性の強い方向に沿って求め、その後、他の色の成分を、求めた緑色成分と比較する補間アルゴリズムである。勾配法では、各色成分が単純に平均化される線形補間法（第１補間アルゴリズム）に比較して画素値の差が大きくなる。

なお、第２補間アルゴリズムは勾配法に限定されず、第１の補間アルゴリズムに比較して画素値の差が大きくなる他の補間アルゴリズムとすることも可能である。例えば第２の実施形態において説明する適応型カラーブレーン補間法（ＡＣＰＩ法）を第２補間アルゴリズムとして利用することも可能である。第２補間部１７３は、補間した各受光素子１５１に対応する画素の画素値を、第１エッジ検出部１７５及び第２エッジ検出部１７６に供給する。

また、第２補間部１７３は、第２補間アルゴリズムを利用しての画素値の補間と共に画素値のＹＵＶ変換を実行するものとすることも可能である。後述するように第２補間部１７３によって生成される画素値は、画像の生成には利用されず、エッジ検出に利用されるものであるため、画素値はＲＧＢ形式よりＹＵＶ（Ｙ＝輝度、Ｕ＝輝度と青成分の差、Ｖ輝度と赤成分の差）形式の方が好適である。

ここで、画素値の補間と「共に」ＹＵＶ変換をするとは、ひとつの受光素子１５１に対応する画素の画素値（ＲＧＢ値）を生成した後、その画素値をＹＵＶ変換し、次の受光素子１５１に対応する画素の画素値を生成するように、画素値の生成とＹＵＶ変換を並行して実施することを意味する。第２補間部１７３がこのように画素値の補間とＹＵＶ変換を共に実施することにより、全ての受光素子１５１についての画素値の生成後に各画素値に対してＹＵＶ変換を実施する場合に比べて処理時間の短縮が可能となる。

画像生成部１７４は、第１補間部１７２によって生成された各受光素子１５１に対応する画素の画素値から画像（全体画像）を生成する。上述のように、第１補間部１７２においては、隣接する各受光素子１５１にそれぞれ対応する画素の画素値の差が小さくなるように画素値を補間する第１補間アルゴリズムが利用されているため、生成される画像は、画素値が滑らかに変化する視認性に優れた画像となる。上記のように、全体像撮像素子１５は解像度が低い場合が多いが、このような場合には特に画像の視認性が重要となる。画像生成部１７４は、生成した全体画像を記憶部１７９に保存する。

第１エッジ検出部１７５は、第２補間部１７３によって生成された各受光素子１５１に対応する画素の画素値から、エッジを検出する。エッジは、隣接する画素間またはある程度の画素範囲の間における画素値の相違が大きい境界であり、第１エッジ検出部１７５は、第１エッジ検出アルゴリズムを利用してエッジを検出するものとすることが可能である。第１エッジ検出アルゴリズムは特に限定されないが、後述する領域検出部１７７が領域検出を実行しやすいエッジ検出アルゴリズムが好適である。

ここで、第２補間部１７３においては、隣接する受光素子１５１にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する第２補間アルゴリズムが利用されている。エッジは、画素値の差が大きい方が検出しやすいため、第１エッジ検出部１７５は、高い検出精度でエッジを検出することが可能である。第１エッジ検出部１７５は、エッジ検出結果を領域検出部１７７に供給する。

第２エッジ検出部１７６は、第２補間部１７３によって生成された各受光素子１５１に対応する画素の画素値から、エッジを検出する。第２エッジ検出部１７６は、上記第１エッジ検出アルゴリズムとは異なる第２エッジ検出アルゴリズムを利用してエッジを検出するものとすることが可能である。第２エッジ検出アルゴリズムは特に限定されないが、後述する情報認識部１７８が情報認識を実行しやすい検出アルゴリズムが好適である。

ここで、第２補間部１７３においては、隣接する受光素子１５１にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する第２補間アルゴリズムが利用されているため、第２エッジ検出部１７６は、高い検出精度でエッジを検出することが可能である。第２エッジ検出部１７６は、エッジ検出結果を情報認識部１７８に供給する。

領域検出部１７７は、第１エッジ検出部１７５のエッジ検出結果から、領域検出を行う。領域検出は、上述した試料Ｓにおいて、観察対象である検体が存在する領域（検体存在領域）を検出する処理である。領域検出部１７７は、第１エッジ検出部１７５において検出されたエッジが存在する領域を検体存在領域とすることが可能である。試料Ｓにおいて、検体が存在しない領域は一般にエッジが含まれない（例えばスライドガラス等）ため、エッジの有無で検体の有無を判断することが可能である。

ここで、上述のように第１エッジ検出部１７５は、第２補間アルゴリズムを利用して生成された画素値から高精度にエッジを検出しているため、そのエッジを利用する領域検出部１７７による領域検出も高精度に実行することが可能である。領域検出部１７７は、検出した検体存在領域を制御装置１６に供給する。

情報認識部１７８は、第２エッジ検出部１７６のエッジ検出結果から、情報認識を行う。情報認識は、試料Ｓに表示されている表示情報、例えば文字やコード（バーコード等）を検出し、情報として認識するものである。情報認識部１７８は、第２エッジ検出部１７６において検出されたエッジから、輪郭抽出等の処理を実行し、情報として認識するものとすることが可能である

ここで、上述のように第２エッジ検出部１７６は、第２補間アルゴリズムを利用して生成された画素値から高精度にエッジを検出しているため、そのエッジを利用する情報認識部１７８による情報認識も高精度に実行することが可能である。情報認識部１７８は、情報認識結果を記憶部１７９に供給し、全体画像に関連付けて保存させる。

記憶部１７９は、上述のように、画像生成部１７４から供給される全体画像や情報認識部１７８から供給される情報、さらには顕微鏡撮像素子１３によって撮像された顕微鏡画像等を保存する。

画像表示部１８０は、画像をディスプレイ１８に表示させる。画像表示部１８０は、上記全体画像や顕微鏡画像、これらに関連付けられている情報等を任意のインターフェイスによってディスプレイ１８に表示させるものとすることができる。

［画像処理装置の動作］
上述した構成を有する画像処理装置１７の動作について説明する。図５は、画像処理装置１７の動作を示す画像処理フローである。

最初に、出力値取得部１７１が、各受光素子１５１の出力値を取得する（Ｓｔ１０１）。出力値取得部１７１は、取得した出力値に対してノイズ除去（Ｓｔ１０２）を実行してもよい。ノイズ除去は、出力値の物理ノイズや電気ノイズを除去する処理であり、各種公知技術を利用して実施することが可能である。出力値取得部１７１は、各受光素子１５１の出力値を第１補間部１７２及び第２補間部１７３にそれぞれ供給する。

第１補間部１７２は、供給された各受光素子１５１の出力値を利用して、上述のように第１補間アルゴリズム（線形補間法等）を利用して画素値の補間を行う（Ｓｔ１０３）。

続いて、画像生成部１７４は、第１補間部１７２によって補間された画素値に補正処理を実行する（Ｓｔ１０４）。補正処理には、ｓＲＧＢ（ＩＥＣ(国際電気標準会議)による色空間の国際標準規格）とのキャリブレーション、ホワイトバランス調整、ガンマ補正等の各種補正処理が含まれる。補正処理は、必要に応じて適切な処理を実行すればよい。

続いて、画像生成部１７４は、上記補正処理が実行された画素に対してトリミング（切り出し加工）を実行する（Ｓｔ１０５）。トリミングは、全体像撮像素子１５の視野範囲における試料Ｓ以外の領域を除去するものであり、画素値範囲（色範囲）等を利用してすることが可能である。

続いて、画像生成部１７４は、補正処理やトリミングが施された画素値から画像（全体画像）を生成する（Ｓｔ１０６）。上記のように、第１補間部１７２によって、画像生成に適した第１補間アルゴリズムを利用して画素値が補間されている（Ｓｔ１０３）ため、画像生成部１７４によって生成される全体画像は視認性に優れた画像となる。

第２補間部１７３は、供給された各受光素子１５１の出力値を利用して、上述のように第２補間アルゴリズム（勾配法等）を利用して画素値の補間を行う（Ｓｔ１０７）。また、第２補間部１７３は、画素値の補間と共に、画素値のＹＵＶ変換を実行するものとすることができる。

続いて、第２補間部１７３は、各受光素子１５１の画素値に対して補正処理を実行する（Ｓｔ１０８）。補正処理には、ガンマ補正等の各種補正処理が含まれる。補正処理は、必要に応じて適切な処理を実行すればよい。

続いて、第１エッジ検出部１７５は、上記補正処理が実行された画素に対して第１エッジ検出アルゴリズムを利用し、エッジ検出を行う（Ｓｔ１０９）。

続いて、領域検出部１７７は、第１エッジ検出部１７５のエッジ検出結果に対して領域検出処理を施し、検体存在領域を検出する（Ｓｔ１１０）。上記のように、第２補間部１７３によって、エッジ検出に適した第２補間アルゴリズムを利用して画素値が補間されている（Ｓｔ２０７）ため、領域検出部１７７は高精度に領域検出をすることが可能である。

第２エッジ検出部１７６は、上記補正処理が実行された画素に対して第２エッジ検出アルゴリズムを利用し、エッジ検出を行う（Ｓｔ１１１）。

続いて、情報認識部１７８は、第２エッジ検出部１７６のエッジ検出結果に対して文字検出処理を実行し、文字を検出する（Ｓｔ１１２）。情報認識部１７８は、検出された文字を認識し（Ｓｔ１１３）、文字情報を取得する。また、情報認識部１７８は、第２エッジ検出部１７６のエッジ検出結果に対してコード検出処理を実行し、コードを検出する（Ｓｔ１１４）。情報認識部１７８は、検出されたコードを認識し（Ｓｔ１１５）、コード情報を取得する。

上記のように、第２補間部１７３によって、エッジ検出に適した第２補間アルゴリズムを利用して画素値が補間されている（Ｓｔ１０７）ため、情報認識部１７８は高精度に文字情報及びコード情報を認識することが可能である。

以上のように、本実施形態に係る画像処理装置１７においては、第１補間部１７２が画像生成に適した第１補間アルゴリズムを利用して画素値を補間し、第２補間部１７３がエッジ検出に適した第２補間アルゴリズムを利用して画素値を補間する。これによって、画像生成部１７４は、視認性の高い全体画像を生成することが可能となり、領域検出部１７７及び情報認識部１７８は高精度に領域検出及び情報認識をすることが可能となる。

［比較例との比較］
一般的な顕微鏡撮像装置において実施される画像処理フローを比較例として図６に示す。

同図に示すように一般的な顕微鏡撮像装置においては、全体像撮像素子の出力値が取得される（Ｓｔ５０１）と、出力値に対してノイズ除去（Ｓｔ５０２）、画素値補間（Ｓｔ５０３）及び補正処理（Ｓｔ５０４）が実行される。

この補正処理後の画素に対して、トリミング（Ｓｔ５０５）及び全体画像の画像生成（Ｓｔ５０６）が実行される。また、上記補正処理後の画素に対して、画素値（ＲＧＢ値）のＹＵＶ変換が施され（Ｓｔ５０７）、領域検出用のエッジ検出（Ｓｔ５０８）及び情報認識用のエッジ検出（Ｓｔ５０９）が実行される。領域検出用のエッジ検出結果に対して検体存在領域の領域検出（Ｓｔ５１０）が実行され、情報認識用のエッジ検出結果に対して文字検出（Ｓｔ５１１）及び文字認識（Ｓｔ５１２）並びにコード検出（Ｓｔ５１３）及びコード認識（Ｓｔ５１４）が実行される。

このように、一般的な顕微鏡撮像装置においては、ひとつの画素値補間プロセス（Ｓｔ５０３）による補間結果が全体画像の生成（Ｓｔ５０６）、領域検出（Ｓｔ５１０）及び情報認識（Ｓｔ５１１〜Ｓｔ５１４）に利用される。このため、画素値補間プロセスにおいて、視認性の高い画像の生成に適した補間アルゴリズムを利用すると、エッジが検出されにくくなり、領域検出及び情報認識の精度が低下する。一方、エッジ検出に適した補間アルゴリズムを利用すると、エッジが強く、視認性の低い全体画像が生成される。即ち、比較例においては、全体画像の視認性とエッジ検出の精度が二律背反であり、これらを共に向上させることは困難であった。

これに対し、本実施形態に係る画像処理装置１７においては、全体画像生成用の補間アルゴリズム（第１補間アルゴリズム）とエッジ検出用の補間アルゴリズム（第２補間アルゴリズム）がそれぞれ利用される。このため、それぞれに最適な補間アルゴリズムを利用することにより、全体画像の視認性とエッジ検出の精度を共に向上させることが可能となっている。

（第２の実施形態）
本技術の第２の実施形態に係る顕微鏡撮像装置について説明する。なお、本実施形態に係る顕微鏡撮像装置において、画像処理装置以外の構成については第１の実施形態と同様であるから同一の符号を付し、説明を省略する。

［画像処理装置の機能的構成］
画像処理装置２７の機能的構成について説明する。図７は、画像処理装置２７の機能的構成を示すブロック図である。同図に示すように、画像処理装置２７は、出力値取得部２７１、第１補間部２７２、第２補間部２７３、第３補間部２７４、画像生成部２７５、第１エッジ検出部２７６、第２エッジ検出部２７７、領域検出部２７８、情報認識部２７９、記憶部２８０及び画像表示部２８１を有する。

このような画像処理装置２７の機能的構成は、ＣＰＵやメモリ等のハードウェアとソフトウェアの協働によって実現されるものである。また、これらの構成は必ずしも一つの機器によって実現されている必要はなく、複数の機器によって実現されていてもよく、コンピュータネットワークを介して、あるいはコンピュータネットワーク上に実現されていてもよい。

出力値取得部２７１は、全体像撮像素子１５から、各受光素子１５１の出力値を取得する。上述のように、各受光素子１５１には各色（Ｒ、Ｇ又はＢ）のカラーフィルタが設けられており、各受光素子１５１の出力値はカラーフィルタを透過した特定の色の光の強度（濃淡）である。

第１補間部２７２は、第１補間アルゴリズムを利用して、各受光素子１５１の出力値から、各受光素子１５１に対応する画素の画素値を生成する。ここで、第１補間アルゴリズムは、隣接する受光素子１５１にそれぞれ対応する画素の画素値の差が小さくなるように画素値を補間する補間アルゴリズムとすることができる。そのような補間アルゴリズムは、具体的には、第１の実施形態において説明した線形補間法を挙げることができる。

なお、第１補間アルゴリズムは線形補間法に限定されず、後述する第２補間アルゴリズム及び第３補間アルゴリズムに比較して画素値の差が小さくなる他の補間アルゴリズムとすることも可能である。また、例えば曲面当てはめ法を第１補間アルゴリズムとすることも可能である。第１補間部２７２は、補間した各受光素子１５１に対応する画素の画素値を、画像生成部２７５に供給する。

第２補間部２７３は、第２補間アルゴリズムを利用して、各受光素子１５１の出力値から、各受光素子１５１に対応する画素の画素値を生成する。ここで、第２補間アルゴリズムは、第１補間アルゴリズムとは異なる補間アルゴリズムである。特に、第１補間アルゴリズムに比較して隣接する受光素子１５１にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する補間アルゴリズムが好適である。そのような補間アルゴリズムは、具体的には、第１の実施形態において説明した勾配法を挙げることができる。

なお、第２補間アルゴリズムは勾配法に限定されず、第１の補間アルゴリズムに比較して画素値の差が大きくなる他の補間アルゴリズムとすることも可能である。第２補間部２７３は、補間した各受光素子１５１に対応する画素の画素値を、第１エッジ検出部２７６に供給する。また、第２補間部２７３は、第１の実施形態と同様に、第２補間アルゴリズムを利用しての画素値の補間と共に、画素値のＹＵＶ変換を実行するものとすることも可能である。

第３補間部２７４は、第３補間アルゴリズムを利用して、各受光素子１５１の出力値から、各受光素子１５１に対応する画素の画素値を生成する。ここで、第３補間アルゴリズムは、第１補間アルゴリズム及び第２補間アルゴリズムとは異なる補間アルゴリズムである。特に、第１補間アルゴリズムに比較して隣接する受光素子１５１にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する補間アルゴリズムが好適である。そのような補間アルゴリズムは、具体的には「適応型カラーブレーン補間法（ＡＣＰＩ：Advanced Color Plane Interpolation法）」を挙げることができる。

ＡＣＰＩ法は、補間すべき画素の周囲の画素の線形補間値に高周波成分を加えることで従来の方法に対してより鮮鋭な画像を得ることができる補間アルゴリズムである。線形補間は平滑化の効果もあるため、高周波数成分を復元することができない。そこで、補間すべき画素の周囲に位置する画素の出力値を用いて高周波成分を推定し、線形補間に加味することによって鮮鋭化を行うものである。ＡＣＰＩ法では、各色成分が単純に平均化される線形補間法（第１補間アルゴリズム）に比較して画素値の差が大きくなる。

なお、第３補間アルゴリズムはＡＣＰＩ法に限定されず、第１の補間アルゴリズムに比較して画素値の差が大きくなる他の補間アルゴリズムとすることも可能である。第３補間部２７４は、補間した各受光素子１５１に対応する画素の画素値を、第２エッジ検出部２７７に供給する。また、第３補間部２７４は、第２補間部２７３と同様に、第３補間アルゴリズムを利用しての画素値の補間と共に、画素値のＹＵＶ変換を実行するものとすることも可能である。

画像生成部２７５は、第１補間部２７２によって生成された各受光素子１５１に対応する画素の画素値から全体画像を生成する。上述のように、第１補間部２７２においては、隣接する受光素子１５１にそれぞれ対応する画素の画素値の差が小さくなるように画素値を補間する第１補間アルゴリズムが利用されているため、生成される画像は、画素値が滑らかに変化する視認性に優れた画像となる。画像生成部２７５は、生成した全体画像を記憶部２８０に保存する。

第１エッジ検出部２７６は、第２補間部２７３によって生成された各受光素子１５１に対応する画素の画素値から、エッジを検出する。エッジは、隣接する画素間またはある程度の画素範囲の間における画素値の相違が大きい境界であり、第１エッジ検出部２７６は、第１エッジ検出アルゴリズムを利用してエッジを検出するものとすることが可能である。第１エッジ検出アルゴリズムは特に限定されないが、後述する領域検出部２７８が領域検出を実行しやすいエッジ検出アルゴリズムが好適である。

ここで、第２補間部２７３においては、隣接する受光素子１５１にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する第２補間アルゴリズムが利用されている。エッジは、画素値の差が大きい方が検出しやすいため、第１エッジ検出部２７６は、高い検出精度でエッジを検出することが可能である。第１エッジ検出部２７６は、エッジ検出結果を領域検出部２７８に供給する。

第２エッジ検出部２７７は、第３補間部２７４によって生成された各受光素子１５１に対応する画素の画素値から、エッジを検出する。第２エッジ検出部２７７は、上記第１エッジ検出アルゴリズムとは異なる第２エッジ検出アルゴリズムを利用してエッジを検出するものとすることが可能である。第２エッジ検出アルゴリズムは特に限定されないが、後述する情報認識部２７９が情報認識を実行しやすい検出アルゴリズムが好適である。

ここで、第３補間部２７４においては、隣接する受光素子１５１にそれぞれ対応する画素の画素値の差が大きくなるように画素値を補間する第３補間アルゴリズムが利用されている。エッジは、画素値の差が大きい方が検出しやすいため、第２エッジ検出部２７７は、高い検出精度でエッジを検出することが可能である。第２エッジ検出部２７７は、エッジ検出結果を情報認識部２７９に供給する。

領域検出部２７８は、第１エッジ検出部２７６のエッジ検出結果から、領域検出を行う。領域検出は、上述した試料Ｓにおいて、観察対象である検体が存在する領域（検体存在領域）を検出する処理である。領域検出部２７８は、第１エッジ検出部２７６において検出されたエッジが存在する領域を検体存在領域とすることが可能である。

ここで、上述のように第１エッジ検出部２７６は、第２補間アルゴリズムを利用して生成された画素値から高精度にエッジを検出しているため、そのエッジを利用する領域検出部２７８による領域検出も高精度に検出することが可能である。領域検出部２７８は、領域検出結果を制御装置１６に供給する。

情報認識部２７９は、第２エッジ検出部２７７のエッジ検出結果から、情報認識を行う。情報認識は、試料Ｓに表示されている表示情報、例えば文字情報やコード情報（バーコード等）を検出し、情報として認識するものである。情報認識部２７９は、第２エッジ検出部２７７において検出されたエッジから、輪郭抽出等の処理を実行し、情報として認識するものとすることが可能である。

ここで、上述のように第２エッジ検出部２７７は、第２補間アルゴリズムを利用して生成された画素値から高精度にエッジを検出しているため、そのエッジを利用する情報認識部２７９による情報認識も高精度に認識することが可能である。情報認識部２７９は、情報認識結果を記憶部２８０に供給し、全体画像に関連付けて保存させる。

記憶部２８０は、画像生成部２７５から供給される全体画像や情報認識部２７９から供給される情報、さらには顕微鏡撮像素子１３によって撮像された顕微鏡画像等を保存する。

画像表示部２８１は、画像をディスプレイ１８に表示させる。画像表示部２８１は、上記全体画像や顕微鏡画像、これらに関連付けられている情報等を任意のインターフェイスによってディスプレイ１８に表示させるものとすることができる。

［画像処理装置の動作］
上述した構成を有する画像処理装置２７の動作について説明する。図８は、画像処理装置２７の動作を示す画像処理フローである。

最初に、出力値取得部２７１が、各受光素子１５１の出力値を取得する（Ｓｔ２０１）。出力値取得部２７１は、取得した出力値に対してノイズ除去（Ｓｔ２０２）を実行してもよい。ノイズ除去は、出力値の物理ノイズや電気ノイズを除去する処理であり、各種公知技術を利用して実施することが可能である。出力値取得部２７１は、各受光素子１５１の出力値を第１補間部２７２、第２補間部２７３及び第３補間部２７４にそれぞれ供給する。

第１補間部２７２は、供給された各受光素子１５１の出力値を利用して、上述のように第１補間アルゴリズム（線形補間法等）を利用して画素値の補間を行う（Ｓｔ２０３）。

続いて、画像生成部２７５は、第１補間部２７２によって補間された画素値に補正処理を実行する（Ｓｔ２０４）。補正処理には、ｓＲＧＢとのキャリブレーション、ホワイトバランス調整、ガンマ補正等の各種補正処理が含まれる。補正処理は、必要に応じて適切な処理を実行すればよい。

続いて、画像生成部２７５は、上記補正処理が実行された画素に対してトリミング（切り出し加工）を実行する（Ｓｔ２０５）。トリミングは、全体像撮像素子１５の視野範囲における試料Ｓ以外の領域を除去するものであり、画素値範囲（色範囲）等を利用してすることが可能である。

続いて、画像生成部２７５は、補正処理やトリミングが施された画素から画像（全体画像）を生成する（Ｓｔ２０６）。上記のように、第１補間部２７２によって、画像生成に適した第１補間アルゴリズムを利用して画素値が補間されている（Ｓｔ２０３）ため、画像生成部２７５によって生成される全体画像は視認性に優れた画像となる。

第２補間部２７３は、供給された各受光素子１５１の出力値を利用して、上述のように第２補間アルゴリズム（勾配法等）を利用して画素値の補間を行う（Ｓｔ２０７）。また、第２補間部２７３は、画素値の補間と共に、画素値のＹＵＶ変換を実行するものとすることができる。

続いて、第２補間部２７３は、各受光素子１５１の画素値に対して補正処理を実行する（Ｓｔ２０８）。補正処理には、ガンマ補正等の各種補正処理が含まれる。補正処理は、必要に応じて適切な処理を実行すればよい。

続いて、第１エッジ検出部２７６は、上記補正処理が実行された画素に対して第１エッジ検出アルゴリズムを利用し、エッジ検出を行う（Ｓｔ２０９）。

続いて、領域検出部２７８は、第１エッジ検出部２７６のエッジ検出結果に対して領域検出処理を施し、検体存在領域を検出する（Ｓｔ２１０）。上記のように、第２補間部２７３によって、エッジ検出に適した第２補間アルゴリズムを利用して画素値が補間されている（Ｓｔ２０７）ため、領域検出部２７８は高精度に領域検出をすることが可能である。

第３補間部２７４は、供給された各受光素子１５１の出力値を利用して、上述のように第３補間アルゴリズム（ＡＣＰＩ法等）を利用して画素値の補間を行う（Ｓｔ２１１）。また、第３補間部２７４は、画素値の補間と共に、画素値のＹＵＶ変換を実行するものとすることができる。

続いて、第３補間部２７４は、各受光素子１５１の画素値に対して補正処理を実行する（Ｓｔ２１２）。補正処理には、ガンマ補正等の各種補正処理が含まれる。補正処理は、必要に応じて適切な処理を実行すればよい。

続いて第２エッジ検出部２７７は、上記補正処理が実行された画素に対して第２エッジ検出アルゴリズムを利用し、エッジ検出を行う（Ｓｔ２１３）。

続いて、情報認識部２７９は、第２エッジ検出部２７７のエッジ検出結果に対して文字検出処理を実行し、文字を検出する（Ｓｔ２１４）。情報認識部１７８は、検出された文字を認識し（Ｓｔ２１５）、文字情報を取得する。また、情報認識部２７９は、第２エッジ検出部２７７のエッジ検出結果に対してコード検出処理を実行し、コードを検出する（Ｓｔ２１６）。情報認識部２７９は、検出されたコードを認識し（Ｓｔ２１７）、コード情報を取得する。

上記のように、第３補間部２７４によって、エッジ検出に適した第３補間アルゴリズムを利用して画素値が補間されている（Ｓｔ２１１）ため、情報認識部２７９は高精度に文字情報及びコード情報を認識することが可能である。

以上のように、本実施形態に係る画像処理装置２７においては、第１補間部２７２が画像生成に適した第１補間アルゴリズムを利用して画素値を補間し、第２補間部２７２及び第３補間部２７４がエッジ検出に適した第２補間アルゴリズムを利用して画素値を補間する。これによって、画像生成部２７５は、視認性の高い全体画像を生成することが可能となり、領域検出部２７８及び情報認識部２７９は高精度に領域検出及び情報認識をすることが可能となる。

さらに、本実施形態においては、領域検出（Ｓｔ２１０）と情報認識（Ｓｔ２１４〜Ｓｔ２１７）のそれぞれについて、異なる補間アルゴリズム（第２補間アルゴリズム及び第３補間アルゴリズム）によって補間された画素値を利用してエッジ検出が行われる。このため、領域検出に適した補間アルゴリズム（勾配法等）と情報認識に適した補間アルゴリズム（ＡＣＰＩ法等）を使い分けることが可能であり、第１の実施形態と比較してもさらに領域検出及び情報認識の精度を向上させることが可能である。

本技術は、上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。

上記第１の実施形態及び第２の実施形態においては、エッジ検出用の補間アルゴリズム（第２補間アルゴリズム又は第３補間アルゴリズム）を利用して、画素値補間を実施した。ここで、エッジ検出用の画素値補間の替わりに、各受光素子の出力値に対して閾値を適用し、直接に２値化することも可能である。この２値化された値に対して情報認識（文字認識やコード認識）を行うことにより、高速かつ低負荷に情報認識を行うことが可能となる。

また、上記第１実施形態及び第２実施形態においては、エッジ検出用の補間アルゴリズム（第２補間アルゴリズム又は第３補間アルゴリズム）によって補間された画素値に対して、領域検出と情報認識を実施した。ここで、エッジ検出用の補間アルゴリズムによって補間された画素値に対して、領域検出と情報認識のいずれか一方を実施してもよい。また、情報認識のうち文字認識又はコード認識のいずれか一方を実施してもよい。

なお、本技術は以下のような構成も採ることができる。

（１）
二次元的に配列された複数の受光素子を有する撮像素子から、上記複数の受光素子のそれぞれの出力値を取得する出力値取得部と、
第１の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する第１の補間部と、
上記第１の補間アルゴリズムとは異なる第２の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する第２の補間部と
上記第１の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成する画像生成部と、
上記第２の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、第１のエッジ検出アルゴリズムを利用してエッジを検出する第１のエッジ検出部と
を具備する画像処理装置。

（２）
上記（１）に記載の画像処理装置であって、
上記第１の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように上記画素値を補間する補間アルゴリズムであり、
上記第２の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が上記第１の補間アルゴリズムより大きくなるように上記画素値を補間する補間アルゴリズムである
画像処理装置。

（３）
上記（１）又は（２）に記載の画像処理装置であって、
上記第１のエッジ検出部による検出結果から領域検出を行う領域検出部
をさらに具備する画像処理装置。

（４）
上記（１）乃至（３）のいずれか一つに記載の画像処理装置であって、
上記第２の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、上記第１のエッジ検出アルゴリズムとは異なる第２のエッジ検出アルゴリズムを利用してエッジを検出する第２のエッジ検出部と
上記第２のエッジ検出部による検出結果から、情報認識を行う情報認識部
をさらに具備する画像処理装置。

（５）
上記（１）乃至（４）のいずれか一つに記載の画像処理装置であって、
上記第２の補間部は、上記画素値の補間と共にＹＵＶ変換を行う
画像処理装置。

（６）
上記（１）乃至（５）のいずれか一つに記載の画像処理装置であって、
上記第１の補間アルゴリズムは、線形補間法であり、
上記第２の補間アルゴリズムは、勾配法である
画像処理装置。

（７）
上記（１）乃至（６）のいずれか一つに記載の画像処理装置であって、、
上記領域検出部は、上記第１のエッジ検出部による検出結果においてエッジを含む領域を試料における観察対象領域として検出し、
上記情報認識部は、上記第２のエッジ検出部による検出結果から上記試料に表示された文字又はコードを認識する
画像処理装置。

（８）
上記（１）乃至（７）のいずれか一つに記載の画像処理装置であって、、
上記第１の補間アルゴリズム及び上記第２の補間アルゴリズムとは異なる第３の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する第３の補間部と
上記第３の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、上記第１のエッジ検出アルゴリズムとは異なる第２のエッジ検出アルゴリズムを利用してエッジを検出する第２のエッジ検出部
をさらに具備する画像処理装置。

（９）
上記（１）乃至（８）のいずれか一つに記載の画像処理装置であって、
上記第１の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように上記画素値を補間する補間アルゴリズムであり、
上記第２の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が上記第１の補間アルゴリズムより大きくなるように上記画素値を補間する補間アルゴリズムであり、
上記第３の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が上記第１の補間アルゴリズムより大きくなるように上記画素値を補間する補間アルゴリズムである
画像処理装置。

（１０）
上記（１）乃至（９）のいずれか一つに記載の画像処理装置であって、
上記第１のエッジ検出部による検出結果から領域検出を行う領域検出部と
上記第２のエッジ検出部による検出結果から情報認識を行う情報認識部
をさらに具備する画像処理装置。

（１１）
上記（１）乃至（１０）のいずれか一つに記載の画像処理装置であって、
上記第２の補間部は、上記画素値の補間と共にＹＵＶ変換を行い
上記第３の補間部は、上記画素値の補間と共にＹＵＶ変換を行う
画像処理装置。

（１２）
上記（１）乃至（１１）のいずれか一つに記載の画像処理装置であって、
上記第１の補間アルゴリズムは、線形補間法であり、
上記第２の補間アルゴリズムは、勾配法であり
上記第３の補間アルゴリズムは、適応型カラーブレーン補間法である
画像処理装置。

（１３）
上記（１）乃至（１２）のいずれか一つに記載の画像処理装置であって、
上記領域検出部は、上記第１のエッジ検出部による検出結果においてエッジを含む領域を試料における観察対象領域として検出し、
上記情報認識部は、上記第２のエッジ検出部による検出結果から上記試料に表示された文字又はコードを認識する
画像処理装置。

（１４）
二次元的に配列された複数の受光素子を有する撮像素子から、上記複数の受光素子のそれぞれの出力値を取得する出力値取得部と、
第１の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する第１の補間部と、
上記第１の補間アルゴリズムとは異なる第２の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間する第２の補間部と、
上記第１の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成する画像生成部と、
上記第２の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、エッジ検出アルゴリズムを利用してエッジを検出するエッジ検出部と
として情報処理装置を機能させる画像処理プログラム。

（１５）
出力値取得部が、二次元的に配列された複数の受光素子を有する撮像素子から、上記複数の受光素子のそれぞれの出力値を取得し、
第１の補間部が、第１の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間し、
第２の補間部が、上記第１の補間アルゴリズムとは異なる第２の補間アルゴリズムを利用して、上記出力値から上記複数の受光素子のそれぞれに対応する画素の画素値を補間し、
画像生成部が、上記第１の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成し、
エッジ検出部が、上記第２の補間部によって補間された、上記複数の受光素子のそれぞれに対応する画素の画素値から、エッジ検出アルゴリズムを利用してエッジを検出する
画像処理方法。

１…顕微鏡撮像装置
１７、２７…画像処理装置
１５…全体像撮像素子
１５１…受光素子
１７１…出力値取得部
１７２…第１補間部
１７３…第２補間部
１７４…画像生成部
１７５…第１エッジ検出部
１７６…第２エッジ検出部
１７７…領域検出部
１７８…情報認識部
２７１…出力値取得部
２７２…第１補間部
２７３…第２補間部
２７４…第３補間部
２７５…画像生成部
２７６…第１エッジ検出部
２７７…第２エッジ検出部
２７８…領域検出部
２７９…情報認識部

Claims (15)

1. 二次元的に配列された複数の受光素子を有する撮像素子から、前記複数の受光素子のそれぞれの出力値を取得する出力値取得部と、
   第１の補間アルゴリズムを利用して、前記出力値から前記複数の受光素子のそれぞれに対応する画素の画素値を補間する第１の補間部と、
   前記第１の補間アルゴリズムとは異なる第２の補間アルゴリズムを利用して、前記出力値から前記複数の受光素子のそれぞれに対応する画素の画素値を補間する第２の補間部と
   前記第１の補間部によって補間された、前記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成する画像生成部と、
   前記第２の補間部によって補間された、前記複数の受光素子のそれぞれに対応する画素の画素値から、第１のエッジ検出アルゴリズムを利用してエッジを検出する第１のエッジ検出部と
   を具備する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記第１の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように前記画素値を補間する補間アルゴリズムであり、
   前記第２の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が前記第１の補間アルゴリズムより大きくなるように前記画素値を補間する補間アルゴリズムである
   画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記第１のエッジ検出部による検出結果から領域検出を行う領域検出部
   をさらに具備する画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記第２の補間部によって補間された、前記複数の受光素子のそれぞれに対応する画素の画素値から、前記第１のエッジ検出アルゴリズムとは異なる第２のエッジ検出アルゴリズムを利用してエッジを検出する第２のエッジ検出部と
   前記第２のエッジ検出部による検出結果から、情報認識を行う情報認識部
   をさらに具備する画像処理装置。
5. 請求項２に記載の画像処理装置であって、
   前記第２の補間部は、前記画素値の補間と共にＹＵＶ変換を行う
   画像処理装置。
6. 請求項２に記載の画像処理装置であって、
   前記第１の補間アルゴリズムは、線形補間法であり、
   前記第２の補間アルゴリズムは、勾配法である
   画像処理装置。
7. 請求項４に記載の画像処理装置であって、
   前記領域検出部は、前記第１のエッジ検出部による検出結果においてエッジを含む領域を試料における観察対象領域として検出し、
   前記情報認識部は、前記第２のエッジ検出部による検出結果から前記試料に表示された文字又はコードを認識する
   画像処理装置。
8. 請求項１に記載の画像処理装置であって、
   前記第１の補間アルゴリズム及び前記第２の補間アルゴリズムとは異なる第３の補間アルゴリズムを利用して、前記出力値から前記複数の受光素子のそれぞれに対応する画素の画素値を補間する第３の補間部と
   前記第３の補間部によって補間された、前記複数の受光素子のそれぞれに対応する画素の画素値から、前記第１のエッジ検出アルゴリズムとは異なる第２のエッジ検出アルゴリズムを利用してエッジを検出する第２のエッジ検出部
   をさらに具備する画像処理装置。
9. 請求項８に記載の画像処理装置であって、
   前記第１の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が小さくなるように前記画素値を補間する補間アルゴリズムであり、
   前記第２の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が前記第１の補間アルゴリズムより大きくなるように前記画素値を補間する補間アルゴリズムであり、
   前記第３の補間アルゴリズムは、隣接する受光素子にそれぞれ対応する画素の画素値の差が前記第１の補間アルゴリズムより大きくなるように前記画素値を補間する補間アルゴリズムである
   画像処理装置。
10. 請求項９に記載の画像処理装置であって、
    前記第１のエッジ検出部による検出結果から領域検出を行う領域検出部と
    前記第２のエッジ検出部による検出結果から情報認識を行う情報認識部
    をさらに具備する画像処理装置。
11. 請求項９に記載の画像処理装置であって、
    前記第２の補間部は、前記画素値の補間と共にＹＵＶ変換を行い
    前記第３の補間部は、前記画素値の補間と共にＹＵＶ変換を行う
    画像処理装置。
12. 請求項９に記載の画像処理装置であって、
    前記第１の補間アルゴリズムは、線形補間法であり、
    前記第２の補間アルゴリズムは、勾配法であり
    前記第３の補間アルゴリズムは、適応型カラーブレーン補間法である
    画像処理装置。
13. 請求項１０に記載の画像処理装置であって、
    前記領域検出部は、前記第１のエッジ検出部による検出結果においてエッジを含む領域を試料における観察対象領域として検出し、
    前記情報認識部は、前記第２のエッジ検出部による検出結果から前記試料に表示された文字又はコードを認識する
    画像処理装置。
14. 二次元的に配列された複数の受光素子を有する撮像素子から、前記複数の受光素子のそれぞれの出力値を取得する出力値取得部と、
    第１の補間アルゴリズムを利用して、前記出力値から前記複数の受光素子のそれぞれに対応する画素の画素値を補間する第１の補間部と、
    前記第１の補間アルゴリズムとは異なる第２の補間アルゴリズムを利用して、前記出力値から前記複数の受光素子のそれぞれに対応する画素の画素値を補間する第２の補間部と、
    前記第１の補間部によって補間された、前記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成する画像生成部と、
    前記第２の補間部によって補間された、前記複数の受光素子のそれぞれに対応する画素の画素値から、エッジ検出アルゴリズムを利用してエッジを検出するエッジ検出部と
    として情報処理装置を機能させる画像処理プログラム。
15. 出力値取得部が、二次元的に配列された複数の受光素子を有する撮像素子から、前記複数の受光素子のそれぞれの出力値を取得し、
    第１の補間部が、第１の補間アルゴリズムを利用して、前記出力値から前記複数の受光素子のそれぞれに対応する画素の画素値を補間し、
    第２の補間部が、前記第１の補間アルゴリズムとは異なる第２の補間アルゴリズムを利用して、前記出力値から前記複数の受光素子のそれぞれに対応する画素の画素値を補間し、
    画像生成部が、前記第１の補間部によって補間された、前記複数の受光素子のそれぞれに対応する画素の画素値から画像を生成し、
    エッジ検出部が、前記第２の補間部によって補間された、前記複数の受光素子のそれぞれに対応する画素の画素値から、エッジ検出アルゴリズムを利用してエッジを検出する
    画像処理方法。

Images