WO2021220857A1

WO2021220857A1 - 画像処理装置、画像処理方法及び画像処理システム

Info

Publication number: WO2021220857A1
Application number: PCT/JP2021/015806
Authority: WO
Inventors: 寿一白木
Original assignee: ソニーグループ株式会社
Priority date: 2020-04-27
Filing date: 2021-04-19
Publication date: 2021-11-04
Also published as: US20230177679A1; JP2021173665A

Abstract

生体組織標本の被撮影領域の撮影による第１の画素信号を取得する第１の画素信号取得部（２１２）と、前記第１の画素信号における画素値レンジを取得するレンジ取得部（２１４）と、前記画素値レンジに基づいて、前記生体組織標本の前記被撮影領域の少なくとも一部に対する撮影回数を決定する回数決定部（２１６）と、前記撮影回数に従って撮影されることによって得られた、前記生体組織標本の前記被撮影領域の少なくとも一部の画素信号である第２の画素信号を取得する第２の画素信号取得部（２２２）と、複数の前記第２の画素信号の少なくとも一部に基づき、出力画像を生成する画像生成部（２２４）とを備える、画像処理装置（２００）を提供する。

Description

画像処理装置、画像処理方法及び画像処理システム

　本開示は、画像処理装置、画像処理方法及び画像処理システムに関する。

　近年、デジタル撮像技術によって取得された、染色試薬により染色された生体組織標本のデジタル画像を病理診断等に利用するための技術が開発されている。当該画像に対しては、適切に病理診断を行うために、診断に必要な情報が見落とされることがないよう、染色状態にばらつきがあっても、生体組織標本のディテールをそのまま保持しているような鮮明な画像であることが求められる。このような技術の例としては、下記特許文献１に開示の技術を挙げることができる。詳細には、下記特許文献１に開示の技術では、染色状態にばらつきがある生体組織標本の画像に対して、当該生体組織標本の分光特性情報に基づき染色状態に応じた補正を行うことにより、鮮明な生体組織標本の画像を取得する。

特開２０１２－７８１５６号公報

　しかしながら、上記特許文献１に開示の技術では、マルチスペクトルセンサを用いて分光特性情報を取得し、当該分光特性情報に基づき補正を行うことから、撮影装置にマルチスペクトルセンサを設けることが求められる。従って、上記特許文献１の技術では、撮影装置の製造コストの増加を抑えることが難しく、さらに、撮影装置の大型化を招く可能性がある。

　そこで、本開示では、製造コストの増加や大型化を避けつつ、鮮明な生体組織標本のデジタル画像を取得することができる、画像処理装置、画像処理方法及び画像処理システムを提案する。

　本開示によれば、生体組織標本の被撮影領域の撮影による第１の画素信号を取得する第１の画素信号取得部と、前記第１の画素信号における画素値レンジを取得するレンジ取得部と、前記画素値レンジに基づいて、前記生体組織標本の前記被撮影領域の少なくとも一部に対する撮影回数を決定する回数決定部と、前記撮影回数に従って撮影されることによって得られた、前記生体組織標本の前記被撮影領域の少なくとも一部の画素信号である第２の画素信号を取得する第２の画素信号取得部と、複数の前記第２の画素信号の少なくとも一部に基づき、出力画像を生成する画像生成部とを備える、画像処理装置が提供される。

　また、本開示によれば、画像処理装置が、生体組織標本の被撮影領域の撮影による第１の画素信号を取得することと、前記第１の画素信号における画素値レンジを取得することと、前記画素値レンジに基づいて、前記生体組織標本の前記被撮影領域の少なくとも一部に対する撮影回数を決定することと、前記撮影回数に従って撮影されることによって得られた、前記生体組織標本の前記被撮影領域の少なくとも一部の画素信号である第２の画素信号を取得することと、複数の前記第２の画素信号の少なくとも一部に基づき、出力画像を生成することとを含む、画像処理方法が提供される。

　さらに、本開示によれば、画像処理を実行する画像処理装置と、前記画像処理を前記画像処理装置に実行させるためのプログラムとを含む画像処理システムであって、前記画像処理装置は、生体組織標本の被撮影領域の撮影による第１の画素信号を取得する第１の画素信号取得部と、前記第１の画素信号における画素値レンジを取得するレンジ取得部と、前記画素値レンジに基づいて、前記生体組織標本の前記被撮影領域の少なくとも一部に対する撮影回数を決定する回数決定部と、前記撮影回数に従って撮影されることによって得られた、前記生体組織標本の前記被撮影領域の少なくとも一部の画素信号である第２の画素信号を取得する第２の画素信号取得部と、複数の前記第２の画素信号の少なくとも一部に基づき、出力画像を生成する画像生成部と、を備える、画像処理システムが提供される。

本開示の実施形態の概要を説明するための説明図である。本開示の実施形態と比較例との比較を説明するための説明図である。本開示の第１の実施形態に係る画像処理システム１０の構成例を示すブロック図である。同実施形態に係る画像処理装置２００の構成例を示すブロック図である。同実施形態に係る分割領域５００を説明するための説明図である。同実施形態に係る画像処理の一例を示すフローチャートである。同実施形態に係る画像処理を説明するための説明図である。本開示の第２の実施形態に係る画像処理装置２００ａの構成例を示すブロック図である。同実施形態に係る画像処理の一例を示すフローチャートである。同実施形態に係る画像処理を説明するための説明図である。本開示の第３の実施形態に係る画像処理システム１０ｂの構成例を示すブロック図である。同実施形態に係る画像処理装置２００ｂの構成例を示すブロック図である。同実施形態に係る画像処理の一例を示すフローチャートである。同実施形態に係るテーブル２５２の一例を説明するための説明図である。同実施形態に係る画像処理を説明するための説明図（その１）である。同実施形態に係る画像処理を説明するための説明図（その２）である。本開示の第４の実施形態に係る画像処理装置２００ｃの構成例を示すブロック図である。同実施形態に係る画像処理の一例を示すフローチャートである。同実施形態に係るテーブル２５４の一例を説明するための説明図である。本開示の第５の実施形態を説明するための説明図である。同実施形態に係る画像処理装置２００ｄの構成例を示すブロック図である。同実施形態に係る画像処理の一例を示すフローチャートである。同実施形態に係るテーブル２５６の一例を説明するための説明図である。診断支援システムの概略的な構成の一例を示すブロック図である。画像処理装置２００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。

　以下に、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、実質的に同一又は類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

　なお、説明は以下の順序で行うものとする。
１．　本開示の実施形態の概要について
２．　第１の実施形態
　　　２．１　画像処理システム
　　　２．２　ＤＰＩスキャナ
　　　２．３　画像処理装置
　　　２．４　画像処理方法
　　　２．５　変形例
３．　第２の実施形態
　　　３．１　画像処理装置
　　　３．２　画像処理方法
　　　３．３　変形例
４．　第３の実施形態
　　　４．１　画像処理システム
　　　４．２　画像処理装置
　　　４．３　画像処理方法
５．　第４の実施形態
　　　５．１　画像処理装置
　　　５．２　画像処理方法
６．　第５の実施形態
　　　６．１　画像処理装置
　　　６．２　画像処理方法
　　　６．３　変形例
７．　まとめ
８．　応用例
９．　ハードウェア構成
１０．　補足

　＜＜１．　本開示の実施形態の概要について＞＞
　まずは、本開示の実施形態の詳細を説明する前に、本発明者が本開示の実施形態を創作するに至る背景、及び、本開示の実施形態の概要について、図１及び図２を参照して説明する。図１は、本開示の実施形態の概要を説明するための説明図であり、図２は、本開示の実施形態と比較例との比較を説明するための説明図である。なお、ここで、比較例とは、本発明者が本開示の実施形態をなす前に、検討を重ねていた画像処理のことを意味するものとする。

　病理診断等においては、生体から取り出した生体組織標本を顕微鏡やデジタル撮像システムで観察することによって得られる画像に対して解析を行うことがある。このような画像に対しては、適切に病理診断を行うために、診断に必要な情報が見落とされることがないよう、生体組織標本のディテールをそのまま保持しているような画像であることが求められる。しかしながら、病理診断に従来から用いられていた光学画像に比べて、デジタル画像では生体組織標本のディテールの劣化が生じやすいことから、デジタル画像は、画像管理等が容易であるにも関わらず、病理診断で用いられることが少なかった。

　また、生体組織標本の観察においては、生体組織標本の観察を容易にするために、染色試薬による生体組織標本に対する染色が事前に行われることが多い。染色は、生体組織標本に色素を化学反応により固定することであり、１つの生体組織標本内や、複数の生体組織標本内で、均一に行うことが難しい。しかしながら、生体組織標本の染色状態にばらつきがあるとデジタル画像により生体組織標本のディテールを捉えることが難しくなることから、当該生体組織標本のデジタル画像を用いて病理診断を行った場合、適切に病理診断を行うために診断に必要な情報が見落とされる可能性がある。

　そこで、上述のような病理診断に用いるデジタル画像に対して、染色された生体組織標本であってもそのディテールの劣化を避けるため、高いコントラストを持つ鮮明な画像となるような画像処理を施すことが検討された。このような画像処理を行った場合を比較例と呼び、その詳細を以下に説明する。

　詳細には、比較例においては、図２の左側に示すような画素値（画素信号）（例えば、輝度値）の分布を持つ画像を取得し、取得した画像に対して、一般的な画像処理（オフセット補正、ゲイン補正等）を行う。そして、比較例においては、当該画像処理によって、図２の右下に示すような画素値の分布を持つ画像を得ることができる。比較例において得られた画像においては、図２の右下に示すように、輝度値が分布する幅である階調幅（以下の説明においては、ダイナミックレンジと呼ぶ）を拡大することによりコントラストを高めている。しかしながら、比較例においては、図２の右下の図からわかるように、ダイナミックレンジを拡大することに伴う階調不足（不連続性）により情報が欠落して、偽輪郭が現れる等によるディテールの劣化が生じる可能性が高い。また、比較例においては、最初に取得した画像のノイズがそのまま保持されることから、ダイナミックレンジを拡大することによりノイズがより強調される場合もある。すなわち、比較例においては、ディテールの劣化やノイズの強調が生じ得ることから、病理診断に用いる画像として好適なデジタル画像が得られるとは言い難い。

　そこで、本発明者は、このような状況を鑑みて、本開示の実施形態を創作するに至った。詳細には、本開示の実施形態においては、まず、１次画像４００として、図１の左上に示すような低コントラスト画像を取得する。そして、本実施形態においては、図１の左上のグラフとして示すことができる、１次画像４００の画素値の分布（ダイナミックレンジ）を解析し、解析結果に基づいて、２次画像４０２を取得するための撮影回数Ｎと、各２次画像４０２を補正するための補正値とを取得する。

　次に、本実施形態においては、上記撮影回数Ｎに従って、図１の下に示すような、Ｎ枚の低コントラスト画像を２次画像４０２として取得する。そして、取得した各２次画像４０２の画素値を上記補正値によって補正することにより（詳細には、オフセット値を差し引く補正を行う）、各２次画像４０２の画素値は、図１の下のグラフとして示すような分布となる。さらに、本実施形態においては、補正済のＮ枚の２次画像４０２（詳細には、２次画像４０２の画素値）を加算することにより、高コントラストな合成画像４０４を得ることができる。当該合成画像４０４の画素値は、補正や加算により、図１の右上のグラフとして示すような広い分布を示すこととなる。

　すなわち、本実施形態においては、図２の右上の図からわかるように、ダイナミックレンジを拡大しても、複数の２次画像４０２を加算していることから、階調不足（不連続性）により情報が欠落することを避けることができる。その結果、本実施形態によれば、情報の欠落によるディテールの劣化を抑えることができ、生体組織標本が本来持つディテールを捉え、自然な画像を得ることができる。さらに、本実施形態によれば、複数の２次画像４０２を加算していることから、合成画像４０４に含まれるノイズ（詳細には、割合）を低減することができる。従って、本実施形態によれば、鮮明な生体組織標本のデジタル画像を取得することができる。以下、このような本開示に係る実施形態の詳細を順次説明する。

　なお、以下の説明においては、生体（例えば、人体、植物等）から取得された、組織（例えば、臓器や上皮組織）の一部である組織切片や細胞のことを生体組織標本と呼ぶ。なお、以下に説明する生体組織標本は、必要に応じて各種の染色が施されていてもよい。言い換えると、以下に説明する各実施形態においては、特に断りがない限りは、生体組織標本に各種の染色が施されていなくてもよい。さらに、例えば、染色には、ＨＥ（ヘマトキシリン・エオシン）染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、特定の組織に着目する場合に用いる過ヨウ素酸シッフ（ＰＡＳ）染色等や、ＦＩＳＨ（Ｆｌｕｏｒｅｓｃｅｎｃｅ　Ｉｎ－Ｓｉｔｕ　Ｈｙｂｒｉｄｉｚａｔｉｏｎ）や酵素抗体法等の蛍光染色が含まれる。

　＜＜２．　第１の実施形態＞＞
　＜２．１　画像処理システム＞
　まずは、図３を参照して、本開示の第１の実施形態に係る画像処理システム１０の構成例を説明する。図３は、本開示の第１の実施形態に係る画像処理システム１０の構成例を示すブロック図である。本実施形態に係る画像処理システム１０は、生体組織標本（例えば、細胞組織等）を搭載するスライド３００に対して、デジタル撮影を行うＤＰＩ（Ｄｉｇｉｔａｌ　Ｐａｔｈｏｌｏｇｙ　Ｉｍａｇｉｎｇ）スキャナシステムである。

　図３に示すように、本実施形態に係る画像処理システム１０は、ＤＰＩスキャナ（撮影ユニット）１００と、画像処理装置２００とを含むことができる。なお、ＤＰＩスキャナ１００と画像処理装置２００との間は、互いに有線又は無線の各種の通信ネットワークを介して通信可能に接続してもよい。また、本実施形態に係る画像処理システム１０に含まれるＤＰＩスキャナ１００及び画像処理装置２００は、図３に図示された数に限定されるものではなく、さらに多く含んでいてもよい。さらに、本実施形態に係る画像処理システム１０は、図示しない他のサーバや装置等を含んでいてもよい。以下に、本実施形態に係る画像処理システム１０に含まれる各装置の概要について説明する。

　（ＤＰＩスキャナ１００）
　ＤＰＩスキャナ１００は、ＤＰＩスキャナ１００のステージ１０８上に載置された、生体組織標本のスライド３００に対して所定の照明光を照射して、当該スライド３００を透過した光、又は、当該スライド３００からの発光等を撮影（撮像）することができる。例えば、ＤＰＩスキャナ１００は、生体組織標本を拡大して撮影することができる、拡大鏡（図示省略）及びデジタルカメラ（図示省略）等からなる。なお、ＤＰＩスキャナ１００は、例えば、スマートフォン、タブレット、ゲーム機、又は、ウェアラブル装置等、撮影機能を有するあらゆる装置によって実現されてもよい。さらに、ＤＰＩスキャナ１００は、後述する画像処理装置２００によって駆動制御されており、ＤＰＩスキャナ１００が撮影した画像は、例えば、上記画像処理装置２００に保存される。なお、ＤＰＩスキャナ１００の詳細構成については、後述する。

　（画像処理装置２００）
　画像処理装置２００は、ＤＰＩスキャナ１００を制御し、且つ、ＤＰＩスキャナ１００が撮影した画像を処理する機能を有する装置である。詳細には、画像処理装置２００は、ＤＰＩスキャナ１００を制御して、生体組織標本のデジタル画像を撮影するとともに、得られたデジタル画像に対して、所定の画像処理を実施する。画像処理装置２００は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレット、スマートフォン等、制御機能及び画像処理機能を有するあらゆる装置により実現される。なお、画像処理装置２００の詳細構成については、後述する。

　なお、本実施形態においては、ＤＰＩスキャナ１００及び画像処理装置２００は、一体の装置であってもよく、すなわち、それぞれ単一の装置によって実現されていなくてもよい。また、本実施形態においては、上述のＤＰＩスキャナ１００及び画像処理装置２００のそれぞれは、有線又は無線の各種の通信ネットワークを介して接続され、互いに協働する複数の装置によって実現されてもよい。さらに、上述した画像処理装置２００は、例えば後述するコンピュータ１０００のハードウェア構成によって実現することができる。

　＜２．２　ＤＰＩスキャナ＞
　次に、図３を参照して、本実施形態に係るＤＰＩスキャナ１００の詳細構成を説明する。図３に示すように、ＤＰＩスキャナ１００は、光源部１０２と、センサ部１０４と、制御部１０６と、ステージ１０８とを主に有することができる。以下に、ＤＰＩスキャナ１００の各機能ブロックについて順次説明する。

　（光源部１０２）
　光源部１０２は、ステージ１０８の、スライド３００が配置され得るスライド配置面とは逆の面側に設けられ、後述する制御部１０６の制御に従って、生体組織標本のスライド３００に対して照明光を照射することができる照明装置である。また、光源部１０２は、光源部１０２から照射された照明光を集光して、ステージ１３８上のスライド３００に導く、例えばコンデンサレンズ（図示省略）等を有していてもよい。

　（センサ部１０４）
　センサ部１０４は、ステージ１０８のスライド配置面側に設けられ、色の３原色である、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を検知するカラーセンサである。より具体的には、センサ部１０４は、例えば、対物レンズ（図示省略）と、撮像素子（図示省略）とを有することができる。そして、センサ部１０４は、後述する制御部１０６の制御に従って、生体組織標本をデジタル撮影し、撮影によるデジタル画像を画像処理装置２００へ出力することができる。

　詳細には、上記対物レンズ（図示省略）は、ステージ１０８のスライド配置面側に設けられ、生体組織標本を拡大して撮影することを可能にする。すなわち、ステージ１０８上に配設されたスライド３００を透過した透過光は、当該対物レンズによって集光されて、対物レンズの後方（言い換えると、照明光の進行方向）に設けられた撮像素子（図示省略）に結像することとなる。

　そして、上記撮像素子（図示省略）には、当該撮像素子の画素サイズ及び対物レンズ（図示省略）の倍率に応じて、ステージ１０８のスライド配置面上における所定の横幅及び縦幅からなる撮影範囲の像が結像される。なお、対物レンズにより生体組織標本の一部が拡大される場合には、上述の撮影範囲は、撮像素子の撮影範囲に比べて十分に狭い範囲となる。より具体的には、上記撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子により実現することができる。

　なお、本実施形態においては、センサ部１０４は、生体組織標本を、対物レンズ等を介さずに直接撮影してもよいし、対物レンズ等を介して撮影してもよく、特に限定されるものではない。

　（制御部１０６）
　制御部１０６は、ＤＰＩスキャナ１００の動作を統括的に制御することができ、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等により実現される処理回路を含む。例えば、制御部１０６は、上述した光源部１０２及びセンサ部１０４を制御することができる。さらに、制御部１０６は、ステージ１０８を様々な方向に移動させるステージ駆動機構（図示省略）を制御してもよい。

　例えば、制御部１０６は、画像処理装置２００から出力されたコマンドに従って、センサ部１０４の撮影回数Ｎや撮影時間を制御してもよい。より具体的には、制御部１０６は、所定の間隔を空けて断続的に撮影回数Ｎの撮影を行うようセンサ部１０４を制御してもよい。また、制御部１０６は、光源部１０２から照射される照明光の波長、照射強度又は照射時間を制御してもよい。さらに、制御部１０６は、予め設定された関心領域（ＲＯＩ：Ｒｅｇｉｏｎ　ｏｆ　Ｉｎｔｅｒｅｓｔ）が撮像されるよう、関心領域に従って、ステージ１０８を様々な方向に移動させるステージ駆動機構（図示省略）を制御してもよい。なお、ここでいう関心領域とは、生体組織標本のうち、ユーザが解析等のために注目する領域（対象となる領域）のことを意味する。

　（ステージ１０８）
　ステージ１０８は、スライド３００が載置される載置台である。さらに、ステージ１０８には、ステージ１０８を様々な方向に移動させるためのステージ駆動機構（図示省略）が設けられていてもよい。例えば、当該ステージ駆動機構を制御することにより、ステージ１０８を、スライド配置面に対して平行となる方向（Ｘ軸－Ｙ軸方向）と、直交する方向（Ｚ軸方向）とに自由に移動させることができる。また、本実施形態においては、ステージ１０８には、スライド３００をステージ１０８に搬送するサンプル搬送装置（図示省略）が設けられていてもよい。かかる搬送装置を設けることで、ステージ１０８に、撮影予定のスライド３００が自動的に載置されるようになり、スライド３００の入れ替えを自動化することが可能となる。

　以上のように、本実施形態によれば、ＤＰＩスキャナ１００に、マルチスペクトルセンサを設けることが求められないことから、画像処理システム１０の製造コストの増加や大型化を避けることができる。

　＜２．３　画像処理装置＞
　次に、図４及び図５を参照して、本実施形態に係る画像処理装置２００の詳細構成を説明する。図４は、本実施形態に係る画像処理装置２００の構成例を示すブロック図であり、図５は、本実施形態に係る分割領域（被撮影領域）５００を説明するための説明図である。先に説明したように、画像処理装置２００は、ＤＰＩスキャナ１００を制御し、且つ、ＤＰＩスキャナ１００が撮影したデジタル画像を処理する機能を有する装置である。図４に示すように、画像処理装置２００は、処理部２１０と、通信部２４０と、記憶部２５０と、表示部２６０とを主に有することができる。以下に、画像処理装置２００の各機能ブロックについて順次説明する。

　（処理部２１０）
　処理部２１０は、ＤＰＩスキャナ１００を制御したり、ＤＰＩスキャナ１００からのデジタル画像を処理したりすることができ、例えばＣＰＵ等の処理回路等により実現される。詳細には、処理部２１０は、図４に示すように、第１の取得部（第１の画素信号取得部）２１２と、画像レンジ取得部（レンジ取得部）２１４と、回数決定部２１６と、スキャナ制御部（制御部）２１８と、補正値決定部２２０と、第２の取得部（第２の画素信号取得部）２２２と、合成部（画像生成部）２２４とを主に有する。以下に、処理部２１０の各機能部を順次説明する。

　第１の取得部２１２は、ＤＰＩスキャナ１００から、生体組織標本の被撮影領域の低コントラストの１次画像４００の画素値（第１の画素信号）を取得し、後述する画像レンジ取得部２１４に出力する。このようにして第１の取得部２１２で取得された１次画像４００は、後述する第２の取得部２２２で取得する２次画像（第２の撮影画像）４０２のための撮影の撮影回数Ｎや、当該２次画像４０２を補正するための補正値を決定する際に用いられることとなる。

　画像レンジ取得部２１４は、上述した第１の取得部２１２からの１次画像４００における、画素値（画素信号）の分布幅であるダイナミックレンジ（画素値レンジ）を取得する。例えば、画像レンジ取得部２１４は、１次画像４００に含まれる各画素の色ごと（赤色、緑色、青色）のレベル値（例えば、輝度（以下、ＲＧＢ値と呼ぶ））を、画素値として取得し、１次画像４００での各ＲＧＢ値（すなわち、Ｒ値（赤色の光の輝度値）、Ｇ値（緑色の光の輝度値）、Ｂ値（青色の光の輝度値））の分布の幅であるダイナミックレンジについての情報を取得する。言い換えると、１次画像４００に含まれる複数の画素のそれぞれは、Ｒ値、Ｇ値、Ｂ値を有することから、画像レンジ取得部２１４は、当該１次画像４００の画素全体における、Ｒ値の最小値から最大値、Ｇ値の最小値から最大値、Ｂ値の最小値から最大値を取得することとなる。この際、画像レンジ取得部２１４は、取得した各ＲＧＢ値を、色ごとに、各レベル（画素値を所定の値の範囲ごとに区切ったもの）の度数の分布を示すことができるヒストグラム化し、当該ヒストグラムを利用して、各ＲＧＢ値の最大値及び最小値を取得してもよい。そして、画像レンジ取得部２１４は、取得した各ＲＧＢ値の最大値及び最小値を、後述する回数決定部２１６や補正値決定部２２０に出力する。

　回数決定部２１６は、上述した画像レンジ取得部２１４による画素値のダイナミックレンジに基づいて、生体組織標本における分割領域（被撮影領域）５００の少なくとも一部に対する撮影回数Ｎを決定する。詳細には、回数決定部２１６は、図５に示すように、生体組織標本を、仮想的に所定サイズの複数の分割領域５００に分割し、各分割領域５００に対する撮影回数Ｎを決定する。より具体的には、回数決定部２１６は、上記１次画像４００の各ＲＧＢ値の最大値及び最小値に基づき、各分割領域５００に対する撮影回数Ｎを算出し、算出した撮影回数Ｎを後述するスキャナ制御部２１８に出力する。なお、回数決定部２１６における撮影回数Ｎの具体的な決定方法については後述する。

　スキャナ制御部２１８は、上述した回数決定部２１６によって決定された撮影回数Ｎに基づき、ＤＰＩスキャナ１００を制御するためのコマンドを生成し、後述する通信部２４０を介して、ＤＰＩスキャナ１００を制御する。詳細には、スキャナ制御部２１８は、生成した上記コマンドにより、生体組織標本の各分割領域５００に対して上記撮影回数Ｎの撮影を行い、各分割領域５００についてＮ枚の２次画像４０２の画素値（第２の画素信号）を取得するように、ＤＰＩスキャナ１００を制御する。

　補正値決定部２２０は、上述した画像レンジ取得部２１４によるダイナミックレンジに基づいて、生体組織標本における各分割領域５００に係るＮ枚の２次画像４０２の画素値（第２の画素信号）に対して行う補正のための補正値を決定する。詳細には、補正値決定部２２０は、上記１次画像４００の各ＲＧＢ値の最小値に基づき、補正値としてのオフセット値（オフセット値の詳細は、後述する）を算出し、後述する合成部２２４に出力する。なお、補正値決定部２２０における補正値の具体的な決定方法については後述する。

　第２の取得部２２２は、上記撮影回数Ｎに従って撮影された、生体組織標本における各分割領域５００の一部を少なくともそれぞれ含むＮ枚の低コントラストの２次画像４０２の画素値（第２の画素信号）を取得し、後述する合成部２２４に出力する。詳細には、本実施形態においては、第２の取得部２２２は、１つの分割領域５００に対して、Ｎ枚の２次画像４０２を取得する。そして、第２の取得部２２２で取得された、各分割領域５００のＮ枚の２次画像４０２は、後述する合成部２２４で合成されて合成画像４０４となる。

　合成部２２４は、上述した第２の取得部２２２からの、各分割領域５００のＮ枚の２次画像４０２を重ね合わせて（加算）、各分割領域５００の、高コントラストの合成画像（出力画像）４０４を生成する。例えば、合成部２２４は、各分割領域５００のＮ枚の２次画像４０２の同一画素の画素値を加算することにより、各分割領域５００の合成画像４０４を得ることができる。より詳細には、各２次画像４０２の各画素は、Ｒ値、Ｇ値、Ｂ値（画素値）を有することから、合成部２２４は、Ｎ枚の２次画像４０２の同一画素のＲ値を加算することにより、赤色に関する分割領域５００の１つの合成画像４０４を得ることができ、Ｎ枚の２次画像４０２の同一画素のＧ値を加算することにより、緑色に関する分割領域５００の１つの合成画像４０４を得ることができ、Ｎ枚の２次画像４０２の同一画素のＢ値を加算することにより、青色に関する分割領域５００の１つの合成画像４０４を得ることができる。

　さらに、本実施形態においては、合成部２２４は、上述した補正値決定部２２０からの補正値を用いてＮ枚の２次画像４０２のそれぞれの各画素の画素値を補正した後に、Ｎ枚の２次画像４０２の同一画素の各画素値を加算して、合成画像４０４を得ることができる。より詳細には、合成部２２４は、各分割領域５００の、Ｎ枚の２次画像４０２の各画素の各ＲＧＢ値から、補正値決定部２２０にて各ＲＧＢ値の最小値に基づき決定したオフセット値を差し引くことにより、補正を行うことができる。なお、本実施形態においては、合成部２２４は、Ｎ枚の２次画像４０２のそれぞれに対して補正を行うことに限定されるものではなく、複数の２次画像４０２を重ね合わせた合成画像（出力画像）４０４に対して、補正を行ってもよい。そして、合成部２２４は、合成画像４０４を後述する記憶部２５０や表示部２６０に出力することができる。また、合成部２２４は、上述のようにして得られた、同一分割領域５００に係る、赤色に関する１つの合成画像４０４と、緑色に関する１つの合成画像４０４と、青色に関する１つの合成画像４０４とを重ね合わせ、カラー画像を生成してもよい。

　（通信部２４０）
　通信部２４０は、ＤＰＩスキャナ１００等の外部装置との間で情報の送受信を行うことができ、例えば、ＤＰＩスキャナ１００を制御するためのコマンドを、ＤＰＩスキャナ１００に送信することができる。言い換えると、通信部２４０は、データの送受信を行う機能を有する通信インターフェイスと言える。本実施形態においては、通信部２４０は、例えば、通信アンテナ、送受信回路やポート等の通信デバイス（図示省略）により実現される。

　（記憶部２５０）
　記憶部２５０は、処理部２１０が各種処理を実行するためのプログラム、情報等を保存する。さらに、記憶部２５０は、例えば、上述した１次画像４００を保存する１次画像蓄積部（図示省略）や、上述した２次画像４０２を保存する２次画像蓄積部（図示省略）や、上述した合成画像４０４を保存する合成画像蓄積部（図示省略）として機能することができる。さらに、後述する他の実施形態においては、記憶部２５０は、３次画像や最終画像を保存する３次画像蓄積部（図示省略）や最終画像蓄積部（図示省略）としても機能する。また、記憶部２５０は、例えば、フラッシュメモリ（ｆｌａｓｈ　ｍｅｍｏｒｙ）等の不揮発性メモリ（ｎｏｎｖｏｌａｔｉｌｅ　ｍｅｍｏｒｙ）等や、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の記憶装置により実現される。

　（表示部２６０）
　表示部２６０は、合成画像４０４を表示（出力）することができる。詳細には、表示部２６０は、例えばＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等からなり、上述した合成部２２４からの合成画像４０４等を出力することができる。なお、本実施形態においては、表示部２６０は、画像処理装置２００内に固定されるように設けられていてもよく、もしくは、画像処理装置２００に脱着可能に設けられていてもよい。

　なお、本実施形態においては、画像処理装置２００に含まれる各機能ブロックは、図４に示される機能ブロックに限定されるものではない。

　＜２．４　画像処理方法＞
　次に、図６及び図７を参照して、本実施形態に係る画像処理方法について説明する。図６は、本実施形態に係る画像処理の一例を示すフローチャートであり、図７は、本実施形態に係る画像処理を説明するための説明図である。詳細には、図６に示すように、本実施形態に係る画像処理方法は、ステップＳ１０１からステップＳ１０９までのステップを含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。

　まずは、画像処理システム１０は、生体組織標本の全体の低コントラストの１次画像４００を撮影する（ステップＳ１０１）。次に、画像処理システム１０は、１次画像４００を記憶部２５０の１次画像蓄積部（図示省略）に保存する（ステップＳ１０２）。画像処理システム１０は、取得した１次画像４００から、各ＲＧＢ値のヒストグラムを生成する（ステップＳ１０３）。ここで生成されたヒストグラムは、例えば、図７に示されるようなヒストグラムとなる。図７においては、上段から下段に向かって、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の輝度（ＲＧＢ値）の分布を示すヒストグラムが示され、各ヒストグラムにおいては、輝度を所定の範囲（レベル）に区切り、各範囲の度数を示している。

　そして、画像処理システム１０は、補正値としてオフセット値（Ｏｆｆｓｅｔ）を算出する（ステップＳ１０４）。本実施形態においては、オフセット値は、図７に示す、１次画像４００の各色のヒストグラムにおいて、輝度の最小値をＯｆｆｓｅｔ　Ｒ、Ｏｆｆｓｅｔ　Ｇ、Ｏｆｆｓｅｔ　Ｂとすると、下記の数式（１）で示すように、これらのＯｆｆｓｅｔ　Ｒ、Ｏｆｆｓｅｔ　Ｇ、Ｏｆｆｓｅｔ　Ｂのうちの最小値となる。

　次に、画像処理システム１０は、撮影回数Ｎを算出する（ステップＳ１０５）。詳細には、この後の処理において、Ｎ枚の２次画像４０２の各画素の各ＲＧＢ値を加算することとなるが、その際、加算したＲＧＢ値が、センサ部１０４の特性によって予め設定された各色の上限値（Ｌｉｍ　Ｒ、Ｌｉｍ　Ｇ、Ｌｉｍ　Ｂ）（図７　参照）を超えることがないように、下記の数式（２）に基づいて、撮影回数Ｎが決定される。なお、数式（２）においては、Ｍａｘ　Ｒ、Ｍａｘ　Ｇ、Ｍａｘ　Ｂは、１次画像４００のヒストグラムにおける各ＲＧＢ値の最大値であるものとする（図７　参照）。

　画像処理システム１０は、生体組織標本の各分割領域５００の低コントラストの２次画像４０２をステップＳ１０５で決定されたＮ回（撮影回数）撮影する（ステップＳ１０６）。先に説明したように、当該ステップＳ１０６では、同一の分割領域５００をＮ回撮影することとなる。次に、画像処理システム１０は、Ｎ枚の２次画像４０２を記憶部２５０の２次画像蓄積部（図示省略）に保存する（ステップＳ１０７）。なお、本実施形態においては、全ての分割領域５００についてＮ枚の２次画像４０２が取得できるまで、ステップＳ１０６及びステップＳ１０７を繰り返し実施してもよい。もしくは、後述する変形例のように、予め決められた１つ又は複数の分割領域５００に着目する場合には、予め決められた１つ又は複数の分割領域５００のＮ枚の２次画像４０２が取得できるまで、ステップＳ１０６及びステップＳ１０７を１回又は繰り返し実施してもよい。

　画像処理システム１０は、下記の数式（３）に従い、各分割領域５００の、Ｎ枚の２次画像４０２のそれぞれの画素ごとの各ＲＧＢ値からオフセット値（Ｏｆｆｓｅｔ）を差し引き、差し引いた後の各ＲＧＢ値を同一画素ごとに加算することにより、各色についての１つの合成画像４０４を取得する（ステップＳ１０８）。数式（３）においては、ＩｎｐｕｔＩｍａｇｅＲ_ｉ（ｘ，ｙ）、ＩｎｐｕｔＩｍａｇｅＧ_ｉ（ｘ，ｙ）、ＩｎｐｕｔＩｍａｇｅＢ_ｉ（ｘ，ｙ）は、色ごとの各２次画像４０２の各画素の各ＲＧＢ値であり、ＯｕｔＩｍａｇｅＲ（ｘ，ｙ）、ＯｕｔＩｍａｇｅＧ（ｘ，ｙ）、ＯｕｔＩｍａｇｅＢ（ｘ，ｙ）は、合成画像４０４の画素ごとの各ＲＧＢ値である。すなわち、本実施形態においては、低コントラストの１次画像４００のダイナミックレンジを解析し、解析結果に基づいて、２次画像４０２の撮影回数Ｎや、２次画像４０２の補正のための補正値を算出することにより、好適な加算や補正を行うことができる。その結果、本実施形態によれば、合成画像４０４が鮮明な高コントラスト画像となるだけでなく、合成画像４０４での黒浮き（飽和）を抑えることができる。

　本実施形態においては、補正とともに、Ｎ枚の２次画像４０２の加算を行うことにより、ノイズの低減や、階調不足（不連続性）による情報の欠落を解消しつつ、合成画像４０４でのダイナミックレンジを拡大することができる。従って、本実施形態によれば、鮮明な生体組織標本の合成画像４０４を取得することができる。

　なお、本実施形態においては、各分割領域５００の全てに、同一の撮影回数Ｎ及び同一の補正値（Ｏｆｆｓｅｔ値）が適用されることに限定されるものではなく、分割領域５００ごとに、最適化された撮影回数Ｎ及び補正値が適用されてもよい。このような場合、各分割領域５００の合成画像２０４をつなぎ合わせたステッチング画像では、つなぎ目が不連続となり不自然な画像になる場合があるが、各分割領域５００の画像のコントラストが最適化されるため、解析に有効な場合がある。また、本実施形態においては、合成部２２４は、上述の補正の際に、ＤＰＩスキャナ１００のセンサ部１０４の固有のノイズ等を差し引いてもよい。

　そして、画像処理システム１０は、各分割領域５００の合成画像４０４を、表示部２６０に出力したり、記憶部２５０の合成画像蓄積部（図示省略）に保存したりする（ステップＳ１０９）。

　以上のように、本実施形態においては、補正とともに、Ｎ枚の２次画像４０２の加算を行うことにより、ノイズの低減や、階調不足（不連続性）による情報の欠落を解消しつつ、合成画像４０４でのダイナミックレンジを拡大することができる。従って、本実施形態によれば、鮮明な生体組織標本の合成画像４０４を取得することができる。さらに、本実施形態によれば、画像処理システム１０にマルチスペクトルセンサを設けることが求められないことから、画像処理システム１０の製造コストの増加や大型化を避けることができる。すなわち、本実施形態によれば、製造コストの増加や大型化を避けつつ、鮮明な生体組織標本のデジタル画像を取得することができる。

　＜２．５　変形例＞
　上述の説明においては、生体組織標本の全ての分割領域５００の合成画像４０４を取得するものとして説明したが、本実施形態においては、これに限定されるものではなく、例えば、生体組織標本のうちの関心領域（ＲＯＩ）の合成画像４０４のみを取得するようにしてもよい。このようにすることで、画像処理時間を短縮しつつ、解析を行うために必要なデジタル画像を取得することができる。以下に、このような変形例の詳細を説明する。

　本変形例においては、画像処理システム１０は、１次画像４００を取得した後に、取得した１次画像４００を表示部２６０にユーザに向けて出力する。そして、ユーザは、表示部２６０に表示された１次画像４００（第１の画素信号に係る画像）を参照して、生体組織標本のうちの、解析に必要な範囲を手入力する（例えば、座標入力や、矩形で囲む等）ことにより、関心領域を設定する。そして、本変形例においては、画像処理装置２００の処理部２１０は、２次画像４０２を取得する１つ又は複数の分割領域５００を決定する領域決定部（図示省略）を有する。当該領域決定部は、入力された関心領域をすべてカバーするように、２次画像４０２を取得する１つ又は複数の分割領域５００を決定する。さらに、当該領域決定部は、決定した分割領域５００の情報を、スキャナ制御部２１８や、画像レンジ取得部２１４に出力する。このようにすることで、本変形例においては、生体組織標本のうちの関心領域の合成画像４０４のみを取得することができる。

　なお、本変形例においては、画像レンジ取得部２１４は、１次画像４００の全ての分割領域５００に含まれるすべての画素についての画素値のダイナミックレンジを取得してもよい。もしくは、本変形例においては、画像レンジ取得部２１４は、１次画像４００のうちの、上記領域決定部が決定した１つ又は複数の分割領域５００に含まれる画素についての画素値のダイナミックレンジを取得してもよい。なお、後者の場合では、上記領域決定部が決定した１つ又は複数の分割領域５００に含まれる画素についての画素値のダイナミックレンジに基づき、関心領域に適した撮影回数Ｎ及び補正値を算出することができるようになることから、より鮮明な関心領域の合成画像４０４を取得することができる。

　さらに、本変形例においては、ユーザの手入力によって関心領域を設定することに限定されるものではなく、機械学習によって得られた画像認識モデルに基づいて、関心領域を設定してもよい。詳細には、例えば、事前に関心領域となりえる画像（例えば、所定の組織、所定の細胞の画像）を機械学習させておき、関心領域となりえる画像の特徴点、特徴量を抽出し、画像認識モデルを生成する。そして、上記領域決定部（図示省略）は、画像認識モデルで定義された特徴点や特徴量と同一又は類似する画像を、１次画像４００から抽出することにより、関心領域を設定することができる。このように機械学習を利用することにより、自動的に関心領域を設定することができることから、ユーザの利便性を高めることができたり、自動的に解析を行ったりすることが可能となる。

　＜＜３．　第２の実施形態＞＞
　ところで、上述した第１の実施形態においては、画素値としてＲＧＢ値を取得するものとして説明したが、本開示の実施形態においては、これに限定されるものではなく、例えば、カラー画像を色相（Ｈｕｅ）、輝度（Ｌｉｇｈｔｎｅｓｓ）、彩度（Ｓａｔｕｒａｔｉｏｎ）の３つの値で表現するＨＬＳ色空間を用いてもよい。すなわち、以下に説明する第２の実施形態においては、画像をＲＧＢ信号ではなくＨＬＳ信号に変換し、画素値として、各画素の色相（以下、Ｈ値と呼ぶ）、彩度（以下、Ｓ値と呼ぶ）、輝度（以下、Ｌ値と呼ぶ）を取得する。本実施形態によれば、ＨＬＳ信号を用いることにより、合成画像４０４におけるコントラストをより高くし、ノイズをより減らすことができる。以下、このような第２の実施形態の詳細を説明する。

　なお、第２の実施形態に係る画像処理システム１０及びＤＰＩスキャナ１００の構成例は、第１の実施形態の画像処理システム１０及びＤＰＩスキャナ１００と共通であることから、第１の実施形態に係る画像処理システム１０及びＤＰＩスキャナ１００の構成の説明及び説明で用いた図３を参照し得る。従って、ここでは、本実施形態に係る画像処理システム１０及びＤＰＩスキャナ１００の説明を省略する。

　＜３．１　画像処理装置＞
　まずは、図８を参照して、本実施形態に係る画像処理装置２００ａの詳細構成を説明する。図８は、本開示の第２の実施形態に係る画像処理装置２００ａの構成例を示すブロック図である。詳細には、図８に示すように、画像処理装置２００ａは、処理部２１０ａと、通信部２４０と、記憶部２５０と、表示部２６０とを主に有することができる。以下に、画像処理装置２００ａの各機能ブロックについて順次説明するが、処理部２１０ａ以外は、第１の実施形態に係る画像処理装置２００の各機能ブロックと共通するため、ここでは、処理部２１０ａ以外の説明を省略し、処理部２１０ａのみを説明する。

　（処理部２１０ａ）
　処理部２１０ａは、第１の実施形態と同様に、ＤＰＩスキャナ１００を制御したり、ＤＰＩスキャナ１００からのデジタル画像を処理したりすることができ、例えばＣＰＵ等の処理回路等により実現される。詳細には、処理部２１０ａは、図８に示すように、第１の取得部（第１の画素信号取得部）２１２と、画像レンジ取得部（レンジ取得部）２１４ａと、回数決定部２１６ａと、スキャナ制御部（制御部）２１８と、補正値決定部２２０ａと、第２の取得部（第２の画素信号取得部）２２２と、合成部（画像生成部）２２４ａとを主に有する。さらに、処理部２１０ａは、ＨＬＳ信号生成部２２６、２２８と、ＲＧＢ信号生成部２３０とを有する。以下に、処理部２１０ａの各機能部について順次説明するが、第１の実施形態と共通する機能部については、説明を省略する。

　画像レンジ取得部２１４ａは、ＨＬＳ信号に変換された１次画像４００における、Ｌ値の分布幅（画素値レンジ）（ダイナミックレンジ）を取得する。詳細には、画像レンジ取得部２１４は、１次画像４００に含まれる全ての画素のＬ値を、例えば、各レベルの度数の分布を示すヒストグラム化し、その最大値及び最小値を取得する。そして、画像レンジ取得部２１４ａは、取得した最大値及び最小値を、後述する回数決定部２１６ａや補正値決定部２２０ａに出力する。

　回数決定部２１６ａは、上述した画像レンジ取得部２１４ａによるＬ値の最小値及び最大値に基づいて、生体組織標本における分割領域（被撮影領域）５００に対する撮影回数Ｎを決定し、撮影回数Ｎを後述するスキャナ制御部２１８に出力する。なお、回数決定部２１６ａにおける撮影回数Ｎの具体的な決定方法については後述する。

　補正値決定部２２０ａは、上述した画像レンジ取得部２１４によるＬ値の最小値を補正値として決定し、後述する合成部２２４ａに出力する。

　合成部２２４ａは、後述するＨＬＳ信号生成部２２８からの、ＨＬＳ信号に変換された各分割領域５００のＮ枚の２次画像（第２の撮影画像）４０２を画像処理することができる。詳細には、合成部２２４ａは、ＨＬＳ信号に変換された各分割領域５００のＮ枚の２次画像４０２の各画素のＬ値から、上述した補正値決定部２２０ａからの補正値（詳細には、Ｌ値の最小値）を差し引くことにより、補正を行うことができる。そして、合成部２２４ａは、各分割領域５００のＮ枚の２次画像４０２の同一画素の補正後のＬ値を加算する。さらに、合成部２２４ａは、各分割領域５００のＮ枚の２次画像４０２の同一画素のＨ値及びＳ値を平均化する。そして、合成部２２４ａは、得られた加算値や平均値を後述するＲＧＢ信号生成部２３０に出力する。すなわち、当該合成部２２４ａは、ＨＬＳ値で表現された、各分割領域５００の合成画像４０４を取得することができる。そして、本実施形態においては、Ｌ値を加算することにより合成画像４０４におけるコントラストをより高くし、Ｈ値及びＳ値を平均化することにより、合成画像４０４におけるノイズをより減らすことができる。なお、合成部２２４ａによる、加算や平均化の具体的な方法については後述する。

　ＨＬＳ信号生成部２２６、２２８は、第１の取得部２１２又は第２の取得部２２２で取得された生体組織標本の１次画像４００又は２次画像４０２をＲＧＢ信号からＨＬＳ信号に変換することができる。

　ＲＧＢ信号生成部２３０は、合成部２２４ａからの加算されたＬ値、平均化されたＨ値及びＳ値を用いてＲＧＢ信号に変換し、各分割領域５００の合成画像４０４を取得することができる。

　＜３．２　画像処理方法＞
　次に、図９及び図１０を参照して、本実施形態に係る画像処理方法について説明する。図９は、本実施形態に係る画像処理の一例を示すフローチャートであり、図１０は、本実施形態に係る画像処理を説明するための説明図である。詳細には、図９に示すように、本実施形態に係る画像処理方法は、ステップＳ２０１からステップＳ２１２までのステップを含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。なお、以下の説明においては、上述の第１の実施形態と異なる点のみを説明し、第１の実施形態と共通する点については、その説明を省略する。

　ステップＳ２０１及びステップＳ２０２は、図６に示す、第１の実施形態のステップＳ１０１及びステップＳ１０２と同様であるため、ここではその説明を省略する。

　画像処理システム１０は、１次画像４００をＲＧＢ信号からＨＬＳ信号に変換する（ステップＳ２０３）。

　そして、画像処理システム１０は、ＨＬＳ信号に変換された１次画像４００から、Ｌ値のヒストグラムを生成する（ステップＳ２０４）。生成されたヒストグラムは、例えば、図１０に示される。図１０においては、Ｌ値の分布を示すヒストグラムが示され、当該ヒストグラムにおいては、Ｌ値を所定の範囲（レベル）に区切り、各範囲の度数を示している。

　そして、画像処理システム１０は、１次画像４００に含まれる全ての画素のＬ値における最小値（Ｍｉｎ　Ｌ）（図１０　参照）を補正値として決定する（ステップＳ２０５）。

　次に、画像処理システム１０は、撮影回数Ｎを算出する（ステップＳ２０６）。詳細には、この後の処理にて、各分割領域５００のＮ枚の２次画像４０２の同一画素のＬ値を加算することとなるが、その際、加算したＬ値が、センサ部１０４の特性によって予め設定されたＬ値の上限値（Ｌｉｍ　Ｌ）（図１０　参照）を超えることがないように、下記の数式（４）に基づいて、撮影回数Ｎが決定される。なお、数式（４）においては、Ｍａｘ　Ｌは、１次画像４００のヒストグラムのＬ値の最大値であり、Ｍｉｎ　Ｌは、１次画像４００のヒストグラムのＬ値の最小値であるものとする（図１０　参照）。

　ステップＳ２０７及びステップＳ２０８は、図６に示す、第１の実施形態のステップＳ１０６及びステップＳ１０７と同様であるため、ここではその説明を省略する。

　画像処理システム１０は、各分割領域５００のＮ枚の２次画像４０２をＲＧＢ信号からＨＬＳ信号に変換する（ステップＳ２０９）。

　画像処理システム１０は、下記の数式（５）に従い、各分割領域５００のＮ枚の２次画像４０２の各画素のＬ値からＬ値の最小値（Ｍｉｎ　Ｌ）を差し引き、差し引いた後のＬ値を同一画素ごとに加算する。さらに、画像処理システム１０は、下記の数式（５）に従い、各分割領域５００のＮ枚の２次画像４０２の同一画素ごとのＨ値及びＳ値を平均化する（ステップＳ２１０）。数式（５）においては、ＩｎｐｕｔＩｍａｇｅＨ_ｉ（ｘ，ｙ）、ＩｎｐｕｔＩｍａｇｅＳ_ｉ（ｘ，ｙ）、ＩｎｐｕｔＩｍａｇｅＬ_ｉ（ｘ，ｙ）は、各２次画像４０２の各画素のＨ値、Ｓ値及びＬ値であり、ＯｕｔＩｍａｇｅＨ（ｘ，ｙ）、ＯｕｔＩｍａｇｅＳ（ｘ，ｙ）、ＯｕｔＩｍａｇｅＬ（ｘ，ｙ）は、Ｎ枚の２次画像４０２の同一画素ごとのＨ値及びＳ値の平均値、及びＬ値の加算値である。本実施形態においては、Ｌ値を加算することにより、合成画像４０４におけるコントラストをより高くし、Ｈ値及びＳ値を平均化することにより、合成画像４０４におけるノイズをより減らすことができる。

　画像処理システム１０は、上述のステップＳ２１０で得られた、加算されたＬ値、平均化されたＨ値及びＳ値からなるＨＬＳ信号を、ＲＧＢ信号に変換し、各分割領域５００の合成画像４０４を取得する（ステップＳ２１１）。

　ステップＳ２１２は、図６に示す、第１の実施形態のステップＳ１０９と同様であるため、ここではその説明を省略する。

　以上のように、本実施形態においては、Ｌ値を加算することにより、合成画像４０４におけるコントラストをより高くし、Ｈ値及びＳ値を平均化することにより、合成画像４０４におけるノイズをより減らすことができる。

　＜３．３　変形例＞
　上述した第２の実施形態においては、合成部２２４ａは、各分割領域５００のＮ枚の２次画像４０２の同一画素のＬ値を加算し、Ｈ値及びＳ値を平均化するものとして説明したが、本実施形態においては、これに限定されるものではない。本実施形態の変形例においては、例えば、合成部２２４ａは、Ｌ値の代わりに、各分割領域５００のＮ枚の２次画像４０２の同一画素のＳ値を加算し、Ｌ値及びＨ値を平均化してもよい。この場合、１次画像４００におけるＳ値の最小値及び最大値を用いて、撮影回数Ｎを決定したり、補正値を決定したりしてもよい。さらに、この場合、１次画像４００におけるＬ値及びＳ値の最小値及び最大値を用いて、撮影回数Ｎを決定したり、補正値を決定したりしてもよい。もしくは、本実施形態の変形例においては、Ｌ値及びＳ値を加算してもよい。

　また、上述した実施形態においては、ＨＬＳ色空間を用いることに限定されるものではなく、カラー画像を、輝度（Ｙ）と、青系統の色相及び彩度（Ｃｂ）と、赤系統の色相及び彩度（Ｃｒ）とで表現するＹＣＣ色空間を用いてもよい。

　＜＜４．　第３の実施形態＞＞
　ところで、デジタル撮像システムを用いて生体組織標本の高倍率画像を撮影する撮影装置においては、事前のコマ割りに従って、生体組織標本の部分的領域（例えば、分割領域５００）ごとに高倍率画像を撮影し、得られた複数の画像をつなぎ合わせる（ステッチング）ことによって生体組織標本の全体の高倍率画像を取得する場合がある。この際、コマ割りを決定するために、後述するサムネイルカメラ１１０（図１１　参照）によって、生体組織標本の全体の画像である、例えば解像度の低いサムネイル画像を取得し、当該サムネイル画像に基づき、生体組織標本の仮想的な分割（コマ割り）を決定する。そこで、本実施形態では、このようなサムネイル画像を１次画像４１０（図１６　参照）として用いることとする。このようなサムネイル画像を１次画像４１０として用いることにより、画像処理に係る処理時間を短くすることができる。以下に、このような本実施形態の詳細について説明する。

　＜４．１　画像処理システム＞
　まずは、図１１を参照して、本開示の第３の実施形態に係る画像処理システム１０ｂの構成例を説明する。図１１は、本開示の第３の実施形態に係る画像処理システム１０ｂの構成例を示すブロック図である。本実施形態に係る画像処理システム１０ａは、図１１に示すように、サムネイルカメラ１１０と、メインカメラ１２０と、画像処理装置２００ｂとを含むことができる。サムネイルカメラ１１０、メインカメラ１２０、及び、画像処理装置２００ｂの間は、互いに有線又は無線の各種の通信ネットワークを介して通信可能に接続してもよい。また、本実施形態においては、サムネイルカメラ１１０とメインカメラ１２０との間には、スライド３００をサムネイルカメラ１１０からメインカメラ１２０へ搬送するスライドローダー１３０が設けられている。例えば、当該スライドローダー１３０は、画像処理装置２００ｂに制御されることにより、スライド３００をサムネイルカメラ１１０からメインカメラ１２０へ搬送することができる。かかるスライドローダー１３０を設けることで、サムネイルカメラ１１０からメインカメラ１２０へスライド３００が自動的に搬送されるようになる。以下に、本実施形態に係る画像処理システム１０ｂに含まれる各装置の概要について説明する。

　（サムネイルカメラ１１０）
　サムネイルカメラ１１０は、生体組織標本の全体像を撮影するデジタルカメラであり、その形態は、上述したＤＰＩスキャナ１００と同様に、光源部１１２と、センサ部１１４と、制御部１１６と、ステージとして機能するスライドローダー１３０とを有する。詳細には、制御部１１６は、光源部１１２及びセンサ部１１４を制御して、生体組織標本の全体像を撮影し、当該撮影によって得られたデジタル画像は、１次画像４１０（図１６　参照）として、画像処理装置２００ｂに出力される。

　さらに、サムネイルカメラ１１０には、スライド３００に貼付されたラベル（図示省略）に記載された付帯情報（生体組織標本の識別情報、生体組織標本の属性情報（部位、生体の年齢、性別、病気等）、生体組織標本の作製条件情報（染色試薬、染色条件）等）を撮影するための機構が設けられていてもよい。この場合、撮影したラベルのデジタル画像は、画像処理装置２００ｂに出力されてもよく、当該画像処理装置２００ｂは、当該デジタル画像を利用して、直接的に付帯情報を取得してもよく、もしくは、外部サーバ（図示省略）から付帯情報を取得してもよい。

　（メインカメラ１２０）
　メインカメラ１２０は、生体組織標本のスライド３００のうち、例えば、各分割領域５００を、サムネイルカメラ１１０よりも大きく拡大して撮影するデジタルカメラであり、その形態は、上述したＤＰＩスキャナ１００と同様に、光源部１２２と、センサ部１２４と、制御部１２６と、ステージとして機能するスライドローダー１３０とを有する。詳細には、制御部１２６は、画像処理装置２００ｂからのコマンドに従って、光源部１１２及びセンサ部１１４を制御して、生体組織標本の各分割領域５００を撮影し、当該撮影によって得られたデジタル画像は、２次画像４１２（図１６　参照）として、画像処理装置２００ｂに出力される。

　なお、上述の説明においては、サムネイルカメラ１１０による１次画像（第１の画素信号に係る撮影画像）４１０は、メインカメラ１２０による２次画像（第２の画素信号に係る撮影画像）４１２に比べて、画角が広いものとして説明したが、本実施形態においてはこれに限定されるものではなく、例えば、画角が同一であってもよい。また、本実施形態においては、サムネイルカメラ１１０による１次画像４１０は、メインカメラ１２０による２次画像４１２に比べて、解像度が低くてもよく、もしくは、解像度が同一であってもよい。

　（画像処理装置２００ｂ）
　画像処理装置２００ｂは、サムネイルカメラ１１０による１次画像４１０に基づいて、メインカメラ１２０を制御し、且つ、メインカメラ１２０が撮影した複数の２次画像４１２を処理する機能を有する装置である。

　＜４．２　画像処理装置＞
　次に、図１２を参照して、本実施形態に係る画像処理装置２００ｂの詳細構成を説明する。図１２は、本開示の第３の実施形態に係る画像処理装置２００ｂの構成例を示すブロック図である。詳細には、図１２に示すように、画像処理装置２００ｂは、処理部２１０ｂと、通信部２４０と、記憶部２５０と、表示部２６０とを主に有することができる。以下に、画像処理装置２００ｂの各機能ブロックについて順次説明するが、処理部２１０ｂ以外は、第１及び第２の実施形態に係る画像処理装置２００、２００ａの各機能ブロックと共通するため、ここでは、処理部２１０ｂ以外の説明を省略し、処理部２１０ｂのみを説明する。

　（処理部２１０ｂ）
　処理部２１０ｂは、サムネイルカメラ１１０からの、生体組織標本の全体像である１次画像４１０に基づき、メインカメラ１２０を制御したり、メインカメラ１２０からの、生体組織標本の各分割領域５００の複数の２次画像４１２を処理したりすることができ、例えばＣＰＵ等の処理回路等により実現される。詳細には、処理部２１０ｂは、図８に示すように、第１の取得部（第１の画素信号取得部）２１２と、画像レンジ取得部（レンジ取得部）２１４ｂと、回数決定部２１６ｂと、スキャナ制御部（制御部）２１８と、補正値決定部２２０ｂと、第２の取得部（第２の画素信号取得部）２２２と、合成部（画像生成部）２２４と、ＨＬＳ信号生成部２２６とを主に有する。さらに、処理部２１０ｂは、ステッチング部２３２を有する。以下に、処理部２１０ｂの各機能部について順次説明するが、第１及び第２の実施形態と共通する機能部については、説明を省略する。

　画像レンジ取得部２１４ｂは、ＨＬＳ信号に変換された１次画像４１０における、Ｌ値及びＳ値の分布の幅（ダイナミックレンジ）を取得する。詳細には、画像レンジ取得部２１４は、１次画像４１０に含まれる各画素のＬ値及びＳ値を、例えば、各レベル（画素値を所定の値の範囲ごとに区切ったもの）の度数の分布を示すヒストグラム化し、その最大値及び最小値を取得する。そして、画像レンジ取得部２１４ｂは、取得した最大値及び最小値を、後述する回数決定部２１６ｂや補正値決定部２２０ｂに出力する。

　回数決定部２１６ｂは、テーブル（所定のテーブル）２５２（図１４　参照）を参照して、画像レンジ取得部２１４ａによるＬ値及びＳ値の最小値及び最大値に基づいて、生体組織標本における同一の分割領域（被撮影領域）５００に対する撮影回数Ｎを決定し、撮影回数Ｎをスキャナ制御部２１８に出力する。

　補正値決定部２２０ｂは、テーブル（所定のテーブル）２５２（図１４　参照）を参照して、上述した画像レンジ取得部２１４によるＬ値及びＳ値の最小値及び最大値に基づき、補正値としてのオフセット値（Ｏｆｆｓｅｔ）を決定し、後述する合成部２２４に出力する。

　本実施形態においては、Ｌ値及びＳ値の両方を用いて、撮影回数Ｎや補正値を決定することから、Ｌ値及びＳ値のバランスが考慮された最終画像（図示省略）を得ることができる。

　なお、図１４に示すテーブル２５２は、例えば、過去の撮影に基づき実験的に求められた、インデックス（例えば、Ｌ値及びＳ値の最大値及び最小値）ごとの、鮮明な最終画像を得るために最適な撮影回数Ｎ及びオフセット値が保存されている。なお、本実施形態においては、テーブル２５２は、過去の撮影履歴（撮影条件、合成画像の品質等）を機械学習することによって得られた撮影画像品質モデルに基づき、予め生成されてもよい。また、図１４に示す値は、あくまでも例示であり、本実施形態に係るテーブル２５２に保存されている値は、図１４に示す値に限定されるものではない。

　また、上述の説明においては、回数決定部２１６ｂ及び補正値決定部２２０ｂは、テーブル２５２から、Ｌ値及びＳ値の最小値及び最大値に紐づく、撮影回数Ｎ及びオフセット値を選択するものとして説明しているが、本実施形態においては、これに限定されるものではない。本実施形態においては、例えば、回数決定部２１６ｂ及び補正値決定部２２０ｂは、スライド３００に貼付されたラベル（図示省略）に記載された付帯情報（付与された情報）に基づいて、使用するテーブルを選択してもよく、もしくは、テーブル２５２から、撮影回数Ｎ及びオフセット値を選択してもよい。

　ステッチング部２３２は、合成部２２４において、Ｎ枚の２次画像４１２を加算することによって得られた互いに異なる分割領域５００に係る３次画像（図示省略）を、各分割領域５００の位置関係に従ってつなぎ合わせて、最終画像（図示省略）を生成する。

　＜４．３　画像処理方法＞
　次に、図１３から図１６を参照して、本実施形態に係る画像処理方法について説明する。図１３は、本実施形態に係る画像処理の一例を示すフローチャートであり、図１４は、本実施形態に係るテーブル２５２の一例を説明するための説明図である。また、図１５及び図１６は、本実施形態に係る画像処理を説明するための説明図である。詳細には、図１３に示すように、本実施形態に係る画像処理方法は、ステップＳ３０１からステップＳ３１４までのステップを含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。なお、以下の説明においては、上述の第１及び第２の実施形態と異なる点のみを説明し、第１及び第２の実施形態と共通する点については、その説明を省略する。

　まずは、画像処理システム１０ｂは、サムネイルカメラ１１０により、生体組織標本の全体像である１次画像４１０（図１６　参照）を撮影する（ステップＳ１０１）。

　ステップＳ３０２及びステップＳ３０３は、図９に示す、第２の実施形態のステップＳ２０２及びステップＳ２０３と同様であるため、ここではその説明を省略する。

　次に、画像処理システム１０ｂは、ＨＬＳ信号に変換された１次画像４１０（図１６　参照）から、Ｌ値及びＳ値のヒストグラムを生成する（ステップＳ３０４）。生成されたヒストグラムは、例えば、図１５に示される。図１５においては、Ｌ値及びＳ値の分布を示すヒストグラムが示され、当該ヒストグラムにおいては、Ｌ値及びＳ値を所定の範囲（レベル）に区切り、各範囲の度数を示す。

　画像処理システム１０ｂは、図１４に示すテーブル２５２から、Ｌ値及びＳ値の最小値及び最大値に紐づく撮影回数Ｎ及びオフセット値（Ｏｆｆｓｅｔ　Ｒ，Ｏｆｆｓｅｔ　Ｇ、Ｏｆｆｓｅｔ　Ｂ）を選択して、撮影回数Ｎ及びオフセット値を決定する（ステップＳ３０５）。本実施形態においては、Ｌ値及びＳ値の両方の最小値及び最大値を用いて、撮影回数Ｎやオフセット値を決定することから、Ｌ値及びＳ値のバランスが考慮された最終画像（図示省略）を得ることができる。そして、画像処理システム１０ｂは、スライド３００をサムネイルカメラ１１０からメインカメラ１２０へ搬送する（ステップＳ３０６）。

　画像処理システム１０ｂは、メインカメラ１２０により、生体組織標本の１つの分割領域５００の２次画像４１２を撮影回数Ｎだけ撮影する（ステップＳ３０７）。

　ステップＳ３０８は、図９に示す、第２の実施形態のステップＳ２０８と同様であるため、ここではその説明を省略する。

　画像処理システム１０ｂは、下記の数式（６）に従い、Ｎ枚の２次画像４０２の各画素のＲＧＢ値から各オフセット値（Ｏｆｆｓｅｔ　Ｒ，Ｏｆｆｓｅｔ　Ｇ、Ｏｆｆｓｅｔ　Ｂ）を差し引き、差し引いたのちのＲＧＢ値を同一画素ごとに加算することにより、３次画像（図示省略）を合成する（ステップＳ３０９）。

　次に、画像処理システム１０ｂは、各色の３次画像（図示省略）を記憶部２５０の３次画像蓄積部（図示省略）に保存する（ステップＳ３１０）。

　そして、画像処理システム１０ｂは、全ての分割領域５００について、Ｎ回の２次画像４１２の撮影が完了したかどうかを判定する（ステップＳ３１１）。画像処理システム１０ｂは、撮影完了の場合（ステップＳ３１１：Ｙｅｓ）には、ステップＳ３１３へ進み、撮影完了でない場合（ステップＳ１０５：Ｎｏ）には、ステップＳ３１２へ進む。

　次に、画像処理システム１０ｂは、次の撮影対象となる分割領域５００の２次画像４１２の撮影のために、スライド３００の撮影位置を更新し、上述したステップＳ３０７へ戻る（ステップＳ３１２）。すなわち、本実施形態においては、全ての分割領域５００についてＮ回の２次画像４１２の撮影が完了するまで、スライド３００の撮影位置の更新と、Ｎ回の２次画像４１２の撮影と、３次画像（図示省略）の合成とを繰り返すこととなる。

　そして、画像処理システム１０ｂは、互いに異なる分割領域５００に係る複数の３次画像（図示省略）を、各分割領域５００の位置関係に従ってつなぎ合わせて（ステッチング）、最終画像（図示省略）を生成する（ステップＳ３１３）。さらに、画像処理システム１０ｂは、最終画像を、表示部２６０に出力したり、記憶部２５０の合成画像蓄積部（図示省略）に保存したりする（ステップＳ３１４）。

　以上のように、本実施形態によれば、Ｌ値及びＳ値の両方の最小値及び最大値を用いて、撮影回数Ｎやオフセット値を決定することから、Ｌ値及びＳ値のバランスが考慮された最終画像（図示省略）を得ることができる。さらに、本実施形態によれば、サムネイル画像を１次画像４１０として用いることにより、画像処理に係る処理時間を短くすることができる。

　また、上述した実施形態においては、ＨＬＳ色空間を用いることに限定されるものではなく、カラー画像を、輝度と、青系統の色相及び彩度と、赤系統の色相及び彩度とで表現するＹＣＣ色空間を用いてもよい。

　＜＜５．　第４の実施形態＞＞
　以下に説明する第４の実施形態においては、１次画像４００の解析結果に応じて、ＤＰＩスキャナ１００の光源部１０２によって生体組織標本に照射する光の光量を調整し、複数の２次画像４０２を取得する。本実施形態においては、光量が好適に調整された条件の下で撮影されたＮ枚の２次画像４０２を加算することにより、鮮明な合成画像４０４を取得することができる。さらに、本実施形態によれば、光量を好適に調整することにより、合成画像４０４における色浮きや黒浮きを抑えることができる。以下に、このような本実施形態の詳細を説明する。

　なお、第４の実施形態に係る画像処理システム１０及びＤＰＩスキャナ１００の構成例は、第１の実施形態の画像処理システム１０及びＤＰＩスキャナ１００と共通であることから、第１の実施形態に係る画像処理システム１０及びＤＰＩスキャナ１００の構成の説明及び説明で用いた図３を参照し得る。従って、ここでは、本実施形態に係る画像処理システム１０及びＤＰＩスキャナ１００の説明を省略する。

　＜５．１　画像処理装置＞
　まずは、図１７を参照して、本実施形態に係る画像処理装置２００ｃの詳細構成を説明する。図１７は、本開示の第４の実施形態に係る画像処理装置２００ｃの構成例を示すブロック図である。詳細には、図１７に示すように、画像処理装置２００ｃは、処理部２１０ｃと、通信部２４０と、記憶部２５０と、表示部２６０とを主に有することができる。以下に、画像処理装置２００ｃの各機能ブロックについて順次説明するが、処理部２１０ｃ以外は、第１から第３の実施形態に係る画像処理装置２００、２００ａ、２００ｂの各機能ブロックと共通するため、ここでは、処理部２１０ｃ以外の説明を省略し、処理部２１０ｃのみを説明する。

　（処理部２１０ｃ）
　処理部２１０ｃは、第１の実施形態と同様に、ＤＰＩスキャナ１００を制御したり、ＤＰＩスキャナ１００からのデジタル画像を処理したりすることができ、例えばＣＰＵ等の処理回路等により実現される。詳細には、処理部２１０ｃは、図１７に示すように、第１の取得部（第１の画素信号取得部）２１２と、画像レンジ取得部（レンジ取得部）２１４ｂと、スキャナ制御部（制御部）２１８ｃと、第２の取得部（第２の画素信号取得部）２２２と、合成部（画像生成部）２２４ｃと、ＨＬＳ信号生成部２２６とを主に有する。さらに、処理部２１０ｃは、条件決定部２３４を有する。以下に、処理部２１０ｃの各機能部について順次説明するが、第１から第３の実施形態と共通する機能部については、説明を省略する。

　スキャナ制御部２１８ｃは、後述する条件決定部２３４によって決定された撮影回数Ｎ及び光量に基づき、ＤＰＩスキャナ１００を制御するためのコマンドを生成し、通信部２４０を介して、ＤＰＩスキャナ１００を制御する。

　合成部２２４ｃは、第２の取得部２２２からの、各分割領域５００のＮ枚の２次画像４０２を重ね合わせて（加算）、合成画像４０４を生成する。例えば、合成部２２４は、Ｎ枚の２次画像４０２の同一画素の各ＲＧＢ値を単に加算することにより、色ごとの合成画像４０４を得ることができる。

　条件決定部２３４は、テーブル２５４（図１９　参照）を参照して、画像レンジ取得部２１４ｂによるＬ値及びＳ値の最小値及び最大値に基づいて、生体組織標本における分割領域（被撮影領域）５００の少なくとも一部に対する撮影回数Ｎ及び光量を決定し、撮影回数Ｎ及び光量（光量に対応する照射強度、照射時間であってもよい）をスキャナ制御部２１８ｃに出力する。なお、本実施形態においては、条件決定部２３４は、撮影回数Ｎ及び光量を決定することに限定されるものではなく、照射光の波長等も決定してもよい。

　なお、図１９に示されるテーブル２５４は、例えば、過去の撮影に基づき実験的に求められた、インデックス（例えば、Ｌ値及びＳ値の最大値及び最小値）ごとの、鮮明な合成画像４０４を得るために最適な撮影回数Ｎ及び光量が保存されている。なお、本実施形態においては、テーブル２５４は、過去の撮影履歴（撮影条件、合成画像４０４の品質等）を機械学習することによって得られ撮影画像品質モデルに基づき、予め生成されてもよい。また、図１９に示す値は、あくまでも例示であり、本実施形態に係るテーブル２５４に保存されている値は、図１９に示す値に限定されるものではない。

　＜５．２　画像処理方法＞
　次に、図１８及び図１９を参照して、本実施形態に係る画像処理方法について説明する。図１８は、本実施形態に係る画像処理の一例を示すフローチャートであり、図１９は、本実施形態に係るテーブル２５４の一例を説明するための説明図である。詳細には、図１８に示すように、本実施形態に係る画像処理方法は、ステップＳ４０１からステップＳ４１０までのステップを含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。なお、以下の説明においては、上述の第１から第３の実施形態と異なる点のみを説明し、第１から第３の実施形態と共通する点については、その説明を省略する。

　ステップＳ４０１からステップＳ４０３は、図９に示す、第２の実施形態のステップＳ２０１からステップＳ２０３と同様であるため、ここではその説明を省略する。

　ステップＳ４０４は、図１３に示す、第３の実施形態のステップＳ３０４と同様であるため、ここではその説明を省略する。

　画像処理システム１０は、図１９に示すテーブル２５４から、Ｌ値及びＳ値の最小値及び最大値に紐づく撮影回数Ｎ及び光量を選択して、撮影回数Ｎ及び光量を決定する（ステップＳ４０５）。画像処理システム１０は、決定した光量に従い、ＤＰＩスキャナ１００の光源部１０２の光量（詳細には、照射強度や照射時間等）を調整する（ステップＳ４０６）。

　ステップＳ４０７及びステップＳ４０８は、図９に示す、第２の実施形態のステップＳ２０７及びステップＳ２０８と同様であるため、ここではその説明を省略する。

　画像処理システム１０は、下記の数式（７）に従い、Ｎ枚の２次画像４０２の同一画素の各ＲＧＢ値を加算することにより、各色の合成画像４０４を合成する（ステップＳ４０９）。

　ステップＳ４１０は、図９に示す、第２の実施形態のステップＳ２１２と同様であるため、ここではその説明を省略する。

　以上のように、本実施形態によれば、１次画像４００の解析結果に応じて光量が好適に調整された条件の下で撮影されたＮ枚の２次画像４０２を加算することにより、鮮明な合成画像４０４を取得することができる。さらに、本実施形態によれば、光量を好適に調整することにより、合成画像４０４における色浮きや黒浮きを抑えることができる。

　＜＜６．　第５の実施形態＞＞
　ところで、例えば過ヨウ素酸メセナミン銀（ＰＡＭ）や過ヨウ素酸シッフ（ＰＡＳ）染色を用いて生体組織標本を染色した場合には、所定の組織がより濃く染色される。すなわち、特定の染色試薬を用いて生体組織標本を染色することにより、所定の組織が鮮明浮かび上がることとなり、当該組織に着目して解析を行うことができる。このような着目組織が限定される場合においては、より高精度に解析を行うためには、染色された着目組織のコントラストをより強調した画像を取得することが好ましい。そこで、本実施形態においては、染色試薬の種類及び１次画像４００における着目組織の範囲のＲＧＢ値のダイナミックレンジに応じて、撮影回数Ｎや補正値を決定することにより、染色された着目組織の細部まで鮮明に見える、コントラストをより強調した画像を取得することを可能にする。

　図２０を参照して、本実施形態の概念を説明する。図２０は、本実施形態を説明するための説明図であり、より詳細には、左から右に向かって、２次画像４０２におけるＧ値の分布、Ｎ枚の２次画像４０２を加算した場合におけるＧ値の分布、及び、本実施形態における補正後の画像におけるＧ値の分布を示す。本実施形態においては、補正後の画像における着目組織に対応する画素値の分布幅（ダイナミックレンジ）が好適に拡張されていることから、着目組織の細部まで鮮明となり、着目組織をより見やすくすることができる。

　詳細には、Ｇ値を例に説明すると、まずは、本実施形態においては、これまで説明した実施形態と同様に、染色試薬Ａで染色した生体組織標本をＮ回撮影してＮ枚の２次画像４０２を取得する。この際、各２次画像４０２のＧ値の分布は、図２０の左図となる。そして、本実施形態においても、これまで説明した実施形態と同様に、Ｎ枚の２次画像４０２のＧ値を加算することにより、図２０の中央図に示すようにＧ値の分布の範囲が拡大し、広いダイナミックレンジを持つ加算画像（図示省略）を得ることができる。もし、表示部２６０が広い階調幅を持ってＧ値を表現できる広ダイナミックレンジの表示装置であれば、そのまま上記加算画像を表示しても、着目領域の細部についても鮮明に表示することができる。しかしながら、表示部２６０が、制限された狭い階調幅でしかＧ値を表現することができない狭ダイナミックレンジの表示装置であれば、上記加算画像を表示した場合、着目領域の細部について鮮明に表示することが難しいことがある。そこで、本実施形態においては、このように表示できるＧ値の範囲に制限がある場合においては、補正により、図２０の右図のように、着目組織に該当する領域のＧ値の分布幅を切り出すことにより、着目組織を高コントラストな状態で表示することができる。以下、このような本実施形態の詳細を説明する。

　なお、本実施形態においては、生体組織標本は、１つ又は複数の染色試薬で染色された生体組織標本であるものとする。

　また、第５の実施形態に係る画像処理システム１０及びＤＰＩスキャナ１００の構成例は、第１の実施形態の画像処理システム１０及びＤＰＩスキャナ１００と共通であることから、第１の実施形態に係る画像処理システム１０及びＤＰＩスキャナ１００の構成の説明及び説明で用いた図３を参照し得る。従って、ここでは、本実施形態に係る画像処理システム１０及びＤＰＩスキャナ１００の説明を省略する。

　＜６．１　画像処理装置＞
　まずは、図２１を参照して、本実施形態に係る画像処理装置２００ｄの詳細構成を説明する。図２１は、本開示の第５の実施形態に係る画像処理装置２００ｄの構成例を示すブロック図である。詳細には、図２１に示すように、画像処理装置２００ｄは、処理部２１０ｄと、通信部２４０と、記憶部２５０と、表示部２６０とを主に有することができる。以下に、画像処理装置２００ｄの各機能ブロックについて順次説明するが、処理部２１０ｄ以外は、第１の実施形態に係る画像処理装置２００の各機能ブロックと共通するため、ここでは、処理部２１０ｄ以外の説明を省略し、処理部２１０ｄのみを説明する。

　（処理部２１０ｄ）
　処理部２１０ｄは、第１の実施形態と同様に、ＤＰＩスキャナ１００を制御したり、ＤＰＩスキャナ１００からのデジタル画像を処理したりすることができ、例えばＣＰＵ等の処理回路等により実現される。詳細には、処理部２１０ｄは、図２１に示すように、第１の取得部（第１の画素信号取得部）２１２と、画像レンジ取得部（レンジ取得部）２１４と、回数決定部２１６ｄと、スキャナ制御部（制御部）２１８と、補正値決定部２２０ｄと、第２の取得部（第２の画素信号取得部）２２２と、合成部（画像生成部）２２４ｃとを主に有する。さらに、処理部２１０ｄは、判定部（特定部）２３６と、補正部２３８とを有する。以下に、処理部２１０ｄの各機能部について順次説明するが、第１から第４の実施形態と共通する機能部については、説明を省略する。

　回数決定部２１６ｄは、テーブル（所定のテーブル）２５６（図２３　参照）を参照して、後述する判定部２３６によって判定された生体組織標本の染色試薬の種類と、画像レンジ取得部２１４によるＲＧＢ値の最小値及び最大値とに基づいて、生体組織標本における分割領域（被撮影領域）５００に対する撮影回数Ｎを決定し、撮影回数Ｎをスキャナ制御部２１８に出力する。

　補正値決定部２２０ｄは、テーブル（所定のテーブル）２５６（図２３　参照）を参照して、後述する判定部２３６によって判定された生体組織標本の染色試薬の種類と、画像レンジ取得部２１４によるＲＧＢ値の最小値及び最大値とに基づいて、各ＲＧＢ値の限定範囲（Ｍｉｎ及びＭａｘ）（図２３　参照）を決定し、後述する補正部２３８に出力する。すなわち、当該限定範囲は、図２０を用いて説明した、切り出される、着目組織に該当する領域の画素値（詳細には、ＲＧＢ値）の分布幅に対応する。

　なお、図２３に示すテーブル２５６は、例えば、過去の撮影に基づき実験的に求められた、インデックス（例えば、染色試薬の種類、ＲＧＢ値の最大値及び最小値）ごとに、最適な撮影回数Ｎや各ＲＧＢ値の限定範囲が保存されている。なお、本実施形態においては、テーブル２５６は、過去の撮影履歴（撮影条件、合成画像の品質等）を機械学習することによって得られた撮影画像品質モデルに基づき、予め生成されてもよい。また、図２３に示す値は、あくまでも例示であり、本実施形態に係るテーブル２５６に保存されている値は、図２３に示す値に限定されるものではない。

　判定部２３６は、画像レンジ取得部２１４による各ＲＧＢ値のヒストグラムの形状に基づいて、生体組織標本の染色試薬の種類（種別）を判定（特定）し、判定結果を回数決定部２１６ｄ及び補正値決定部２２０ｄに出力する。本実施形態においては、例えば、機械学習によって得られた染色試料認識モデルに基づいて、染色試薬の種類を判定してもよい。詳細には、例えば、事前に、各染色試薬で染色した生体組織標本の画像を機械学習させておき、各染色試薬で染色した生体組織標本の画像における、各ＲＧＢ値のヒストグラム（画素値レンジ）の特徴点、特徴量を抽出し、染色試薬認識モデルを生成する。そして、判定部２３６は、画像レンジ取得部２１４による各ＲＧＢ値のヒストグラムの特徴点や特徴量と同一又は類似する各ＲＧＢ値のヒストグラムを染色試薬認識モデルから抽出し、抽出したヒストグラムに紐づけられた染色試薬を、生体組織標本で用いられた染色試薬であると認識する。なお、本実施形態においては、ヒストグラムに基づいて判定することに限定されるものではなく、例えば、ユーザによる手入力により、生体組織標本の染色試薬の種類を取得してもよい。

　補正部２３８は、補正値決定部２２０ｄによる各ＲＧＢ値の限定範囲（Ｍｉｎ及びＭａｘ）（図２３　参照）に基づいて、好適な範囲の各ＲＧＢ値を切り出す、すなわち、色ごとの合成画像４０４のＲＧＢ値の範囲を限定することにより補正を実行することができる。

　＜６．２　画像処理方法＞
　次に、図２２及び図２３を参照して、本実施形態に係る画像処理方法について説明する。図２２は、本実施形態に係る画像処理の一例を示すフローチャートであり、図２３は、本実施形態に係るテーブル２５６の一例を説明するための説明図である。詳細には、図２２に示すように、本実施形態に係る画像処理方法は、ステップＳ５０１からステップＳ５１０までのステップを含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。なお、以下の説明においては、上述の第１から第４の実施形態と異なる点のみを説明し、第１から第４の実施形態と共通する点については、その説明を省略する。

　ステップＳ５０１からステップＳ５０３は、図６に示す、第１の実施形態のステップＳ１０１からステップＳ１０３と同様であるため、ここではその説明を省略する。

　画像処理システム１０は、ＲＧＢ値のヒストグラムの形状に基づいて、生体組織標本の染色試薬の種類を判定する（ステップＳ５０４）。

　画像処理システム１０は、図２３に示すテーブル２５６を参照して、生体組織標本の染色試薬の種類と、各ＲＧＢ値の最小値及び最大値とに基づいて、生体組織標本における同一の分割領域（被撮影領域）５００に対する撮影回数Ｎ、及び、各ＲＧＢ値の限定範囲（Ｍｉｎ及びＭａｘ）を決定する（ステップＳ５０５）。

　ステップＳ５０６及びステップＳ５０７は、図６に示す、第１の実施形態のステップＳ１０６及びステップＳ１０７と同様であるため、ここではその説明を省略する。

　ステップＳ５０８は、図１８に示す、第４の実施形態のステップＳ４０９と同様であるため、ここではその説明を省略する。

　そして、画像処理システム１０は、色ごとの合成画像４０４のＲＧＢ値の範囲を、数式（８）に従い、範囲限定することにより補正を実行することができる（ステップ５０９）。数式（８）においては、ＯｕｔＩｍａｇｅＲ（ｘ，ｙ）、ＯｕｔＩｍａｇｅＧ（ｘ，ｙ）、ＯｕｔＩｍａｇｅＢ（ｘ，ｙ）は、Ｎ枚の２次画像４０２の同一画素ごとのＲＧＢ値の加算値であり、すなわち、合成画像４０４の画素ごとの各ＲＧＢ値である。また、Ｍａｘ　Ｒ、Ｍａｘ　Ｇ，Ｍａｘ　Ｂ、Ｍｉｎ　Ｒ、Ｍｉｎ　Ｇ、Ｍｉｎ　Ｂは、各ＲＧＢ値の限定範囲を示す。さらに、ＣｏｒｒＯｕｔＩｍａｇｅＲ（ｘ，ｙ）、ＣｏｒｒＯｕｔＩｍａｇｅＧ（ｘ，ｙ）、ＣｏｒｒＯｕｔＩｍａｇｅＢ（ｘ，ｙ）は、補正後の画像（図示省略）の画素ごとのＲＧＢ値である。本実施形態においては、各ＲＧＢ値の限定範囲（Ｍｉｎ及びＭａｘ）に基づいて、上述のような補正を行うことにより、着目組織を高コントラストな状態で表示することができる。

　ステップＳ５１０は、図６に示す、第１の実施形態のステップＳ１０９と同様であるため、ここではその説明を省略する。

　以上のように、本実施形態においては、各ＲＧＢ値の限定範囲（Ｍｉｎ及びＭａｘ）に基づいて、好適な範囲の各ＲＧＢ値を切り出す、すなわち、色ごとの合成画像４０４のＲＧＢ値の範囲を限定することにより、着目組織を高コントラストな状態で表示することができる。

　＜６．３　変形例＞
　上述の実施形態においては、染色試薬の種類をＲＧＢ値のヒストグラムの形状に基づいて、判定していたが、本実施形態においては、これに限定されるものではなく、例えば、ユーザによって手入力されてもよく、もしくは、上述したサムネイルカメラ１１０を用いてスライド３００に貼付されたラベル（図示省略）に記載された付帯情報から染色試薬の種類を取得してもよい。

　＜＜７．　まとめ＞＞
　以上のように、本開示の各実施形態においては、複数枚の２次画像の加算を行うことにより、ノイズの低減や、階調不足（不連続性）による情報の欠落を解消しつつ、ダイナミックレンジを拡大することができる。従って、本開示の各実施形態によれば、鮮明な生体組織標本のデジタル画像を取得することができる。さらに、本開示の各実施形態によれば、マルチスペクトルセンサを設けることが求められないことから、画像処理システム１０の製造コストの増加や大型化を避けることができる。すなわち、本開示の各実施形態によれば、製造コストの増加や大型化を避けつつ、鮮明な生体組織標本のデジタル画像を取得することができる。

　さらに、本開示の各実施形態においては、撮影回数Ｎや補正値を得るために画素値のヒストグラムを作成していたが、これを省略して、直接的に画素値の最小値及び最大値を取得してもよい。このようにすることで、画像処理時間を短くすることができる。また、本開示の各実施形態においては、１次画像４００や２次画像４０２をＨＤＤ等の記憶部２５０に保存するものとしていたが、これに限定されるものではなく、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）に内蔵するメモリを用いることにより、保存と加算とを同時に実施して、画像処理時間を短くしてもよい。

　なお、上述した本開示の実施形態においては、撮影対象は、生体組織標本に限定されるものではなく、細かな機械的構造等であってもよく、特に限定されるものではない。また、上述した本開示の実施形態は、医療又は研究等の用途へ適用することに限定されるものではなく、高コントラストの画像を用いて高精度の解析や抽出を行うことが求められる用途であれば、特に限定されるものではない。

　＜＜８．　応用例＞＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、医師等が患者から採取された細胞や組織を観察して病変を診断する病理診断システムやその支援システム等（以下、診断支援システムと称する）に適用されてもよい。この診断支援システムは、デジタルパソロジー技術を利用して取得された画像に基づいて病変を診断又はその支援をするＷＳＩ（Ｗｈｏｌｅ　Ｓｌｉｄｅ　Ｉｍａｇｉｎｇ）システムであってもよい。

　図２４は、本開示に係る技術が適用される診断支援システム５５００の概略的な構成の一例を示す図である。図２４に示すように、診断支援システム５５００は、１以上の病理システム５５１０を含む。さらに医療情報システム５５３０と、導出装置５５４０とを含んでもよい。

　１以上の病理システム５５１０それぞれは、主に病理医が使用するシステムであり、例えば研究所や病院に導入される。各病理システム５５１０は、互いに異なる病院に導入されてもよく、それぞれＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）（インターネットを含む）やＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）や公衆回線網や移動体通信網などの種々のネットワークを介して医療情報システム５５３０及び導出装置５５４０に接続される。

　各病理システム５５１０は、顕微鏡（詳細には、デジタル撮像技術と組み合わされて用いられる顕微鏡）５５１１と、サーバ５５１２と、表示制御装置５５１３と、表示装置５５１４とを含む。

　顕微鏡５５１１は、光学顕微鏡の機能を有し、ガラススライドに収められた観察対象物を撮影し、デジタル画像である病理画像を取得する。観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等であってよい。例えば、顕微鏡５５１１が本開示の第１の実施形態に係るＤＰＩスキャナ１００として機能する。

　サーバ５５１２は、顕微鏡５５１１によって取得された病理画像を図示しない記憶部に記憶、保存する。また、サーバ５５１２は、表示制御装置５５１３から閲覧要求を受け付けた場合に、図示しない記憶部から病理画像を検索し、検索された病理画像を表示制御装置５５１３に送る。例えば、サーバ５５１２が本開示の第１の実施形態に係る画像処理装置２００として機能する。

　表示制御装置５５１３は、ユーザから受け付けた病理画像の閲覧要求をサーバ５５１２に送る。そして、表示制御装置５５１３は、サーバ５５１２から受け付けた病理画像を、液晶、ＥＬ（Ｅｌｅｃｔｒｏ‐Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）などを用いた表示装置５５１４に表示させる。なお、表示装置５５１４は、４Ｋや８Ｋに対応していてもよく、また、１台に限られず、複数台であってもよい。

　ここで、観察対象物が臓器の肉片等の固形物である場合、この観察対象物は、例えば、染色された薄切片であってよい。薄切片は、例えば、臓器等の検体から切出されたブロック片を薄切りすることで作製されてもよい。また、薄切りの際には、ブロック片がパラフィン等で固定されてもよい。

　薄切片の染色には、ＨＥ（Ｈｅｍａｔｏｘｙｌｉｎ-Ｅｏｓｉｎ）染色などの組織の形態を示す一般染色や、ＩＨＣ（Ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ）染色などの組織の免疫状態を示す免疫染色など、種々の染色が適用されてよい。その際、１つの薄切片が複数の異なる試薬を用いて染色されてもよいし、同じブロック片から連続して切り出された２以上の薄切片（隣接する薄切片ともいう）が互いに異なる試薬を用いて染色されてもよい。

　顕微鏡５５１１は、低解像度で撮影するための低解像度撮影部と、高解像度で撮影するための高解像度撮影部とを含み得る。低解像度撮影部と高解像度撮影部とは、異なる光学系であってもよいし、同一の光学系であってもよい。同一の光学系である場合には、顕微鏡５５１１は、撮影対象に応じて解像度が変更されてもよい。

　観察対象物が収容されたガラススライドは、顕微鏡５５１１の画角内に位置するステージ上に載置される。顕微鏡５５１１は、まず、低解像度撮影部を用いて画角内の全体画像を取得し、取得した全体画像から観察対象物の領域を特定する。続いて、顕微鏡５５１１は、観察対象物が存在する領域を所定サイズの複数の分割領域に分割し、各分割領域を高解像度撮影部により順次撮影することで、各分割領域の高解像度画像を取得する。対象とする分割領域の切替えでは、ステージを移動させてもよいし、撮影光学系を移動させてもよいし、それら両方を移動させてもよい。また、各分割領域は、ガラススライドの意図しない滑りによる撮影漏れ領域の発生等を防止するために、隣接する分割領域との間で重複していてもよい。さらに、全体画像には、全体画像と患者とを対応付けておくための識別情報が含まれていてもよい。この識別情報は、例えば、文字列やＱＲコード（登録商標）等であってよい。

　顕微鏡５５１１で取得された高解像度画像は、サーバ５５１２に入力される。サーバ５５１２は、各高解像度画像をより小さいサイズの部分画像（以下、タイル画像と称する）に分割する。例えば、サーバ５５１２は、１つの高解像度画像を縦横１０×１０個の計１００個のタイル画像に分割する。その際、隣接する分割領域が重複していれば、サーバ５５１２は、テンプレートマッチング等の技法を用いて互いに隣り合う高解像度画像にステッチング処理を施してもよい。その場合、サーバ５５１２は、ステッチング処理により貼り合わされた高解像度画像全体を分割してタイル画像を生成してもよい。ただし、高解像度画像からのタイル画像の生成は、上記ステッチング処理の前であってもよい。

　また、サーバ５５１２は、タイル画像をさらに分割することで、より小さいサイズのタイル画像を生成し得る。このようなタイル画像の生成は、最小単位として設定されたサイズのタイル画像が生成されるまで繰り返されてよい。

　このように最小単位のタイル画像を生成すると、サーバ５５１２は、隣り合う所定数のタイル画像を合成することで１つのタイル画像を生成するタイル合成処理を、全てのタイル画像に対して実行する。このタイル合成処理は、最終的に１つのタイル画像が生成されるまで繰り返され得る。このような処理により、各階層が１つ以上のタイル画像で構成されたピラミッド構造のタイル画像群が生成される。このピラミッド構造では、ある層のタイル画像とこの層とは異なる層のタイル画像との画素数は同じであるが、その解像度が異なっている。例えば、２×２個の計４つのタイル画像を合成して上層の１つのタイル画像を生成する場合、上層のタイル画像の解像度は、合成に用いた下層のタイル画像の解像度の１／２倍となっている。

　このようなピラミッド構造のタイル画像群を構築することによって、表示対象のタイル画像が属する階層次第で、表示装置に表示される観察対象物の詳細度を切り替えることが可能となる。例えば、最下層のタイル画像が用いられる場合には、観察対象物の狭い領域を詳細に表示し、上層のタイル画像が用いられるほど観察対象物の広い領域が粗く表示されるようにすることができる。

　生成されたピラミッド構造のタイル画像群は、例えば、各タイル画像を一意に識別可能な識別情報（タイル識別情報と称する）とともに、不図示の記憶部に記憶される。サーバ５５１２は、他の装置（例えば、表示制御装置５５１３や導出装置５５４０）からタイル識別情報を含むタイル画像の取得要求を受け付けた場合に、タイル識別情報に対応するタイル画像を他の装置へ送信する。

　なお、病理画像であるタイル画像は、焦点距離や染色条件等の撮影条件毎に生成されてもよい。撮影条件毎にタイル画像が生成される場合、特定の病理画像とともに、特定の撮影条件と異なる撮影条件に対応する他の病理画像であって、特定の病理画像と同一領域の他の病理画像を並べて表示してもよい。特定の撮影条件は、閲覧者によって指定されてもよい。また、閲覧者に複数の撮影条件が指定された場合には、各撮影条件に対応する同一領域の病理画像が並べて表示されてもよい。

　また、サーバ５５１２は、ピラミッド構造のタイル画像群をサーバ５５１２以外の他の記憶装置、例えば、クラウドサーバ等に記憶してもよい。さらに、以上のようなタイル画像の生成処理の一部又は全部は、クラウドサーバ等で実行されてもよい。

　表示制御装置５５１３は、ユーザからの入力操作に応じて、ピラミッド構造のタイル画像群から所望のタイル画像を抽出し、これを表示装置５５１４に出力する。このような処理により、ユーザは、観察倍率を変えながら観察対象物を観察しているような感覚を得ることができる。すなわち、表示制御装置５５１３は仮想顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には解像度に相当する。

　なお、高解像度画像の撮影方法は、どの様な方法を用いてもよい。ステージの停止、移動を繰り返しながら分割領域を撮影して高解像度画像を取得してもよいし、所定の速度でステージを移動しながら分割領域を撮影してストリップ上の高解像度画像を取得してもよい。また、高解像度画像からタイル画像を生成する処理は必須の構成ではなく、ステッチング処理により貼り合わされた高解像度画像全体の解像度を段階的に変化させることで、解像度が段階的に変化する画像を生成してもよい。この場合でも、広いエリア域の低解像度画像から狭いエリアの高解像度画像までを段階的にユーザに提示することが可能である。

　医療情報システム５５３０は、いわゆる電子カルテシステムであり、患者を識別する情報、患者の疾患情報、診断に用いた検査情報や画像情報、診断結果、処方薬などの診断に関する情報を記憶する。例えば、ある患者の観察対象物を撮影することで得られる病理画像は、一旦、サーバ５５１２を介して保存された後、表示制御装置５５１３によって表示装置５５１４に表示され得る。病理システム５５１０を利用する病理医は、表示装置５５１４に表示された病理画像に基づいて病理診断を行う。病理医によって行われた病理診断結果は、医療情報システム５５３０に記憶される。

　導出装置５５４０は、病理画像に対する解析を実行し得る。この解析には、機械学習によって作成された学習モデルを用いることができる。導出装置５５４０は、当該解析結果として、特定領域の分類結果や組織の識別結果等を導出してもよい。さらに、導出装置５５４０は、細胞情報、数、位置、輝度情報等の識別結果やそれらに対するスコアリング情報等を導出してもよい。導出装置５５４０によって導出されたこれらの情報は、診断支援情報として、病理システム５５１０の表示装置５５１４に表示されてもよい。

　なお、導出装置５５４０は、１台以上のサーバ（クラウドサーバを含む）等で構成されたサーバシステムであってもよい。また、導出装置５５４０は、病理システム５５１０内の例えば表示制御装置５５１３又はサーバ５５１２に組み込まれた構成であってもよい。すなわち、病理画像に対する各種解析は、病理システム５５１０内で実行されてもよい。

　本開示に係る技術は、以上説明した構成のうち、先に説明したように、サーバ５５１２に好適に適用され得る。具体的には、本開示に係る技術は、サーバ５５１２での画像処理に公的に適用され得る。サーバ５５１２に本開示に係る技術を適用することにより、より鮮明な病理画像を得ることができるため、病変の診断をより正確に行うことが可能になる。

　なお、上記で説明した構成は、診断支援システムに限らず、デジタル撮像技術を利用する、共焦点顕微鏡や蛍光顕微鏡、ビデオ顕微鏡等の生物顕微鏡全般にも適用され得る。ここで、観察対象物は、培養細胞や受精卵、精子等の生体試料、細胞シート、三次元細胞組織等の生体材料、ゼブラフィッシュやマウス等の生体であってもよい。また、観察対象物は、ガラススライドに限らず、ウェルプレートやシャーレ等に保存された状態で観察されることもできる。

　さらに、デジタル撮像技術を利用する顕微鏡を用いて取得した観察対象物の静止画像から動画像が生成されてもよい。例えば、所定期間連続的に撮影した静止画像から動画像を生成してもよいし、所定の間隔を空けて撮影した静止画像から画像シーケンスを生成してもよい。このように、静止画像から動画像を生成することで、がん細胞や神経細胞、心筋組織、精子等の拍動や伸長、遊走等の動きや培養細胞や受精卵の分裂過程など、観察対象物の動的な特徴を、機械学習を用いて解析することが可能となる。

　＜＜９．　ハードウェア構成＞＞
　上述してきた各実施形態に係る画像処理装置２００等の情報機器は、例えば図２５に示すような構成のコンピュータ１０００によって実現される。以下、第１の実施形態に係る画像処理装置２００を例に挙げて説明する。図２５は、画像処理装置２００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に保存されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に保存されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を保存する。

　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る画像処理プログラムを記録する記録媒体である。

　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、コンピュータ読み取り可能な所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ　ｃｈａｎｇｅ　ｒｅｗｒｉｔａｂｌｅ　Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ-Ｏｐｔｉｃａｌ　ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

　例えば、コンピュータ１０００が第１の実施形態に係る画像処理装置２００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた画像処理プログラムを実行することにより、第１の取得部２１２、画像レンジ取得部２１４、回数決定部２１６、スキャナ制御部２１８、補正値決定部２２０、第２の取得部２２２、合成部２２４等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る画像処理プログラムや、記憶部２５０内のデータが保存されてもよい。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置から画像処理プログラムを取得してもよい。

　＜＜１０．　補足＞＞
　なお、先に説明した本開示の実施形態は、例えば、上記で説明したような画像処理装置又は画像処理システムで実行される画像処理方法、画像処理装置を機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、当該プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。

　また、上述した本開示の実施形態の処理方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法により処理されていてもよい。

　上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　なお、本技術は以下のような構成も取ることができる。
（１）
　生体組織標本の被撮影領域の撮影による第１の画素信号を取得する第１の画素信号取得部と、
　前記第１の画素信号における画素値レンジを取得するレンジ取得部と、
　前記画素値レンジに基づいて、前記生体組織標本の前記被撮影領域の少なくとも一部に対する撮影回数を決定する回数決定部と、
　前記撮影回数に従って撮影されることによって得られた、前記生体組織標本の前記被撮影領域の少なくとも一部の画素信号である第２の画素信号を取得する第２の画素信号取得部と、
　複数の前記第２の画素信号の少なくとも一部に基づき、出力画像を生成する画像生成部と、
　を備える、
　画像処理装置。
（２）
　前記画素値レンジに基づいて、補正値を決定する補正値決定部をさらに備え、
　前記画像生成部は、前記補正値を用いて、前記第２の画素信号、又は、前記出力画像に対して補正を実行する、
　上記（１）に記載の画像処理装置。
（３）
　前記第１の画素信号に係る撮影画像に基づいて、前記生体組織標本における、１つ又は複数の前記被撮影領域を決定する領域決定部をさらに備え、
　前記レンジ取得部は、前記第１の画素信号に含まれる前被撮影領域の画素信号における前記画素値レンジを取得する、
　上記（２）に記載の画像処理装置。
（４）
　前記領域決定部は、機械学習によって得られた画像認識モデルを用いて、前記被撮影領域を決定する、上記（３）に記載の画像処理装置。
（５）
　前記レンジ取得部は、前記第１の画素信号の最大値及び最小値を取得する、上記（２）に記載の画像処理装置。
（６）
　前記レンジ取得部は、前記第１の画素信号のヒストグラムを生成する、上記（５）に記載の画像処理装置。
（７）
　前記回数決定部は、予め保存された所定のテーブルを参照して、前記最小値及び前記最大値に基づき、前記撮影回数を決定し、
　前記補正値決定部は、前記所定のテーブルを参照して、前記最小値に基づき、前記補正値を決定する、
　上記（５）又は（６）に記載の画像処理装置。
（８）
　前記所定のテーブルは、過去の撮影履歴を機械学習することによって得られた撮影画像品質モデルに基づき予め生成される、上記（７）に記載の画像処理装置。
（９）
　前記回数決定部は、前記生体組織標本に付与された情報に基づき、使用する前記所定のテーブルを選択する、上記（７）又は（８）に記載の画像処理装置。
（１０）
　前記第１の画素信号は、ＨＬＳ信号又はＹＣＣ信号に変換された各画素の輝度及び彩度である、上記（５）～（９）のいずれか１つに記載の画像処理装置。
（１１）
　前記回数決定部は、前記最小値及び前記最大値に基づき、前記撮影回数を算出し、
　前記補正値決定部は、前記最小値に基づき、前記補正値を算出し、
　前記画像生成部は、前記第２の画素信号から前記補正値を差し引くことにより、前記補正を実行する、上記（５）又は（６）に記載の画像処理装置。
（１２）
　前記第１の画素信号は、各画素の色ごとのレベル値である、上記（１１）に記載の画像処理装置。
（１３）
　前記画像生成部は、複数の前記第２の画素信号の各画素の色ごとのレベル値を加算する、上記（１）～（１２）のいずれか１つに記載の画像処理装置。
（１４）
　前記画素値レンジに基づいて、前記生体組織標本の前記被撮影領域の少なくとも一部に対する撮影条件を決定する条件決定部をさらに備え、
　前記第２の画素信号取得部は、前記撮影条件に従った撮影による、前記生体組織標本の前記被撮影領域の少なくとも一部の画素信号である前記第２の画素信号を取得する、
　上記（１）に記載の画像処理装置。
（１５）
　前記撮影条件は、照射強度、照射光の波長、及び露光時間のうちの少なくとも１つについての条件を含む、上記（１４）に記載の画像処理装置。
（１６）
　前記生体組織標本は、１つ又は複数の染色試薬で染色された生体組織標本である、上記（１）～（１５）のいずれか１つに記載の画像処理装置。
（１７）
　前記生体組織標本は、１つ又は複数の染色試薬で染色された生体組織標本であり、
　前記染色試薬の種別を特定する特定部をさらに備え、
　前記回数決定部は、前記染色試薬の種別に基づき、前記撮影回数を決定する、
　上記（１）に記載の画像処理装置。
（１８）
　前記特定部は、前記画素値レンジに基づいて、前記染色試薬の種別を特定する、上記（１７）に記載の画像処理装置。
（１９）
　前記染色試薬の種別に基づき、出力画像に対する補正のための補正値を決定する補正値決定部をさらに備える、上記（１７）又は（１８）に記載の画像処理装置。
（２０）
　前記画像生成部は、前記出力画像の画素信号に対して、前記補正値に基づいて範囲限定することにより、前記補正を実行する、上記（１９）に記載の画像処理装置。
（２１）
　前記第１の画素信号に係る撮影画像は、前記第２の画素信号に係る撮影画像に比べて、画角が広い又は同一である、上記（１）～（２０）のいずれか１つに記載の画像処理装置。
（２２）
　前記第１の画素信号に係る撮影画像は、前記第２の画素信号に係る撮影画像に比べて、解像度が低い又は同一である、上記（１）～（２０）のいずれか１つに記載の画像処理装置。
（２３）
　画像処理装置が、
　生体組織標本の被撮影領域の撮影による第１の画素信号を取得することと、
　前記第１の画素信号における画素値レンジを取得することと、
　前記画素値レンジに基づいて、前記生体組織標本の前記被撮影領域の少なくとも一部に対する撮影回数を決定することと、
　前記撮影回数に従って撮影されることによって得られた、前記生体組織標本の前記被撮影領域の少なくとも一部の画素信号である第２の画素信号を取得することと、
　複数の前記第２の画素信号の少なくとも一部に基づき、出力画像を生成することと、
　を含む、
　画像処理方法。
（２４）
　画像処理を実行する画像処理装置と、
　前記画像処理を前記画像処理装置に実行させるためのプログラムと、
　を含む画像処理システムであって、
　前記画像処理装置は、
　生体組織標本の被撮影領域の撮影による第１の画素信号を取得する第１の画素信号取得部と、
　前記第１の画素信号における画素値レンジを取得するレンジ取得部と、
　前記画素値レンジに基づいて、前記生体組織標本の前記被撮影領域の少なくとも一部に対する撮影回数を決定する回数決定部と、
　前記撮影回数に従って撮影されることによって得られた、前記生体組織標本の前記被撮影領域の少なくとも一部の画素信号である第２の画素信号を取得する第２の画素信号取得部と、
　複数の前記第２の画素信号の少なくとも一部に基づき、出力画像を生成する画像生成部と、
　を備える、
　画像処理システム。

　１０、１０ａ、１０ｂ　　画像処理システム
　１００　　ＤＰＩスキャナ
　１０２、１１２、１２２　　光源部
　１０４、１１４、１２４　　センサ部
　１０６、１１６、１２６　　制御部
　１０８　　ステージ
　１１０　　サムネイルカメラ
　１２０　　メインカメラ
　１３０　　スライドローダー
　２００、２００ａ、２００ｂ、２００ｃ、２００ｄ　　画像処理装置
　２１０、２１０ａ、２１０ｂ、２１０ｃ、２１０ｄ　　処理部
　２１２　　第１の取得部
　２１４、２１４ａ、２１４ｂ　　画像レンジ取得部
　２１６、２１６ａ、２１６ｂ、２１６ｄ　　回数決定部
　２１８、２１８ｃ　　スキャナ制御部
　２２０、２２０ａ、２２０ｂ、２２０ｄ　　補正値決定部
　２２２　　第２の取得部
　２２４、２２４ａ、２２４ｃ　　合成部
　２２６、２２８　　ＨＬＳ信号生成部
　２３０　　ＲＧＢ信号生成部
　２３２　　ステッチング部
　２３４　　条件決定部
　２３６　　判定部
　２３８　　補正部
　２４０　　通信部
　２５０　　記憶部
　２５２、２５４、２５６　　テーブル
　２６０　　表示部
　３００　　スライド
　４００、４１０　　１次画像
　４０２、４１２　　２次画像
　４０４　　合成画像
　５００　　分割領域

Claims

　生体組織標本の被撮影領域の撮影による第１の画素信号を取得する第１の画素信号取得部と、
　前記第１の画素信号における画素値レンジを取得するレンジ取得部と、
　前記画素値レンジに基づいて、前記生体組織標本の前記被撮影領域の少なくとも一部に対する撮影回数を決定する回数決定部と、
　前記撮影回数に従って撮影されることによって得られた、前記生体組織標本の前記被撮影領域の少なくとも一部の画素信号である第２の画素信号を取得する第２の画素信号取得部と、
　複数の前記第２の画素信号の少なくとも一部に基づき、出力画像を生成する画像生成部と、
　を備える、
　画像処理装置。
　前記画素値レンジに基づいて、補正値を決定する補正値決定部をさらに備え、
　前記画像生成部は、前記補正値を用いて、前記第２の画素信号、又は、前記出力画像に対して補正を実行する、
　請求項１に記載の画像処理装置。
　前記第１の画素信号に係る撮影画像に基づいて、前記生体組織標本における、１つ又は複数の前記被撮影領域を決定する領域決定部をさらに備え、
　前記レンジ取得部は、前記第１の画素信号に含まれる前被撮影領域の画素信号における前記画素値レンジを取得する、
　請求項２に記載の画像処理装置。
　前記領域決定部は、機械学習によって得られた画像認識モデルを用いて、前記被撮影領域を決定する、請求項３に記載の画像処理装置。
　前記レンジ取得部は、前記第１の画素信号の最大値及び最小値を取得する、請求項２に記載の画像処理装置。
　前記レンジ取得部は、前記第１の画素信号のヒストグラムを生成する、請求項５に記載の画像処理装置。
　前記回数決定部は、予め保存された所定のテーブルを参照して、前記最小値及び前記最大値に基づき、前記撮影回数を決定し、
　前記補正値決定部は、前記所定のテーブルを参照して、前記最小値に基づき、前記補正値を決定する、
　請求項５に記載の画像処理装置。
　前記所定のテーブルは、過去の撮影履歴を機械学習することによって得られた撮影画像品質モデルに基づき予め生成される、請求項７に記載の画像処理装置。
　前記回数決定部は、前記生体組織標本に付与された情報に基づき、使用する前記所定のテーブルを選択する、請求項７に記載の画像処理装置。
　前記第１の画素信号は、ＨＬＳ信号又はＹＣＣ信号に変換された各画素の輝度及び彩度である、請求項５に記載の画像処理装置。
　前記回数決定部は、前記最小値及び前記最大値に基づき、前記撮影回数を算出し、
　前記補正値決定部は、前記最小値に基づき、前記補正値を算出し、
　前記画像生成部は、前記第２の画素信号から前記補正値を差し引くことにより、前記補正を実行する、請求項５に記載の画像処理装置。
　前記第１の画素信号は、各画素の色ごとのレベル値である、請求項１１に記載の画像処理装置。
　前記画像生成部は、複数の前記第２の画素信号の各画素の色ごとのレベル値を加算する、請求項１に記載の画像処理装置。
　前記画素値レンジに基づいて、前記生体組織標本の前記被撮影領域の少なくとも一部に対する撮影条件を決定する条件決定部をさらに備え、
　前記第２の画素信号取得部は、前記撮影条件に従った撮影による、前記生体組織標本の前記被撮影領域の少なくとも一部の画素信号である前記第２の画素信号を取得する、
　請求項１に記載の画像処理装置。
　前記撮影条件は、照射強度、照射光の波長、及び露光時間のうちの少なくとも１つについての条件を含む、請求項１４に記載の画像処理装置。
　前記生体組織標本は、１つ又は複数の染色試薬で染色された生体組織標本である、請求項１に記載の画像処理装置。
　前記生体組織標本は、１つ又は複数の染色試薬で染色された生体組織標本であり、
　前記染色試薬の種別を特定する特定部をさらに備え、
　前記回数決定部は、前記染色試薬の種別に基づき、前記撮影回数を決定する、
　請求項１に記載の画像処理装置。
　前記特定部は、前記画素値レンジに基づいて、前記染色試薬の種別を特定する、請求項１７に記載の画像処理装置。
　前記染色試薬の種別に基づき、出力画像に対する補正のための補正値を決定する補正値決定部をさらに備える、請求項１７に記載の画像処理装置。
　前記画像生成部は、前記出力画像の画素信号に対して、前記補正値に基づいて範囲限定することにより、前記補正を実行する、請求項１９に記載の画像処理装置。
　前記第１の画素信号に係る撮影画像は、前記第２の画素信号に係る撮影画像に比べて、画角が広い又は同一である、請求項１に記載の画像処理装置。
　前記第１の画素信号に係る撮影画像は、前記第２の画素信号に係る撮影画像に比べて、解像度が低い又は同一である、請求項１に記載の画像処理装置。
　画像処理装置が、
　生体組織標本の被撮影領域の撮影による第１の画素信号を取得することと、
　前記第１の画素信号における画素値レンジを取得することと、
　前記画素値レンジに基づいて、前記生体組織標本の前記被撮影領域の少なくとも一部に対する撮影回数を決定することと、
　前記撮影回数に従って撮影されることによって得られた、前記生体組織標本の前記被撮影領域の少なくとも一部の画素信号である第２の画素信号を取得することと、
　複数の前記第２の画素信号の少なくとも一部に基づき、出力画像を生成することと、
　を含む、
　画像処理方法。
　画像処理を実行する画像処理装置と、
　前記画像処理を前記画像処理装置に実行させるためのプログラムと、
　を含む画像処理システムであって、
　前記画像処理装置は、
　生体組織標本の被撮影領域の撮影による第１の画素信号を取得する第１の画素信号取得部と、
　前記第１の画素信号における画素値レンジを取得するレンジ取得部と、
　前記画素値レンジに基づいて、前記生体組織標本の前記被撮影領域の少なくとも一部に対する撮影回数を決定する回数決定部と、
　前記撮影回数に従って撮影されることによって得られた、前記生体組織標本の前記被撮影領域の少なくとも一部の画素信号である第２の画素信号を取得する第２の画素信号取得部と、
　複数の前記第２の画素信号の少なくとも一部に基づき、出力画像を生成する画像生成部と、
　を備える、
　画像処理システム。