JP6562253B2 - 画像出力装置、画像送信装置、画像受信装置、画像出力方法およびプログラム - Google Patents

Description

本開示は、画像出力装置、画像送信装置および画像受信装置などに関する。

従来、生体組織などにおけるミクロ構造を観察するために光学顕微鏡が用いられてきた。光学顕微鏡は、観察対象を透過した光、あるいは反射した光を利用する。観察者は、レンズによって拡大された像を観察する。顕微鏡のレンズで拡大された像を撮影してディスプレイ上に表示するデジタル顕微鏡も知られている。デジタル顕微鏡を利用することにより、複数人での同時観察、遠隔地での観察などが可能である。

近年、ＣＩＳ（Contact Image Sensing）方式によってミクロ構造を観察する技術が注目されている。ＣＩＳ方式による場合、観察対象は、イメージセンサの撮像面に近接して配置される。イメージセンサとしては、一般に、多数の光電変換部が撮像面内に行および列状に配列された２次元イメージセンサが用いられる。光電変換部は、典型的には、半導体層または半導体基板に形成されたフォトダイオードであり、入射光を受けて電荷を生成する。

イメージセンサによって取得される画像は、多数の画素によって規定される。各画素は、１つの光電変換部を含む単位領域によって区画されている。したがって、２次元イメージセンサにおける分解能（解像度）は、通常、撮像面上における光電変換部の配列ピッチに依存する。本明細書では、光電変換部の配列ピッチによって決まる分解能を、イメージセンサの「固有分解能」と呼ぶことがある。個々の光電変換部の配列ピッチは、可視光の波長程度まで短くなっているので、固有分解能をさらに向上させることは困難である。

イメージセンサの固有分解能を超える分解能（高解像度）を実現する技術が提案されている。特許文献１は、被写体の結像位置をシフトさせて得られる複数の画像を用いて当該被写体の画像（高解像度の画像）を形成する技術を開示している。

特開昭６２−１３７０３７号公報

しかしながら、高解像度の画像の生成には負担がかかるため、被写体の画像をスムーズに表示することが難しいという問題がある。

そこで本開示では、被写体の画像をスムーズに表示することができる画像出力装置、画像送信装置および画像受信装置などを提供する。

本開示の一態様に係る画像出力装置は、デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得する画像取得部と、前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を生成する高解像度画像生成部と、取得された前記第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付ける拡大受付部と、前記拡大受付部によって受け付けられた前記拡大情報に基づいて前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成する補間画像生成部と、前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させる表示用出力部と、前記拡大受付部によって受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記拡大情報に応じた前記第二解像度画像を前記高解像度画像生成部に生成させ、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせる切替部と、を備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、被写体の画像をスムーズに表示することができる。

実施の形態１における画像出力装置を含む画像処理システムの一例を示す構成図である。 実施の形態１における、表示装置によって表示される表示画面の一例を示す図である。 実施の形態１における、表示装置によって表示される表示画面の他の例を示す図である。 実施の形態１におけるデジタル顕微鏡および画像出力装置の処理動作の一例を示すフローチャートである。 実施の形態１におけるデジタル顕微鏡および画像出力装置の処理動作の他の例を示すフローチャートである。 実施の形態２における画像出力装置を含む画像処理システムの一例を示す構成図である。 実施の形態２におけるデジタル顕微鏡、画像送信装置および画像受信装置の処理動作の一例を示すフローチャートである。 実施の形態２の変形例にかかる画像受信装置の一部の処理を示すフローチャートである。 被写体２の一部を模式的に示す平面図である。 図７Ａに示されている領域の撮像に関わるフォトダイオードを抽出して模式的に示す平面図である。 被写体２を透過してフォトダイオード４ｐに入射する光線の方向を模式的に示す断面図である。 被写体２を透過してフォトダイオード４ｐに入射する光線の方向を模式的に示す断面図である。 ６個のフォトダイオード４ｐによって取得される６個の画素Ｐａを模式的に示す図である。 図８Ａおよび図８Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図８Ａおよび図８Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図９Ａおよび図９Ｂに示す照射方向のもとで取得される６個の画素Ｐｂを模式的に示す図である。 、図８Ａおよび図８Ｂに示す照射方向ならびに図９Ａおよび図９Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図８Ａおよび図８Ｂに示す照射方向ならびに図９Ａおよび図９Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図１０Ａおよび図１０Ｂに示す照射方向のもとで取得される６個の画素Ｐｃを模式的に示す図である。 図８Ａおよび図８Ｂに示す照射方向、図９Ａおよび図９Ｂに示す照射方向、ならびに図１０Ａおよび図１０Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を模式的に示す断面図である。 図１１Ａに示す照射方向のもとで取得される６個の画素Ｐｄを模式的に示す図である。 ４枚のサブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄから合成される高分解能画像ＨＲを示す図である。 被写体２の隣接する２つの領域を通過した光線がそれぞれ異なるフォトダイオードに入射するように調整された照射方向を模式的に示す断面図である。 モジュールの断面構造の一例を模式的に示す図である。 図１４Ａに示すモジュール１０をイメージセンサ４側から見たときの外観の一例を示す平面図である。 モジュールの作製方法の一例を説明するための図である。 サブ画像の取得時における照射角度の例を示す断面図である。 図１６Ａに示す照射角度とは異なる照射角度で被写体を照射する方法の例を示す断面図である。 本開示の実施形態による画像取得装置の構成の一例を示す概略図である。 画像取得装置１００ａの例示的な外観を示す斜視図である。 図１８Ａに示す画像取得装置１００ａにおいて蓋部１２０を閉じた状態を示す斜視図である。 画像取得装置１００ａのステージ３２に対するソケット１３０の装填方法の一例を模式的に示す図である。 照射方向を変更する方法の一例を模式的に示す図である。 基準面に対してステージ３２を角度θだけ傾斜させたときの、被写体に入射する光線の方向の変化を模式的に示す図である。 ＣＣＤイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す図である。 裏面照射型ＣＭＯＳイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す図である。 裏面照射型ＣＭＯＳイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す図である。 光電変換膜積層型イメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す図である。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した高解像度化の技術に関し、以下の問題が生じることを見出した。

顕微鏡を用いた病理検査では、観察対象となる個々の検体（病理検体ともいう）の病状によって使用するレンズの倍率が異なる。例えば癌の検査では、まず、対物１０倍のレンズで観察を行う。癌の疑いが高い領域がない検体に対しては対物２０倍のレンズの観察のみで観察を終了するが、癌の疑いが高い領域があれば対物レンズを４０倍のレンズに切り替えて検査を行う。

デジタル顕微鏡による撮影によって得られる検体の画像を観察する場合、高い倍率に対しては解像度の高い画像（高解像度画像）が必要である。しかし、高解像度画像の取得には時間がかかる。９枚のサブ画像（低解像度画像）から高解像度画像を生成する場合には、１００秒程度の時間を要する。つまり、９枚のサブ画像の撮影に６０秒程度かかり、撮影された９枚のサブ画像から高解像度画像を生成するのに４０秒程度かかる。したがって、高解像度画像を表示させようとしても、しばらく何も表示されない時間が発生してしまうなど、被写体の画像をスムーズに表示することができないという問題がある。

このような問題を解決するために、本発明の一態様に係る画像出力装置は、デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得する画像取得部と、前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を生成する高解像度画像生成部と、取得された前記第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付ける拡大受付部と、前記拡大受付部によって受け付けられた前記拡大情報に基づいて前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成する補間画像生成部と、前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させる表示用出力部と、前記拡大受付部によって受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記拡大情報に応じた前記第二解像度画像を前記高解像度画像生成部に生成させ、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせる切替部と、を備える。

これにより、まず、例えば検体などの被写体の画像を拡大して表示するときには、受け付けられた拡大率および位置に基づいて作成された補間拡大画像が表示される。そして、その拡大率が所定の値よりも大きいときには、その拡大率などに応じた第二解像度画像が高解像度画像として生成されて、表示されている補間拡大画像が、その拡大率などに応じた第二解像度画像に切り替えられる。したがって、第二解像度画像の生成に時間がかかるような場合であっても、その第二解像度画像が表示されるまで、補間拡大画像が表示されるため、被写体の画像をスムーズに表示することができる。

また、本発明の一態様に係る画像出力装置では、第一解像度画像において拡大して表示されている領域から優先して高解像度画像が生成されて表示される。したがって、例えば、９枚のサブ画像（第一解像度画像）の撮影にかかる６０秒に近い時間で、高解像度画像を表示することができる。その結果、手術中に悪性腫瘍の切除範囲を決定するような迅速検診であっても、高解像度画像の表示にかかる時間を短くすることができ、患者の負担を軽減することができる。

例えば、前記拡大受付部は、前記拡大情報を順次受け付け、前記表示用出力部は、前記拡大受付部によって前記拡大情報が受け付けられるごとに、当該拡大情報に基づく前記補間拡大画像、または、当該拡大情報に応じた前記第二解像度画像を前記表示装置に出力することによって、前記表示装置に表示される画像を切り替えてもよい。

これにより、表示装置に表示されている被写体の画像を、拡大情報を変更することによって適切に調整することができる。

また、前記拡大受付部は、予め定められた調整期間に前記拡大情報を順次受け付け、前記切替部は、前記調整期間の経過時点において、当該経過時点の直前に受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせてもよい。例えば、第二解像度画像が複数の第一解像度画像を用いて生成される場合、この調整期間は、第二解像度画像の生成に必要な数（例えば９枚）の第一解像度画像の撮影にかかる時間（例えば６０秒）よりも長い。

これにより、調整期間において、拡大情報を変更することにより、表示装置に拡大して表示されている第一解像度画像の一部の領域（補間拡大画像）を適切に調整することができる。そして、調整期間が経過するときに、補間拡大画像を第二解像度画像に切り替えることができる。

また、前記高解像度画像生成部は、前記画像取得部によって取得される複数の前記第一解像度画像を用いて前記第二解像度画像を生成し、前記画像出力装置は、さらに、前記第二解像度画像の生成に必要とされるだけの複数の前記第一解像度画像が前記画像取得部によって取得されたときに、撮影の完了をユーザに報知する報知部を備えてもよい。

これにより、ユーザに撮影の完了が報知されるため、ユーザは、その報知後に第二解像度画像の迅速な表示が可能であることを認識することができる。その結果、ユーザは、必要に応じて、拡大率を所定の値よりも大きくすることで、スムーズに第二解像度画像を表示装置に表示させることができる。

また、本発明の他の態様に係る画像出力装置は、画像送信装置と、前記画像送信装置と通信回線を介して接続された画像受信装置とを有する画像出力装置であって、前記画像送信装置は、デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得する画像取得部と、前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を生成する高解像度画像生成部とを備え、前記画像受信装置は、取得された前記第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付ける拡大受付部と、前記拡大受付部によって受け付けられた前記拡大情報に基づいて、前記画像送信装置から送信された前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成する補間画像生成部と、前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させる表示用出力部と、前記拡大受付部によって受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記拡大情報に応じた前記第二解像度画像を前記高解像度画像生成部に生成させて、当該高解像度画像生成部から前記拡大情報に応じた前記第二解像度画像を取得し、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせる切替部とを備える。

これにより、例えば被写体である検体が置かれた地点に病理医がいなくても、遠隔地にいる病理医は、その地点に設置された画像送信装置から送信される検体の画像を画像受信装置で取得して、その画像に基づく検体の診断を行うことができる。このときにも、第二解像度画像の生成に時間がかかるような場合であっても、その第二解像度画像が表示されるまで、補間拡大画像が表示されるため、被写体の画像をスムーズに表示することができる。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
図１は、実施の形態１における画像出力装置を含む画像処理システムの一例を示す構成図である。

画像処理システム１０００は、デジタル顕微鏡１５００、画像出力装置１００１、および表示装置１５０１からなる。

デジタル顕微鏡１５００は、後述の画像取得装置であって、病理検体を被写体として撮影する。ここで、本明細書において「デジタル顕微鏡」とは、病理組織プレパラート標本の少なくとも一部をデジタル画像化する装置である。例えば、デジタル顕微鏡は、前記標本をコンタクトイメージセンシング（ＣＩＳ：Contact Image Sensing）方式で撮影する後述の画像取得装置、またはバーチャルスライドスキャナ等である。ここで、ＣＩＳ方式で撮影する画像取得装置は、イメージセンサの上に被写体を直接配置して撮影を行うことによって、被写体の画像である第一解像度画像および第二解像度画像を取得する装置である。具体的には、前記画像取得装置は、複数の異なる照射方向より光を被写体に照射してその被写体を撮影することで複数の第一解像度画像を生成する。そして、前記画像取得装置は、それらの複数の第一解像度画像の各画素を再配置することによって、各第一解像度画像よりも高い解像度の第二解像度画像を生成する。また、デジタル顕微鏡１５００は、後述の画像取得装置の代わりに、複数の解像度の拡大画像を生成するバーチャルスライドスキャナ等のデジタル顕微鏡であっても構わない。バーチャルスライドスキャナは、顕微鏡を越しに検体を撮影する装置である。顕微鏡に対するスライドの相対位置をずらす操作と撮影する操作を繰り返し、得られる複数の画像をつなぎ合わせて広範囲の検体の画像を生成する。バーチャルスライドスキャナでは、顕微鏡に装着する対物レンズを変えることで、取得する画像の解像度を選択する。低い倍率の対物レンズを用いると、解像度は低くなるが、１枚の画像に撮影される検体の範囲が広くなるので撮影箇所は少なくてすみ撮影時間は短くなる。画像取得装置については、実施の形態３において詳細に説明する。

表示装置１５０１は、デジタル顕微鏡による撮影に基づいて得られる画像を操作者（例えば病理医）に表示する装置であって、例えば、液晶ディスプレイまたはプロジェクター等である。

画像出力装置１００１は、デジタル顕微鏡１５００による撮影によって得られた画像を取得して、その画像を表示装置１５０１に表示させる。この画像出力装置１００１は、画像取得部１１０１、高解像度画像生成部１１０２、拡大受付部１２０１、切替部１２０２、表示用出力部１２０３、および補間画像生成部１２１０を備える。

画像取得部１１０１は、デジタル顕微鏡１５００による撮影に基づいて得られる被写体の画像である第一解像度画像を取得する。なお、デジタル顕微鏡１５００による撮影に基づいて得られる被写体の画像は、その撮影によって直接的に得られる画像であってもよく、直接的に得られた画像に対して処理を行うことによって得られる画像であってもよい。ここでは、画像取得部１１０１は、デジタル顕微鏡１５００における例えばコンタクトイメージセンサによる撮影によって得られたサブ画像を第一解像度画像として取得する。なお、第一解像度画像の解像度を第一解像度と呼ぶ。

高解像度画像生成部１１０２は、第一解像度画像よりも高い解像度の画像であって、デジタル顕微鏡１５００による撮影に基づいて得られる被写体の画像である第二解像度画像を生成する。なお、本実施の形態では、高解像度画像生成部１１０２は、画像取得部１１０１によって取得される複数の第一解像度画像を用いて、その第二解像度画像（すなわち高解像度画像）を生成する。なお、第二解像度画像の解像度を第二解像度と呼ぶ。ここでは、第一解像度は画素ピッチが０．９μｍ、第二解像度は画素ピッチが０．３μｍとする。また、第二解像度の画素ピッチに対する第一解像度の画素ピッチの比を解像度比とするとき、解像度比は３となる。

なお、第二解像度画像の生成に必要とされるだけの全ての数の第一解像度画像が画像取得部１１０１によって取得されていない場合がある。全ての数は例えば９である。したがって、高解像度画像生成部１１０２は、全ての数の第一解像度画像の取得が終了しているか否かを判定して、終了していると判定した後に高解像度画像の生成を実施する。

拡大受付部１２０１は、取得された第一解像度画像における一部の領域に対する拡大率と、その領域の位置とを含む拡大情報を受け付ける。その領域の位置は、領域の中心位置（中心座標）であってもよく、矩形領域の左上端または右下端などであってもよい。具体的には、拡大受付部１２０１は、例えばキーボードの操作を介して拡大率および位置を取得する。また、拡大受付部１２０１は、拡大率および位置のそれぞれの変化量を取得することによって、受け付けられる拡大率および位置を更新してもよい。具体的には、拡大受付部１２０１は、例えばホイールを有するマウスの回転数を拡大率の変化値として用い、マウスの位置の変化量を上記領域の位置の変化量として用い、拡大率および位置を更新してもよい。このとき、拡大率の初期値は、例えば１であり、上記領域の位置の初期座標値は、例えば画像全体における中心の座標値である。

ここでは、後述の処理の説明を簡単にするために、拡大受付部１２０１によって受け付けられる拡大率Ｋの最大値は解像度比３以下の値とする。すなわち、受け付けられる拡大率Ｋが解像度比よりも大きな値である場合、拡大受付部１２０１は、その拡大率Ｋを解像度比に置き換える。置き換え後の拡大率が画像の拡大に用いられる。

なお、画像の拡大に用いられる拡大率は解像度比よりも大きな値であってもよい。その場合、表示用出力部１２０３は、第二解像度画像を出力する際、その拡大率に基づく第二解像度画像の補間と拡大を補間画像生成部１２１０に実行させる。そして、表示用出力部１２０３は、その補間と拡大が行われた第二解像度画像を表示装置１５０１に表示させる。

補間画像生成部１２１０は、拡大受付部１２０１によって受け付けられた拡大情報に基づいて第一解像度画像の一部の領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成する。つまり、補間画像生成部１２１０は、その領域を拡大する際には、拡大情報に含まれる拡大率でその領域を拡大する。なお、画素補間は、画像に含まれる画素と画素の間に、本来、存在しない画素を作り出して補う処理であって、例えば、ニアレストネイバー法、バイリニア法またはバイキュービック法などによる補間である。 なお、解像度比よりも大きな値が拡大率として受け付けられ、補間および拡大の対象が第二解像度画像である場合、補間画像生成部１２１０は、受け付けられた拡大率を解像度比で割った値を、画像の拡大に用いられる実際の拡大率として扱う。つまり、補間画像生成部１２１０は、その実際の拡大率で第二解像度画像を拡大することによって、第二解像度画像に基づく補間拡大画像を生成し、第一解像度画像と第二解像度画像との解像度の違いを吸収する。例えば、受け付けられた拡大率が６の場合、補間画像生成部１２１０は、その拡大率６を解像度比３で割って得られる値２で第二解像度画像を補間拡大する。つまり、補間画像生成部１２１０は、拡大率６を２に変換し、その変換後の拡大率２によって第二解像度画像の補間拡大を行う。補間画像生成部１２１０は、領域の位置の座標に、その解像度比３を乗ずることによって、その領域の位置の座標を変換する。

表示用出力部１２０３は、上述の補間拡大画像を表示装置１５０１に出力することによって、その補間拡大画像を表示装置１５０１に表示させる。また、表示用出力部１２０３は、第一解像度画像または第二解像度画像を表示装置１５０１に出力することによって、それらの画像を表示装置１５０１に表示させてもよい。

切替部１２０２は、拡大受付部１２０１によって受け付けられた拡大情報に含まれる拡大率が所定の値よりも大きい場合に、その拡大情報に応じた第二解像度画像を高解像度画像生成部１１０２に生成させる。そして、切替部１２０２は、表示用出力部１２０３に対して、表示装置１５０１に出力されている補間拡大画像を、その拡大情報に応じた第二解像度画像に切り替えさせる。なお、拡大情報に応じた第二解像度画像は、第一解像度画像の全体の領域に対応する画像ではなく、第一解像度画像のうちの拡大情報に応じた一部の領域に対応する画像である。ここで、所定の値とは、例えば病理医または操作者によって任意に設定される値であっても、予め定められた値であってもよい。具体的には、所定の値は例えば解像度比（つまり、上述の例の場合には３）と等しい値であってもよい。なお、所定の値は１よりも大きい値である。ただし、所定の値を低い値にしてしまうと、画像の切り替えが頻繁に行われる事になる。これを避けるためには所定の値はできるだけ高い値であるこが望ましい。

また、所定の値を低い値にしてしまうと、第一解像度画像で撮影した全体の領域のうち、第二解像度画像を生成する領域が増大する。そのため、第二解像度画像生成の処理負荷が増大し、表示範囲の変更等の操作に対する反応速度が低下する。よって、第二解像度画像生成に使用するＣＰＵ性能が高い場合には、所定の値を３にし、ＣＰＵ性能が低い場合には所定の値を１０にする。また、第二解像度画像を生成する領域が増大すると転送する第二解像度画像の領域も増加するので、携帯電話回線等の細い回線では所定の値を１０とし、光回線のような太い回線では、所定の値を３とする。

つまり、切替部１２０２は、表示装置１５０１によって表示される画像を切り替える。例えば、切替部１２０２は、高解像度画像生成部１１０２によって第二解像度画像が生成された後に、表示装置１５０１に表示される画像を、補間拡大画像から、拡大情報に応じた第二解像度画像に切り替える。また、切替部１２０２は、補間画像生成部１２１０によって上述の第二解像度画像に基づく補間拡大画像が生成された場合には、その補間拡大画像に切り替えてもよい。

図２Ａは、表示装置１５０１によって表示される表示画面の一例を示す図である。

表示装置１５０１は、終了ボタン６０２、俯瞰画像表示部６０３、所見入力欄６０４、読込ボタン６０５、拡大画像表示部６０６、および判定結果欄６０７を含む表示画面６０１を表示する。

拡大画像表示部６０６には、第一解像度画像または第二解像度画像が拡大されて表示される。終了ボタン６０２が選択されると、表示装置１５０１は、画像の表示を終了すべきことを知らせる信号を画像出力装置１００１に送信する。俯瞰画像表示部６０３には、第一解像度画像または第二解像度画像の全体が表示される。所見入力欄６０４には、例えば病理医による所見が書き込まれる。読込ボタン６０５が選択されると、表示装置１５０１は、例えば、第一解像度画像の表示を終了し、第二解像度画像の読み込みを指示する信号を画像出力装置１００１に送信する。

ここで、上述のように、高解像度画像生成部１１０２は、第二解像度画像の生成に必要とされるだけの全ての数の第一解像度画像が画像取得部１１０１によって取得されているか否かを判定している。表示用出力部１２０３は、高解像度画像生成部１１０２によるその判定結果を受けて、その判定結果を表示装置１５０１に表示させる。例えば、図２Ａに示すように、表示装置１５０１は、表示画面６０１のうちの判定結果欄６０７にその判定結果を表示する。判定結果が未取得を示す場合、つまり、デジタル顕微鏡１５００による撮影が継続して行われている場合、表示装置１５０１は、判定結果として「撮影中」というメッセージを判定結果欄６０７に表示する。

図２Ｂは、表示装置１５０１によって表示される表示画面の他の例を示す図である。

高解像度画像生成部１１０２による判定結果が取得完了を示す場合、表示装置１５０１は、その判定結果として「撮影完了」というメッセージを判定結果欄６０７に表示する。

図３は、デジタル顕微鏡１５００および画像出力装置１００１の処理動作の一例を示すフローチャートである。

まず、デジタル顕微鏡１５００は、１枚目の第一解像度画像の撮影を行う（ステップＳ１１）。そして、デジタル顕微鏡１５００は、その第一解像度画像を画像出力装置１００１に送信する（ステップＳ１２）。その後、デジタル顕微鏡１５００は、継続して２枚目以降の第一解像度画像のそれぞれの撮影と画像出力装置１００１への送信とを順次行う（ステップＳ１３）。

画像出力装置１００１の画像取得部１１０１は、デジタル顕微鏡１５００から送信された１枚目の第一解像度画像を取得する（ステップＳ２１）。表示用出力部１２０３は、その１枚目の第一解像度画像を表示装置１５０１に出力することによって、その１枚目の第一解像度画像を表示装置１５０１に表示させる（ステップＳ２２）。また、画像取得部１１０１は、ステップＳ１３においてデジタル顕微鏡１５００から２枚目以降の第一解像度画像が送信されるごとに、その送信されたタイミングに、２枚目以降の第一解像度画像を取得する。

次に、画像出力装置１００１の拡大受付部１２０１は、操作者による例えばキーボードまたはマウスなどへの操作に応じて、拡大率と位置とを含む拡大情報を受け付ける（ステップＳ２３）。拡大率は、表示装置１５０１に表示されている画像の一部の領域に対する拡大率であり、位置は、その領域の例えば中心位置である。そして、表示用出力部１２０３は、補間拡大画像を表示装置１５０１に表示させる（ステップＳ２４）。つまり、表示用出力部１２０３は、ステップＳ２３で受け付けられた拡大情報に応じて、１枚目の第一解像度画像から補間拡大画像を生成して表示装置１５０１に表示させる。

ここで、高解像度画像生成部１１０２は、第二解像度画像を生成するために必要とされる全て数の第一解像度画像が取得されているか否かを判定する（ステップＳ２５）。取得されていると判定されると（ステップＳ２５のＹｅｓ）、表示用出力部１２０３は、その判定結果として「撮影完了」を表示装置１５０１に表示させることによって、ユーザ（操作者または病理医）に撮影完了を報知する（ステップＳ２６）。この報知によって、ユーザは、そのとき以降、拡大率を大きくすれば、高解像度画像（第二解像度画像）の迅速な表示が可能であると判断することができる。また、全ての数の第一解像度画像が取得されていないと判定されたときには（ステップＳ２５のＮｏ）、画像出力装置１００１は、ステップＳ２３からの処理を繰り返し実行する。

ステップＳ２６において撮影完了が報知されると、切替部１２０２は、拡大受付部１２０１によって最後に受け付けられた拡大情報に含まれる拡大率が閾値（所定の値）よりも大きいか否かを判定する（ステップＳ２７）。例えば、閾値は解像度比の値（ここでは３）である。ここで、拡大率が閾値以下であると判定されると（ステップＳ２７のＮｏ）、表示用出力部１２０３は、補間拡大画像を表示装置１５０１に表示させる（ステップＳ２８）。つまり、表示用出力部１２０３は、受け付けられた拡大情報に応じて、１枚目の第一解像度画像から補間拡大画像を生成して表示装置１５０１に表示させる。なお、その受け付けられた拡大情報は、ステップＳ２３またはステップＳ３３で受け付けられた拡大情報である。また、拡大情報がステップＳ２３で受け付けられた情報である場合、ステップＳ２８では、表示用出力部１２０３は、ステップＳ２４で表示されている補間拡大画像を継続して表示装置１５０１に表示させる。

ステップＳ２７において拡大率が閾値よりも大きいと判定されると（ステップＳ２７のＹｅｓ）、高解像度画像生成部１１０２は、受け付けられた拡大情報に応じた第二解像度画像が既に生成されて保存されているか否かを判定する（ステップＳ２９）。第二解像度画像が保存されていないと判定されると（ステップＳ２９のＮｏ）、切替部１２０２は、受け付けられた拡大情報に応じた第二解像度画像を高解像度画像生成部１１０２に生成させて保存させる（ステップＳ３１）。ステップＳ３１の後、または、ステップＳ２９において保存されていると判定されると（ステップＳ２９のＹｅｓ）、表示用出力部１２０３は、その拡大情報に応じた第二解像度画像を読み出して表示装置１５０１に表示させる（ステップＳ３０）。

これにより、先にステップＳ２４において補間拡大画像が表示され、その後に、その補間拡大画像は第二解像度画像に切り替えられる。つまり、切替部１２０２は、表示用出力部１２０３に対して、表示装置１５０１に出力されている補間拡大画像を、拡大情報に応じた第二解像度画像に切り替えさせる。

そして、表示用出力部１２０３は、終了ボタン６０２が選択されることによって表示装置１５０１から出力される信号に基づいて、画像の表示を終了すべきか否かを判定する（ステップＳ３２）。終了すべきでないと判定されると（ステップＳ３２のＮｏ）、拡大受付部１２０１は、再び、操作者による例えばキーボードまたはマウスなどへの操作に応じて、拡大率と位置とを含む拡大情報を受け付ける（ステップＳ３３）。そして、画像出力装置１００１は、ステップＳ２７からの処理を繰り返し実行する。一方、終了すべきであると判定されると（ステップＳ３２のＹｅｓ）、画像出力装置１００１は、画像の表示処理を終了する。

このように、拡大受付部１２０１は、ステップＳ２３およびステップＳ３３において拡大情報を順次受け付ける。そして、表示用出力部１２０３は、拡大受付部１２０１によって拡大情報が受け付けられるごとに、その拡大情報に基づく補間拡大画像、または、その拡大情報に応じた第二解像度画像を表示装置１５０１に出力する（ステップＳ２４，Ｓ２８，Ｓ３０）。これによって、表示装置１０５１に表示される画像が切り替えられる。したがって、表示装置１５０１に表示されている被写体の画像を、拡大情報を変更することによって適切に調整することができる。

図４は、デジタル顕微鏡１５００および画像出力装置１００１の処理動作の他の例を示すフローチャートである。

デジタル顕微鏡１５００は、図３に示すフローチャートと同様、ステップＳ１１〜Ｓ１３の処理を実行する。

画像出力装置１００１は、まず、図３に示すフローチャートと同様、ステップＳ２１〜Ｓ２３の処理を実行する。次に、画像出力装置１００１の表示用出力部１１２０３は、ステップＳ２３で受け付けられた拡大情報に応じて、１枚目の第一解像度画像から補間拡大画像を生成して表示装置１５０１に表示させる（ステップＳ４１）。

ここで、表示用出力部１２０３は、例えば、ステップＳ２１で１枚目の第一解像度画像が取得されてから所定時間が経過したか否かを判定する（ステップＳ４１）。この所定時間は、ステップＳ１１において１枚目の第一解像度画像の撮影が行われてから、第二解像度画像を生成するために必要とされる全ての数の第一解像度画像の撮影が完了するまでの時間以上に設定されている。つまり、この所定時間が経過していれば、その全ての数の第一解像度画像が画像出力装置１００１によって取得されている。

したがって、表示用出力部１２０３は、所定時間が経過したと判定すると（ステップＳ４２のＹｅｓ）、その判定結果として「撮影完了」を、表示装置１５０１に表示させることによって、ユーザに報知する（ステップＳ４３）。一方、所定時間が経過していないと判定されると（ステップＳ４２のＮｏ）、画像出力装置１００１はステップＳ２３からの処理を繰り返し実行する。

ステップＳ４３において撮影完了の報知が行われると、切替部１２０２は、所定時間の経過時点の直前に受け付けられた拡大情報に含まれる拡大率が閾値よりも大きいか否かを判定する（ステップＳ４４）。ここで、閾値以下であると判定されると（ステップＳ４４のＮｏ）、表示用出力部１２０３は、ステップＳ４１で表示された補間拡大画像を継続して表示装置１５０１に表示させる（ステップＳ４５）。

一方、拡大率が閾値よりも大きいと判定されると（ステップＳ４４のＹｅｓ）、切替部１２０２は、その拡大情報に応じた第二解像度画像を高解像度画像生成部１１０２に生成させる（ステップＳ４６）。そして、切替部１２０２は、表示用出力部１２０３に対して、表示装置１５０１に出力されている補間拡大画像を、拡大情報に応じた第二解像度画像に切り替えさせる（ステップＳ４７）。つまり、表示用出力部１２０３は、拡大情報に応じた第二解像度画像を表示装置１５０１に表示させる。

このように、図４に示す処理動作の例では、上述の所定時間は、第一解像度画像に基づいて補間拡大画像を調整するための調整期間として用いられる。つまり、拡大受付部１２０１は、予め定められた調整期間に拡大情報を順次受け付ける。そして、切替部１２０２は、調整期間の経過時点において、その経過時点の直前に受け付けられた拡大情報に含まれる拡大率が所定の値よりも大きい場合に、表示用出力部１２０３に対して画像を切り替えさせる。つまり、切替部１２０２は、表示用出力部１２０３に対して、表示装置１５０１に出力されている補間拡大画像を、拡大情報に応じた第二解像度画像に切り替えさせる。これにより、調整期間において、拡大情報を変更することにより、表示装置１５０１に拡大して表示されている第一解像度画像の一部の領域（補間拡大画像）を適切に調整することができる。そして、調整期間が経過するときに、補間拡大画像を第二解像度画像に切り替えることができる。

（効果）
このように、本実施の形態では、高解像度画像の生成に必要とされる全ての数の第一解像度画像の撮影が完了する前に、第一解像度画像を観察者（ユーザ）に提示して高解像度化を行うか否か、あるいは高解像度化を行う領域を決定することができる。

また、本実施の形態では、例えば検体などの被写体の画像を拡大して表示するときには、受け付けられた拡大率および位置に基づいて作成された補間拡大画像が表示される。そして、その拡大率が所定の値よりも大きいときには、その拡大率などに応じた第二解像度画像が高解像度画像として生成されて、表示されている補間拡大画像が、その拡大率などに応じた第二解像度画像に切り替えられる。したがって、第二解像度画像の生成に時間がかかるような場合であっても、その第二解像度画像が表示されるまで、補間拡大画像が表示されるため、被写体の画像をスムーズに表示することができる。

また、本実施の形態では、第一解像度画像において拡大して表示されている領域から優先して高解像度画像が生成されて表示される。したがって、例えば、９枚のサブ画像（第一解像度画像）の撮影にかかる６０秒に近い時間で、高解像度画像を表示することができる。その結果、手術中に悪性腫瘍の切除範囲を決定するような迅速検診であっても、高解像度画像の表示にかかる時間を短くすることができ、患者の負担を軽減することができる。

また、本実施の形態では、表示用出力部１２０３は、第二解像度画像の生成に必要とされるだけの複数の第一解像度画像が画像取得部１１０１によって取得されたときに、撮影の完了をユーザに報知する。つまり、表示用出力部１２０３は、撮影完了をユーザに報知する報知部を備える。これにより、ユーザに撮影の完了が報知されるため、ユーザは、その報知後に第二解像度画像の迅速な表示が可能であることを認識することができる。

（実施の形態２）
本実施の形態における画像出力装置は、互いに通信回線を介して接続される画像送信装置と画像受信装置とから構成される。なお、本実施の形態における装置およびその構成要素のうち、実施の形態１と同じ装置およびその構成要素に対しては、実施の形態１と同じ符号を付し、それらの詳細な説明を省略する。

図５は、実施の形態２における画像出力装置を含む画像処理システムの一例を示す構成図である。

画像処理システム２０００は、デジタル顕微鏡１５００、画像出力装置２００１、および表示装置１５０１からなる。

画像出力装置２００１は、通信回線を介して互いに接続される画像送信装置１１００および画像受信装置１２００を備える。なお、画像出力装置２００１は全体として、実施の形態１の画像出力装置１００１と同様の機能を有する。また、例えば、デジタル顕微鏡１５００および画像送信装置１１００を含むセットは、病理医のいない病院などの施設に配置される。画像受信装置１２００および表示装置１５０１を含むセットは、例えば、その病院から遠く離れた、病理医がいる施設に配置される。

画像送信装置１１００は、画像取得部１１０１、高解像度画像生成部１１０２、および通知部１１１３を備える。

高解像度画像生成部１１０２は、実施の形態１と同様、第二解像度画像の生成に必要とされる全て数の第一解像度画像が画像取得部１１０１によって取得されているか否かを判定する。

通知部１１１３は、全ての数の第一解像度画像が取得されたと高解像度画像生成部１１０２によって判定されたときには、通信回線を介して画像受信装置１２００に撮影完了を通知する。

画像受信装置１２００は、画像取得部１２１５、拡大受付部１２０１、補間画像生成部１２１０、表示用出力部１２０３、切替部１２０２、報知部１２１３、および画像保持部１２１２を備える。

画像取得部１２１５は、画像送信装置１１００の画像取得部１１０１によってデジタル顕微鏡１５００から取得された第一解像度画像（例えば１枚目の第一解像度画像）を、通信回線を介して画像送信装置１１００から取得する。

報知部１２１３は、第二解像度画像の生成に必要とされるだけの複数の第一解像度画像が画像取得部１１０１によって取得されたときに、撮影の完了をユーザに報知する。つまり、報知部１２１３は、画像送信装置１１００の通知部１１１３から撮影完了の通知を、通信回線を介して受けると、「撮影完了」というメッセージを表示装置１５０１に表示させる。これによって、報知部１２１３は、画像受信装置１２００のユーザ（操作者）に、撮影完了を報知する。なお、報知部１２１３は、「撮影が完了しました」という音声を出力することによって、ユーザに撮影完了を報知してもよい。

画像保持部１２１２は、画像送信装置１１００から通信回線を介して送信された第二解像度画像を保持するための記録媒体である。

図６Ａは、デジタル顕微鏡１５００、画像送信装置１１００および画像受信装置１２００の処理動作の一例を示すフローチャートである。

デジタル顕微鏡１５００は、図３に示すフローチャートと同様、ステップＳ１１〜Ｓ１３の処理を実行する。なお、ステップＳ１２およびＳ１３では、デジタル顕微鏡１５００は、画像送信装置１１００に対して第一解像度画像を送信する。

画像送信装置１１００の画像取得部１１０１は、デジタル顕微鏡１５００から１枚目の第一解像度画像を取得すると、通信回線を介してその第一解像度画像を画像受信装置１２００に送信する（ステップＳ５１）。さらに、画像取得部１１０１は、デジタル顕微鏡１５００から順次送信される２枚目以降の第一解像度画像を取得する（ステップＳ５２）。ここで、画像取得部１１０１は、第一解像度画像を取得するごとに、その第一解像度画像を高解像度画像生成部１１０２に出力する。高解像度画像生成部１１０２は、第二解像度画像を生成するために必要とされる全ての数の第一解像度画像が取得されているか否かを判定する。そして、取得されていると判定されると、通知部１１１３は、通信回線を介してその判定結果として「撮影完了」を画像受信装置１２００に通知する（ステップＳ５３）。

画像受信装置１２００の画像取得部１２１５は、通信回線を介して画像送信装置１１００から送信された１枚目の第一解像度画像を取得する（ステップＳ２１）。表示用出力部１２０３は、その１枚目の第一解像度画像を表示装置１５０１に出力することによって、その１枚目の第一解像度画像を表示装置１５０１に表示させる（ステップＳ２２）。

次に、画像受信装置１２００の拡大受付部１２０１は、操作者による例えばキーボードまたはマウスなどへの操作に応じて、拡大率と位置とを含む拡大情報を受け付ける（ステップＳ２３）。そして、表示用出力部１２０３は、補間拡大画像を表示装置１５０１に表示させる（ステップＳ２４）。つまり、表示用出力部１２０３は、ステップＳ２３で受け付けられた拡大情報に応じて、１枚目の第一解像度画像から補間拡大画像を生成して表示装置１５０１に表示させる。

ここで、報知部１２１３は、ステップＳ５３における画像送信装置１１００からの撮影完了の通知があったか否かを判定する（ステップＳ２５ａ）。通知があったと判定されると（ステップＳ２５ａのＹｅｓ）、報知部１２１３は、その判定結果として「撮影完了」を表示装置１５０１に表示させることによって、ユーザ（操作者または病理医）に撮影完了を報知する（ステップＳ２６）。この報知によって、ユーザは、そのとき以降、拡大率を大きくすれば、高解像度画像（第二解像度画像）の迅速な表示が可能であると判断することができる。また、通知がないと判定されたときには（ステップＳ２５ａのＮｏ）、画像受信装置１２００は、ステップＳ２３からの処理を繰り返し実行する。

ステップＳ２６において撮影完了が報知されると、切替部１２０２は、拡大受付部１２０１によって最後に受け付けられた拡大情報に含まれる拡大率が閾値（所定の値）よりも大きいか否かを判定する（ステップＳ２７）。ここで、拡大率が閾値以下であると判定されると（ステップＳ２７のＮｏ）、表示用出力部１２０３は、補間拡大画像を表示装置１５０１に表示させる（ステップＳ２８）。

一方、拡大率が閾値よりも大きいと判定されると（ステップＳ２７のＹｅｓ）、切替部１２０２は、受け付けられた拡大情報に応じた第二解像度画像が既に生成されて画像保持部１２１２に保存されているか否かを判定する（ステップＳ２９）。第二解像度画像が保存されていないと判定されると（ステップＳ２９のＮｏ）、切替部１２０２は、受け付けられた拡大情報に応じた第二解像度画像を、通信回線を介して画像送信装置１１００に要求する（ステップＳ３１ａ）。

画像送信装置１１００の高解像度画像生成部１１０２は、その要求を受け付けると（ステップＳ５４）、受け付けられた拡大情報に応じた第二解像度画像を生成して、通信回線を介して画像受信装置１２００に送信する（ステップＳ５５）。

画像受信装置１２００の切替部１２０２は、画像送信装置１１００から送信された、拡大情報に応じた第二解像度画像を取得して画像保持部１２１２に保存する（ステップＳ３１ｂ）。ステップＳ３１ｂの後、または、ステップＳ２９において保存されていると判定されると（ステップＳ２９のＹｅｓ）、表示用出力部１２０３は、その拡大情報に応じた第二解像度画像を読み出して表示装置１５０１に表示させる（ステップＳ３０）。

これにより、先にステップＳ２４において補間拡大画像が表示され、その後に、その補間拡大画像は第二解像度画像に切り替えられる。つまり、切替部１２０２は、表示用出力部１２０３に対して、表示装置１５０１に出力されている補間拡大画像を、拡大情報に応じた第二解像度画像に切り替えさせる。

そして、表示用出力部１２０３は、終了ボタン６０２が選択されることによって表示装置１５０１から出力される信号に基づいて、画像の表示を終了すべきか否かを判定する（ステップＳ３２）。終了すべきでないと判定されると（ステップＳ３２のＮｏ）、拡大受付部１２０１は、再び、操作者による例えばキーボードまたはマウスなどへの操作に応じて、拡大率と位置とを含む拡大情報を受け付ける（ステップＳ３３）。そして、画像受信装置１２００は、ステップＳ２７からの処理を繰り返し実行する。一方、終了すべきであると判定されると（ステップＳ３２のＹｅｓ）、画像受信装置１２００は、画像の表示処理を終了する。

このように、拡大受付部１２０１は、ステップＳ２３およびステップＳ３３において拡大情報を順次受け付ける。そして、表示用出力部１２０３は、拡大受付部１２０１によって拡大情報が受け付けられるごとに、その拡大情報に基づく補間拡大画像、または、その拡大情報に応じた第二解像度画像を表示装置１５０１に出力する（ステップＳ２４，Ｓ２８，Ｓ３０）。これによって、表示装置１０５１に表示される画像が切り替えられる。したがって、表示装置１５０１に表示されている被写体の画像を、拡大情報を変更することによって適切に調整することができる。

なお、報知部１２１３は、第二解像度画像の生成に必要とされる全ての数の第一解像度画像が取得された後に、撮影完了をユーザに報知するが、その取得の前に、報知してもよい。例えば、第二解像度画像の生成に必要とされる全ての数の第一解像度画像のうち、所定の割合（例えば９０パーセントなど）の数の第一解像度画像が取得されたときに、報知部１２１３は、撮影完了をユーザに報知してもよい。また、撮影にかかる時間が一定であるため、報知部１２１３は、画像送信装置１１００の通知部１１１３からの通知にかかわらず、１枚目の第一解像度画像の取得から所定時間が経過したときに、撮影完了をユーザに報知してもよい。その所定時間は、第二解像度画像の生成に必要とされる全ての数の第一解像度画像の撮影にかかる予想時間である。また、報知部１２１３は、その所定時間の前または後に報知を行ってもよい。

（効果）
このような本実施の形態における画像出力装置２００１では、被写体の画像を取得する施設と、その画像を観察する施設とが離れていても、実施の形態１と同様の効果を奏することができる。

また、迅速診断では、速やかに診断が実施されることが重要である。しかし、画像全体の高解像度化には時間がかかる。本実施の形態では、低解像度な１枚目の第一解像度画像（サブ画像）が取得された段階で画像受信装置１２００にサブ画像が送信されるので、そのサブ画像によって大まかな診断を早く開始することができる。また、第一解像度画像のうち表示装置１５０１に表示されている部分から高解像度化が行われて、画像受信装置１２００に送信されて表示される。したがって、第一解像度画像のうちのうちの表示されている部分から優先して高解像度化を実施することができる。

また、本実施の形態では、画像保持部１２１２に第二解像度画像が保存されてなくても、高解像度画像の生成に必要とされる数の第一解像度画像の撮影が済んでいれば、１から数秒後に、拡大情報に応じた第二解像度画像が生成および送信されて表示される。一方、その必要とされる数の第一解像度画像の撮影が済んでいなければ、数十秒間待たなければ、高解像度画像が表示されない。本実施の形態では、報知部１２１３によって撮影完了が報知される。したがって、第二解像度画像が表示されない場合には、その原因が撮影未完了であるか、第二解像度画像の生成および送信であるかを、操作者は容易に把握することができる。これによって、操作者は、スムーズに画像受信装置１２００を操作することができる。

（変形例）
上記実施の形態２における画像受信装置１２００は、図６ＡのステップＳ２９およびＳ３１ａのように、拡大情報に応じた第二解像度画像が保存されていないと判定すると、その第二解像度画像を画像送信装置１１００に要求する。本変形例にかかる画像受信装置１２００は、第二解像度画像が保存されていないと判定したときであっても、その拡大情報がすぐに変更される場合には、第二解像度画像を画像送信装置１１００に要求することはしない。

図６Ｂは、本変形例にかかる画像受信装置１２００の一部の処理を示すフローチャートである。

本変形例にかかる画像受信装置１２００は、上記実施の形態２における画像受信装置１２００と同様、図６Ａに示すステップＳ２１〜Ｓ３２を実行するとともに、さらに、ステップＳ２９ａの処理を実行する。

具体的には、切替部１２０２は、受け付けられた拡大情報に応じた第二解像度画像が既に生成されて画像保持部１２１２に保存されているか否かを判定する（ステップＳ２９）。ここで、第二解像度画像が保存されていないと判定されると（ステップＳ２９のＮｏ）、切替部１２０２は、拡大情報（つまり拡大率と位置）が変更されることなく一定時間以上経過したか否かを判定する（ステップＳ２９ａ）。切替部１２０２は、一定時間以上経過したと判定すると（ステップＳ２９ａのＹｅｓ）、受け付けられた拡大情報に応じた第二解像度画像を、通信回線を介して画像送信装置１１００に要求する（ステップＳ３１ａ）。そして、画像受信装置１２００は、上記実施の形態２と同様の処理を行う。一方、一定時間以上経過していない、つまり一定時間経過前に拡大情報が変更されたと判定されると（ステップＳ２９ａのＮｏ）、表示用出力部１２０３は、補間拡大画像を表示装置１５０１に表示させる（ステップＳ２８）。これにより、ステップＳ２７において、受け付けられた拡大情報に応じた第二解像度画像が必要と判定されても、拡大情報の変更によって、その第二解像度画像が不要とされたときには、その第二解像度画像の要求、生成または読み出しを抑えることができる。つまり、第二解像度画像に関する無駄な処理の実行を抑えることができる。

（効果）
上記実施の形態２では、拡大率が閾値よりも大きい状態で、表示中心位置をマウス操作により移動させた場合、表示中心位置が通過した全ての領域に対して第二解像度画像を生成しなければならない。なお、表示中心位置は、例えば上記拡大情報に含まれる位置である。操作者がマウスを移動させる範囲が広くなると、生成しなければならない第二解像度画像の領域が広くなり、実際に観察している領域の第二解像度画像が生成されるまでの待ち時間が増加する。しかし、観察者（病理医）は、しっかりと観察を行う診断上の重要な位置ではマウスを停止させる、または、マウスを移動させる速度を抑える。本変形例では、表示位置が一定時間停止した場合に第二解像度画像を作ることで、しっかりと観察する部分の第二解像度画像が生成されるまでの待ち時間を短縮することができる。

なお、図６Ｂに示すフローチャートでは、ステップＳ２９ａにおいて、拡大情報の値が一定時間以上停止しているか否かを判定したが、表示中心位置の移動速度が所定の値以下であるか否かを判定してもよい。具体的には、表示中心位置の移動速度が所定の値以下であれば、画像受信装置１２００はステップＳ３１ａの処理を実行し、移動速度が所定の値よりも大きければ、ステップＳ２８の処理を実行する。

なお、上記実施の形態１および２とその変形例では、高解像度画像生成部１１０２は、複数の第一解像度画像を用いて、第二解像度画像を生成するが、それらの第一解像度画像を用いずに、第二解像度画像を生成してもよい。例えば、デジタル顕微鏡１５００がバーチャルスライドスキャナなどである場合、被写体の撮影に用いられるレンズが変更される。例えば、対物１０倍のレンズによって第一解像度画像が生成され、対物４０倍のレンズによって、その第一解像度画像の一部の領域における第二解像度画像が生成される。高解像度画像生成部１１０２は、その対物４０倍のレンズによって得られるデジタル顕微鏡１５００からの画像信号に基づいて第二解像度画像を生成する。つまり、高解像度画像生成部１１０２は、拡大受付部１２０１によって受け付けられた拡大情報（例えば拡大率および位置）に応じた画像信号をデジタル顕微鏡１５００に要求し、その画像信号に基づいて、拡大情報に応じた第二解像度画像を生成する。そして、高解像度画像生成部１１０２は、拡大情報が変更されるごとに、その拡大情報に応じた第二解像度画像を生成する。例えば、拡大情報に含まれる位置が変更されるごとに、高解像度画像生成部１１０２は、その位置における第一解像度画像の一部の領域に対応する第二解像度画像を生成する。

（実施の形態３）
ここで、上記各実施の形態およびその変形例におけるデジタル顕微鏡１５００について、以下、詳細に説明する。なお、デジタル顕微鏡１５００を、以下、画像取得装置（デジタイザ）と称する。

＜高解像度画像形成の原理＞
本開では、照明光の照射方向を変えて複数回の撮影を実行することにより得られる複数の画像を用いて、それら複数の画像の各々よりも解像度（分解能）の高い画像（以下、「高解像度画像」または「高分解能画像」と呼ぶ。）を形成する。なお、高解像度画像は、上述の第二解像度画像に相当し、その高解像度画像の形成に用いられる複数の画像（サブ画像）のそれぞれは、上述の第一解像度画像に相当する。まず、図７Ａ〜図１２を参照して、高解像度画像形成の原理を説明する。ここでは、ＣＣＤ（Charge Coupled Device）イメージセンサを例示して説明を行う。なお、以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。

図７Ａおよび図７Ｂを参照する。図７Ａは、被写体の一部を模式的に示す平面図である。図７Ａに示す被写体２は、例えば、生物組織の薄片（典型的には、数十μｍ以下の厚さを有する。）である。被写体２の画像の取得時、被写体２は、イメージセンサの撮像面に近接して配置されている。イメージセンサの撮像面から被写体２までの距離は、典型的には１ｍｍ以下であり、例えば１μｍ程度に設定され得る。

図７Ｂは、イメージセンサのフォトダイオードのうち、図７Ａに示されている領域の撮像に関わるフォトダイオードを抽出して模式的に示す平面図である。ここで説明する例では、イメージセンサ４に形成されたフォトダイオード４ｐのうち、６個のフォトダイオードが示されている。なお、参考のために、図７Ｂでは、互いに直交するｘ方向、ｙ方向およびｚ方向を示す矢印が図示されている。ｚ方向は、撮像面の法線方向を示している。図７Ｂでは、ｘｙ面内においてｘ軸からｙ軸に向かって４５°回転した方向であるｕ方向を示す矢印も図示されている。他の図面においても、ｘ方向、ｙ方向、ｚ方向またはｕ方向を示す矢印を図示することがある。

イメージセンサ４におけるフォトダイオード４ｐ以外の構成要素は、遮光層によって覆われている。図７Ｂ中、ハッチングされた領域は、遮光層によって覆われている領域を示している。ＣＣＤイメージセンサの撮像面上における１つのフォトダイオードの受光面の面積（Ｓ２）は、そのフォトダイオードを含む単位領域の面積（Ｓ１）よりも小さい。画素の面積Ｓ１に対する受光面積Ｓ２の比率（Ｓ２／Ｓ１）は、「開口率」と呼ばれている。ここでは、開口率が２５％であるとして説明を行う。

図８Ａおよび図８Ｂは、被写体２を透過してフォトダイオード４ｐに入射する光線の方向を模式的に示す。図８Ａおよび図８Ｂは、撮像面に対して垂直な方向から光線を入射させた状態を示している。図８Ａおよび図８Ｂにおいて模式的に示すように、ここでは、被写体２とイメージセンサ４との間に結像のためのレンズは配置されておらず、被写体２の画像は、被写体２を透過する実質的に平行な光線を用いて取得される。

図８Ｃは、図８Ａおよび図８Ｂに示す照射方向のもとで取得される画像Ｓａ（第１のサブ画像Ｓａ）を模式的に示す。図８Ｃに示すように、第１のサブ画像Ｓａは、６個のフォトダイオード４ｐによって取得される６個の画素Ｐａから構成される。画素Ｐａの各々は、個々のフォトダイオード４ｐに入射した光の量を示す値（画素値）を持つ。

図８Ａおよび図８Ｂに示すように、撮像面に垂直な方向から被写体２を照射したときには、被写体２の全体のうち、フォトダイオード４ｐの直上に位置する領域を透過した光がフォトダイオード４ｐに入射する。この例では、第１のサブ画像Ｓａは、被写体２の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５およびＡ６（図７Ａ参照）の情報を有している。なお、フォトダイオード４ｐの直上に位置しない領域を透過した光は、フォトダイオード４ｐには入射しない。したがって、第１のサブ画像Ｓａでは、被写体２の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５およびＡ６以外の領域の情報が欠落している。

図９Ａおよび図９Ｂは、図８Ａおよび図８Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図９Ａおよび図９Ｂに示す光線は、ｚ方向に対してｘ方向に傾斜している。このとき、被写体２の全体のうち、フォトダイオード４ｐの直上に位置する領域とは異なる領域を透過した光がフォトダイオード４ｐに入射する。

図９Ｃは、図９Ａおよび図９Ｂに示す照射方向のもとで取得される画像Ｓｂ（第２のサブ画像Ｓｂ）を模式的に示す。図９Ｃに示すように、第２のサブ画像Ｓｂも、６個のフォトダイオード４ｐによって取得される６個の画素から構成されている。ただし、第２のサブ画像Ｓｂを構成する画素Ｐｂは、被写体２の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５およびＡ６とは異なる領域Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５およびＢ６（図７Ａ参照）に関する画素値を持つ。言い換えれば、第２のサブ画像Ｓｂは、被写体２の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５およびＡ６の情報は有しておらず、代わりに、領域Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５およびＢ６の情報を有している。ここでは、例えば領域Ｂ１は、被写体２において領域Ａ１の右側に隣接する領域である（図７Ａ参照）。

図８Ａおよび図８Ｂと、図９Ａおよび図９Ｂとを比較することによって理解されるように、照射方向を適切に変更することにより、被写体２の異なる領域を透過した光線をフォトダイオード４ｐに入射させることができる。その結果、第１のサブ画像Ｓａと第２のサブ画像Ｓｂは、被写体２において異なる位置に対応する画素情報を含むことができる。

図１０Ａおよび図１０Ｂは、図８Ａおよび図８Ｂに示す照射方向ならびに図９Ａおよび図９Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図１０Ａおよび図１０Ｂに示す光線は、ｚ方向に対してｙ方向に傾斜している。

図１０Ｃは、図１０Ａおよび図１０Ｂに示す照射方向のもとで取得される画像Ｓｃ（第３のサブ画像Ｓｃ）を模式的に示す。図１０Ｃに示すように、第３のサブ画像Ｓｃは、６個のフォトダイオード４ｐによって取得される６個の画素Ｐｃから構成されている。図示するように、第３のサブ画像Ｓｃは、被写体２の全体のうち、図７Ａに示す領域Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５およびＣ６の情報を有している。ここでは、例えば領域Ｃ１は、被写体２において領域Ａ１の上側に隣接する領域である（図７Ａ参照）。

図１１Ａは、図８Ａおよび図８Ｂに示す照射方向、図９Ａおよび図９Ｂに示す照射方向、ならびに図１０Ａおよび図１０Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図１１Ａに示す光線は、ｚ方向に対して、ｘｙ面内においてｘ軸と４５°の角をなす方向に傾斜している。

図１１Ｂは、図１１Ａに示す照射方向のもとで取得される画像Ｓｄ（第４のサブ画像Ｓｄ）を模式的に示す。図１１Ｂに示すように、第４のサブ画像Ｓｄは、６個のフォトダイオード４ｐによって取得される６個の画素Ｐｄから構成されている。第４のサブ画像Ｓｄは、被写体２の全体のうち、図７Ａに示す領域Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５およびＤ６の情報を有している。ここでは、例えば領域Ｄ１は、領域Ｃ１の右側に隣接する領域である（図７Ａ参照）。このように、サブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄの各々は、被写体２の異なる部分から構成される像を含んでいる。

図１２は、４枚のサブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄから合成される高解像度画像ＨＲを示している。図１２に示すように、高解像度画像ＨＲの画素数または画素密度は、４枚のサブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄの各々の画素数または画素密度の４倍である。

例えば、被写体２における、図７Ａに示す領域Ａ１、Ｂ１、Ｃ１およびＤ１のブロックに着目する。これまでの説明からわかるように、図１２に示すサブ画像Ｓａの画素Ｐａ１は、上述のブロック全体ではなく、領域Ａ１のみの情報を有している。したがって、サブ画像Ｓａは、領域Ｂ１、Ｃ１およびＤ１の情報が欠落した画像であるということができる。

しかしながら、被写体２において異なる位置に対応する画素情報を有するサブ画像Ｓｂ、ＳｃおよびＳｄを用いることにより、図１２に示すように、サブ画像Ｓａにおいて欠落した情報を補完し、ブロック全体の情報を有する高解像度画像ＨＲを形成することが可能である。個々のサブ画像の解像度がイメージセンサ４の固有解像度に等しいことに対し、この例では、イメージセンサ４の固有解像度の４倍の解像度が得られている。高解像度化（超解像）の程度は、イメージセンサの開口率に依存する。この例では、イメージセンサ４の開口率が２５％であるため、異なる４方向からの光照射によって最大４倍の高解像度化が達成されている。Ｎを２以上の整数するとき、イメージセンサ４の開口率が近似的に１／Ｎに等しければ、最大Ｎ倍の高解像度化が可能である。

このように、被写体を基準にして複数の異なる照射方向から、順次、平行光を照射して被写体の撮像を行うことにより、被写体から「空間的」にサンプリングされる画素情報を増加させることができる。得られた複数のサブ画像を合成することにより、複数のサブ画像の各々よりも解像度の高い高解像度画像を形成することが可能である。もちろん、照射方向は、図８Ａ〜図１１Ｂを参照して説明した照射方向に限定されない。

なお、上記の例において、図１２に示すサブ画像Ｓａ、Ｓｂ、ＳｃおよびＳｄは、被写体２における互いに異なる領域の画素情報を有しており、重なりを有していない。しかしながら、異なるサブ画像間において重なりを有していてもよい。また、上記の例では、被写体２において隣接する２つの領域を通過した光線は、いずれも、同一のフォトダイオードに入射している。しかしながら、照射方向の設定はこの例に限定されない。例えば、図１３に示すように、被写体２の隣接する２つの領域を通過した光線が、それぞれ、異なるフォトダイオードに入射するように照射方向が調整されていてもよい。

＜モジュール＞
図７Ａ〜図１２を参照して説明した原理に基づく高解像度画像の形成において、サブ画像の取得は、被写体２がイメージセンサ４の撮像面に近接して配置された状態で実行される。本開示の実施形態では、被写体２およびイメージセンサ４が一体化された構造を有するモジュールを用いてサブ画像の取得を行う。以下、図面を参照して、モジュールの構成の一例およびモジュールの作製方法の一例を説明する。

図１４Ａは、モジュールの断面構造の一例を模式的に示す。図１４Ａに示すモジュール１０では、封入剤６によって覆われた被写体２がイメージセンサ４の撮像面４Ａ上に配置されている。図示する例では、透明プレート（典型的にはガラス板）８が被写体２上に配置されている。すなわち、図１４Ａに例示する構成では、被写体２は、イメージセンサ４と透明プレート８との間に挟まれている。モジュール１０が透明プレート８を有すると、作業性が向上するので有益である。透明プレート８としては、例えば、一般的なスライドガラスを使用することができる。なお、図中においては各要素が模式的に表されており、各要素における実際の大きさおよび形状は、図中に現された大きさおよび形状と必ずしも一致しない。以下において参照する他の図面においても同様である。

図１４Ａに例示する構成において、イメージセンサ４は、パッケージ５に固定されている。図１４Ｂは、図１４Ａに示すモジュール１０をイメージセンサ４側から見たときの外観の一例を示す。図１４Ａおよび図１４Ｂに示すように、パッケージ５は、透明プレート８とは反対側の面に裏面電極５Ｂを有する。この裏面電極５Ｂは、パッケージ５に形成された不図示の配線パターンを介してイメージセンサ４と電気的に接続されている。すなわち、裏面電極５Ｂを介して、イメージセンサ４の出力を取り出すことができる。本明細書では、パッケージとイメージセンサとが一体化された構造物を「撮像素子」と呼ぶ。

図１５を参照して、モジュール１０の作製方法の一例を説明する。ここでは、被写体２として生物組織の薄片（組織切片）を例示する。生物組織の薄片を被写体２として有するモジュール１０は、病理診断に利用され得る。

まず、図１５に示すように、組織切片Ａ０２を透明プレート８に載せる。透明プレート８は、光学顕微鏡による試料の観察に用いられるスライドガラスであり得る。以下では、透明プレート８としてスライドガラスを例示する。次に、組織切片Ａ０２を透明プレート８ごと染色液Ｓｓに漬けることにより、組織切片Ａ０２を染色する。次に、透明プレート８上に封入剤６を付与することにより、組織切片Ａ０２を染色することによって得られた被写体２を封入剤６によって覆う。封入剤６は、被写体２を保護する機能を有する。次に、撮像素子７を、イメージセンサ４の撮像面が被写体２に対向するようにして被写体２上に配置する。このようにして、モジュール１０が得られる。

モジュール１０は、撮像の対象ごとに作製される。例えば病理診断の場面では、１つの検体から複数（例えば５〜２０枚）の組織切片が用意される。そのため、同一の検体から得られた組織切片を被写体２として有する複数のモジュール１０が作製され得る。これらの複数のモジュール１０のそれぞれについて複数のサブ画像の取得を行えば、複数のモジュール１０のそれぞれに対応した高解像度画像の形成が可能である。

図１４Ａに示すように、モジュール１０は、光学顕微鏡による観察に用いられるプレパラートとは異なり、被写体２の画像を取得するイメージセンサ４を備えている。このようなモジュールを「電子プレパラート」と呼んでもよい。図１４Ａに示すように被写体２および撮像素子７が一体化された構造を有するモジュール１０を用いることにより、被写体２とイメージセンサ４との間の配置を固定できるという利点が得られる。

モジュール１０を用いて被写体２の画像の取得を実行するとき、透明プレート８を介して被写体２に照明光を照射する。被写体２を透過した照明光がイメージセンサ４に入射する。これにより、被写体２の画像が得られる。光源と被写体との相対的な配置を変えながら、順次、撮像を実行することにより、照射時において角度を変えて複数の異なる画像を取得することができる。例えば、図１６Ａに示すように、イメージセンサ４の直上に光源３１０を配置する。そして、コリメートされた光ＣＬをイメージセンサ４の撮像面４Ａの法線方向から被写体２に照射した状態で撮像を行えば、図８Ｃに示すサブ画像Ｓａと同様のサブ画像が得られる。また、図１６Ｂに示すように、モジュール１０を傾けた状態でコリメートされた光ＣＬを被写体２に照射して撮像を行えば、図９Ｃに示すサブ画像Ｓｂ（あるいは図１０Ｃに示すサブ画像Ｓｃ）と同様のサブ画像が得られる。このように、光源に対するモジュール１０の姿勢を変化させながら、順次、撮像を実行することにより、図７Ａ〜図１２を参照して説明した原理を適用して高解像度画像を得ることが可能である。

＜画像取得装置＞
図１７は、本開示の実施形態による画像取得装置の構成の一例の概略を示す。図１７に示す画像取得装置１００ａは、照明システム３０を有する。図１７に例示する構成において、照明システム３０は、照明光を生成する光源３１、モジュール１０が着脱自在に装填されるように構成されたステージ３２、および、ステージ３２の姿勢を変更可能に構成されたステージ駆動機構３３を含んでいる。図１７は、ステージ３２にモジュール１０が装填された状態を模式的に示している。ただし、モジュール１０における封入剤６および透明プレート８の図示は省略している。モジュール１０は、画像取得装置１００ａに必須の構成要素ではない。

モジュール１０は、ステージ３２に接続された状態において、被写体２を透過した照明光が撮像素子７に入射するような配置を有する。照明システム３０は、例えばステージ３２の姿勢を変化させることにより、被写体２を基準とする照射方向を変化させる。本明細書における「姿勢」の変化は、基準面に対する傾斜の変化、基準方位に対する回転角度の変化、および、基準点に対する位置の変化などを広く含む。被写体２を基準とする複数の異なる照射方向から、順次、光源３１によって生成された照明光で被写体２を照射する。照明システム３０の構成の詳細および動作の例は後述する。照射方向を変えて被写体２を照射することにより、複数の異なる照射方向に応じて異なる複数の画像（サブ画像）が撮像素子７によって取得される。得られた複数の画像を用いて、高解像度画像の形成が可能である。

図１７に示す画像取得装置１００ａは、照射方向決定部４０ａを有する。この照射方向決定部４０ａは、撮像素子７による複数のサブ画像の取得時における複数の異なる照射方向を決定する。本開示の実施形態では、サブ画像の取得は、照射方向決定部によって決定された複数の異なる照射方向のもとで実行される。言い換えれば、本開示の実施形態におけるサブ画像は、照射方向決定部によって決定された複数の異なる照射方向に対応した複数の異なる画像である。

次に、図１８Ａ〜図１９Ｂを参照して、被写体を基準とする照明光の照射方向を変更する方法の一例を説明する。

図１８Ａおよび図１８Ｂは、画像取得装置１００ａの例示的な外観を示す。図１８Ａに例示する構成において、画像取得装置１００ａは、光源３１およびステージ３２を含む本体１１０と、本体１１０に開閉可能に連結された蓋部１２０とを有している。蓋部１２０を閉じることにより、画像取得装置１００ａの内部に暗室を形成することができる（図１８Ｂ参照）。

図示する例では、ステージ３２上にモジュール１０を保持するためのソケット１３０が接続されている。ソケット１３０は、ステージ３２に固定されていてもよいし、ステージ３２に着脱可能に構成されていてもよい。ここでは、ソケット１３０がステージ３２に着脱可能に構成されている構成を例示する。ソケット１３０は、例えば、モジュール１０が着脱可能に構成された下部基材１３２と、開口部Ａｐが形成された上部基材１３４とを含む。図１８Ａに例示する構成では、ソケット１３０は、下部基材１３２と上部基材１３４との間にモジュール１０を挟むことにより、モジュール１０を保持する。

下部基材１３２は、モジュール１０の撮像素子７との電気的接続のための電気的接点を有する電気接続部を有し得る。被写体の画像の取得時、撮像素子７の撮像面が光源３１に対向するようにしてモジュール１０が下部基材１３２に載せられる。このとき、電気接続部の電気的接点と撮像素子７の裏面電極５Ｂ（図１４Ａおよび図１４Ｂ参照）とが接触することにより、モジュール１０の撮像素子７と下部基材１３２の電気接続部とが電気的に接続される。

図１８Ｃは、画像取得装置１００ａのステージ３２に対するソケット１３０の装填方法の一例を示す。図１８Ｃに例示する構成において、ソケット１３０は、底面から突出する電極１３６を有している。この電極１３６は、下部基材１３２の電気接続部の一部であり得る。また、図１８Ｃに示す例では、画像取得装置１００ａのステージ３２は、ジャック３６が設けられた取付部３４を有している。図１８Ｃに示すように、例えばモジュール１０を保持した状態のソケット１３０は、ジャック３６にソケット１３０の電極１３６が挿入されるようにしてステージ３２に装填される。これにより、ソケット１３０に保持されたモジュール１０中の撮像素子７と、画像取得装置１００ａとの間の電気的接続が確立される。ステージ３２は、モジュール１０を保持するソケット１３０が装填された状態においてイメージセンサ４の出力を受け取る回路を有し得る。本開示の実施形態では、画像取得装置１００ａは、ソケット１３０が有する電気接続部を仲立ちとして被写体２の画像を示す情報（画像信号あるいは画像データ）を取得する。

なお、複数のモジュール１０を用いて複数の被写体の撮像を行う場合、モジュール１０と同数のソケット１３０を用意し、モジュール１０を保持した状態のソケット１３０を換装することによって撮像の対象を変更してもよい。あるいは、ステージ３２に１つのソケット１３０を取り付けた状態のままモジュール１０を換装することにより、撮像の対象を変更してもよい。

図１８Ｃに示すように、ソケット１３０をステージ３２に装填することにより、ソケット１３０の底面と、取付部３４の上面とを密着させ得る。これにより、ステージ３２に対するソケット１３０の配置が固定される。したがって、ステージ３２と、ソケット１３０に保持されたモジュール１０との配置をステージ３２の姿勢の変化の前後において一定に保つことができる。典型的には、ステージ３２にソケット１３０が装填された状態において、モジュール１０の透明プレート８の主面とステージ３２とは、ほぼ平行である。

図１９Ａは、照射方向を変更する方法の一例を示す。図示するように、ソケット１３０に保持されたモジュール１０に、光源３１から出射された照明光ＣＬが照射される。照明光ＣＬは、ソケット１３０に設けられた開口部Ａｐを介して、モジュール１０の被写体に入射する。被写体を透過した光が、モジュール１０の撮像素子７の撮像面に入射する。

光源３１から出射される光は、典型的には、コリメートされた光である。ただし、被写体に入射する光が実質的に平行光であるとみなせる場合には、光源３１から出射される光はコリメートされた光でなくてもよい。

光源３１は、例えばＬＥＤチップを含む。光源３１は、各々が異なる波長帯域にピークを有する複数のＬＥＤチップを含んでいてもよい。例えば、光源３１が、青色の光を出射するＬＥＤチップ、赤色の光を出射するＬＥＤチップ、および緑色の光を出射するＬＥＤチップを含んでいてもよい。複数の発光素子を近接（例えば１００μｍ程度）して配置した場合には、これらを点光源とみなし得る。

互いに異なる色の光を出射する複数の発光素子を使用し、例えば、異なる色の光を照射方向ごとにタイムシーケンシャルに照射することにより、それぞれの色についての複数のサブ画像を取得することができる。例えば、青色サブ画像のセット、赤色サブ画像のセット、および緑色サブ画像のセットを取得してもよい。取得されたサブ画像のセットを用いれば、カラーの高解像度画像を形成することができる。例えば病理診断の場面では、カラーの高解像度画像を利用することにより、病変の有無などに関するより多くの有益な情報を得ることができる。光源３１として白色ＬＥＤチップを用い、かつ、光路上にカラーフィルタを配置することによって、互いに異なる色の照明光をタイムシーケンシャルに得てもよい。また、イメージセンサ４としてカラー撮像用のイメージセンサを用いてもよい。ただし、イメージセンサ４の光電変換部に入射する光量の低減を抑制する観点からは、カラーフィルタを配置しない構成の方が有利である。

光源３１は、ＬＥＤに限定されず、白熱電球、レーザ素子、ファイバーレーザ、放電管などであってもよい。光源３１から出射される光は、可視光に限定されず、紫外線、赤外線などであってもよい。光源３１が有する発光素子の数および配置も任意に設定可能である。

図１７および図１９Ａに示すように、画像取得装置１００ａは、ステージ駆動機構３３を有する。ステージ駆動機構３３は、ゴニオ機構、回転機構などを含み、本体１１０に対するステージ３２の傾斜および／またはステージ３２の中心を通る軸に関する回転角を変化させる。ステージ駆動機構３３が、ステージ３２を基準面（典型的には水平面）内において平行移動させることが可能なスライド機構を含んでいてもよい。

ステージ駆動機構３３を動作させることにより、ステージ３２の姿勢を変化させることができる。ここでは、モジュール１０を保持した状態のソケット１３０がステージ３２に取り付けられているので、ステージ３２の姿勢を変化させることにより、モジュール１０の姿勢を変化させることができる。例えば、ステージ３２が基準面に対して傾斜していない時における照明光の入射方向がイメージセンサの撮像面の法線方向であるとする。ここでは、基準面に対するステージ３２の傾斜と基準面に対するモジュール１０の傾斜（透明プレート８の傾斜といってもよい。）との間の関係（例えば、平行）が、ステージ３２の姿勢の変化の前後において一定に保たれている。そのため、図１９Ｂに示すように、基準面に対してステージ３２を角度θだけ傾斜させると、被写体に入射する光線の方向も角度θだけ傾斜する。なお、図１９Ｂ中、破線Ｎは、イメージセンサの撮像面の法線を示している。

このように、ステージ３２とともにモジュール１０の姿勢を変化させることにより、被写体２を基準として複数の異なる照射方向から、順次、照明光を被写体に照射することが可能である。したがって、被写体２を基準とする複数の異なる照射方向に応じた複数の画像をモジュール１０の撮像素子７によって取得することができる。被写体２を基準とする照射方向は、例えば、イメージセンサの撮像面の法線Ｎと被写体２への入射光線とがなす角（図１９Ｂに示す天頂角θ）、および撮像面上に設定した基準方位と入射光線の撮像面への射影とがなす角（方位角）の組によって表すことができる。

なお、光源３１を画像取得装置１００ａ内において移動させたり、互いに異なる場所に配置された複数の光源を順次に点灯させたりすることによっても、複数の異なる照射方向から被写体２を照射することが可能である。例えば、光源３１と被写体２とを結ぶ方向に沿って光源３１を移動させることにより、照射方向を変更してもよい。ステージ３２の姿勢の変化と光源３１の移動とを組み合わせることによって照射方向を変化させてもよい。

＜モジュールに用いられるイメージセンサ＞
なお、本開示の実施形態において、イメージセンサ４は、ＣＣＤイメージセンサに限定されず、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ、また
は、その他のイメージセンサ（一例として、後述する光電変換膜積層型イメージセンサ）であってもよい。ＣＣＤイメージセンサおよびＣＭＯＳイメージセンサは、表面照射型または裏面照射型のいずれであってもよい。以下、イメージセンサの素子構造と、イメージセンサのフォトダイオードに入射する光の関係を説明する。

図２０は、ＣＣＤイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す。図２０に示すように、ＣＣＤイメージセンサは、概略的には、基板８０と、基板８０上の絶縁層８２と、絶縁層８２内に配置された配線８４とを有している。基板８０には、複数のフォトダイオード８８が形成されている。配線８４上には、遮光層（図２０において不図示）が形成される。ここでは、トランジスタなどの図示は省略している。以下の図面においてもトランジスタなどの図示を省略する。なお、概略的には、表面照射型ＣＭＯＳイメージセンサにおけるフォトダイオード近傍の断面構造は、ＣＣＤイメージセンサにおけるフォトダイオード近傍の断面構造とほぼ同様である。そのため、ここでは、表面照射型ＣＭＯＳイメージセンサの断面構造の図示および説明を省略する。

図２０に示すように、照明光が撮像面の法線方向から入射する場合、被写体のうち、フォトダイオード８８の直上にある領域Ｒ１を透過した照射光は、フォトダイオード８８に入射する。一方、被写体のうち、配線８４上の遮光層の直上にある領域Ｒ２を透過した照射光は、イメージセンサの遮光領域（遮光膜が形成された領域）に入射する。したがって、撮像面の法線方向から照射した場合には、被写体のうち、フォトダイオード８８の直上にある領域Ｒ１を示す画像が得られる。

遮光膜の直上にある領域を示す画像を取得するためには、領域Ｒ２を透過した光がフォトダイオード８８に入射するように、撮像面の法線方向に対して傾いた方向から照射を行えばよい。このとき、照射方向によっては、領域Ｒ２を透過した光のうちの一部が、配線８４によって遮られることがある。図示する例では、ハッチングによって示す部分を通る光線はフォトダイオード８８には届かない。そのため、斜め入射においては、画素値が幾分低下することがある。しかしながら、透過光の全てが遮られるわけではないので、このときに得られたサブ画像を用いた高解像度画像の形成は可能である。

図２１Ａおよび図２１Ｂは、裏面照射型ＣＭＯＳイメージセンサの断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す。図２１Ａに示すように、裏面照射型ＣＭＯＳイメージセンサでは、斜め入射の場合であっても透過光が配線８４によって遮られることがない。ただし、被写体のうち、撮像を行いたい領域とは異なる他の領域を透過した光（図２１Ａおよび後述する図２１Ｂ中、太い矢印ＢＡで模式的に示す光）が基板８０に入射することによってノイズが発生し、サブ画像の品質が劣化するおそれがある。このような劣化は、図２１Ｂに示すように、基板においてフォトダイオードが形成された領域以外の領域上に遮光層９０を形成することにより低減することが可能である。

図２２は、有機材料または無機材料で形成した光電変換膜を備えるイメージセンサ（以下、「光電変換膜積層型イメージセンサ」と呼ぶ。）の断面構造と、被写体の相対的な透過率Ｔｄの分布の例とを示す。

図２２に示すように、光電変換膜積層型イメージセンサは、概略的には、基板８０と、複数の画素電極が設けられた絶縁層８２と、絶縁層８２上の光電変換膜９４と、光電変換膜９４上の透明電極９６とを有している。図示するように、光電変換膜積層型イメージセンサでは、半導体基板に形成されるフォトダイオードの代わりに、光電変換を行う光電変換膜９４が基板８０（例えば半導体基板）上に形成されている。光電変換膜９４および透明電極９６は、典型的には、撮像面の全体にわたって形成される。ここでは、光電変換膜９４を保護する保護膜の図示を省略している。

光電変換膜積層型イメージセンサでは、光電変換膜９４における入射光の光電変換によって発生した電荷（電子または正孔）が画素電極９２によって集められる。これにより、光電変換膜９４に入射した光の量を示す値が得られる。したがって、光電変換膜積層型イメージセンサでは、撮像面において、１つの画素電極９２を含む単位領域が１つの画素に相当するといえる。光電変換膜積層型イメージセンサでは、裏面照射型ＣＭＯＳイメージセンサと同様に斜め入射の場合であっても透過光が配線によって遮られることがない。

図７Ａ〜図１２を参照して説明したように、高解像度画像の形成においては、被写体の異なる部分から構成される像を示す複数のサブ画像が用いられる。ところが、典型的な光電変換膜積層型イメージセンサでは、撮像面の全体にわたって光電変換膜９４が形成されているので、例えば垂直入射の場合であっても、被写体の所望の領域以外の領域を透過した光によっても光電変換膜９４において光電変換が生じ得る。このときに発生した余分な電子または正孔が画素電極９２に引き込まれると、適切なサブ画像が得られないおそれがある。したがって、画素電極９２と透明電極９６とが重なる領域（図２２において網掛けされた領域）において発生した電荷を画素電極９２に選択的に引き込むことが有益である。

図２２に例示する構成では、画素電極９２のそれぞれと対応して、画素内にダミー電極９８が設けられている。被写体の像の取得時、画素電極９２とダミー電極９８との間には、適切な電位差が与えられる。これにより、画素電極９２と透明電極９６とが重なる領域以外の領域で発生した電荷をダミー電極９８に引き込み、画素電極９２と透明電極９６とが重なる領域で発生した電荷を選択的に画素電極９２に引き込むことができる。なお、透明電極９６または光電変換膜９４のパターニングによっても、同様の効果を得ることが可能である。このような構成においては、画素の面積Ｓ１に対する画素電極９２の面積Ｓ３の比率（Ｓ３／Ｓ１）が、「開口率」に相当するということができる。

既に説明したように、Ｎを２以上の整数とするとき、イメージセンサ４の開口率が近似的に１／Ｎに等しければ、最大Ｎ倍の高解像度化が可能になる。言い換えれば、開口率が小さい方が高解像度化には有利である。光電変換膜積層型イメージセンサでは、画素電極９２の面積Ｓ３を調整することによって、開口率に相当する比率（Ｓ３／Ｓ１）を調整することが可能である。この比率（Ｓ３／Ｓ１）は、例えば１０％〜５０％の範囲に設定される。比率（Ｓ３／Ｓ１）が上記の範囲内にある光電変換膜積層型イメージセンサは、超解像に用いられ得る。

なお、図２０および図２１Ｂからわかるように、ＣＣＤイメージセンサおよび表面照射型ＣＭＯＳイメージセンサにおいて被写体と対向する表面は平坦ではない。例えば、ＣＣＤイメージセンサでは、その表面に段差が存在する。また、裏面照射型ＣＭＯＳイメージセンサでは、高解像度画像を形成するためのサブ画像を取得するには、パターニングされた遮光層を撮像面上に設けることが必要であり、被写体と対向する表面は平坦ではない。

これに対し、光電変換膜積層型イメージセンサの撮像面は、図２２からわかるように、ほぼ平坦な面である。したがって、撮像面上に被写体を配置した場合であっても、撮像面の形状に起因する被写体の変形がほとんど生じない。言い換えれば、光電変換膜積層型イメージセンサを用いてサブ画像を取得することによって、被写体のより詳細な構造を観察し得る。

以上、一つまたは複数の態様に係る画像出力装置について、いくつかの実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示に含まれてもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像出力装置などを実現するソフトウェアは、図３、図４、図６Ａ、または図６Ｂのフローチャートにおける各ステップをコンピュータに実行させるプログラムである。

また、本開示において、ユニット、デバイスの全部又は一部、又は図１および図５に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（large scale integration）を含む一つ又は一つ以上の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ(very large scale integration)、若しくはＵＬＳＩ(ultra large scale integration) と呼ばれるかもしれない。 ＬＳＩの製造後にプログラムされる、Field Programmable Gate Array (FPGA)、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。

さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は一つ以上のＲＯＭ、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウエアが、処理装置（processor）によって実行された場合に、ソフトウエアは、ソフトウエア内の特定の機能を、処理装置（processor）と周辺のデバイスに実行させる。システム又は装置は、ソフトウエアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置（processor）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。

本開示は、被写体の画像をスムーズに表示することができるという効果を奏し、例えば、病理検体の高解像度画像を表示するための画像出力装置などに適用することができる。

１０００，２０００ 画像処理システム
１００１，２００１ 画像出力装置
１１００ 画像送信装置
１１０１ 画像取得部
１１０２ 高解像度画像生成部
１１１３ 通知部
１２００ 画像受信装置
１２０１ 拡大受付部
１２０２ 切替部
１２０３ 表示用出力部
１２１０ 補間画像生成部
１２１３ 報知部
１５００ デジタル顕微鏡
１５０１ 表示装置

Claims (9)

1. デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得する画像取得部と、
   前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を生成する高解像度画像生成部と、
   取得された前記第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付ける拡大受付部と、
   前記拡大受付部によって受け付けられた前記拡大情報に基づいて前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成する補間画像生成部と、
   前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させる表示用出力部と、
   前記拡大受付部によって受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記拡大情報に応じた前記第二解像度画像を前記高解像度画像生成部に生成させ、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせる切替部と、
   を備える画像出力装置。
2. 前記拡大受付部は、前記拡大情報を順次受け付け、
   前記表示用出力部は、前記拡大受付部によって前記拡大情報が受け付けられるごとに、当該拡大情報に基づく前記補間拡大画像、または、当該拡大情報に応じた前記第二解像度画像を前記表示装置に出力することによって、前記表示装置に表示される画像を切り替える
   請求項１に記載の画像出力装置。
3. 前記拡大受付部は、予め定められた調整期間に前記拡大情報を順次受け付け、
   前記切替部は、前記調整期間の経過時点において、当該経過時点の直前に受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせる
   請求項１に記載の画像出力装置。
4. 前記高解像度画像生成部は、前記画像取得部によって取得される複数の前記第一解像度画像を用いて前記第二解像度画像を生成し、
   前記画像出力装置は、さらに、
   前記第二解像度画像の生成に必要とされるだけの複数の前記第一解像度画像が前記画像取得部によって取得されたときに、撮影の完了をユーザに報知する報知部を備える
   請求項１〜３の何れか１項に記載の画像出力装置。
5. 画像送信装置と、前記画像送信装置と通信回線を介して接続された画像受信装置とを有する画像出力装置であって、
   前記画像送信装置は、
   デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得する画像取得部と、
   前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を生成する高解像度画像生成部とを備え、
   前記画像受信装置は、
   取得された前記第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付ける拡大受付部と、
   前記拡大受付部によって受け付けられた前記拡大情報に基づいて、前記画像送信装置から送信された前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成する補間画像生成部と、
   前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させる表示用出力部と、
   前記拡大受付部によって受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記拡大情報に応じた前記第二解像度画像を前記高解像度画像生成部に生成させて、当該高解像度画像生成部から前記拡大情報に応じた前記第二解像度画像を取得し、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせる切替部とを備える、
   画像出力装置。
6. デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得し、
   取得された前記第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付け、
   受け付けられた前記拡大情報に基づいて前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成し、
   前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させ、
   受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、
   前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である、前記拡大情報に応じた第二解像度画像を生成し、
   前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替える
   画像出力方法。
7. デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得し、
   取得された前記第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付け、
   受け付けられた前記拡大情報に基づいて前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成し、
   前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させ、
   受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、
   前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である、前記拡大情報に応じた第二解像度画像を生成し、
   前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替える
   ことを、コンピュータに実行させるプログラム。
8. デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像を取得する画像取得部と、
   前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である第二解像度画像を生成する高解像度画像生成部と、
   を備える画像送信装置と、通信回線を介して接続される画像受信装置であって、
   前記画像受信装置は、
   取得された前記第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付ける拡大受付部と、
   前記拡大受付部によって受け付けられた前記拡大情報に基づいて、前記画像送信装置から送信された前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成する補間画像生成部と、
   前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させる表示用出力部と、
   前記拡大受付部によって受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記拡大情報に応じた前記第二解像度画像を前記高解像度画像生成部に生成させて、当該高解像度画像生成部から前記拡大情報に応じた前記第二解像度画像を取得し、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせる切替部とを備える、
   画像受信装置。
9. デジタル顕微鏡による撮影に基づいて得られる被写体の画像である第一解像度画像における一部の領域に対する拡大率と、当該領域の位置とを含む拡大情報を受け付ける拡大受付部と、
   前記拡大受付部によって受け付けられた前記拡大情報に基づいて、画像送信装置から送信された前記第一解像度画像の前記領域に対する画素補間を行って当該領域を拡大することによって補間拡大画像を生成する補間画像生成部と、
   前記補間拡大画像を表示装置に出力することによって、前記補間拡大画像を前記表示装置に表示させる表示用出力部と、
   前記拡大受付部によって受け付けられた前記拡大情報に含まれる拡大率が所定の値よりも大きい場合に、前記第一解像度画像よりも高い解像度の画像であって、前記デジタル顕微鏡による撮影に基づいて得られる前記被写体の画像である、前記拡大情報に応じた第二解像度画像を、前記画像送信装置の高解像度画像生成部に生成させて、当該高解像度画像生成部から前記拡大情報に応じた前記第二解像度画像を取得し、前記表示用出力部に対して、前記表示装置に出力されている前記補間拡大画像を、前記拡大情報に応じた前記第二解像度画像に切り替えさせる切替部と、
   を備える画像受信装置と、通信回線を介して接続される前記画像送信装置であって、
   前記画像送信装置は、
   前記第一解像度画像を取得する画像取得部と、
   前記第二解像度画像を生成する前記高解像度画像生成部とを備える、
   画像送信装置。

Images