例示的な実施形態に係る眼科システム、眼科情報処理装置、プログラム、及び記録媒体について、図面を参照しながら詳細に説明する。なお、引用文献に開示された事項などの任意の公知技術を実施形態に組み合わせることができる。
実施形態の眼科システムは、例えば、各種の施設に設置された眼科撮影装置や、可搬型の眼科撮影装置を用いた遠隔医療に用いられる。実施形態に係る遠隔医療では、少なくとも、眼科撮影装置により取得された医用画像の読影を、この眼科撮影装置が設置された施設から離れた遠隔地において行う者が行う。この読影者は、典型的には、医師やオプトメトリストなどの専門家である。読影者は、読影を行うことで被検眼に関するレポートを作成する。実施形態に係る遠隔医療において、眼科撮影装置が設置された施設にて検査をアシストする者(補助者)が関与してもよい。
眼科撮影装置が設置される施設の例として、眼鏡店、医療機関、健康診断会場、検診会場、患者の自宅、福祉施設、公共施設、検診車などがある。
眼科撮影装置は、被検眼の撮影に用いられる任意の装置であってよく、少なくともスリットランプ顕微鏡としての機能を有する。眼科システムに含まれる複数の眼科撮影装置のいずれかは、スリットランプ顕微鏡と異なる撮影機能(例えば、眼底カメラ、SLO、OCTなどの眼科モダリティ)を含んでいてもよい。更に、眼科撮影装置は、測定データや撮影画像を解析するためのアプリケーションを備えていてもよい。
実施形態の眼科システムは、被検眼の特性を測定するための眼科測定装置を更に含んでいてもよい。眼科測定装置の例として、視力検査装置(視標呈示装置、フォロプタ等)、眼屈折検査装置(レフラクトメータ、ケラトメータ等)、眼圧計、スペキュラーマイクロスコープ、ウェーブフロントアナライザ、視野計、マイクロペリメータなどがある。
〈眼科システム〉
実施形態に係る眼科システムの構成の例を説明する。図1に例示された眼科システム1000は、眼科撮影が行われるN個の施設(第1施設~第N施設)のそれぞれと、管理サーバ4000と、遠隔端末5000mとを結ぶ通信路(通信回線)1100を利用して構築されている。
各施設(第n施設:n=1~N、Nは1以上の整数)には、眼科撮影装置2000-in(in=1~Kn、Knは1以上の整数)が設置されている。つまり、各施設(第n施設)には、1以上の眼科撮影装置2000-inが設置されている。眼科撮影装置2000-inは、眼科システム1000の一部を構成する。なお、眼科以外の検査を実施可能な検査装置が眼科システム1000に含まれていてもよい。
本例の眼科撮影装置2000-inは、被検眼の撮影を実施する「撮影装置」としての機能と、各種データ処理や外部装置との通信を行う「コンピュータ」としての機能の双方を備えている。他の例において、撮影装置とコンピュータとを別々に設けることが可能である。この場合、撮影装置とコンピュータとは互いに通信可能に構成されてよい。更に、撮影装置の数とコンピュータの数とはそれぞれ任意であり、例えば単一のコンピュータと複数の撮影装置とを設けることができる。
更に、各施設(第n施設)には、補助者や被検者により使用される情報処理装置(端末3000-n)が設置されている。端末3000-nは、当該施設において使用されるコンピュータであり、例えば、タブレット端末やスマートフォン等のモバイル端末、当該施設に設置されたサーバなどであってよい。更に、端末3000-nは、無線型イヤフォン等のウェアラブルデバイスを含んでいてもよい。なお、端末3000-nは、当該施設においてその機能を使用可能なコンピュータであれば十分であり、例えば、当該施設の外に設置されたコンピュータ(クラウドサーバ等)であってもよい。
眼科撮影装置2000-inと端末3000-nとは、第n施設内に構築されたネットワーク(施設内LAN等)や、広域ネットワーク(インターネット等)や、近距離通信技術を利用して通信を行えるように構成されてよい。
眼科撮影装置2000-inは、サーバ等の通信機器としての機能を備えていてよい。この場合、眼科撮影装置2000-inと端末3000-nとが直接に通信を行うように構成することができる。これにより、管理サーバ4000と端末3000-nとの間の通信を眼科撮影装置2000-inを介して行うことができるので、端末3000-nと管理サーバ4000との間で通信を行う機能を設ける必要がなくなる。
管理サーバ4000は、第1~第N施設のいずれとも異なる施設に設置され、例えば管理センタに設置されている。管理サーバ4000は、ネットワーク(LAN、広域ネットワーク等)を介して、遠隔端末5000m(m=1~M、Mは1以上の整数)と通信が可能である。更に、管理サーバ4000は、第1~第N施設に設置された眼科撮影装置2000-inの少なくとも一部と広域ネットワークを介して通信が可能である。
管理サーバ4000は、例えば、眼科撮影装置2000-inと遠隔端末5000mとの間の通信を中継する機能と、この通信の内容を記録する機能と、眼科撮影装置2000-inにより取得されたデータや情報を記憶する機能と、遠隔端末5000mにより取得されたデータや情報を記憶する機能とを備える。また、管理サーバ4000は、データ処理機能を備えてもよい。例えば、管理サーバ4000は、眼科撮影装置2000-in(スリットランプ顕微鏡)により取得された複数の断面画像から3次元画像を形成する処理を実行するための3次元画像形成部(プロセッサ、コンピュータプログラムなどを含む)を含んでいてよい。
遠隔端末5000mは、眼科撮影装置2000-inによって取得された被検眼の画像の読影とレポート作成とに使用可能なコンピュータを含む。
本実施形態において、「プロセッサ」は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array))等の回路を意味する。プロセッサは、例えば、記憶回路や記憶装置に格納されているプログラムやデータを読み出し実行することで、実施形態に係る機能を実現することができる。
〈眼科撮影装置の構成〉
眼科撮影装置2000-inの構成について説明する。前述したように、眼科撮影装置2000-inはスリットランプ顕微鏡としての機能を有する。本例では、特に言及しない限り、眼科撮影装置2000-inはスリットランプ顕微鏡である。
ここで、以下のように方向を表すことがある。スリットランプ顕微鏡の光学系が被検眼の正面(ニュートラル位置)に配置されているときに、光学系における最も被検眼側に位置するレンズ(対物レンズ)から被検眼に向かう方向を前方向(又は、深さ方向、奥行き方向、Z方向)とし、その逆方向を後方向(-Z方向)とする。また、Z方向に直交する水平方向を左右方向(又は、横方向、±X方向)とする。更に、Z方向とX方向の双方に直交する方向を上下方向(又は、縦方向、±Y方向)とする。XYZ座標系は、例えば右手系(又は、左手系)として定義される。
また、スリットランプ顕微鏡の観察撮影系は少なくとも水平方向に回動可能であるので、観察撮影系の光軸(観察撮影光軸)に沿う方向である動径方向をr1方向とし、回転方向をθ1方向とする。同様に、スリットランプ顕微鏡の照明系は回動可能であるので、照明系の光軸(照明光軸)に沿う方向である動径方向をr2方向とし、回転方向をθ2方向とする。例えば、動径方向の正方向は、対物レンズから被検眼に向かう方向であり、回転方向の正方向は、上方から見たときの反時計回り方向である。回転方向は、例えば、Z方向を基準として定義される(つまり、Z方向が回転角度0度として定義される)。観察撮影系がニュートラル位置に配置されているとき(つまり、θ1=0度のとき)、r1方向はZ方向に一致する。同様に、照明系がニュートラル位置に配置されているとき(つまり、θ2=0度のとき)、r2方向はZ方向に一致する。照明系及び観察撮影系の少なくとも一方は、上下方向に回動可能であってもよい。この場合においても動径方向や回転方向が同様に定義される。
例示的なスリットランプ顕微鏡の外観構成を図2に示す。スリットランプ顕微鏡1には、コンピュータ100が接続されている。コンピュータ100は、各種の制御処理や演算処理を行う。顕微鏡本体(光学系等を格納する筐体)とは別にコンピュータ100を設ける代わりに、顕微鏡本体に同様のコンピュータを搭載した構成を適用することも可能である。コンピュータ100の少なくとも一部と、前述した端末3000-nの少なくとも一部とが共通であってもよい。
スリットランプ顕微鏡1はテーブル2上に載置される。基台4は、例えば、移動機構部3を介して3次元的に移動可能に構成されている。基台4は、操作ハンドル5を傾倒操作することにより移動される。或いは、移動機構部3は、アクチュエータを含む。
基台4の上面には、観察撮影系6及び照明系8を支持する支持部15が設けられている。支持部15には、観察撮影系6を支持する支持アーム16が左右方向に回動可能に取り付けられている。支持アーム16の上部には、照明系8を支持する支持アーム17が左右方向に回動可能に取り付けられている。支持アーム16及び17は、それぞれ独立に且つ互いに同軸で回動可能とされている。
観察撮影系6は、支持アーム16を回動させることで移動される。照明系8は、支持アーム17を回動させることで移動される。支持アーム16及び17のそれぞれは、電気的な機構によって回動される。移動機構部3には、支持アーム16を回動させるための機構と、支持アーム17を回動させるための機構とが設けられている。なお、支持アーム16を手動で回動させることによって観察撮影系6を移動することもできる。同様に、支持アーム17を手動で回動させることによって照明系8を移動することもできる。
照明系8は、被検眼Eに照明光を照射する。前述のように、照明系8を左右方向に回動することができる。更に、照明系8を上下方向に回動できるように構成されてもよい。つまり、照明系8の仰角や俯角を変更できるように構成されていてもよい。このような照明系8のスイング動作により、被検眼Eに対する照明光の投射方向が変更される。
観察撮影系6は、被検眼Eに投射された照明光の戻り光を案内する左右一対の光学系を有する。この光学系は鏡筒本体9内に収納されている。鏡筒本体9の終端は接眼部9aである。検者は接眼部9aをのぞき込むことで被検眼Eを観察する。前述のように、支持アーム16を回動させることにより鏡筒本体9を左右方向に回動させることができる。更に、観察撮影系6を上下方向に回動できるように構成されてもよい。つまり、観察撮影系6の仰角や俯角を変更できるように構成されていてもよい。このような観察撮影系6のスイング動作により、被検眼Eを撮影する方向を変更することができる。
鏡筒本体9に対峙する位置には顎受け台10が配置されている。顎受け台10には、被検者の顔を安定配置させるための顎受部10aと額当て10bが設けられている。
鏡筒本体9の側面には、倍率を変更するための倍率操作ノブ11が配置されている。更に、鏡筒本体9には、被検眼Eを撮影するための撮像装置13が接続されている。撮像装置13は撮像素子を含む。撮像素子は、光を検出して画像信号(電気信号)を出力する光電変換素子である。画像信号はコンピュータ100に入力される。撮像素子としては、例えば、CCD(Charge Coupled Device)イメージセンサ、又は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられる。
照明系8の下方位置には、照明系8から出力される照明光束を被検眼Eに向けて反射するミラー12が配置されている。
図2では省略されているが、ミラー12の近傍(例えば、ミラー12の下方位置又は上方位置)には、被検眼Eの前眼部を正面から撮影するための前眼部カメラ70が設けられている(図3及び図4を参照)。前眼部カメラ70は、固定的に配置されているか、或いは、観察撮影系6や照明系8の移動とは独立に移動可能とされている。前眼部カメラ70は、例えば、動画撮影が可能なビデオカメラである。前眼部カメラ70は1以上の任意の個数設けられてよい。
前眼部カメラ70で撮影を行うための照明光を前眼部に投射する前眼部照明光源が設けられていてもよい。前眼部照明光源は、例えば、赤外光源又は可視光源であってよい。前眼部照明光源は、例えば、前眼部カメラ70の近傍(例えば、前眼部カメラ70の下方位置、上方位置、又は側方位置)に配置されている。前眼部照明光源は1以上の任意の個数設けられてよい。
〈光学系の構成〉
スリットランプ顕微鏡1の光学系の構成例を図3に示す。前述したように、スリットランプ顕微鏡1は、観察撮影系6と照明系8とを備えている。
〈観察撮影系6〉
観察撮影系6は左右一対の光学系を備えている。左右の光学系は、ほぼ同様の構成を有する。検者は、この左右の光学系により被検眼Eを双眼で観察することができる。なお、図3には、観察撮影系6の左右の光学系の一方のみが示されている。観察撮影系6は、左右の光学系の一方のみを備えていてもよい。符号O1は、観察撮影系6の光軸を示す。
観察撮影系6の左右の光学系のそれぞれは、対物レンズ31、変倍光学系32、ビームスプリッタ34、結像レンズ35、プリズム36、及び接眼レンズ37を含む。ここで、ビームスプリッタ34は、左右の光学系の一方又は双方に設けられる。接眼レンズ37は、接眼部9a内に設けられている。符号Pは、接眼レンズ37に導かれる光の結像位置を示す。符号Ecは被検眼Eの角膜を示す。符号Eoは検者眼を示す。
変倍光学系32は、複数(例えば3枚)の変倍レンズ32a、32b、32cを含む。本実施形態では、観察撮影系6の光路に対して選択的に挿入可能な複数の変倍レンズ群が設けられている。これら変倍レンズ群は、それぞれ異なる倍率に対応する。観察撮影系6の光路に配置された変倍レンズ群が変倍光学系32として用いられる。このような変倍レンズ群の選択的な挿入により、被検眼Eの観察像や撮影画像の倍率(画角)を変更することができる。倍率の変更、つまり観察撮影系6の光路に配置される変倍レンズ群の切り替えは、倍率操作ノブ11を操作することにより行われる。また、図示しないスイッチ等を用いて電動で倍率を変更することもできる。
ビームスプリッタ34は、光軸O1に沿って進む光の光路を、光軸O1の延長上に位置する光路と、光軸O1に対して直交する光路とに分割する。光軸O1の延長上に位置する光路に入射した光は、結像レンズ35、プリズム36及び接眼レンズ37を介して検者眼Eoに導かれる。プリズム36は、光の進行方向を上方に平行移動させる。
一方、光軸O1に対して直交する光路に入射した光は、集光レンズ41及びミラー42を介して、撮像装置13の撮像素子43に導かれる。すなわち、観察撮影系6は、被検眼Eからの戻り光を撮像装置13に導く。撮像素子43は、この戻り光を検出して画像信号GSを生成する。
観察撮影系6は、そのフォーカス位置を変更するための合焦機構40を含む。合焦機構40は、光軸O1に沿って対物レンズ31を移動させる。例えば、合焦機構40は、対物レンズ31を保持する保持部材と、この保持部材を光軸O1の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。
対物レンズ31の移動は、自動及び/又は手動で行われる。自動で対物レンズ31を移動する場合、例えば、コンピュータ100は、公知のフォーカス調整手法(例えば、位相差検出方式、コントラスト検出方式など)を用いて、被検眼Eからの戻り光に基づきフォーカス位置を求めることができる。更に、コンピュータ100は、求められたフォーカス位置まで対物レンズ31を光軸O1に沿って移動するようにアクチュエータを制御することができる。一方、手動で対物レンズ31を移動する場合、ユーザーによる操作に応じてアクチュエータが対物レンズ31を光軸O1に沿って移動させる。
なお、観察撮影系6は、対物レンズ31と撮像素子43との間の光軸O1上の位置に配置された第1合焦レンズを含んでもよい。この場合、合焦機構40は、第1合焦レンズを光軸O1に沿って移動させることによって観察撮影系6のフォーカス位置を変更する。例えば、合焦機構40は、第1合焦レンズを保持する保持部材と、この保持部材を光軸O1の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。対物レンズ31を移動させる場合と同様に、合焦機構40による第1合焦レンズの移動は、自動又は手動で行われる。
また、観察撮影系6の全体(又は一部)が光軸O1に沿って移動可能に構成されていてもよい。この場合、合焦機構40は、観察撮影系6の全体を光軸O1に沿って移動させることによって、観察撮影系6のフォーカス位置を変更する。例えば、合焦機構40は、観察撮影系6が搭載された可動ステージと、この可動ステージを光軸O1の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。対物レンズ31を移動させる場合と同様に、合焦機構40による観察撮影系6の移動は、自動又は手動で行われる。
〈照明系8〉
照明系8は、照明光源51、集光レンズ52、スリット形成部53、及び対物レンズ54を含む。符号O2は、照明系8の光軸を示す。
照明光源51は照明光を出力する。なお、照明系8に複数の光源を設けてもよい。例えば、定常光を出力する光源(例えば、ハロゲンランプ、発光ダイオード(LED)等)と、フラッシュ光を出力する光源(例えば、キセノンランプ、LED等)の双方を照明光源51として設けることができる。また、前眼部観察用の光源と後眼部観察用の光源とを別々に設けてもよい。例えば、照明光源51は、可視光を出力する可視光源を含む。照明光源51は、赤外光(例えば、中心波長が800nm~1000nmの光)を出力する赤外光源を含んでもよい。
スリット形成部53は、スリット光を生成するために用いられる。スリット形成部53は、一対のスリット刃を有する。これらスリット刃の間隔(スリット幅)を変更することにより、生成されるスリット光の幅を変更することができる。
照明系8は、スリット光のフォーカス位置を変更するための合焦機構50を含む。合焦機構50は、対物レンズ54を光軸O2に沿って移動させる。例えば、合焦機構50は、対物レンズ54を保持する保持部材と、この保持部材を光軸O1の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。
対物レンズ54の移動は、自動及び/又は手動で行われる。自動で対物レンズ54を移動する場合、例えば、コンピュータ100は、被検眼Eからの戻り光に基づく像が描出された画像を解析することによってフォーカス位置を求めることができる。更に、コンピュータ100は、求められたフォーカス位置まで対物レンズ54を光軸O2に沿って移動するようにアクチュエータを制御することができる。一方、手動で対物レンズ54を移動する場合には、ユーザーによる操作に応じてアクチュエータが対物レンズ54を光軸O2に沿って移動させる。
なお、照明系8は、対物レンズ54とスリット形成部53との間の光軸O2上の位置に配置された第2合焦レンズを含んでもよい。この場合、合焦機構50は、第2合焦レンズを光軸O2に沿って移動させることによって、スリット光のフォーカス位置を変更する。例えば、合焦機構50は、第2合焦レンズを保持する保持部材と、この保持部材を光軸O2の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。対物レンズ54を移動させる場合と同様に、合焦機構50による第2合焦レンズの移動は、自動又は手動で行われる。
また、照明系8の全体(又は一部)が光軸O2に沿って移動可能に構成されていてもよい。この場合、合焦機構50は、照明系8の全体を光軸O2に沿って移動させることによって、スリット光のフォーカス位置を変更する。例えば、合焦機構50は、照明系8が搭載された可動ステージと、この可動ステージを光軸O2の方向に移動させるスライド機構と、駆動力を発生するアクチュエータと、この駆動力をスライド機構に伝達する部材とを含む。対物レンズ54を移動させる場合と同様に、合焦機構50による照明系8の移動は、自動又は手動で行われる。
図3では図示が省略されているが、照明系8から出力される照明光束を被検眼Eに向けて反射するミラー12が光軸O2上に配置されている。典型的には、照明系8とミラー12とが一体的に回動するように構成されている。
スリットランプ顕微鏡1は、照明系8及び観察撮影系6の被検眼Eに対する位置を変更しつつ被検眼Eを複数回撮影して複数の画像を取得することができる。換言すると、スリットランプ顕微鏡1は、照明系8及び観察撮影系6を移動しつつ被検眼Eを複数回撮影することで、被検眼Eの前眼部の複数の断面画像を取得することができる。被検眼Eを複数回撮影するための照明系8及び観察撮影系6を移動は、回動でもよいし、平行移動でもよい。
このような制御により取得された複数の断面画像のそれぞれには、その取得位置(つまり、断面位置)を示す位置情報が関連付けられる。この位置情報は、例えば、次のいずれか1以上を含んでいてよい:照明系8の位置(回動位置、平行移動位置);観察撮影系6の位置(回動位置、平行移動位置);前眼部カメラ70により取得された前眼部の正面画像における断面の位置;これら位置のいずれか1以上に基づき求められた情報。
照明系8の位置(つまり、位置及び/又は角度)や観察撮影系6の位置(位置及び/又は角度)は、例えば、エンコーダーなどを含む位置検出器によって検出することができる。或いは、照明系8の位置や観察撮影系6の位置は、照明系8や観察撮影系6を移動するための機構の制御を行うコンピュータ100によって認識可能である。また、被検眼Eの前眼部の正面画像における断面の位置は、例えば、前眼部カメラ70により取得された前眼部の正面画像と、上記の位置検出器により検出された位置とに基づいて求めることができる。詳細は後述するが、このような位置情報と複数の断面画像とに基づいて、前眼部の3次元画像を形成することができる。
なお、照明系8の位置と観察撮影系6の位置とを変更しつつ行われる複数回の撮影は、照明系8及び観察撮影系6の少なくとも一方が移動しているときに行われてもよいし、照明系8及び観察撮影系6の少なくとも一方が停止しているときに行われてもよい。また、照明系8の移動は連続的でも断続的でもよいし、観察撮影系6の移動は連続的でも断続的でもよい。
スリットランプ顕微鏡1は、被検眼Eに対するフォーカス位置を変更しつつ被検眼Eを複数回撮影して複数の画像を取得することができる。より具体的には、スリットランプ顕微鏡1は、観察撮影系6のフォーカス位置及び照明系8のフォーカス位置の少なくとも一方を変更しつつ被検眼Eを複数回撮影することで、被検眼Eの前眼部の複数の断面画像を取得することができる。
このような制御により取得された複数の断面画像のそれぞれには、その取得位置(フォーカス位置)を示す位置情報が関連付けられる。この位置情報は、例えば、次のいずれかを含んでいてもよい:合焦機構40に対する制御内容;合焦機構50に対する制御内容;合焦機構40により移動される対象(例えば、対物レンズ31、第1合焦レンズ、又は観察撮影系6)の位置;合焦機構50により移動される対象(例えば、対物レンズ54、第2合焦レンズ、又は照明系8)の位置;これら情報(制御内容、位置)のいずれか1以上に基づき求められた情報。
合焦機構40又は50に対する制御内容は、例えば、それを制御するコンピュータ100によって認識可能である。合焦機構40又は50により移動される対象の位置は、例えば、エンコーダーなどを含む位置検出器によって検出することができる。詳細は後述するが、このような制御内容及び/又は位置情報と複数の断面画像とに基づいて、前眼部の3次元画像を形成することができる。
なお、フォーカス位置を変更しつつ行われる複数回の撮影は、フォーカス位置の変更と並行して行われてもよいし、フォーカス位置の移動が停止されているときに行われてもよい。また、フォーカス位置の変更は連続的でも断続的でもよい。
上記した2つの制御を組み合わせることができる。例えば、スリットランプ顕微鏡1は、照明系8の位置、観察撮影系6の位置、照明系8のフォーカス位置、及び観察撮影系6のフォーカス位置を変更しつつ被検眼Eを複数回撮影することによって、複数の断面画像を取得することが可能である。このような制御により取得された複数の断面画像のそれぞれには、その取得位置(断面位置及びフォーカス位置)を示す位置情報が関連付けられる。
〈制御系の構成〉
スリットランプ顕微鏡1の制御系について、図4~図6を参照しながら説明する。スリットランプ顕微鏡1の制御系の構成例を図4に示す。なお、制御系を構成する複数の要素の少なくとも一部がコンピュータ100に含まれていてもよい。
〈制御部101〉
制御部101は、スリットランプ顕微鏡1の各部を制御する。例えば、制御部101は、観察撮影系6、照明系8、移動機構60、前眼部カメラ70、画像合成部120、表示部130、合焦位置検出部150、スキャン位置検出部160、通信部170などを制御する。
移動機構60は、照明系8及び観察撮影系6を移動する。移動機構60は、例えば、移動機構部3と、支持アーム16及び17と、支持アーム16及び17を移動する機構とを含む。移動機構60は、照明系8と観察撮影系6とを互いに独立に移動することが可能であってよい。この独立的な移動は、例えば、照明系8の回動及び観察撮影系6の回動を少なくとも含む。また、この独立的な移動は、照明系8の平行移動及び観察撮影系6の平行移動の少なくとも一方を含んでいてよい。このような独立的な移動により、被検眼Eに対する照明系8の位置(照明位置、照明角度)を変更すること、及び、被検眼Eに対する観察撮影系6の位置(観察位置、観察角度、撮影位置、撮影角度)を変更することが可能となる。
ここで、照明角度は、照明系8が所定の基準位置(ニュートラル位置)に配置されているときのその光軸(照明光軸)に対する角度として定義される。同様に、観察角度及び撮影角度は、例えば、観察撮影系6が所定の基準位置(ニュートラル位置)に配置されているときのその光軸(観察撮影光軸)に対する角度として定義される。照明角度の基準と観察角度及び撮影角度の基準とは同じであってもよいし、互いに異なってもよい。前述したように、本例では、観察角度及び撮影角度は、Z方向に対してr1方向がなす角度θ1で表現され、照明角度は、Z方向に対してr2方向がなす角度θ2で表現される。
移動機構60は、照明系8と観察撮影系6とを一体的に移動することが可能であってよい。この一体的な移動は、例えば、平行移動及び回動の少なくとも一方を含む。この一体的な平行移動は、例えば、照明角度と撮影角度とを保持しつつ前眼部をスキャンするために適用可能である。また、この一体的な回動は、例えば、照明角度と撮影角度とを(連続的に又は段階的に)変化しつつ前眼部をスキャンするために適用可能である。
観察撮影系6に関する制御としては、変倍光学系32の制御、撮像素子43の制御、合焦機構40の制御、観察撮影系6を移動させるための移動機構60の制御、フォーカス位置検出部150の制御、スキャン位置検出部160の制御などがある。変倍光学系32の制御としては、倍率操作ノブ11に対する操作内容を受けて被検眼Eの肉眼観察像や撮影画像の倍率を変更する制御などがある。撮像素子43の制御としては、撮像素子43の電荷蓄積時間、感度、フレームレート等を変更する制御や、撮像素子43により得られた画像信号GSを画像合成部120に送る制御などがある。合焦機構40の制御としては、合焦機構40による観察撮影系6のフォーカス位置を変更する制御などがある。移動機構60の制御としては、観察撮影系6を移動(回動、平行移動)する制御などがある。フォーカス位置検出部150の制御としては、フォーカス位置検出部150により検出された位置を取得し、取得された位置を画像合成部120に送る制御などがある。スキャン位置検出部160の制御としては、スキャン位置検出部160により検出された位置を取得し、取得された位置を画像合成部120に送る制御などがある。
照明系8に関する制御としては、照明光源51の制御、スリット形成部53の制御、合焦機構50の制御、照明系8を移動させるための移動機構60の制御、フォーカス位置検出部150の制御、スキャン位置検出部160の制御などがある。照明光源51の制御としては、照明光源51の点灯/消灯の切り換え、照明光の光量を変更する制御などがある。スリット形成部53の制御としては、スリット幅を変更する制御、スリットを平行移動する制御、スリットを回転する制御などがある。合焦機構50の制御としては、合焦機構50によるスリット光のフォーカス位置(照明系8のフォーカス位置)を変更する制御などがある。移動機構60の制御としては、照明系8を移動(回動、平行移動)する制御などがある。フォーカス位置検出部150の制御としては、フォーカス位置検出部150により検出された位置を取得し、取得された位置を画像合成部120に送る制御などがある。スキャン位置検出部160の制御としては、スキャン位置検出部160により検出された位置を取得し、取得された位置を画像合成部120に送る制御などがある。
制御部101は、合焦制御部101Aと、スキャン制御部101Bと、記憶部102とを含む。
合焦制御部101Aは、観察撮影系6のフォーカス位置の制御と、照明系8のフォーカス位置の制御とを実行する
図5を参照しつつ合焦制御部101Aの動作について説明する。図5は、被検眼Eの角膜Ecに対する観察撮影系6及び照明系8のフォーカス位置を模式的に表したものである。前述したように、符号31は観察撮影系6の対物レンズであり、符号54は照明系8の対物レンズである。符号Cfは、角膜Ecの前面を示し、符号Cbは角膜Ecの後面を示す。符号Ccは、角膜Ec(角膜前面Cf)の曲率中心位置を示す。例えば、観察撮影系6及び照明系8の回動軸は、曲率中心位置Ccに実質的に一致される。
合焦制御部101Aは、被検眼Eの関心部位に対する深さ方向(つまり、回動動作における動径方向)のスキャン(rスキャン)を制御する。合焦制御部101Aは、合焦機構40と合焦機構50とを連係的に制御することができる。例えば、合焦制御部101Aは、合焦機構40及び合焦機構50を制御して、関心部位の深さ方向(つまり、被検眼Eにおける奥行き方向)の位置PS1、PS2、PS3の順番に観察撮影系6のフォーカス位置及び照明系8のフォーカス位置を変更する。観察撮影系6は、各フォーカス位置に対応した被写界深度で被検眼Eを撮影することができる。例えば、観察撮影系6は、位置PS1に対応した被写界深度PC1における被検眼Eの画像を取得することができる。
合焦制御部101Aは、撮像装置13に画像を取得させる制御と上記の連係的制御とを交互に実行することができる。それにより、合焦制御部101Aは、被検眼Eの関心部位の深さ方向について複数の断面画像の取得を制御することができる。例えば、合焦制御部101Aは、位置PS1を含む断面の画像と、位置PS2を含む断面の画像と、位置PS3を含む断面の画像とを順次に取得するように制御を行うことができる。
スキャン制御部101Bは、被検眼Eの関心部位に対するスキャン位置を水平方向(深さ方向に略直交する方向)に移動するための制御を行う。なお、詳細な説明は省略するが、水平方向と深さ方向との双方に略直交する上下方向にスキャン位置を移動するための制御についても、同じ要領で実行することができる。
図6を参照しつつスキャン制御部101Bの動作について説明する。図6は、角膜Ecに対する観察撮影系6及び照明系8のフォーカス位置を模式的に表したものである。なお、図6において、図5と同様の要素及び箇所には同一符号を付し、適宜説明を省略する。
スキャン制御部101Bは、被検眼Eの関心部位に対する水平方向(つまり、回動動作における偏角方向)のスキャン(θスキャン)を制御する。スキャン制御部101Bは、例えば、照明系8の回動と観察撮影系6の回動とを連係させるように移動機構60を制御する。例えば、スキャン制御部101Bは、水平方向のスキャン位置PS1、PS11、PS12の順番に観察撮影系6及び照明系8を移動させる。
スキャン制御部101Bは、撮像装置13に画像を取得させる制御と移動機構60の制御とを交互に実行することができる。それにより、スキャン制御部101Bは、被検眼Eの関心部位において水平方向に配列された複数の断面画像を取得するための制御を行うことができる。例えば、スキャン制御部101Bは、位置PS1を含む断面の画像と、位置PS11を含む断面の画像と、位置PS12を含む断面の画像とを順次に取得するように制御を行うことができる。
水平方向の位置PS1、PS11、PS12のそれぞれにおいて、合焦制御部101Aは、観察撮影系6のフォーカス位置及び照明系8のフォーカス位置を深さ方向に変更することができる。それにより、位置PS1、PS2、PS3、PS11、PS21、PS31、PS12、PS22、PS32のそれぞれについて断面画像を取得することができる。
図6では、光学系の回動によるスキャンについて説明したが、光学系の平行移動によるスキャンを行うことができる。例えば、水晶体の前嚢を撮影するために、撮影角度θ1=0度の位置(ニュートラル位置)に観察撮影系6を配置し、且つ、照明角度θ2≠0度の位置に照明系8を配置した状態で、観察撮影系6と照明系8とを一体的に平行移動することで、水晶体の前嚢を好適に画像化することができる。また、水晶体の後嚢及び前嚢を撮影する場合、撮影角度θ1=0度の位置に観察撮影系6を配置し、且つ、前嚢撮影の場合よりも小さい角度に照明角度θ2を設定した状態で、観察撮影系6と照明系8とを一体的に平行移動することで、水晶体の後嚢及び前嚢を好適に画像化することができる。
スキャンを行わずに前眼部撮影を行うことも可能である。例えば、ニュートラル位置を挟んで反対方向に同じ角度だけ離れた位置に観察撮影系6と照明系8とを配置し(θ1=-θ2)、角膜内皮細胞を撮影することができる。この配置によって、スペキュラーマイクロスコープと同様の構成を実現することができる。
光学系の移動(回動、平行移動)によるスキャン(つまり、複数の断面画像の収集)と並行して、前眼部カメラ70による前眼部の撮影を行うことができる。この前眼部撮影は、複数回の撮影であってよく、動画撮影であってもよい。これにより、スキャン中における前眼部の動きや変化を検出することや、トラッキングを行うことが可能になる。なお、スキャンが行われていないときに前眼部の撮影を行うことも可能である。
前眼部カメラ70により取得された前眼部の正面画像とともに、スキャン位置(断面位置)を提示することができる。例えば、スキャン位置を表す画像を正面画像上に表示することができる。ここで、例えば、前眼部カメラ70の位置(既知)と、スキャン位置検出部160からの出力とに基づいて、正面画像とスキャン位置との間の相対位置を求めることが可能である。
記憶部102は、各種のコンピュータプログラムやデータを記憶する。コンピュータプログラムには、所定の動作モードにしたがってスリットランプ顕微鏡1を動作させるための演算プログラムや制御プログラムが含まれる。データには、各種の検査において使用されるデータが含まれる。
このようなデータの例として、スキャン情報がある。スキャン情報は、例えば、関心部位の複数のスキャン位置に観察撮影系6及び照明系8を移動させるための制御情報と、各スキャン位置について1以上の深さ方向の位置に観察撮影系6及び照明系8のフォーカス位置を変更するための制御情報とを含む。これら制御情報は、事前に記憶部102に保存される。制御部101は、記憶部102に記憶されたコンピュータプログラム及びスキャン情報を用いて、スキャン制御部101Bによる水平方向のスキャン位置を制御と、合焦制御部101Aによるフォーカス位置の制御とを、個別的に又は連係的に実行することができる。
制御部101は、プロセッサ、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスクドライブ等を含む。ROMやハードディスクドライブ等の記憶装置には、制御プログラムがあらかじめ記憶されている。制御部101の動作は、制御プログラム等のソフトウェアと、プロセッサ等のハードウェアとが協働することによって実現される。制御部101は、スリットランプ顕微鏡1の本体(例えば基台4内)やコンピュータ100に配置される。
〈画像合成部120〉
画像合成部120は、合焦制御部101A及び/又はスキャン制御部101Bが実行する上記制御にしたがって撮像装置13により取得された複数の断面画像を合成する。
例えば、画像合成部120は、合焦機構40及び合焦機構50によりフォーカス位置を変更しつつ撮像装置13により取得された複数の断面画像を合成する。この場合、複数の断面画像は深さ方向に配列されている。換言すると、複数の断面画像がそれぞれ描写する複数の断面は、同一平面内に配置されている。このような複数の断面画像から構築される合成画像は、個々の断面画像よりも深い被写界深度の(換言すると、パンフォーカスの、又は、ディープフォーカスの)2次元断面画像である。
画像合成部120は、断面が同一の平面内に配置されていない複数の(2次元)断面画像を合成することにより3次元画像を形成することができる。3次元画像とは、3次元座標系により画素の位置が定義された画像(画像データ)を意味する。
3次元画像の例として、複数の断面画像のスタックデータがある。スタックデータは、複数のスキャン位置において得られた複数の断面画像を、スキャン位置の位置関係に基づいて3次元的に配置して得られる画像データである。より具体的に説明すると、スタックデータは、元々個別の2次元座標系により定義されていた複数の断面画像を、同じ3次元座標系により表現する(つまり、同じ3次元空間に埋め込む)ことにより得られる画像データである。
合焦機構40及び合焦機構50によりフォーカス位置を変更しつつ撮像装置13により取得された複数の断面画像からスタックデータを形成するとき、これら断面画像のそれぞれをZ方向に沿う断面に投影することができる。例えば、照明角度θ2≠0度で撮影された断面画像を、Z方向に沿う断面(例えば、XZ断面又はYZ断面)に投影することができる。これにより、互いに平行な複数の投影画像が得られる。各投影画像の位置は、対応する断面画像に基づき決定される。例えば、対応する断面画像の所定位置(例えば、中心位置)と投影画像の所定位置(例えば、中心位置)とが一致するように、投影画像の位置を決定することができる。このようにしてそれぞれの位置が決定された複数の投影画像を同じ3次元空間に埋め込むことで、スタックデータを形成することが可能である。
3次元画像の他の例としてボリュームデータ(ボクセルデータとも呼ばれる)がある。ボリュームデータは、3次元的な画素であるボクセルが3次元的に配列された画像データである。ボリュームデータは、例えば、スタックデータに補間処理を施し、画素を3次元化(ボクセル化)することによって形成される。
このような画像合成処理を実行するために、画像合成部120は、配列処理部121と合成処理部122とを含む。
配列処理部121は、rスキャン、θスキャン(光学系の回動)、又はこれらの組み合わせにより取得された複数の断面画像の配列を、これら断面画像に関連付けられた位置情報(例えば、フォーカス位置、断面位置)に基づき特定し、特定された配列にしたがって複数の断面画像を配置することができる。或いは、配列処理部121は、rスキャン、θスキャン(光学系の回動)、又はこれらの組み合わせにより取得された複数の断面画像に基づく複数の投影画像の配列を、これら投影画像に関連付けられた位置情報(例えば、フォーカス位置、断面位置)に基づき特定し、特定された配列にしたがって複数の投影画像を配置することができる。
また、配列処理部121は、rスキャンと光学系の平行移動との組み合わせにより取得された複数の断面画像の配列を、これら断面画像に関連付けられた位置情報(例えば、フォーカス位置、断面位置)に基づき特定し、特定された配列にしたがって複数の断面画像を配置する。或いは、配列処理部121は、rスキャンと光学系の平行移動との組み合わせにより取得された複数の断面画像に基づく複数の投影画像の配列を、これら投影画像に関連付けられた位置情報(例えば、フォーカス位置、断面位置)に基づき特定し、特定された配列にしたがって複数の投影画像を配置することができる。
例えば、配列処理部121は、フォーカス位置検出部150により検出されたスリット光のフォーカス位置(例えば、前述した位置情報)を制御部101から受けて複数の断面画像(又は、複数の投影画像)を配列する。また、配列処理部121は、スキャン位置検出部160により検出された観察撮影系6及び照明系8の位置(例えば、前述した位置情報)を制御部101から受けて複数の断面画像(又は、複数の投影画像)を配列する。
合成処理部122は、配列処理部121により配列された複数の断面画像を合成する。この画像合成処理は、例えば、スタックデータを形成する処理を含んでよく、ボリュームデータを形成する処理を更に含んでよい。
このような一連の処理を実行することにより、画像合成部120は、被検眼Eの前眼部の複数の断面画像に基づく3次元画像や2次元画像を形成することができる。
他の例において、画像合成部120は、前述した位置情報を用いることなく複数の断面画像を合成することができる。例えば、画像合成部120は、異なる2以上の断面画像において共通の部位を描出している画像領域(共通領域)を画像解析によって特定し、特定された共通領域が重なるようにこれら断面画像を貼り合わせることができる。このような画像解析が適用される場合、フォーカス位置検出部150やスキャン位置検出部160が設けられる必要はない。ただし、フォーカス位置検出部150やスキャン位置検出部160により得られた情報を「画像の位置の粗調整」に利用し、その後に画像解析による「画像の位置の微調整」を行うようにしてもよい。
画像合成部120の機能の少なくとも一部が、スリットランプ顕微鏡1と異なる装置に設けられていてもよい。例えば、スリットランプ顕微鏡1との間で通信が可能なコンピュータに、画像合成部120の機能の少なくとも一部を設けることができる。その具体例として、スリットランプ顕微鏡1が設置されている施設に設けられたコンピュータ(例えば、端末3000-n、サーバなど)に、画像合成部120の機能の少なくとも一部を設けることができる。或いは、管理サーバ4000又はこれとの間で通信が可能なコンピュータに、画像合成部120の機能の少なくとも一部を設けることができる。他の例として、遠隔端末5000m又はこれとの間で通信が可能なコンピュータに、画像合成部120の機能の少なくとも一部を設けることができる。
〈フォーカス位置検出部150〉
フォーカス位置検出部150は、例えば、観察撮影系6のフォーカス位置を検出する第1フォーカス位置検出部と、照明系8のフォーカス位置を検出する第2フォーカス位置検出部とを含む。第1フォーカス位置検出部及び/又は第2フォーカス位置検出部は、例えば、エンコーダーやポテンショメーターなどの位置センサーを含んでよい。
或いは、第1フォーカス位置検出部は、合焦制御部101Aが観察撮影系6に対して実行した制御の内容(つまり、制御の履歴)に基づいて観察撮影系6のフォーカス位置を求めるプロセッサを含んでもよい。同様に、第2フォーカス位置検出部は、合焦制御部101Aが照明系8に対して実行した制御の内容(つまり、制御の履歴)に基づいて照明系8のフォーカス位置を求めるプロセッサを含んでもよい。
〈スキャン位置検出部160〉
スキャン位置検出部160は、例えば、観察撮影系6の位置を検出する第1位置検出部と、照明系8の位置を検出する第2位置検出部とを含む。第1位置検出部及び/又は第2位置検出部は、例えば、基台4の位置を検出するための位置センサーと、支持アーム16及び17の位置を検出するための回動角度センサーとを含む。
或いは、第1位置検出部は、スキャン制御部101Bが観察撮影系6に対して実行した制御の内容(つまり、制御の履歴)に基づいて観察撮影系6の位置を求めるプロセッサを含んでもよい。同様に、第2位置検出部は、スキャン制御部101Bが照明系8に対して実行した制御の内容(つまり、制御の履歴)に基づいて照明系8の位置を求めるプロセッサを含んでもよい。
〈表示部130〉
表示部130は、制御部101の制御を受けて各種の情報を表示する。例えば、表示部130は、液晶ディスプレイ(LCD)などのフラットパネルディスプレイを含む。表示部130は、スリットランプ顕微鏡1の本体に設けられていてもよいし、コンピュータ100に設けられていてもよい。
〈操作部140〉
操作部140は、スリットランプ顕微鏡1を操作するための操作デバイスや、情報を入力するための入力デバイスを含む。操作部140には、スリットランプ顕微鏡1に設けられたボタンやスイッチ(例えば、操作ハンドル5、倍率操作ノブ11など)や、コンピュータ100に設けられた操作デバイス(例えば、マウス、キーボードなど)が含まれる。また、操作部140は、トラックボール、操作パネル、スイッチ、ボタン、ダイアルなど、任意の操作デバイスや入力デバイスを含んでいてよい。
図4では、表示部130と操作部140とを別々に表しているが、表示部130の少なくとも一部と操作部140の少なくとも一部とが同じデバイスであってもよい。その具体例として、タッチスクリーンがある。
〈通信部170〉
通信部170は、スリットランプ顕微鏡1と他の装置との間におけるデータ通信を行う。データ通信の方式は任意である。例えば、通信部170は、インターネットに準拠した通信インターフェイス、専用線に準拠した通信インターフェイス、LANに準拠した通信インターフェイス、近距離通信に準拠した通信インターフェイスなどを含む。データ通信は有線通信でも無線通信でもよい。
通信部170により送受信されるデータは暗号化されていてよい。その場合、例えば、制御部101は、送信データを暗号化する暗号化処理部と、受信データを復号化する復号化処理部とを含む。
〈管理サーバ4000〉
管理サーバ4000の構成について説明する。図7に例示された管理サーバ4000は、制御部4010と、通信確立部4100と、通信部4200とを備える。
〈制御部4010〉
制御部4010は、管理サーバ4000の各部の制御を実行する。制御部4010は、その他の演算処理を実行可能であってよい。制御部4010はプロセッサを含む。制御部4010は、更に、RAM、ROM、ハードディスクドライブ、ソリッドステートドライブなどを含んでいてよい。
制御部4010は、通信制御部4011と転送制御部4012とを含む。
通信制御部4011は、複数の眼科撮影装置2000-inと複数の端末3000-nと複数の遠隔端末5000mとを含む複数の装置の間における通信の確立に関する制御を実行する。例えば、通信制御部4011は、眼科システム1000に含まれる複数の装置のうちから後述の選択部4120によって選択された2以上の装置のそれぞれに向けて、通信を確立するための制御信号を送る。
転送制御部4012は、通信確立部4100(及び通信制御部4011)により通信が確立された2以上の装置の間における情報のやりとりに関する制御を行う。例えば、転送制御部4012は、通信確立部4100(及び通信制御部4011)により通信が確立された少なくとも2つの装置のうちの一方の装置から送信された情報を他の装置に転送するように機能する。
具体例として、眼科撮影装置2000-inと遠隔端末5000mとの間の通信が確立された場合、転送制御部4012は、眼科撮影装置2000-inから送信された情報(例えば、眼科撮影装置2000-inにより取得された画像、眼科撮影装置2000-inに入力された情報など)を遠隔端末5000mに転送することができる。逆に、転送制御部4012は、遠隔端末5000mから送信された情報(例えば、眼科撮影装置2000-inの動作モードの指定結果)を眼科撮影装置2000-inに転送することができる。
転送制御部4012は、送信元の装置から受信した情報を加工する機能を有していてもよい。この場合、転送制御部4012は、受信した情報と、加工処理により得られた情報との少なくとも一方を転送先の装置に送信することができる。
例えば、転送制御部4012は、眼科撮影装置2000-in等から送信された情報の一部を抽出して遠隔端末5000m等に送信することができる。また、眼科撮影装置2000-in等から送信された情報(例えば、被検眼Eの画像)を管理サーバ4000又は他の装置によって解析し、その解析結果(及び元の情報)を遠隔端末5000m等に送信するようにしてもよい。
スリットランプ顕微鏡1(眼科撮影装置2000-in)から複数の断面画像が送信された場合、管理サーバ4000又は他の装置が、これら断面画像から3次元画像(例えば、スタックデータ又はボリュームデータ)を構築し、転送制御部4012が、構築された3次元画像を遠隔端末5000mに送信するように構成することが可能である。
また、スリットランプ顕微鏡1(眼科撮影装置2000-in)からスタックデータが送信された場合、管理サーバ4000又は他の装置が、このスタックデータからボリュームデータを構築し、転送制御部4012が、構築されたボリュームデータを遠隔端末5000mに送信するように構成することが可能である。
管理サーバ4000又は他の装置により実行可能なデータ加工処理は、上記した例には限定されず、任意のデータ処理を含んでいてよい。
〈通信確立部4100〉
通信確立部4100は、複数の眼科撮影装置2000-inと複数の端末3000-nと複数の遠隔端末5000mとを含む複数の装置のうちから選択された少なくとも2つの装置の間における通信を確立するための処理を実行する。本実施形態において「通信の確立」とは、例えば、(1)通信が切断された状態から一方向通信を確立すること、(2)通信が切断された状態から双方向通信を確立すること、(3)受信のみが可能な状態から送信も可能な状態に切り替えること、(4)送信のみが可能な状態から受信も可能な状態に切り替えること、のうちの少なくとも1つを含む概念である。
更に、通信確立部4100は、確立されている通信を切断する処理を実行可能である。本実施形態において「通信の切断」とは、例えば、(1)一方向通信が確立された状態から通信を切断すること、(2)双方向通信が確立された状態から通信を切断すること、(3)双方向通信が確立された状態から一方向通信に切り替えること、(4)送信及び受信が可能な状態から受信のみが可能な状態に切り替えること、(5)送信及び受信が可能な状態から送信のみが可能な状態に切り替えること、のうちの少なくとも1つを含む概念である。
眼科撮影装置2000-in、端末3000-n、及び遠隔端末5000mのそれぞれは、他の装置(そのユーザー)を呼び出すための通信要求(呼び出し要求)と、他の2つの装置の間の通信に割り込むための通信要求(割り込み要求)とのうちの少なくとも一方を管理サーバ4000に送信することができる。呼び出し要求及び割り込み要求は、手動又は自動で発信される。管理サーバ4000(通信部4200)は、眼科撮影装置2000-in、端末3000-n、又は遠隔端末5000mから送信された通信要求を受信する。
本実施形態において、通信確立部4100は選択部4120を含んでいてよい。選択部4120は、例えば、眼科撮影装置2000-in、端末3000-n、又は遠隔端末5000mから送信された通信要求に基づいて、眼科撮影装置2000-in、端末3000-n、及び遠隔端末5000mのうちから、当該通信要求を送信した装置以外の1以上の装置を選択する。
選択部4120が実行する処理の具体例を説明する。眼科撮影装置2000-in又は端末3000-nからの通信要求(例えば、眼科撮影装置2000-inにより取得された画像の読影の要求)を受けた場合、選択部4120は、例えば、複数の遠隔端末5000mのうちのいずれかを選択する。通信確立部4100は、選択された遠隔端末5000mと、眼科撮影装置2000-in及び端末3000-nの少なくとも一方との間の通信を確立する。
通信要求に応じた装置の選択は、例えば、予め設定された属性に基づいて実行される。この属性の例として、検査の種別(例えば、撮影モダリティの種別、画像の種別、疾患の種別、候補疾患の種別など)や、要求される専門度・熟練度や、言語の種別などがある。本例に係る処理を実現するために、通信確立部4100は、予め作成された属性情報が記憶された記憶部411を含んでいてよい。属性情報には、遠隔端末5000m及び/又はその使用者(医師)の属性が記録されている。
医師の識別は、例えば、事前に割り当てられた医師IDによって行われる。また、遠隔端末5000mの識別は、例えば、事前に割り当てられた装置IDやネットワークアドレスによって行われる。典型的な例において、属性情報は、各医師の属性として、専門分野(例えば、診療科、専門とする疾患など)、専門度・熟練度、使用可能な言語の種別などを含む。
選択部4120が属性情報を参照する場合、眼科撮影装置2000-in、端末3000-n、又は遠隔端末5000mから送信される通信要求は、属性に関する情報を含んでいてよい。例えば、眼科撮影装置2000-inから送信される読影要求(つまり、診断要求)は、次のいずれかの情報を含んでいてよい:(1)撮影モダリティの種別を示す情報;(2)画像の種別を示す情報;(3)疾患名や候補疾患名を示す情報;(4)読影の難易度を示す情報;(5)眼科撮影装置2000-in及び/又は端末3000-nのユーザーの使用言語を示す情報。
このような読影要求を受信した場合、選択部4120は、この読影要求と記憶部4110に記憶された属性情報とに基づいて、いずれかの遠隔端末5000mを選択することができる。このとき、選択部4120は、読影要求に含まれる属性に関する情報と、記憶部4110に記憶された属性情報に記録された情報とを照合する。それにより、選択部4120は、例えば、次のいずれかの属性に該当する医師に対応する遠隔端末5000mを選択する:(1)当該撮影モダリティを専門とする医師;(2)当該画像種別を専門とする医師;(3)当該疾患(当該候補疾患)を専門とする医師;(4)当該難易度の読影が可能な医師;(5)当該言語を使用可能な医師。
なお、医師と遠隔端末5000mとの間の対応付けは、例えば、遠隔端末5000m(又は眼科システム1000)へのログイン時に入力された医師IDによってなされる。
〈通信部4200〉
通信部4200は、他の装置(例えば、眼科撮影装置2000-in、端末3000-n、及び遠隔端末5000mのいずれか)との間でデータ通信を行う。データ通信の方式や暗号化については、眼科撮影装置2000-inの通信部170と同様であってよい。
〈遠隔端末5000m〉
遠隔端末5000mの構成について説明する。図8に例示された遠隔端末5000mは、制御部5010と、データ処理部5100と、通信部5200と、操作部5300とを備える。
〈制御部5010〉
制御部5010は、遠隔端末5000mの各部の制御を実行する。制御部5010は、その他の演算処理を実行可能であってよい。制御部5010は、プロセッサ、RAM、ROM、ハードディスクドライブ、ソリッドステートドライブなどを含む。
制御部5010は表示制御部5011を含む。表示制御部5011は、表示装置6000mを制御する。表示装置6000mは、遠隔端末5000mに含まれてもよいし、遠隔端末5000mに接続された周辺機器であってもよい。表示制御部5011は、被検眼Eの前眼部の画像を表示装置6000mに表示させる。前眼部の画像としては、3次元画像のレンダリング画像、正面画像、OCT画像、解析結果を表す画像、スリット画像などがある。
制御部5010はレポート作成制御部5012を含む。レポート作成制御部5012は、表示制御部5011により表示された情報に関するレポートを作成するための各種の制御を実行する。例えば、レポート作成制御部5012は、レポートを作成するための画面やグラフィカルユーザーインターフェイス(GUI)を表示装置6000mに表示させる。また、レポート作成制御部5012は、ユーザーが入力した情報や、前眼部の画像や、画像の解析データなどを、所定のレポートテンプレートに入力する。
〈データ処理部5100〉
データ処理部5100は、各種のデータ処理を実行する。
例えば、データ処理部5100は、スリットランプ顕微鏡1(眼科撮影装置2000-in)から送信された複数の断面画像から3次元画像(例えば、スタックデータ又はボリュームデータ)を構築することができる。また、データ処理部5100は、スリットランプ顕微鏡1(眼科撮影装置2000-in)から送信されたスタックデータからボリュームデータを構築することができる。
データ処理部5100は、レジストレーション部5105と、部分領域指定部5110と、レンダリング部5120と、解析部5130とを含む。
レジストレーション部5105は、前眼部の正面画像と3次元画像との間のレジストレーションを行う。前述したように、前眼部カメラ70の位置(既知)と、スキャン位置検出部160からの出力とに基づいて、前眼部カメラ70により取得された正面画像と、3次元画像を取得するためのスキャンが適用された位置(スキャン位置)との間の相対位置を求めることが可能である。レジストレーション部5105は、この相対位置に基づいて、前眼部の正面画像と3次元画像との間のレジストレーションを行うことができる。
他の例において、レジストレーション部5105は、前眼部の3次元画像をZ方向に投影して正面画像(プロジェクション画像)を構築し、前眼部カメラ70により取得された正面画像とプロジェクション画像との間のレジストレーションを行うことができる。本例のレジストレーション部5105は、前眼部カメラ70により取得された正面画像中の特徴点を特定する処理と、プロジェクション画像中の特徴点を特定する処理とを実行し、互いの特徴点の位置が合致するように正面画像とプロジェクション画像との間のレジストレーションを行う。本例によれば、スキャン位置の検出を行う必要がない。
部分領域指定部5110は、眼科撮影装置2000-inから送信された画像又はそれに基づき表示された画像について、その部分領域を指定する。
部分領域指定部5110により実行可能な処理の例を説明する。スリットランプ顕微鏡1(眼科撮影装置2000-in)を用いて被検眼Eの前眼部の複数の断面画像が得られた場合、スリットランプ顕微鏡1、管理サーバ4000、遠隔端末5000m、又は他の装置によって、被検眼Eの前眼部の3次元画像が形成される。このような3次元画像が遠隔端末5000mに入力されたとする。制御部5010は、前述したハードディスクドライブ又はソリッドステートドライブ等の記憶装置に3次元画像を保存する。
表示制御部5011は、この3次元画像に基づく画像を表示装置6000mに表示させることができる。例えば、制御部5010は、3次元画像(例えば、スタックデータ又はボリュームデータ)をレンダリング部5120に送る。レンダリング部5120は、3次元画像をレンダリングして画像を形成する。表示制御部5011は、レンダリング部5120により形成された画像を表示装置6000mに表示させる。
遠隔端末5000mのユーザー(医師)は、表示装置6000mに表示された画像の部分領域を指定することができる。この指定操作は操作部5300を用いて行われる。例えば、ユーザーは、ポインティングデバイスを用いて表示画像の所望の範囲を指定することができる。
部分領域指定部5110は、ユーザーにより指定された表示画像の部分領域に対応する3次元画像の部分領域を特定する。ここで、表示画像は3次元画像をレンダリングして得られた画像である。したがって、表示画像の部分領域に対応する3次元画像の部分領域は、このレンダリングの処理内容に基づき容易に特定される。
他の例を説明する。被検眼Eの他の画像(参照画像と呼ぶ)が過去に取得された場合、この参照画像を利用して3次元画像の部分領域を指定することができる。参照画像は、例えば、前眼部カメラ70により取得された正面画像であってよい。或いは、前眼部のOCT画像を参照画像とすることも可能である。
参照画像の少なくとも一部と3次元画像の少なくとも一部とが被検眼Eの同じ部位を描出していてよい。或いは、参照画像の少なくとも一部が描出している部位と3次元画像の少なくとも一部が描出している部位との双方を描出した広域画像を更に利用することも可能である。このような画像を利用することで、レジストレーション部5105は、参照画像と3次元画像との間のレジストレーションを行うことができる。
表示制御部5011は、参照画像(又は広域画像)を表示装置6000mに表示させることができる。ユーザーは、操作部5300を用いて、参照画像(又は広域画像)の部分領域を指定することができる。部分領域指定部5110は、ユーザーにより指定された参照画像(又は広域画像)の部分領域と、レジストレーションの結果とに基づいて、3次元画像の部分領域を指定することができる。
以上、ユーザーの操作に基づいて3次元画像の部分領域を指定する場合の例を説明したが、手動での指定はこれらに限定されない。一方、ユーザーの操作によらず、部分領域指定部5110が自動で3次元画像の部分領域を指定するようにしてもよい。人工知能プロセッサを用いてこのような自動指定を行ってもよい。
一例において、部分領域指定部5110は、前眼部の正面画像を解析することにより、又は、3次元画像及びそれに基づく表示画像の少なくとも一方を解析することにより、3次元画像の部分領域を指定することができる。例えば、部分領域指定部5110は、3次元画像又は表示画像にセグメンテーションを適用して被検眼Eの所定の組織に相当する画像領域を特定し、特定された画像領域に基づいて部分領域を指定することができる。被検眼Eの所定の組織は、例えば、任意の条件にしたがって決定される。この条件の例として、撮影モダリティの種別、画像の種別、(候補)疾患名などがある。
レンダリング部5120は、画像に対してレンダリングを適用する。例えば、レンダリング部5120は、部分領域指定部5110により指定された3次元画像の部分領域に基づいて、この3次元画像をレンダリングする。
レンダリングは任意の処理であってよく、例えば3次元コンピュータグラフィクスを含む。3次元コンピュータグラフィクスは、3次元座標系により定義された3次元空間内の仮想的な立体物(スタックデータ、ボリュームデータなどの3次元画像)を2次元情報に変換することにより立体感のある画像を作成する演算手法である。
レンダリングの例として、ボリュームレンダリング法、最大値投影法(MIP)、最小値投影法(MinIP)、サーフェスレンダリング法、多断面再構成法(MPR)、プロジェクション画像形成、シャドウグラム形成などがある。レンダリングの更なる例として、スリットランプ顕微鏡1で得られた断面画像の再現、シャインプルーフ画像の形成などがある。また、レンダリング部5120は、このようなレンダリングとともに適用される任意の処理を実行可能であってよい。
解析部5130は、被検眼Eの前眼部の3次元画像、そのレンダリング画像、正面画像などを解析する。
レンダリング部5120は、前眼部の3次元画像において角膜に相当する領域(角膜領域)を特定することができる。例えば、レンダリング部5120は、角膜の表面(前面)に相当する領域(角膜表面領域)を特定することができる。また、レンダリング部5120は、角膜の裏面(後面)に相当する領域(角膜裏面領域)を特定することができる。このような画像領域特定は、例えば、セグメンテーション、エッジ検出、閾値処理など、公知の画像処理を含む。
レンダリング部5120が角膜表面領域を特定した場合、解析部5130は、この角膜表面領域を解析して角膜曲率半径を求めることができる。例えば、解析部5130は、角膜の1以上の代表点(角膜頂点など)における曲率半径を算出することができる。レポート作成制御部5012は、解析部5130により求められた角膜曲率半径及びこれに基づく情報の少なくとも一方を、レポートテンプレートに入力することができる。ここで、角膜曲率半径に基づく情報の例として、コンタクトレンズの識別情報(型番など)がある。
解析部5130は、レンダリング部5120により特定された角膜表面領域に基づいて、角膜の多数の位置における曲率半径を算出してもよい。つまり、解析部5130は、角膜曲率半径分布を求めてもよい。更に、解析部5130は、予め設定された標準分布からの角膜曲率半径分布の偏差を表す偏差分布を求めることができる。この処理は、角膜曲率半径分布と標準分布との間のレジストレーションと、対応位置の値同士の比較(差分など)とを含む。レポート作成制御部5012は、解析部5130により求められた偏差分布及びこれに基づく情報の少なくとも一方を、レポートテンプレートに入力することができる。ここで、偏差分布に基づく情報の例として、コンタクトレンズの識別情報(型番など)がある。
表示制御部5011は、解析部5130により求められた偏差分布を表示装置6000mに表示させることができる。このとき、標準値に対する偏差の大きさを色で表すことができる。これにより、角膜曲率半径の偏差分布を表すカラーマップが表示される。レポート作成制御部5012は、このようなカラーマップをレポートに入力することが可能である。
前述したように、レジストレーション部5105は、前眼部カメラ70により取得された正面画像とスキャンに基づく3次元画像との間のレジストレーションを行うことができる。表示制御部5011は、この正面画像を表示装置6000mに表示させることができる。ユーザーは、操作部5300等のユーザーインターフェイスを用いて、表示された正面画像中の注目領域を指定することができる。注目領域は、例えば、断面を表す線分、又は、3次元領域を表すエリアである。レンダリング部5120は、指定された注目領域に対応する3次元画像の部分領域を、正面画像と3次元画像との間のレジストレーションの結果に基づいて特定する。更に、レンダリング部5120は、特定された部分領域に対応するレンダリング画像を形成する。例えば、正面画像に対して線分が指定された場合、レンダリング部5120は、この線分を含む平面(断面)を表す断面画像を形成する。また、正面画像に対して2次元エリアが指定された場合、レンダリング部5120は、この2次元エリアを含む3次元領域を表すレンダリング画像(例えば、ボリュームレンダリング画像)を形成する。
ユーザーが指定した注目領域に対応する3次元画像の部分領域をレンダリング部5120が特定した場合、表示制御部5011は、この部分領域に対応するレンダリング画像と、前眼部カメラ70により取得された正面画像とを、表示装置6000mに表示させることができる。更に、表示制御部5011は、このレンダリング画像に対応する領域を表す画像(レンダリング領域画像)を、正面画像上に表示させることができる。レンダリング領域画像は、例えば、ユーザーが正面画像に対して指定した位置を表す画像であり、典型的には、線分の位置を示す画像、又は、前述した2次元エリアの位置を示す画像である。
レンダリング部5120は、スキャンに基づく3次元画像から立体画像を形成することができる。立体画像は、例えば、ボリュームレンダリング画像、サーフェスレンダリング画像、セグメンテーションで特定された3次元領域を表現した画像などであってよい。表示制御部5011は、レンダリング部5120により形成された立体画像を表示装置6000mに表示させることができる。ユーザーは、操作部5300等のユーザーインターフェイスを用いて、表示装置6000mに表示されている立体画像を操作することができる。この操作の例として、回転、拡大/縮小などがある。回転操作は、例えば、ドラッグ操作であってよい。拡大/縮小操作は、例えば、GUI(ウィジェット)に対する操作、スクロールホイールの操作であってよい。また、立体画像の不透明度(アルファ値)を操作することも可能である。例えば、立体画像の一部の不透明度を低く設定することで、その奥に位置する箇所を透過的に観察することができる。
レンダリング部5120は、スキャンに基づく3次元画像中の水晶体領域を特定することができる。この処理は、例えばセグメンテーション、エッジ検出などを含む。解析部5130は、レンダリング部5120により特定された水晶体領域を解析して混濁分布を求めることができる。この処理は、例えば、閾値処理などを含む。水晶体の混濁は、白内障眼などにおいて見られる。レポート作成制御部5012は、求められた混濁分布及びこれに基づく情報の少なくとも一方を、レポートテンプレートに入力することができる。混濁分布は、例えば、マップとして表現される。混濁分布を表すマップは、混濁の強さを色で表現したカラーマップであってもよい。表示制御部5011は、このような混濁分布(マップ)を表示装置6000mに表示させることができる。また、水晶体領域を任意に回転して観察することや、水晶体領域の任意のスライスを観察することなどが可能である。また、水晶体領域に対して任意の解析(例えば、厚み測定、体積測定など)を適用することも可能である。
レンダリング部5120は、スキャンに基づく3次元画像中の硝子体領域を特定することができる。この処理は、例えばセグメンテーション、エッジ検出などを含む。硝子体領域を任意に回転して観察することや、硝子体領域の任意のスライスを観察することなどが可能である。また、硝子体領域に対して任意の解析(例えば、後部硝子体皮質前ポケットの測定など)を適用することも可能である。
〈通信部5200〉
通信部5200は、他の装置(例えば、眼科撮影装置2000-in、端末3000-n、及び管理サーバ4000のいずれか)との間でデータ通信を行う。データ通信の方式や暗号化については、眼科撮影装置2000-inの通信部170と同様であってよい。
〈操作部5300〉
操作部5300は、遠隔端末5000mの操作、遠隔端末5000mへの情報入力などに使用される。本実施形態では、操作部5300はレポートの作成に使用される。操作部5300は、操作デバイスや入力デバイスを含む。操作部5300は、例えば、マウス、キーボード、トラックボール、操作パネル、スイッチ、ボタン、ダイアルなどを含む。操作部5300は、タッチスクリーンを含んでもよい。
スリットランプ顕微鏡1の動作モードを指定するために操作部5300を用いることができる。スリットランプ顕微鏡1については、1以上の動作モードが予め設けられている。本実施形態では、3次元撮影モードを設けることができる。3次元撮影モードは、被検眼の3次元画像を取得するための動作モードである。3次元撮影モードにおいて、スリットランプ顕微鏡1の制御部101は、照明系8と観察撮影系6と移動機構60と合焦機構40及び50とを連係的に制御することにより、被検眼Eの前眼部の複数の断面画像を撮像装置13に取得させる。なお、スリットランプ顕微鏡1の動作モードは3次元撮影モードに限定されない。
動作モードの指定に用いられるデバイスは、操作部5300に限定されない。例えば、スリットランプ顕微鏡1の操作部140又は端末3000-nを用いて動作モードを指定することができる。動作モードの指定態様はこのような手動指定に限定されない。例えば、当該被検者に対して過去に適用された動作モードを電子カルテ等から取得し、これを指定することができる。また、特定疾患に予め対応付けられた動作モードを自動で指定することができる。また、検査の種別(例えば、スクリーニング、検診、健康診断、一般診療など)に予め対応付けられた動作モードを自動で指定することができる。
〈使用形態〉
本実施形態に係る眼科システム1000の使用形態について説明する。図9A~図9Eは、眼科システム1000の使用形態の例を示す。ここで、図9A及び図9Eは第1~第N施設のいずれかにおいて実施されるステップであり、図9B及び図9Cは管理サーバ4000において実施されるステップであり、図9Cはいずれかの遠隔端末5000mにおいて実施されるステップである。本例において、眼科撮影装置2000-inはスリットランプ顕微鏡1であるとする。
スリットランプ顕微鏡1(及び/又は端末3000-n)と管理サーバ4000との間における通信は、既に確立されているとする。或いは、図9AのステップS1からステップS6までの期間における任意のタイミングで、スリットランプ顕微鏡1(及び/又は端末3000-n)と管理サーバ4000との間における通信を確立してもよい。また、管理サーバ4000と遠隔端末5000mとの間における通信は、既に確立されているか、或いは、図9AのステップS1から図9BのステップS14までの期間における任意のタイミングで確立される。また、図9A~図9Eに示す処理は、例えば、数分から数十分程度の時間で実行される。つまり、スリットランプ顕微鏡1で撮影を行ってから数分ないし数十分程度の時間で、そのフィードバック(レポート)が得られる。
(S1:眼科撮影装置に被検者情報を入力)
図9Aを参照する。まず、スリットランプ顕微鏡1(又は端末3000-n)に被検者情報が入力される。入力された被検者情報は、記憶部102に保存される。スリットランプ顕微鏡1(及び/又は端末3000-n)と管理サーバ4000との間における通信が既に確立されている場合、入力された被検者情報をこの段階で管理サーバ4000に送信してもよい。被検者情報は、例えば、被検者IDと背景情報とを含む。管理サーバ4000は、被検者情報を受信した後の任意のタイミングで、遠隔端末5000mの選択(図9BのステップS13)を行うことができる。
被検者IDは、例えば、医療施設におけるID(患者ID)、検診におけるID、健康診断におけるIDなどがある。これらは例示であって、被検者IDはこれらに限定されない。
背景情報は、被検者に関する任意の情報であって、その例として、被検者の問診情報、所定のシートに被検者が記入した情報、被検者の電子カルテの任意の項目に記録された情報、被検者のアカウントに保存された画像などがある。典型的には、背景情報は、性別、年齢、身長、体重、疾患名、候補疾患名、検査結果(視力値、眼屈折力値、眼圧値など)、画像(前眼部のOCT画像など)、屈折矯正具(眼鏡、コンタクトレンズなど)の装用歴や度数、検査歴、治療歴などがある。これらは例示であって、背景情報はこれらに限定されない。
例えば、スリットランプ顕微鏡1(又は端末3000-n)のユーザーは、操作部140を用いて被検者情報を入力することができる。また、制御部101及び通信部170は、当該施設に設置された情報処理システム(例えば、顧客管理システム、電子カルテシステム、医用画像アーカイビングシステム等)に通信路を介してアクセスして被検者情報を取得することができる。また、データリーダを用いて、記録媒体に記録された被検者情報を読み出すことができる。これらは例示であって、被検者情報の入力方法はこれらに限定されない。
(S2:前眼部の正面画像の取得を取得)
スリットランプ顕微鏡1は、前眼部カメラ70による被検眼Eの前眼部の正面画像の取得を開始する。例えば、前眼部カメラ70は、前眼部の動画撮影を開始する。なお、正面画像を取得するタイミングや取得を開始するタイミングは、本例のそれに限定されない。
(S3:3次元撮影モードに設定)
スリットランプ顕微鏡1の動作モードが3次元撮影モードに設定される。前述したように、動作モードの指定(又は選択)は、手動又は自動で行われる。
(S4:前眼部をスキャン)
スリットランプ顕微鏡1は、ステップS3で設定された3次元撮影モードで被検眼Eの前眼部のスキャンを行う。それにより、被検眼Eの前眼部の複数の断面画像が得られる。
(S5:前眼部の3次元画像を形成)
スリットランプ顕微鏡1の画像合成部120は、ステップS4で取得された複数の断面画像に基づいて3次元画像を形成する。前述したように、管理サーバ4000、遠隔端末5000m、又は他の装置が、3次元画像形成処理を実行するようにしてもよい。
(S6:管理サーバにデータを送信)
スリットランプ顕微鏡1の制御部101は、通信部170を制御して、取得されたデータを管理サーバ4000に向けて送信する。送信されるデータは、ステップS1で入力された被検者情報と、ステップS2で取得が開始された正面画像の少なくとも1つと、ステップS5で形成された3次元画像と、当該施設の識別情報(施設ID)とを含む。
スリットランプ顕微鏡1以外の装置が3次元画像形成処理を実行する場合、3次元画像の代わりに、ステップS4で取得された複数の断面画像が管理サーバ4000に送信される。
(S11:管理サーバがデータを受信)
図9Bを参照する。管理サーバ4000の通信部4200は、ステップS6でスリットランプ顕微鏡1が送信したデータを受信する。
(S12:データを保存)
制御部4010は、ハードディスクドライブ又はソリッドステートドライブ等の記憶装置、又は、外部のデータベースなどに、ステップS11で受信されたデータを保存する。データは、例えば被検者IDや施設IDなどに基づき検索可能に格納される。
(S13:遠隔端末を選択)
選択部4120は、ステップS11で受信されたデータなどに基づいて、複数の遠隔端末5000mのうちのいずれかを選択する。前述したように、検査の種別(例えば、撮影モダリティの種別、画像の種別、疾患の種別、候補疾患の種別など)や、要求される専門度・熟練度や、言語の種別など、各種の属性を参照して遠隔端末5000mの選択を行うことも可能である。
選択部4120は、それぞれの遠隔端末5000mの稼動状態(通信の確立情報)を監視する機能を備えていてよい。選択部4120は、この監視機能により、現在稼働していない遠隔端末5000m(読影等に現在使用されていない端末、読影等を現在行っているがスケジュールに余裕のある端末、使用の予約が入っていない端末など)のいずれかを選択することができる。それにより、他の被検者に関する読影等に現在使用されていない遠隔端末5000mを選択することができる。
なお、上記監視機能は、例えば、定期的又は非定期的に遠隔端末5000mから入力される情報や、遠隔端末5000mに送信した情報に対する反応などに基づいて、各遠隔端末5000mの稼動状態をフラグ等で管理することにより実現可能である。
(S14:遠隔端末にデータを送信)
管理サーバ4000の制御部4010は、通信部4200を制御して、ステップS11で受信されたデータの少なくとも一部を、ステップS13で選択された遠隔端末5000mに向けて送信する。送信されるデータは、ステップS1で入力された背景情報と、ステップS2で取得が開始された正面画像の少なくとも1つと、ステップS5で形成された3次元画像とを含む。また、レポート作成の期限日時(例えば、30分以内)を示す情報を遠隔端末5000mに送信してもよい。
遠隔端末5000mが3次元画像形成処理を実行する場合、3次元画像の代わりに、ステップS4で取得された複数の断面画像が遠隔端末5000mに送信される。
(S21:遠隔端末がデータを受信)
図9Cを参照する。遠隔端末5000mの通信部5200は、ステップS14で管理サーバ4000が送信したデータを受信する。制御部5010は、受信されたデータを前述の記憶部に保存する。
(S22:読影を開始?)
遠隔端末5000mのユーザー(例えば、医師、オプトメトリストなど)は、所望のタイミングで読影を開始する(S22:Yes)。
(S23:正面画像を表示)
表示制御部5011は、例えば、ステップS21で受信されたデータに含まれる正面画像を表示装置6000mに表示させる。正面画像の表示態様は、動画表示であっても静止画表示であってもよい。なお、表示された正面画像に対する操作を行うことが可能である。例えば、正面画像の向きや表示倍率を変更することが可能である。
(S24:部分領域を指定)
ユーザーは、操作部5300を用いて、表示された正面画像の部分領域を指定することができる。ここで、前述した参照画像や広域画像を利用してもよい。
また、部分領域の指定を自動で行うようにしてもよい。例えば、角膜表面領域、角膜裏面領域、水晶体領域、硝子体領域などを指定することが可能である。この場合、指定された領域を解析部5130によって解析することができる。
(S25:3次元画像をレンダリング)
レンダリング部5120は、ステップS24で指定された部分領域に基づいて3次元画像をレンダリングする。それにより、ユーザーが指定した部分領域(つまり、ユーザーが注目している関心部位の画像)を表すレンダリング画像が得られる。
(S26:レンダリング画像を表示)
表示制御部5011は、ステップS25で取得されたレンダリング画像を表示装置6000mに表示させる。
表示制御部5011は、レンダリング画像の位置を示す位置情報を表示装置6000に表示させることができる。この位置情報は、例えば、ステップS24で指定された部分領域の位置や範囲を示す情報、又は、ステップS25で形成されたレンダリング画像の位置や範囲示す情報であってよい。位置情報は、例えば、ステップS23で表示が開始された正面画像や、前述した参照画像又は広域画像や、眼のシェーマ図などとともに表示されてよい。典型的には、このような画像又はシェーマ図における位置や範囲を示す画像を位置情報として表示することができる。
(S27:読影を終了?)
ユーザーは、関心部位を任意に変更しながら読影を行うことができる(S27:No)。その際、ステップS1で入力された背景情報や、ステップS23で表示が開始された正面画像を参照することができる。
(S28:レポートを作成)
読影を行いつつ又は読影が終了したら(S27:Yes)、ユーザーは、操作部5300を使用して、読影で得た情報や診断結果などを入力する。レポート作成制御部5012は、ユーザーが入力した情報やユーザーが選択した情報に基づきレポートを作成する。
(S29:管理サーバにレポートを送信)
遠隔端末5000mの制御部5010は、通信部5200を制御して、ステップS28で作成されたレポートを管理サーバ4000に向けて送信する。
(S31:管理サーバがレポートを受信)
図9Dを参照する。管理サーバ4000の通信部4200は、ステップS29で遠隔端末5000mが送信したレポートを受信する。
(S32:レポートを保存)
制御部4010は、ハードディスクドライブ又はソリッドステートドライブ等の記憶装置、又は、外部のデータベースなどに、ステップS31で受信されたレポートを保存する。レポートは、例えば被検者IDや施設IDなどに基づき検索可能に格納される。
(S33:撮影を行った施設を検索)
制御部4010は、例えば検索IDを参照することで、当該被検者の前眼部撮影を行った施設を検索する。それにより、ステップS31で受信されたレポートの送信先(例えば、ネットワークアドレス)が特定される。
(S34:検索された施設にレポートを送信)
管理サーバ4000の制御部4010は、通信部4200を制御して、ステップS31で受信されたレポートを、ステップS33で検索された施設に向けて送信する。本例では、検索された施設に設置された端末3000-nに向けてレポートが送信される。
(S41:検索された施設の端末がレポートを受信)
図9Eを参照する。端末3000-nは、ステップS34で管理サーバ4000が送信したレポートを受信する。
(S42:レポートを表示)
端末3000-nは、ステップS41で受信されたレポートを、図示しない表示装置に表示させる。
(S43:レポートの内容を被検者に説明)
端末3000-nのユーザーは、表示されたレポートを参照しつつ、読影結果、診断結果、治療方針、屈折矯正具の要否・選択などについて、被検者に説明を行う。以上で、本例に係る処理は終了となる。
〈変形例〉
本実施形態の変形例を説明する。
スリットランプ顕微鏡1のフォーカス位置を変更するための構成は、上記した合焦機構40及び50に限定されない。
例えば、特開2013-248376号公報に開示された2以上の撮影部(2以上の前眼部カメラ)を利用して被検眼の2以上の画像を取得し、これら画像を解析してフォーカス位置(目標位置)を決定するように構成することが可能である。
フォーカス位置を変更するための構成の他の例として、次のものがある。本例のスリットランプ顕微鏡は、撮像部と、駆動部と、合焦制御部とを含む。撮像部は、被検眼を撮影して右画像及び左画像を取得する。駆動部は、撮像部を含む光学系を少なくとも作動距離方向に駆動させる。合焦制御部は、撮像部より出力された右画像及び左画像に基づき、被検眼に対して自動的に合焦動作を行うように駆動部を制御する。
〈作用・効果〉
以上に説明した実施形態の作用及び効果について説明する。
本実施形態に係る眼科システム(1000)は、スリットランプ顕微鏡(1、眼科撮影装置2000-in)と、3次元画像形成部(画像合成部120)と、レンダリング部(5120)と、表示制御部(5011)と、レポート作成部(レポート作成制御部5012、操作部5300)と、レポート出力部(端末3000-n)とを含む。
スリットランプ顕微鏡は、正面画像取得部(前眼部カメラ70、観察撮影系6)と、画像収集部(照明系8、観察撮影系6、合焦機構40及び50、移動機構60)とを含む。正面画像取得部は、被検眼(E)の前眼部を撮影して正面画像を取得する。画像収集部は、スリット光で前眼部を撮影して複数の画像(複数の断面画像)を収集する。
3次元画像形成部は、スリットランプ顕微鏡の画像収集部により収集された複数の画像に基づいて3次元画像を形成する。本実施形態ではスリットランプ顕微鏡に3次元画像形成部が設けられているが、3次元画像形成部は他の装置に設けられていてもよい。
レンダリング部は、3次元画像形成部により形成された3次元画像をレンダリングしてレンダリング画像を形成する。なお、本実施形態において、レンダリング部は、レンダリング部5120を少なくとも含み、部分領域特定部5110を更に含んでいてもよい。
表示制御部は、正面画像取得部により取得された正面画像と、レンダリング部により形成されたレンダリング画像とを、表示手段(表示装置6000m)に表示させる。表示手段は、表示制御部と同じ装置(遠隔端末5000m)に設けられてもよいし、表示制御部が設けられた装置に接続された周辺機器であってもよい。
レポート作成部は、表示制御部により表示手段に表示された情報(典型的には、正面画像、レンダリング画像を含む)に関するレポートを作成するためのユーザーインターフェイス(操作部5300)を含む。
レポート出力部は、レポート作成部により作成されたレポートを出力する。本実施形態では端末3000-nがレポートを表示しているが、レポートの出力態様は表示には限定されず、例えば、紙媒体等への印刷、他装置への送信、記録媒体への記録などであってもよい。
このように構成された本実施形態の眼科システムによれば、スリットランプ顕微鏡を用いて前眼部の3次元画像及び正面画像を取得し、3次元画像を任意にレンダリングしながらレポートを作成することができる。したがって、医師やオプトメトリストは、スリットランプ顕微鏡を用いて取得された3次元画像を自由にレンダリングしながら前眼部の所望の関心部位を観察しつつレポート作成を行うことが可能である。
それにより、前眼部の画像を取得するために医師やオプトメトリストが遠隔地からリアルタイムで操作を行う必要がなくなる。しかも、眼科画像診断において最も広く且つ頻繁に用いられるスリットランプ顕微鏡で取得された画像を遠隔地において読影できるというメリットもある。更に、遠隔地にて作成されたレポートを、撮影を行った施設や被検者に迅速に提供することが可能になる。
したがって、本実施形態の眼科システムによれば、スリットランプ顕微鏡を効果的に利用することが可能な眼科遠隔医療技術を提供できる。
本実施形態の眼科システムは、通信路(1100)を介してスリットランプ顕微鏡に接続されたサーバ(4000)と、通信路(1100)を介してサーバに接続された情報処理装置(遠隔端末5000m)とを含む。
サーバは、記憶部(制御部4010内のハードディスクドライブ、ソリッドステートドライブ等の記憶装置)と、通信部(4200)とを含む。記憶部は、予め設定された被検者識別情報(被検者ID)に関連付けられた3次元画像と正面画像とを記憶する。なお、本実施形態のように、施設識別情報(施設ID)を更に関連付けることが可能である。通信部は、少なくとも3次元画像と正面画像とを情報処理装置に送信する。
情報処理装置は、通信部(5200)と、レンダリング部(5120)と、表示制御部(5011)と、レポート作成部(レポート作成制御部5012、操作部5300)とを含む。
情報処理装置の通信部は、サーバから送信された少なくとも3次元画像及び正面画像を受信する。更に、情報処理装置の通信部は、レポート作成部により作成されたレポートをサーバに向けて送信する。
サーバの通信部は、情報処理装置から送信されたレポートを受信する。更に、サーバの通信部は、このレポートの少なくとも一部を、被検眼の撮影を行ったスリットランプ顕微鏡が設置された施設に向けて送信する。レポート出力部は、被検眼の撮影を行ったスリットランプ顕微鏡が設置された施設に配置されている。本例では、スリットランプ顕微鏡1が設置された施設内の端末3000-nに向けてレポートを送信しているが、スリットランプ顕微鏡1又は他の装置にレポートを送信するようにしてもよい。
この構成によれば、スリットランプ顕微鏡が設置された施設から離れた位置に配置された情報処理装置を利用して眼科遠隔医療を効果的に提供することが可能である。
本実施形態において、レンダリング部は、前眼部の3次元画像中の角膜表面領域及び角膜裏面領域の少なくとも一方を特定するように構成されていてよい。
この構成によれば、前眼部における典型的な注目部位である角膜の状態を容易に観察したり解析したりすることが可能となる。
本実施形態において、レンダリング部は、少なくとも角膜表面領域を特定するように構成されていてよい。更に、本実施形態の眼科システムは、特定された角膜表面領域を解析して角膜曲率半径を求める第1解析部(解析部5130)を更に含んでいてよい。加えて、レポート作成部は、求められた角膜曲率半径及びこれに基づく情報(例えば、コンタクトレンズの型番など)の少なくとも一方を含むレポートを作成するように構成されていてよい。
この構成によれば、例えばコンタクトレンズの処方などにおける典型的な注目パラメータである角膜曲率半径を容易に求めることができる。更に、角膜曲率半径が記載されたレポートを容易且つ迅速に提供することが可能になる。
本実施形態において、レンダリング部は、少なくとも角膜表面領域を特定するように構成されていてよい。更に、本実施形態の眼科システムは、第2解析部(解析部5130)を更に含んでいてよい。第2解析部は、レンダリング部により特定された角膜表面領域を解析して角膜曲率半径分布を求め、予め設定された標準分布からの角膜曲率半径分布の偏差を表す偏差分布を求めるように構成される。加えて、レポート作成部は、求められた偏差分布及びこれに基づく情報の少なくとも一方を含むレポートを作成するように構成されていてよい。
この構成によれば、例えばコンタクトレンズの処方などにおける典型的な注目パラメータである角膜曲率半径分布を表す情報を容易に求めることができる。更に、角膜曲率半径分布を表す情報が記載されたレポートを容易且つ迅速に提供することが可能になる。
本実施形態において、表示制御部は、第2解析部により求められた偏差分布を表示手段に表示させるように構成されていてよい。
この構成によれば、レポート作成者(医師、オプトメトリストなど)は、被検眼の前眼部の正面画像やレンダリング画像に加えて、角膜曲率半径分布の偏差分布を参照しながらレポートを作成することが可能となる。
本実施形態の眼科システムは、前眼部の正面画像と3次元画像との間のレジストレーションを行うレジストレーション部(5105)を更に含んでいてよい。更に、本実施形態において、正面画像中の注目領域(例えば、断面、3次元領域など)を指定するためにユーザーインターフェイスを使用することができる。加えて、レンダリング部は、指定された注目領域に対応する3次元画像の部分領域を、レジストレーションの結果に基づき特定することができる。更にレンダリング部は、特定された部分領域に対応するレンダリング画像(例えば、スライス画像、シャインプルーフ画像、ボリュームレンダリング画像など)を形成することができる。
この構成によれば、レポート作成者は、前眼部の注目部位を容易に指定することができる。つまり、レポート作成者は、レンダリングを適用したい箇所を容易に指定することが可能である。
本実施形態において、表示制御部は、レンダリング部により特定された3次元画像中の部分領域に対応するレンダリング画像と正面画像とを、表示手段に表示させることができる。更に、表示制御部は、このレンダリング画像に対応する領域を表す画像を正面画像上に表示させることができる。
この構成によれば、レポート作成者は、正面画像中のどの部位がレンダリング画像として表示されているかを容易に把握することが可能である。
本実施形態において、レンダリング部は、前眼部の3次元画像から立体画像を形成することができる。更に、表示制御部は、形成された立体画像を表示手段に表示させることができる。加えて、表示手段に表示されている立体画像を操作(例えば、回転、拡大/縮小など)するためにユーザーインターフェイスを使用することが可能である。
この構成によれば、レポート作成者は、前眼部を立体的に観察することができ、更に、立体画像を任意に操作しながら詳細な観察を行うことが可能である。
本実施形態において、レンダリング部は、前眼部の3次元画像中の水晶体領域を特定することができる。更に、本実施形態の眼科システムは、特定された水晶体領域を解析して混濁分布を求める第3解析部(解析部5130)を更に含んでいてよい。加えて、レポート作成部は、求められた混濁分布及びこれに基づく情報の少なくとも一方を含むレポートを作成することができる。
この構成によれば、例えば白内障眼の診断における典型的な注目部位である水晶体混濁の分布を容易に求めることができる。更に、水晶体混濁分布を表す情報が記載されたレポートを容易且つ迅速に提供することが可能になる。
本実施形態において、表示制御部は、第3解析部により求められた混濁分布を表示手段に表示させるように構成されていてよい。
この構成によれば、レポート作成者(医師、オプトメトリストなど)は、被検眼の前眼部の正面画像やレンダリング画像に加えて、水晶体混濁分布を参照しながらレポートを作成することが可能となる。
本実施形態において、スリットランプ顕微鏡の画像収集部は、照明系(8)と、撮影系(観察撮影系6)と、移動部(移動機構60)とを含んでいてよい。照明系は、被検眼をスリット光で照明する。撮影系は、被検眼からのスリット光の戻り光を第1撮像装置(13)に導く。移動部は、照明系及び撮影系を移動する。更に、3次元画像形成部は、照明系及び撮影系を移動しつつ第1撮像装置により取得された複数の断面画像に基づいて3次元画像を形成するように構成されていてよい。
このような構成によれば、前眼部に対する照明角度及び撮影角度を変更しつつ被検眼の複数の断面の画像を取得し、これら断面画像から3次元画像を形成することができる。
本実施形態において、スリットランプ顕微鏡の画像収集部は、フォーカス位置変更部(合焦機構40、合焦機構50)を含んでいてよい。フォーカス位置変更部は、照明系のフォーカス位置及び撮影系のフォーカス位置の少なくとも一方を変更する。更に、3次元画像形成部は、照明系及び撮影系の少なくとも一方の移動と照明系のフォーカス位置及び撮影系のフォーカス位置の少なくとも一方の変更とを行いつつ第1撮像装置により取得された複数の断面画像に基づいて3次元画像を形成することができる。
このような構成によれば、前眼部に対するフォーカス位置を変更しつつ複数回の撮影を行うことができ、それにより得られた複数の断面画像から3次元画像を形成することができる。
本実施形態の眼科システムは、スリットランプ顕微鏡の動作モードを指定するための動作モード指定部を更に含んでいてよい。動作モード指定部は、例えば、遠隔端末5000mの操作部5300、スリットランプ顕微鏡1の操作部140、端末3000-n、又は、他の装置を含んでいてよい。更に、スリットランプ顕微鏡は、制御部(101)を含んでいてよい。動作モード指定部により3次元撮影モードが指定されたとき、スリットランプ顕微鏡の制御部は、照明系と撮影系と移動部とフォーカス位置変更部とを連係的に制御することにより複数の断面画像を第1撮像装置に取得させるように構成されていてよい。
このような構成によれば、前眼部の3次元画像を形成するための複数の断面画像の収集を自動で行うことが可能になる。
本実施形態において、正面画像取得部は、画像収集部に設けられた第1撮像装置と異なる第2撮像装置(前眼部カメラ70)を含んでいてよい。
このような構成によれば、前眼部の3次元画像を取得するために(つまり、スキャンを行うために)画像収集部が移動しても、一定の位置から前眼部を撮影することが可能となる。
なお、正面画像取得部は、画像収集部に設けられた第1撮像装置を用いて前眼部の正面画像を取得するように構成されていてもよい。この場合、典型的には、画像収集部によるスキャンとは別のタイミングで正面画像の取得が行われる。
本実施形態において、画像収集部に設けられた第1撮像装置による複数の断面画像の収集と並行して、正面画像取得部の第2撮像装置は前眼部の動画撮影を行うことができる。
これにより、画像収集部によってスキャンを行っている間も前眼部の状態を観察することが可能となる。
本実施形態に係る眼科情報処理装置(遠隔端末5000m)は、通信部(5200)と、レンダリング部(5120)と、表示制御部(5011)と、レポート作成部(レポート作成制御部5012、操作部5300)とを含む。
眼科情報処理装置の通信部は、スリットランプ顕微鏡(1、眼科撮影装置2000-in)で被検眼の前眼部を撮影して取得された3次元画像及び正面画像を通信路(1100)を介して受け付ける。眼科情報処理装置のレンダリング部は、通信部により受け付けられた3次元画像をレンダリングしてレンダリング画像を形成する。眼科情報処理装置の表示制御部は、通信部により受け付けられた正面画像とレンダリング部により形成されたレンダリング画像とを表示手段(表示装置6000m)に表示させる。レポート作成部は、表示制御部により表示された情報に関するレポートを作成するためのユーザーインターフェイス(操作部5300)を含む。眼科情報処理装置の通信部は、作成されたレポートを送信する。レポートの最終的な送信先は、当該被検眼の撮影が行われた施設である。
このような眼科情報処理装置によれば、本実施形態の眼科システムと同様に、スリットランプ顕微鏡を効果的に利用することが可能な眼科遠隔医療技術を提供することが可能である。
本実施形態に係る処理をコンピュータに実行させるプログラムを構成することが可能である。このプログラムは、以下のステップをコンピュータに実行させるように構成される:スリットランプ顕微鏡で被検眼の前眼部を撮影して取得された3次元画像及び正面画像を通信路を介して受け付けるステップ;受け付けられた3次元画像をレンダリングしてレンダリング画像を形成するステップ;受け付けられた正面画像と、形成されたレンダリング画像とを表示するステップ;ユーザーからの入力を受け付けるステップ;表示された情報に関するレポートをユーザーからの入力に基づき作成するステップ;レポートを送信するステップ。
このようなプログラムによれば、本実施形態の眼科システムと同様に、スリットランプ顕微鏡を効果的に利用することが可能な眼科遠隔医療技術を提供することが可能である。
このようなプログラムを記録したコンピュータ可読な非一時的記録媒体を作成することが可能である。この非一時的記録媒体は任意の形態であってよく、その例として、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどがある。
このようなプログラム又は記録媒体に対して、例示的な実施形態において説明された様々な処理のいずれかを適用することが可能である。
以上に説明した実施形態は本発明の典型的な例示に過ぎない。よって、本発明の要旨の範囲内における任意の変形(省略、置換、付加等)を適宜に施すことが可能である。