WO2022029954A1

WO2022029954A1 - 医療システム、及び、処理プロトコル制御方法

Info

Publication number: WO2022029954A1
Application number: PCT/JP2020/030157
Authority: WO
Inventors: 伸介谷
Original assignee: オリンパス株式会社
Priority date: 2020-08-06
Filing date: 2020-08-06
Publication date: 2022-02-10
Also published as: US20230172426A1

Abstract

被写体を撮像して取得したＲＡＷ画像データを出力する内視鏡２と、アクセスポイント５を介して内視鏡２から取得したＲＡＷ画像データから内視鏡画像を生成する画像処理回路３２を備えた画像処理サーバ３と、アクセスポイント５を介して画像処理サーバ３から取得した内視鏡画像を表示する表示装置４とを含む。画像処理サーバ３は、内視鏡２におけるＲＡＷ画像データの第１の処理仕様と、画像処理サーバ３の第２の処理仕様と、表示装置４における内視鏡画像の第３の処理仕様と、アクセスポイント５の通信プロトコルに基づき、第１から第３の処理仕様の少なくともいずれか一つを制御する通信制御回路３３を有する。

Description

医療システム、及び、処理プロトコル制御方法

　本発明の実施形態は医療システム、及び、通信方法に関し、特に、クラウドコンピューティングにより内視鏡画像を処理する医療システム、及び、処理プロトコル制御方法に関する。

　従来から、医療分野において、電子内視鏡を利用した医療診断が行われている。電子内視鏡（以下、内視鏡と示す）は、体腔内に挿入される挿入部の先端に、ＣＣＤなどの撮像素子を内蔵している。ＣＣＤで取得された撮像信号は、プロセッサに入力されて現像処理が施される。すなわち、プロセッサは、入力された撮像信号に対して信号処理などを施し、内視鏡画像を生成する。プロセッサで生成された内視鏡画像は、モニタなどの表示装置に出力されて表示される。これにより、被験者の胃や腸などといった体腔内の画像（内視鏡画像）を観察することができる。

　一般的に、内視鏡とプロセッサとは、信号ケーブルにより接続されている。こうした内視鏡システムでは、内視鏡を操作する際に信号ケーブルが邪魔になる、持ち運びが不便などといった問題がある。このため、内視鏡とプロセッサとの間の信号の送受信を無線で行うようにした、いわゆるワイヤレス内視鏡システムも考案されている。

　一般的に、内視鏡、プロセッサ、及び、表示装置から主に構成される内視鏡システムは、ネットワークから独立して動作するスタンドアロンのシステムとして用いられ、最適化されてきた。

　ところで、近年では、遠隔病理診断などの遠隔医療に対する需要が高まっている。これに対応すべく、撮像装置により取得された被検体の体腔内の撮像画像や病理検体の撮像画像などのいわゆる医用画像を、インターネットなどのネットワークを介して、診断装置や表示装置に送信する医療システムが提案されている（例えば、特開２００５－１８２６７０号公報、特開２０１９－８２８１５号公報参照）。

　上述の内視鏡システムでこのような医療システムを構築する場合、ネットワークを介して、内視鏡、プロセッサ、及び、表示装置が接続される。このようなネットワークシステム構成の場合、遠隔医療の実現に加えて、システムの小型化や低コスト化がはかれるという利点もある。しかしながら、内視鏡、プロセッサ、及び、表示装置は、それぞれ処理プロトコルが独立して動作するため、同期遅延が長くなり、内視鏡で取得した撮像信号が内視鏡画像として表示装置に表示されるまでの間の遅延時間が長くなってしまうという問題があった。また、処理や通信速度のミスマッチにより、必要以上に処理や通信の負荷がかかる部位が生じてしまい、無駄な処理コストや通信コストが発生してしまうという問題があった。

　そこで、本発明は、処理や通信にかかるコストを低減しつつ、撮像から表示までに要する処理時間を短縮し、リアルタイム性を向上させることが可能な医療システム、及び、処理プロトコル制御方法を提供することを目的とする。

　本発明の一態様の医療システムは、被写体を撮像して取得した撮像信号を出力する撮像機器と、無線中継装置を介して前記撮像機器から取得した前記撮像信号から観察画像を生成する画像処理回路を備えた信号処理装置と、前記中継装置を介して前記信号処理装置から取得した前記観察画像を表示する表示装置と、を含む。前記信号処理装置は、前記撮像機器における前記撮像信号の第１の処理仕様と、前記信号処理装置の第２の処理仕様と、前記表示装置における前記観察画像の第３の処理仕様と、前記中継装置の通信プロトコルに基づき、前記第１から第３の処理仕様の少なくともいずれか一つを制御する、通信制御回路を有する。

　本発明の一態様の処理プロトコル制御方法は、被写体を撮像して取得した撮像信号を出力する撮像機器と、前記撮像信号から観察画像を生成する画像処理回路を備えた信号処理装置と、前記観察画像を表示する表示装置とを、中継装置を有する通信回線を介してペアリングする。そして、前記信号処理装置において、前記撮像機器における前記撮像信号の第１の処理仕様と、前記信号処理装置の第２の処理仕様と、前記表示装置における前記観察画像の第３の処理仕様と、前記中継装置の通信プロトコルに基づき、処理シーケンスを導出する。更に、前記信号処理装置から前記撮像機器に対し、前記処理シーケンスに基づき第４の処理仕様を指示する。また、前記信号処理装置から前記表示装置に対し、前記処理シーケンスに基づき第５の処理仕様を指示する。

本発明の実施形態に係わる医療システムの全体構成の一例を説明する図。医療システムのハードウェア構成の一例を示すブロック図。内視鏡画像に係る一連の処理シーケンスを説明するタイムチャート。内視鏡画像に係る一連の処理シーケンスを説明するタイムチャート。内視鏡画像に係る一連の処理シーケンスを説明するタイムチャート。内視鏡画像に係る一連の処理シーケンスを説明するタイムチャート。本発明の実施形態に係わる医療システムの全体構成の別の一例を説明する図。内視鏡画像に係る一連の処理シーケンスを説明するタイムチャート。内視鏡画像に係る一連の処理シーケンスを説明するタイムチャート。内視鏡画像に係る一連の処理シーケンスを説明するタイムチャート。内視鏡画像に係る一連の処理シーケンスを説明するタイムチャート。本実施形態における作用を示すフローチャート。

　以下、図面を参照して実施形態を説明する。

　図１は、本発明の実施形態に係わる医療システムの全体構成の一例を説明する図である。本実施形態の医療システム１００は、内視鏡２と、画像処理サーバ３と、表示装置４と、から主に構成されている。図１に示す医療システム１００は、例えば、病院内に構築されたシステムであり、内視鏡２と表示装置４とが診察室に配置され、画像処理サーバ３がサーバルームに配置されている。内視鏡２、画像処理サーバ３、表示装置４は、病院内に設けられた中継装置としてのアクセスポイント５を介して、互いに通信可能である。内視鏡２とアクセスポイント５は、無線または有線により通信を行う。画像処理サーバ３とアクセスポイント５は、無線または有線により通信を行う。表示装置４とアクセスポイント５は、無線または有線により通信を行う。無線通信は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）の規格であるＩＥＥＥ８０２．１１などに準拠した通信方式や、モバイル通信向けの規格である５Ｇ、Ｌｏｃａｌ５Ｇに準拠した通信方式などを用いることができる。なお、無線通信の通信方式は、これらに限定される趣旨のものではなく、次世代通信規格などを用いた通信方式も適用可能である。

　撮像機器としての内視鏡２は、長尺で細長な挿入部９と操作部１０とを含んで構成されている。内視鏡２の挿入部９は、先端から順に、先端部６、湾曲部７、及び、可撓管部８から構成されている。先端部６には、図示しない照明窓及び観察窓が設けられており、照明光が照明窓から被検体へ出射され、被検体からの戻り光が観察窓へ入射される。先端部６には、被写体を撮像する手段として、ＣＣＤ、ＣＭＯＳなどの固体撮像素子が配置されおり、観察窓から入射した光による被写体像を光電変換して撮像信号を出力する。内視鏡２は、固体撮像素子から出力された撮像信号を、無線にて画像処理サーバ３へ送信する。内視鏡２において、撮像信号に対して圧縮処理などの画像処理を行い、通信品質を向上させた信号を、画像処理サーバ３へ送信してもよい。より具体的には、内視鏡２から送信された撮像信号は、アクセスポイント５を経由して画像処理サーバ３へ送信される。

　操作部１０には、挿入部９の湾曲部７を湾曲操作するための湾曲操作部１４が回転自在に配設されると共に、スコープスイッチ１５を含む、各種機能を実現するためのスイッチ類などが設けられている。なお、湾曲操作部１４は、湾曲部７を上下方向に湾曲操作するためのＵＤ湾曲操作ノブ１２と、湾曲部７を左右方向に湾曲操作するためのＲＬ湾曲操作ノブ１３とが重畳するように配設されている。また、スコープスイッチ１５は、例えば、録画開始／停止など、画像処理サーバ３における処理を制御するためのスイッチや、ＮＢＩ（狭帯域光観察：ＮａｒｒｏｗＢａｎｄＩｍａｇｉｎｇ）への光源切替など、内視鏡２の所定部位における処理を制御するためのスイッチが含まれる。スコープスイッチ１５により、内視鏡２にネットワーク接続された様々な機器の制御が可能である。

　また、挿入部９と操作部１０の連結部は、ユーザによる把持部を兼ねる把持部１１と、この把持部１１及び挿入部９の可撓管部８の一端の間に設けられた折れ止め部に配設されて、挿入部９に配設された各種処置部を挿通する処置具チャネルの開口部となる処置具チャネル挿通部１８とを有して構成されている。

　画像処理サーバ３は、内視鏡２から受信した撮像信号を現像処理し、画像信号を生成する。なお、画像処理サーバ３は、撮像信号に対して圧縮処理などの画像処理が施された信号を受信した場合、受信した信号に基づく処理（例えば、圧縮処理された信号に対する伸張処理など）を行って画像信号を生成する。生成された画像信号は、アクセスポイント５を経由して、表示装置４へ無線にて送信される。また、画像処理サーバ３は、内視鏡２、アクセスポイント５、及び、表示装置４における送受信フレームレートや処理フレームレート、通信プロトコルに基づき、撮像から表示までの遅延時間が最短になるよう処理プロセスを最適化する。

　表示装置４は、医療システム１００における表示手段であり、内視鏡２、画像処理サーバ３からみて外部の表示デバイスに該当する。表示装置４は、ネットワーク機能を有しており、画像処理サーバ３から受信した画像信号を、内視鏡画像として表示する。表示装置４は、例えば、ノートＰＣやタブレット、スマートフォンなどがあげられる。また、ネットワーク機能を持たないディスプレイも、無線機器を接続することで、表示装置４として用いることができる。

　なお、本実施形態の医療システム１００は、表示装置４、４ａのように、複数の表示装置を具備してもよい。表示装置４、４ａのすべてにおいて内視鏡画像を表示させるようにしてもよいし、選択された１台の表示装置４において内視鏡画像を表示させるようにしてもよい。また、表示装置４、４ａのうちの幾つかは、内視鏡２が配置されている診察室以外の部屋に設置されていてもよい。

　図２は、医療システムのハードウェア構成の一例を示すブロック図である。なお、図２では、医療システム１００のハードウェア構成のうち、本実施形態に係る通信方法に関する処理を行うハードウェア構成を示している。

　内視鏡２は、先端部６に、光源２１と、撮像ユニット２２とを有する。また、操作部１０に、光源駆動回路２３と、撮像素子駆動回路２４と、制御回路２５と、記憶媒体２６と、データ圧縮器２７と、受信器２８と、送信器２９とを有する。

　光源２１は、発光素子２１ａと、照明光学系２１ｂと、を有して構成されている。

　　発光素子２１ａは、例えば、ＬＥＤを有して構成されている。また、発光素子２１ａは、光源駆動回路２３から供給される発光素子駆動信号に応じた光量を有する照明光を発生するように構成されている。

　　照明光学系２１ｂは、例えば、照明レンズを含む光学系として構成されている。また、照明光学系２１ｂは、発光素子２１ａから発せられた照明光を先端部６の外部の被写体へ照射するように構成されている。

　撮像ユニット２２は、観察光学系２２ａと、撮像素子２２ｂと、を有するカメラとして構成されている。

　　観察光学系２２ａは、例えば、結像レンズを含む光学系として構成されている。また、観察光学系２２ａは、光源部２１からの照明光の照射に応じて先端部６の外部の被写体から発せられる戻り光（反射光）が入射されるとともに、当該戻り光を撮像素子２２ｂの撮像面上に結像するように構成されている。

　撮像素子２２ｂは、例えば、ＣＣＤまたはＣＭＯＳのようなイメージセンサを有して構成されている。また、撮像素子２２ｂは、撮像素子駆動回路２４から供給される撮像素子駆動信号に応じて駆動するように構成されている。また、撮像素子２２ｂは、観察光学系２２ａにより結像された戻り光を撮像することにより撮像信号を生成する。そして、当該生成した撮像信号（ＲＡＷ画像データ）をデータ圧縮器２７へ出力するように構成されている。すなわち、内視鏡２は、細長な挿入部９の先端部６に設けられた撮像ユニット２２により被検体の内部を撮像し、ＲＡＷ画像データを取得する。なお、ＲＡＷ画像データとは、撮像時の光の情報が調整されずにそのまま保持されている画像データをいう。すなわち、デモザイク処理などが行われていない加工前の画像データである。

　光源駆動回路２３は、制御回路２５の制御に応じ、発光素子２１ａを駆動させるための発光素子駆動信号を生成して出力するように構成されている。

　　撮像素子駆動回路２４は、制御回路２５の制御に応じ、撮像素子２２ｂを駆動させるための撮像素子駆動信号を生成して出力するように構成されている。

　制御回路２５は、例えば、中央処理装置（以下、ＣＰＵという）のような１つ以上のプロセッサ２５ａを有して構成されている。制御回路２５は、内視鏡２全体の動作の制御を行う。すなわち、図示しない入力デバイスにおいてされた指示あるいは入力に基づいて、内視鏡２の動作を制御し、各部への制御信号あるいは設定信号を出力する。また、制御回路２５は、画像処理サーバ３から送信された処理仕様（処理通信制御データ）に基づき、撮像素子駆動回路２４やデータ圧縮器２７に対して、動作を指示する。

　記憶媒体２６は、例えば、フラッシュメモリやＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍоｒｙ）等で構成される。記憶媒体２６には、例えば、内視鏡２の各部の制御に用いられるプログラム、及び、制御回路２５の動作に対応する種々のプログラムが格納されている。

　データ圧縮器２７は、制御回路２５の制御に応じ、撮像素子２２ｂから出力されたＲＡＷ画像データを圧縮符号化する。本実施形態の医療システム１００では、内視鏡２で取得した撮像信号が、画像処理サーバ３に無線で送信される。内視鏡２から画像処理サーバ３へ送信されるデータ量が大きいほど送信時間が長くなるために、画像処理の遅延を引き起こす要因となりうる。故に、内視鏡２は、画像処理サーバ３における画像処理能力に見合ったデータ量になるようＲＡＷ画像データを圧縮し、適切なタイミングで送信することが望ましい。従って、データ圧縮器２７は、撮像素子２２ｂから入力されたＲＡＷ画像データに対して、制御回路２５により指定された圧縮率で、圧縮符号化する。

　なお、内視鏡２から画像処理サーバ３にＲＡＷ画像データを送信する利点は、以下の通りである。まず、一つ目の利点としては、ＲＡＷ画像データは、一般的なデモザイク処理後の画像データよりもデータ量が小さいため、圧縮や伝送の負荷が小さくなることがあげられる。その結果、低遅延での伝送が実現される。二つ目の利点としては、ＲＡＷ画像データは、撮像時の光の情報が調整されずにそのまま保持されているデータであり、画質の劣化のないデータであることがあげられる。その結果、画像処理サーバ３において、色味や明るさなどの調整を、画質を劣化させることなく行うことができる。

　受信器２８は、画像処理サーバ３から送信された処理仕様に関する処理通信制御データを、アクセスポイント５を介して受信する。受信した処理通信制御データは、制御回路２５へ出力される。

　　送信器２９は、データ圧縮器２７から出力される圧縮符号化されたＲＡＷ画像データを、無線で送信する。

　なお、内視鏡２は、観察光学系２２ａの曇りを除去したり付着した汚れを除去したりするために、送気送水機能を有するものもある。このような内視鏡２は、二酸化炭素などの気体を送気したり水などの液体を送水したりできるように、送気送水ユニット２０１と送気送水駆動回路２０２とを有する。送気送水ユニット２０１は、図示しない送気送水源から供給される気体や液体を、送気送水駆動回路２０２からの制御に従って、先端部６から噴出させる。送気送水駆動回路２０２は、制御回路２５の制御に応じ、送気送水ユニット２０１から液体や気体を噴出させるための駆動信号を生成して出力するように構成されている。また、内視鏡２は、先端部６近傍の被検体の処置（止血、焼灼切開、マーキングなど）を行うために、内視鏡用電気メスなどのエネルギーデバイス（図示せず）を備えるものもある。エネルギーデバイスの駆動制御は、エネルギーデバイス駆動回路（図示せず）によって行われる。エネルギーデバイス駆動回路は、制御回路２５からの制御に応じ、エネルギーデバイスを操作するための駆動振動を生成して出力するように構成されている。

　信号処理装置としての画像処理サーバ３は、信号処理回路３１と、記憶装置３４と、受信器３５と、送信器３６とを有する。

　信号処理回路３１は、画像処理サーバ３全体の動作を制御するとともに、外部から受信した信号に対して各種の処理を施す回路である。信号処理回路３１は、画像処理回路３２と、通信制御回路３３とを有する。

　画像処理回路３２は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路により構成されている。信号処理回路３１は、内視鏡２から送信されるＲＡＷ画像データに対し、デモザイク処理など所定の信号処理を施すことにより内視鏡画像を生成するとともに、当該生成した内視鏡画像を表示装置４へ順次送信するように構成されている。すなわち、画像処理回路３２は、ＲＡＷ画像データの現像処理を行う回路である。

　なお、画像処理回路３２の処理の全部若しくは一部をソフトウエアプログラムで行うようにしてもよい。すなわち、信号処理回路３１に設けられた図示しないプロセッサが、記憶装置３４から読み込んだプログラムを実行することにより、画像処理回路３２と同様の処理及び動作等を行うものであってもよい。

　通信制御回路３３は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路により構成されている。なお、通信制御回路３３の処理の全部若しくは一部をソフトウエアプログラムで行うようにしてもよい。すなわち、信号処理回路３１に設けられた図示しないプロセッサが、記憶装置３４から読み込んだプログラムを実行することにより、通信制御回路３３と同様の処理及び動作等を行うものであってもよい。通信制御回路３３は、画像処理回路３２が処理するＲＡＷ画像データの送信元である内視鏡２と、画像処理回路３２が生成した内視鏡画像の送信先である表示装置４とのペアリングを行い、撮像素子２２ｂおける撮像信号（ＲＡＷ画像データ）の取得から表示装置４における内視鏡画像の表示までの一連の処理シーケンスを最適化する。

　具体的には、内視鏡２におけるＲＡＷ画像データの送信フレームレート、表示装置４における内視鏡画像の表示フレームレート、内視鏡２と画像処理サーバ３との間の通信経路に存在する中継地（図１の場合、アクセスポイント５）の送受信フレームレートと通信プロトコル、画像処理サーバ３と表示装置４との間の通信経路に存在する中継地（図１の場合、アクセスポイント５）の送受信フレームレートと通信プロトコル、画像処理サーバ３自身の送受信フレームレート、及び、画像処理回路３２の信号処理のフレームレートとを考慮して、処理シーケンスを最適化する。なお、これらのフレームレートや通信プロトコルは、予め画像処理回路３２の図示しない記憶媒体（フラッシュメモリやＲＯＭなど）や記憶装置３４に格納しておく。

　ここで、通信制御回路３３における処理シーケンスの最適化について、具体的な処理シーケンスを幾つか例示して説明する。図３～６、図８～図１１は、内視鏡画像に係る一連の処理シーケンスを説明するタイムチャートである。図３～６、図８～図１１において、横軸は時間ｔを示しており、縦方向に複数設けられたレーンは、撮像素子２２ｂおける撮像信号（ＲＡＷ画像データ）の取得から表示装置４における内視鏡画像の表示までの一連の処理を示している。

　具体的には、最上段のレーンから順に、内視鏡２の撮像素子２２ｂにおける被写体の撮像処理（「撮像（１）」と図示）、内視鏡２のデータ圧縮回路２６における圧縮処理（「圧縮（２）」と図示）、内視鏡２の送信器２９からのデータ送信処理（「送信（３）」と図示）、アクセスポイント５におけるデータ受信処理（「受信（４）」と図示）、アクセスポイント５におけるデータ送信処理（「送信（５）」と図示）、画像処理サーバ３の受信器３５におけるデータ受信処理（「受信（６）」と図示）、画像処理サーバ３の画像処理回路３２における画像処理（現像処理）（「画像処理（７）」と図示）、画像処理サーバ３の送信器３６におけるデータ送信処理（「送信（８）」と図示）、アクセスポイント５におけるデータ受信処理（「受信（９）」と図示）、アクセスポイント５におけるデータ送信処理（「送信（１０）」と図示）、表示装置４の受信器４４におけるデータ受信処理（「受信（１１）」と図示）、表示装置４の制御回路４２における画像表示処理（「表示（１２）」と図示）、の各処理を示している。

　なお、各レーンにおいて、１フレーム（＝内視鏡画像１枚）分のデータが処理されている時間を四角で示している。また、図３～６、図８～図１１には、撮像素子２２ｂが被写体の撮像を開始後、最初に取得したフレーム（＝１フレーム目）から、連続するｎフレーム（例えば、ｎ＝３）についてのタイムチャートを示している。実際には、撮像を終了するまでの期間、ｎ＋１フレーム目以降のフレームについても連続して処理が行われる。また、図３～６、図８～図１１において、１フレーム目の画像データの処理の流れを矢印で示している。

（１）内視鏡２の処理性能が低い場合
　まず、画像処理サーバ３の処理性能に比べて内視鏡２の処理性能が低い場合の処理シーケンスの最適化について、図３と図４を用いて説明する。例えば、内視鏡２の処理性能が３０ｆｐｓ、画像処理サーバ３と表示装置４の処理性能が６０ｆｐｓである場合について、以下に説明する。図３は、最適化される前の処理シーケンスの一例であり、図４は、図３に示すシーケンスを最適化した処理シーケンスの一例を示している。

　まず、図３に示す処理シーケンスについて説明する。まず、内視鏡２の撮像素子２２ｂにおいて被写体が撮像される。内視鏡２の処理性能が３０ｆｐｓであるので、撮像素子２２ｂは、１秒間に３０フレーム分の撮像信号を取得する。すなわち、撮像素子２２ｂは、１／３０秒に１フレーム分の撮像信号を取得する。取得した撮像信号（ＲＡＷ画像データ）は、遅滞なく撮像素子２２ｂからデータ圧縮器２７に対して出力される。

　データ圧縮器２７は、入力されたＲＡＷ画像データを所定の圧縮率で圧縮した後、圧縮後のデータを送信器２９に出力する。送信器２９は、データ圧縮器２７から入力されたＲＡＷ画像データを、アクセスポイント５へ無線で送信する。送信器２９は、アクセスポイント５に対し、１／３０秒ごとに１フレーム分のＲＡＷ画像データを送信する。

　アクセスポイント５は、１秒間に６０フレーム分のＲＡＷ画像データを受信できる性能を有する。故に、アクセスポイント５は、送信器２９から送信された１フレーム分のＲＡＷ画像データを、１／６０秒の間に受信する。アクセスポイント５は、受信したＲＡＷ画像データを、画像処理サーバ３に送信する。

　なお、図１に示す医療システムでは、内視鏡２と画像処理サーバ３との間に１つのアクセスポイント５が存在する一例を示しているが、現実的には、内視鏡２から送信されたＲＡＷ画像データは、複数のアクセスポイントを経由して画像処理サーバ３に到達する場合が多い。故に、図３～図１０に示すタイムチャートでは、内視鏡２から直接ＲＡＷ画像データを受信するアクセスポイントにおける受信タイミングを「受信（４）」に示し、複数のアクセスポイントを経由して最後に画像処理サーバ３へＲＡＷ画像データを送信するアクセスポイントにおける送信タイミングを「送信（５）」に示している。このように、複数のアクセスポイントを経由することによりデータの遅延が生じる。図３～図１０では、この遅延時間を、例えば２／３０秒とする。

　画像処理サーバ３の受信器３５は、アクセスポイント５からＲＡＷ画像データを受信する。受信器３５は、アクセスポイント５から送信された１フレーム分のＲＡＷ画像データを、１／６０秒の間に受信する。受信されたＲＡＷ画像データは、画像処理回路３２に入力される。画像処理回路３２は、ＲＡＷ画像が入力されてから、予め設定された待機時間（例えば、３／３０秒）が経過した後に、現像処理を開始する。処理開始のタイミングは、待機時間でなく、蓄積フレーム数などで定義されている場合もある。例えば、３フレーム分のデータがバッファに蓄積されたら処理開始する、などのように定義されている場合もある。

　現像処理によって、ＲＡＷ画像データは内視鏡画像に変換される。画像処理サーバ３の処理性能は６０ｆｐｓであるので、画像処理回路３２は、１秒間に６０フレーム分のＲＡＷ画像データを現像することができる。しかしながら、１フレーム分のＲＡＷ画像データが１／３０秒間隔で入力されるので、画像処理回路３２は、ＲＡＷ画像データが入力されてから１／６０秒で現像処理を行い、続く１／６０秒は、次のＲＡＷ画像データの入力を待機する状態（所謂、アイドル状態）となる。

　画像処理回路３２で生成された内視鏡画像は、送信器３６からアクセスポイント５へ送信される。送信器３６は、画像処理回路３２から入力された内視鏡画像を、遅滞なくアクセスポイント５に送信する。すなわち、画像処理回路３２から１／６０秒間に内視鏡画像が入力され、続く１／６０秒間は画像の入力を待機する状態であるので、「送信（１０）」に示すように、送信器３６は、１／６０秒間で１フレーム分の画像を送信→１／６０秒間待機→１／６０秒間で１フレーム分の画像を送信→…の処理タイミングで送信動作を行う。

　アクセスポイント５は、１秒間に６０フレーム分の内視鏡画像を受信できる性能を有する。故に、アクセスポイント５は、送信器３６から送信された１フレーム分の内視鏡画像を、１／６０秒の間に受信する。アクセスポイント５は、受信した内視鏡画像を、表示装置４に送信する。なお、内視鏡２と画像処理サーバ３との間に介在するアクセスポイントが複数存在するのと同様に、画像処理サーバ３から送信された内視鏡画像は、複数のアクセスポイントを経由して表示装置４に到達する場合が多い。故に、図３～図１０に示すタイムチャートでは、画像処理サーバ３から内視鏡画像を受信するアクセスポイントにおける受信タイミングを「受信（９）」に示し、複数のアクセスポイントを経由して最後に表示装置４へ内視鏡画像を送信するアクセスポイントにおける送信タイミングを「送信（１０）」に示している。このように、複数のアクセスポイントを経由することによりデータの遅延が生じる。図３～図１０では、この遅延時間を、例えば２／３０秒とする。

　表示装置４の受信器４４は、アクセスポイント５から内視鏡画像を受信する。受信器４４は、アクセスポイント５から送信された１フレーム分の内視鏡画像を、１／６０秒の間に受信する。すなわち、受信器４４は、１／６０秒間で１フレーム分の画像を受信→１／６０秒間待機→１／６０秒間で１フレーム分の画像を受信→…の処理タイミングで受信動作を行う。受信された内視鏡画像は、ディスプレイ４１に入力される。ディスプレイ４１は、内視鏡画像が入力されてから、予め設定された待機時間（例えば、２／３０秒）が経過した後に、当該画像を表示する。なお、処理開始のタイミングは、待機時間でなく、蓄積フレーム数などで定義されている場合もある。例えば、２フレーム分のデータがバッファに蓄積されたら処理開始する、などのように定義されている場合もある。

　表示装置４の処理性能は６０ｆｐｓであるので、ディスプレイ４１は、１秒間に６０フレーム分の内視鏡画像を表示することができる。しかしながら、１フレーム分の内視鏡画像が１／３０秒間隔で入力されるので、ディスプレイ４１には、１フレーム分の内視鏡画像が１／６０秒間表示され、次の内視鏡画像が入力されるまでの間となる続く１／６０秒は、現在表示中のフレームが繰り返し表示される。

　以上の一連の処理シーケンスにより、撮像素子２２ｂにおいて取得された撮像信号（ＲＡＷ画像データ）は、表示装置４に内視鏡画像として表示される。すなわち、撮像から表示までに要する時間である遅延時間は、２６／６０秒となる。

　次に、図４に示す最適化された処理シーケンスについて説明する。図４に示す処理シーケンスにおいて、内視鏡２における各処理（「撮像（１）」「圧縮（２）」「送信（３）」）、及び、アクセスポイント５における各処理（「受信（４）」「送信（５）」「受信（９）」「送信（１０）」）は、図３に示す処理のタイミングで行う。図３と異なるのは、画像処理サーバ３における処理と、表示装置４における処理である。

　具体的には、まず、画像処理サーバ３における「受信（６）」から「画像処理（７）」の間に設定された待機時間を変更し、ＲＡＷ画像を１フレーム分受信したら遅滞なく現像を開始するように処理タイミングを設定する。これにより、図３の処理シーケンスよりも遅延時間を５／６０秒短縮することができる。次に、表示装置４における「受信（１１）」から「表示（１２）」の間に設定された待機時間を変更し、内視鏡画像を１フレーム分受信したら遅滞なくディスプレイ４１への表示を開始するように処理タイミングを設定する。これにより、図３の処理シーケンスよりも遅延時間を３／６０秒短縮することができる。

　そして、画像処理回路３２における処理能力を、ＲＡＷ画像データの入力タイミングに合わせる。次のＲＡＷ画像データの入力までのアイドル状態も使用して画像処理を行うことで、処理能力を６０ｆｐｓから３０ｆｐｓに下げる。処理能力を下げることで、画像処理回路３２の処理コストを削減することができる。

　タイムチャートにおいて処理コストの削減は、以下のように表現される。図４において、「画像処理（７）」の１フレーム分の処理時間を表す矩形の横方向の長さは、図３において、「画像処理（７）」の１フレーム分の処理時間を表す矩形の横方向の長さの２倍である。すなわち、矩形の横方向の長さを長くすることで、該矩形が表す処理の処理能力を低下させ、処理コストを削減することができる。

なお、画像処理回路３２における処理能力を３０ｆｐｓに下げることで、画像処理回路３２からの内視鏡画像の出力タイミングは、１／６０秒遅延する。

　これら３つの処理タイミングの変更により、撮像から表示までに要する時間である遅延時間は１９／６０秒となり、最適化前よりも遅延時間を７／６０秒短縮することができる。また、処理能力の適正化によって、画像処理回路３２の処理コストを削減することができる。

（２）内視鏡２と画像処理サーバ３の処理コストを低減する場合
　次に、内視鏡２と画像処理サーバ３の処理コストが低減可能な場合における、処理シーケンスの最適化について、説明する。図１の医療システムは、画像処理サーバ３と内視鏡２とが１対１で接続されている構成を一例として示した。これに加え、画像処理サーバ３を効率よく使用する観点から、画像処理サーバ３と内視鏡２とを１対多で接続し、複数の内視鏡２から送信される撮像信号を１台の画像処理サーバ３で画像処理する構成も実現可能である。このように、画像処理サーバ３と内視鏡２が１対多の構成とする場合、画像処理サーバ３は、処理性能を超えるデータ量を、複数の内視鏡２から受信する可能性がある。このような場合において、内視鏡２の処理コストを低減して、画像処理サーバ３に送信する信号量を低減したり、画像処理サーバ３の処理コストを低減して、処理性能を超えるデータを受信しないようにしたりことで、処理シーケンスを最適化する。

　また、画像処理サーバ３と内視鏡２とが１対１で接続されている構成においても、内視鏡２の処理性能が画像処理サーバ３の処理性能より高い場合にも、同様にして処理シーケンスを最適化することができる。例えば、内視鏡２と表示装置４の処理性能が６０ｆｐｓ、画像処理サーバ３の処理性能が３０ｆｐｓである場合について、図５と図６を用いて以下に説明する。図５は、最適化される前の処理シーケンスの一例であり、図６は、図５に示すシーケンスを最適化した処理シーケンスの一例を示している。なお、以下においては、処理コストの低減に主眼をおいて処理シーケンスの最適化を行う。すなわち、遅延が最小化されている処理シーケンスに対して、以下の最適化の手法が適用可能である。（ただし、上述した（１）の場合と同様に、遅延が最小化されていない処理シーケンスに対しては、遅延の最小化も可能である。）
　まず、図５に示す処理シーケンスについて説明する。まず、内視鏡２の撮像素子２２ｂにおいて被写体が撮像される。内視鏡２の処理性能が６０ｆｐｓであるので、撮像素子２２ｂは、１秒間に６０フレーム分の撮像信号を取得する。すなわち、撮像素子２２ｂは、１／６０秒に１フレーム分の撮像信号を取得する。取得した撮像信号（ＲＡＷ画像データ）は、遅滞なく撮像素子２２ｂからデータ圧縮器２７に対して出力される。

　データ圧縮器２７は、入力されたＲＡＷ画像データを所定の圧縮率で圧縮した後、圧縮後のデータを送信器２９に出力する。送信器２９は、データ圧縮器２７から入力されたＲＡＷ画像データを、アクセスポイント５へ無線で送信する。送信器２９は、アクセスポイント５に対し、１／６０秒ごとに１フレーム分のＲＡＷ画像データを送信する。

　画像処理サーバ３の受信器３５は、アクセスポイント５からＲＡＷ画像データを受信する。受信器３５は、アクセスポイント５から送信された１フレーム分のＲＡＷ画像データを、１／６０秒の間に受信する。受信されたＲＡＷ画像データは、画像処理回路３２に入力される。画像処理回路３２は、ＲＡＷ画像が入力されてから、予め設定された待機時間（例えば、３／３０秒）が経過した後に、現像処理を開始する。現像処理によって、ＲＡＷ画像データは内視鏡画像に変換される。画像処理サーバ３の処理性能は３０ｆｐｓであるので、画像処理回路３２は、１秒間に３０フレーム分のＲＡＷ画像データを現像することができる。しかしながら、１フレーム分のＲＡＷ画像データが１／６０秒間隔で入力されるので、画像処理回路３２は、１フレーム目のＲＡＷ画像データが入力されてから１／３０秒で当該フレームの現像処理を行い、続く１／３０秒は、３フレーム目のＲＡＷ画像データの現像処理を行う。すなわち、２フレーム目のＲＡＷ画像データは、入力速度と現像処理のミスマッチにより、現像処理が行われずに廃棄データとなってしまう。４フレーム目も同様であり、奇数フレームのＲＡＷ画像データに対しては現像処理が行われるが、偶数フレームのＲＡＷ画像データに対しては現像処理を行うことができず、データが廃棄されてしまう。なお、図５において、「受信（６）」で画像処理サーバ３に受信されたが、「画像処理（７）」が行われずに廃棄されるフレームを網掛けで示す。

　画像処理回路３２で生成された内視鏡画像は、送信器３６からアクセスポイント５へ送信される。送信器３６は、画像処理回路３２から入力された内視鏡画像を、遅滞なくアクセスポイント５に送信する。すなわち、「送信（１０）」に示すように、送信器３６は、１／６０秒間で１フレーム分の画像を送信→１／６０秒間待機→１／６０秒間で１フレーム分の画像を送信→…の処理タイミングで送信動作を行う。

　アクセスポイント５は、１秒間に６０フレーム分の内視鏡画像を受信できる性能を有する。故に、アクセスポイント５は、送信器３６から送信された１フレーム分の内視鏡画像を、１／６０秒の間に受信する。アクセスポイント５は、受信した内視鏡画像を、表示装置４に送信する。

　表示装置４の受信器４４は、アクセスポイント５から内視鏡画像を受信する。受信器４４は、アクセスポイント５から送信された１フレーム分の内視鏡画像を、１／６０秒の間に受信する。すなわち、受信器４４は、１／６０秒間で１フレーム分の画像を受信→１／６０秒間待機→１／６０秒間で１フレーム分の画像を受信→…の処理タイミングで受信動作を行う。受信された内視鏡画像は、ディスプレイ４１に入力される。ディスプレイ４１は、内視鏡画像が入力されてから、予め設定された待機時間（例えば、２／３０秒）が経過した後に、当該画像を表示する。表示装置４の処理性能は６０ｆｐｓであるので、ディスプレイ４１は、１秒間に６０フレーム分の内視鏡画像を表示することができる。しかしながら、１フレーム分の内視鏡画像が１／３０秒間隔で入力されるので、ディスプレイ４１には、１フレーム分の内視鏡画像が１／６０秒間表示され、次の内視鏡画像が入力されるまでの間となる続く１／６０秒は、現在表示中のフレームが繰り返し表示される。

　以上の一連の処理シーケンスにより、撮像素子２２ｂにおいて取得された撮像信号（ＲＡＷ画像データ）は、表示装置４に内視鏡画像として表示される。すなわち、撮像から表示までに要する時間である遅延時間は、２７／６０秒となる。また、撮像素子２２ｂにおいて取得された撮像信号のうち、半数の信号は画像処理ができずに廃棄されてしまう。

　次に、図６に示す最適化された処理シーケンスについて説明する。図６に示す処理シーケンスにおいて、アクセスポイント５における各処理（「受信（４）」「送信（５）」「受信（９）」「送信（１０）」）は、図５に示すタイミングで行う。図５と異なるのは、内視鏡２における処理と、画像処理サーバ３における処理と、表示装置４における処理である。

　具体的には、まず、画像処理サーバ３における「受信（６）」から「画像処理（７）」の間に設定された待機時間を変更し、ＲＡＷ画像を１フレーム分受信したら遅滞なく現像を開始するように処理タイミングを設定する。これにより、図５の処理シーケンスよりも遅延時間を５／６０秒短縮することができる。次に、表示装置４における「受信（１１）」から「表示（１２）」の間に設定された待機時間を変更し、内視鏡画像を１フレーム分受信したら遅滞なくディスプレイ４１への表示を開始するように処理タイミングを設定する。これにより、図３の処理シーケンスよりも遅延時間を３／６０秒短縮することができる。

　そして、内視鏡２における処理能力を、画像処理サーバ３におけるＲＡＷ画像データの現像処理能力に合わせる。すなわち、内視鏡２の処理能力を６０ｆｐｓから３０ｆｐｓに下げる。処理能力を下げることで、撮像素子２２ｂで撮像され、画像処理サーバ３に送信されたＲＡＷ画像データが、画像処理回路３２で全て現像される。すなわち、画像処理サーバ３で処理できない無駄なデータを取得しないようにすることで、内視鏡２の処理コストを削減することができる。

　タイムチャートにおいて処理コストの削減は、以下のように表現される。図６において、「撮像（１）」「圧縮（２）」「送信（３）」の各レーンにおける１フレーム分の処理時間を表す矩形の横方向の長さは、図５において対応するレーンの１フレーム分の処理時間を表す矩形の横方向の長さの２倍である。すなわち、矩形の横方向の長さを長くすることで、該矩形が表す処理の処理能力を低下させ、処理コストを削減することができる。また、図６において、「受信（６）」のレーンに示す矩形の数は、図５の「受信（６）」のレーンに矩形の数の半分である。すなわち、１つのレーンに示されている矩形の数を減ずることで、当該レーンの処理コストを削減することができる。

　これら３つの処理タイミングの変更により、撮像から表示までに要する時間である遅延時間は１９／６０秒となり、最適化前よりも遅延時間を８／６０秒短縮することができる。また、処理能力の適正化によって、内視鏡２の処理コストを削減することができる。更に、内視鏡２の処理コストを削減することにより、消費電力を削減することもできる。消費電力の削減により、内視鏡２が電池などバッテリーで駆動されている場合には、駆動時間を延ばすことが可能となる。

（３）ネットワークの通信性能が低い場合
　次に、ネットワークの通信性能が低い場合の処理シーケンスの最適化について、説明する。ネットワークの通信性能が低い場合としては、例えば、アクセスポイント５自体の性能が低い場合や、アクセスポイント５に接続される無線機器が多く、アクセスポイント５の通信品質が劣化する場合などがあげられる。図７は、本発明の実施形態に係わる医療システムの全体構成の別の一例を説明する図である。図７に示すように、画像処理サーバ３が院外に設置され、院内に設置された内視鏡２や表示装置４と、基地局５´を介して通信する構成の場合、ネットワークの通信性能が低くなる場合がある。モバイル通信向けの規格である５Ｇに準拠した通信方式で、医療システム内全体のネットワークを統一することも可能であるし、院内にＬｏｃａｌ５Ｇに準拠した通信方式などを用いてローカルなネットワーク（院内ＬＡＮ）を構築し、院内ＬＡＮと基地局５´、基地局５´と画像処理サーバ３とをそれぞれ別のネットワークで接続するように構成することも可能である。このように、ローカルに構築されたネットワークを接続して通信を行う場合、ネットワークの複雑さに起因して通信性能が低下する場合もありうる。

　ここでは、アクセスポイント５自体の性能が低い場合について、例えば、内視鏡２、画像処理サーバ３、及び、表示装置４の処理性能が６０ｆｐｓであり、アクセスポイント５は１秒間に３０フレーム分のＲＡＷ画像データを受信できる性能を有する場合について、以下に説明する。図８は、最適化される前の処理シーケンスの一例であり、図９は、図８に示すシーケンスを最適化した処理シーケンスの一例を示している。

　まず、図８に示す処理シーケンスについて説明する。まず、内視鏡２の撮像素子２２ｂにおいて被写体が撮像される。内視鏡２の処理性能が６０ｆｐｓであるので、撮像素子２２ｂは、１秒間に６０フレーム分の撮像信号を取得する。すなわち、撮像素子２２ｂは、１／６０秒に１フレーム分の撮像信号を取得する。取得した撮像信号（ＲＡＷ画像データ）は、遅滞なく撮像素子２２ｂからデータ圧縮器２７に対して出力される。

　アクセスポイント５は、１秒間に３０フレーム分のＲＡＷ画像データを受信できる性能を有する。故に、アクセスポイント５は、送信器２９から送信された１フレーム分のＲＡＷ画像データを、１／３０秒の間に受信する。しかしながら、内視鏡２から１フレーム分のＲＡＷ画像データが１／６０秒間隔で入力される。すなわち、アクセスポイント５が１フレーム分のＲＡＷ画像データを受信する間に、内視鏡２からは２フレーム分のＲＡＷ画像データが送信される。このミスマッチにより、アクセスポイント５は、送信されるＲＡＷ画像データを半分しか受信できない。例えば、１フレーム目、３フレーム目、…のように奇数フレームのＲＡＷ画像データは受信できるが、２フレーム目、４フレーム目、…のように偶数フレームのＲＡＷ画像データは受信できず、廃棄となってしまう。アクセスポイント５は、受信したＲＡＷ画像データを、１フレームあたり１／３０秒の速度で画像処理サーバ３に送信する。なお、図８において、「送信（３）」で内視鏡２から送信されたが、アクセスポイントにおいて「受信（４）」が行われずに廃棄されるフレームを網掛けで示す。

　画像処理サーバ３の受信器３５は、アクセスポイント５からＲＡＷ画像データを受信する。受信器３５は、アクセスポイント５から送信された１フレーム分のＲＡＷ画像データを、１／６０秒の間に受信する。受信されたＲＡＷ画像データは、画像処理回路３２に入力される。画像処理回路３２は、ＲＡＷ画像が入力されてから、予め設定された待機時間（例えば、３／３０秒）が経過した後に、現像処理を開始する。現像処理によって、ＲＡＷ画像データは内視鏡画像に変換される。画像処理サーバ３の処理性能は６０ｆｐｓであるので、画像処理回路３２は、１秒間に６０フレーム分のＲＡＷ画像データを現像することができる。しかしながら、１フレーム分のＲＡＷ画像データが１／３０秒間隔で入力されるので、画像処理回路３２は、ＲＡＷ画像データが入力されてから１／６０秒で現像処理を行い、続く１／６０秒は、次のＲＡＷ画像データの入力を待機する状態（所謂、アイドル状態）となる。

　アクセスポイント５は、１秒間に３０フレーム分の内視鏡画像を受信できる性能を有する。故に、アクセスポイント５は、送信器３６から送信された１フレーム分の内視鏡画像を、１／３０秒の間に受信する。アクセスポイント５は、受信した内視鏡画像を、表示装置４に送信する。

　以上の一連の処理シーケンスにより、撮像素子２２ｂにおいて取得された撮像信号（ＲＡＷ画像データ）は、表示装置４に内視鏡画像として表示される。すなわち、撮像から表示までに要する時間である遅延時間は、２８／６０秒となる。また、撮像素子２２ｂにおいて取得された撮像信号のうち、半数の信号は画像処理ができずに廃棄されてしまう。

　次に、図９に示す最適化された処理シーケンスについて説明する。図９に示す処理シーケンスにおいて、アクセスポイント５における各処理（「受信（４）」「送信（５）」「受信（９）」「送信（１０）」）は、図８に示す処理のタイミングで行う。図８と異なるのは、内視鏡２における処理と、画像処理サーバ３における処理と、表示装置４における処理である。

　そして、内視鏡２における処理能力を、アクセスポイント５におけるＲＡＷ画像データの通信性能に合わせる。すなわち、内視鏡２の処理能力を６０ｆｐｓから３０ｆｐｓに下げる。処理能力を下げることで、撮像素子２２ｂで撮像され、アクセスポイント５に送信されたＲＡＷ画像データが、全て画像処理回路３２へ送信される。すなわち、アクセスポイント５で受信できない無駄なデータを撮像素子２２ｂで取得しないようにすることで、内視鏡２の処理コストを削減することができる。

　これら３つの処理タイミングの変更により、撮像から表示までに要する時間である遅延時間は２０／６０秒となり、最適化前よりも遅延時間を８／６０秒短縮することができる。また、処理能力の適正化によって、内視鏡２の処理コストを削減することができる。

（４）表示装置４の処理性能が低い場合
　次に、表示装置４の処理性能が低い場合の処理シーケンスの最適化について、図１０と図１１を用いて説明する。例えば、内視鏡２と画像処理サーバ３の処理性能が６０ｆｐｓ、表示装置４の処理性能が３０ｆｐｓである場合について、以下に説明する。図１０は、最適化される前の処理シーケンスの一例であり、図１１は、図１０に示すシーケンスを最適化した処理シーケンスの一例を示している。

　まず、図１０に示す処理シーケンスについて説明する。まず、内視鏡２の撮像素子２２ｂにおいて被写体が撮像される。内視鏡２の処理性能が６０ｆｐｓであるので、撮像素子２２ｂは、１秒間に６０フレーム分の撮像信号を取得する。すなわち、撮像素子２２ｂは、１／６０秒に１フレーム分の撮像信号を取得する。取得した撮像信号（ＲＡＷ画像データ）は、遅滞なく撮像素子２２ｂからデータ圧縮器２７に対して出力される。

　画像処理サーバ３の受信器３５は、アクセスポイント５からＲＡＷ画像データを受信する。受信器３５は、アクセスポイント５から送信された１フレーム分のＲＡＷ画像データを、１／６０秒の間に受信する。受信されたＲＡＷ画像データは、画像処理回路３２に入力される。画像処理回路３２は、ＲＡＷ画像が入力されてから、予め設定された待機時間（例えば、３／３０秒）が経過した後に、現像処理を開始する。現像処理によって、ＲＡＷ画像データは内視鏡画像に変換される。画像処理サーバ３の処理性能は６０ｆｐｓであるので、画像処理回路３２は、１秒間に６０フレーム分のＲＡＷ画像データを現像することができる。画像処理回路３２で生成された内視鏡画像は、送信器３６からアクセスポイント５へ送信される。送信器３６は、画像処理回路３２から入力された内視鏡画像を、遅滞なくアクセスポイント５に送信する。

　表示装置４の受信器４４は、アクセスポイント５から内視鏡画像を受信する。受信器４４は、アクセスポイント５から送信された１フレーム分の内視鏡画像を、１／３０秒の間に受信する。しかしながら、表示装置４には、アクセスポイント５から１フレーム分の内視鏡画像が１／６０秒間隔で送信される。すなわち、表示装置４が１フレーム分の内視鏡画像を受信する間に、アクセスポイント５から２フレーム分の内視鏡画像が送信される。このミスマッチにより、表示装置４は、送信される内視鏡画像を半分しか受信できない。例えば、１フレーム目、３フレーム目、…のように奇数フレームの内視鏡画像は受信できるが、２フレーム目、４フレーム目、…のように偶数フレームの内視鏡画像は受信できず、廃棄となってしまう。従って、ディスプレイ４１には、奇数フレーム目の内視鏡画像のみが表示される。なお、図１０において、「送信（１０）」でアクセスポイント５から送信されたが、表示装置４において「受信（１１）」が行われずに廃棄されるフレームを網掛けで示す。

　以上の一連の処理シーケンスにより、撮像素子２２ｂにおいて取得された撮像信号（ＲＡＷ画像データ）は、表示装置４に内視鏡画像として表示される。すなわち、撮像から表示までに要する時間である遅延時間は、２６／６０秒となる。また、撮像素子２２ｂにおいて取得された撮像信号のうち、半数の信号は表示装置４において受信されずに廃棄されてしまう。

　次に、図１１に示す最適化された処理シーケンスについて説明する。図１１に示す処理シーケンスにおいて、アクセスポイント５における各処理（「受信（４）」「送信（５）」「受信（９）」「送信（１０）」）は、図１０に示す処理のタイミングで行う。図１０と異なるのは、内視鏡２における処理と、画像処理サーバ３における処理と、表示装置４における処理である。

　具体的には、まず、画像処理サーバ３における「受信（６）」から「画像処理（７）」の間に設定された待機時間を変更し、ＲＡＷ画像を１フレーム分受信したら遅滞なく現像を開始するように処理タイミングを設定する。これにより、図５の処理シーケンスよりも遅延時間を５／６０秒短縮することができる。次に、表示装置４における「受信（１１）」から「表示（１２）」の間に設定された待機時間を変更し、内視鏡画像を１フレーム分受信したら遅滞なくディスプレイ４１への表示を開始するように処理タイミングを設定する。これにより、図１０の処理シーケンスよりも遅延時間を２／６０秒短縮することができる。

　そして、内視鏡２における処理能力を、画像処理サーバ３におけるＲＡＷ画像データの現像処理能力に合わせる。すなわち、内視鏡２の処理能力を６０ｆｐｓから３０ｆｐｓに下げる。また、画像処理サーバ３における画像処理回路３２の処理能力も６０ｆｐｓから３０ｆｐｓに下げる。これらの処理能力を下げることで、撮像素子２２ｂで撮像されたＲＡＷ画像データが、画像処理回路３２で全て現像され、かつ、全ての現像データ（内視鏡画像）が表示装置４に表示される。すなわち、表示装置４で処理できない無駄なデータを取得しないようにすることで、内視鏡２及び画像処理サーバ３の処理コストを削減することができる。なお、画像処理回路３２における処理能力を３０ｆｐｓに下げることで、画像処理回路３２からの内視鏡画像の出力タイミングは、１／６０秒遅延する。

　これら３つの処理タイミングの変更により、撮像から表示までに要する時間である遅延時間は２０／６０秒となり、最適化前よりも遅延時間を７／６０秒短縮することができる。また、処理能力の適正化によって、内視鏡２の処理コスト、及び、画像処理サーバ３の処理コストを削減することができる。

　以上のように、通信制御回路３３は、ＲＡＷ画像データの送信元である内視鏡２と、現像後の内視鏡画像の送信先である表示装置４と、これらの通信経路に存在する中継地（例えば、アクセスポイント５）を特定する。そして、内視鏡２の処理仕様、表示装置４の処理仕様、画像処理サーバ３自身の処理仕様、及び、中継地の通信仕様に基づいて、処理シーケンスを最適化する。そして、最適化した処理シーケンスに基づく処理仕様を、処理通信制御データとして内視鏡２と表示装置４とに送信する。内視鏡２と表示装置４とは、通信制御回路３３から受信した処理仕様に基づいて、それぞれの処理シーケンスを実行する。また、画像処理サーバ３自身も、通信制御回路３３で最適化された処理仕様に基づき処理シーケンスを実行する。これにより、処理や通信にかかるコストを低減しつつ、撮像から表示までに要する処理時間を短縮し、リアルタイム性を向上させることができる。

　なお、図３～図６、図８～図１１では、フレーム単位で処理の最適化を行う例について説明したが、フレームを複数のサブフレームに分割し、サブフレーム単位で各処理や通信を行う構成にしてもよい。

　また、通信制御回路３３の処理の全部若しくは一部をソフトウエアプログラムで行うようにしてもよい。すなわち、信号処理回路３１に設けられた図示しないプロセッサが、記憶装置３４から読み込んだプログラムを実行することにより、通信制御回路３３と同様の処理及び動作等を行うものであってもよい。

　表示装置４は、ディスプレイ４１と、通信制御回路４２と、記録媒体４３と、受信器４４と、送信器４５とを有する。

　ディスプレイ４１は、画像処理サーバ３から受信した内視鏡画像を表示する部位である。具体的には、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｅｎｃｅ）ディスプレイ、ＣＲＴ（Ｃａｔｈｏｄ　Ｒａｙ　Ｔｕｂｅ）ディスプレイなどがあげられる。

　通信制御回路４２は、画像処理サーバ３から送信された処理仕様に基づき、表示装置４全体の動作を制御する。例えば、通信制御回路４２は、ディスプレイ４１への内視鏡画像の表示速度を制御する。また、通信制御回路４２は、画像処理サーバ３からの要求に応じて、表示装置４の処理仕様を送信する。

　記録媒体４３は、画像処理サーバ３から送信された内視鏡画像を記録したり、表示装置４の設定に必要な各種パラメータを格納したりする。

　　受信器４４は、画像処理サーバ３から送信された内視鏡画像や処理仕様に関する処理通信制御データを、アクセスポイント５を介して受信する。受信した内視鏡画像や処理通信制御データは、通信制御回路４２へ出力される。

　　送信器４５は、通信制御回路４２から出力される表示装置４の処理仕様などを、無線で送信する。

　図１２は、本実施形態における作用を示すフローチャートである。図１２に示すフローチャートは、医療システム１００における被写体の撮像から内視鏡画像表示までの一連の処理の最適化手順を説明する図である。

　まず、画像処理サーバ３は、被写体を撮像してＲＡＷ画像データを送信する内視鏡２と、画像処理サーバ３で現像した内視鏡画像を表示する表示装置４とのペアリングを行う（Ｓ１）。また、内視鏡２と画像処理サーバ３との間の中継地（アクセスポイント５など）、及び、画像処理サーバ３と表示装置４との間の中継地を特定する。

　次に、Ｓ１でペアリングした内視鏡２と表示装置４の処理仕様を、記憶装置３４から抽出する（Ｓ２）。処理仕様とは、処理速度（フレームレート）や処理・通信単位（フレーム／サブフレーム）、処理開始のタイミング（データの受信から処理開始までのタイムラグや、処理開始条件）などが含まれる。また、中継地の通信プロトコル（通信速度など）も取得する。

　続いて、通信制御回路４２において、Ｓ２で抽出した処理仕様や通信プロトコルに基づき、最適な処理シーケンスが導出される（Ｓ３）。Ｓ３で導出された処理シーケンスに基づき、画像処理サーバ３は、内視鏡２と表示装置４に対して処理通信制御データを送信し、処理仕様を指示する（Ｓ４）。内視鏡２と表示装置４は、受信した処理通信制御データに基づき、必要に応じて処理仕様を設定・変更する（Ｓ５）。例えば、内視鏡２においては、撮像素子２２ｂのフレームレートやＲＡＷ画像データの送信レートが設定・変更される。また、Ｓ５では、画像処理サーバ３においても、必要に応じて処理仕様が設定・変更される。最後に、Ｓ５で設定された処理仕様に従って、内視鏡２において被写体の撮像が開始される（Ｓ６）。撮像されたＲＡＷ画像データは、画像処理サーバ３に送信されて現像され、内視鏡画像として表示装置４に表示される。

　以上に示したように、本実施形態によれば、処理や通信にかかるコストを低減しつつ、撮像から表示までに要する処理時間を短縮し、リアルタイム性を向上させることが可能な医療システムを提供することができる。

　なお、本実施形態の医療システム１００は、院内に構築されたシステムに限定されず、例えば、画像処理サーバ３が院外に設置されていてもよい。このような構成は、複数の病院の内視鏡２から送信されるＲＡＷ画像データを、１つの画像処理サーバ３で集中的に処理する場合に有効である。また、表示装置４が院外に設置されており、院内で検査者が撮像した内視鏡画像を、インターネット回線などを介して院外の表示装置４に表示させるような構成でもよい。このような構成は、遠隔診断に最適である。すなわち、内視鏡２と、画像処理システム３と、表示装置４とが、無線／有線を用いたネットワークで互いにデータ送受信が可能である環境であれば、設置場所は特に限定されない。更に、内視鏡２と表示装置４とを有線ケーブルで接続し、内視鏡２との画像処理システム３との間の通信を、表示装置４を介して行うように構成してもよい。このように構成することで、内視鏡２の通信インタフェースにかかる部位の構成を簡素化することができ、コストを削減することができる。

　また、本実施形態の医療システム１００は、上述した（１）から（４）に示す処理シーケンス最適化の手法を単独で実施するだけでなく、２つ以上の手法を組み合わせて行ってもよい。

　更に、画像処理サーバ３は、内視鏡画像の現像機能だけでなく、現像した内視鏡画像を用いた自動診断機能などの二次サービス機能を具備していてもよい。このような場合、通信制御回路３３は、二次サービス機能の処理速度も考慮して、最適な処理シーケンスを導出することが望ましい。

　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims

　被写体を撮像して取得した撮像信号を出力する撮像機器と、
　中継装置を介して前記撮像機器から取得した前記撮像信号から観察画像を生成する画像処理回路を備えた信号処理装置と、
　前記中継装置を介して前記信号処理装置から取得した前記観察画像を表示する表示装置と、
　を含む医療システムにおいて、
　前記信号処理装置は、前記撮像機器における前記撮像信号の第１の処理仕様と、前記信号処理装置の第２の処理仕様と、前記表示装置における前記観察画像の第３の処理仕様と、前記中継装置の通信プロトコルに基づき、前記第１から前記第３の処理仕様の少なくともいずれか一つを制御する、通信制御回路を有する、医療システム。
　前記第１の処理仕様は、前記撮像信号を取得する第１のフレームレートであり、前記第２の処理仕様は、前記撮像信号から前記観察画像を生成する現像処理における第２のフレームレートであり、前記第３の処理仕様は、前記観察画像を表示する表示処理における第３のフレームレートであることを特徴とする、請求項１に記載の医療システム。
　前記中継装置は、インターネット回線であることを特徴とする、請求項１に記載の医療システム。
　前記撮像機器は、前記被写体に照射される照射光を調光する調光部と、送気送水を行う送気送水部と、エネルギー処置を行うエネルギー処置部の少なくともいずれか一つを更に備えており、前記調光部と、前記送気送水部と、前記エネルギー処置部は、前記撮像機器において駆動制御がなされることを特徴とする、請求項１に記載の医療システム。
　前記撮像信号はＲＡＷ画像信号であることを特徴とする、請求項１に記載の医療システム。
　前記表示装置を複数有することを特徴とする、請求項１に記載の医療システム。
　前記第１の処理仕様は、前記第１のフレームレート、及び、前記撮像信号を送信する第１の送信単位であり、前記第２の処理仕様は、前記第２のフレームレート、及び、前記現像処理の開始条件であり、前記第３の処理仕様は、前記第３のフレームレート、及び、前記表示処理の開始条件であることを特徴とする、請求項２に記載の医療システム。
　被写体を撮像して取得した撮像信号を出力する撮像機器と、前記撮像信号から観察画像を生成する画像処理回路を備えた信号処理装置と、前記観察画像を表示する表示装置とを、中継装置を有する通信回線を介してペアリングし、
　前記信号処理装置において、前記撮像機器における前記撮像信号の第１の処理仕様と、前記信号処理装置の第２の処理仕様と、前記表示装置における前記観察画像の第３の処理仕様と、前記中継装置の通信プロトコルに基づき、処理シーケンスを導出し、
　前記信号処理装置から前記撮像機器に対し、前記処理シーケンスに基づき第４の処理仕様を指示し、
　前記信号処理装置から前記表示装置に対し、前記処理シーケンスに基づき第５の処理仕様を指示する、処理プロトコル制御方法。
　前記第１の処理仕様は、前記撮像信号を取得する第１のフレームレートであり、前記第２の処理仕様は、前記撮像信号から前記観察画像を生成する現像処理における第２のフレームレートであり、前記第３の処理仕様は、前記観察画像を表示する表示処理における第３のフレームレートであることを特徴とする、請求項８に記載の処理プロトコル制御方法。
　前記第１のフレームレートが前記第２のフレームレートよりも低い場合、前記信号処理装置は、前記第２のフレームレートの値を前記第１のフレームレートの値に変更する、請求項９に記載の処理プロトコル制御方法。
　前記第２のフレームレートが前記第１のフレームレートよりも低い場合、前記信号処理装置は、前記撮像機器に対し、前記第４の処理仕様として、前記第１のフレームレートの値を前記第２のフレームレートの値へ変更する指示を行う、請求項９に記載の処理プロトコル制御方法。
　前記信号処理装置は、前記第１のフレームレート、前記第２のフレームレート、前記第３のフレームレートと、前記中継装置の通信速度である第４のフレームレートとを比較し、前記第４のフレームレートの値より高いものについては、前記第４のフレームレートの値へ変更する指示を行う、請求項９に記載の処理プロトコル制御方法。
　前記第３のフレームレートが、前記第１のフレームレートより低い場合、前記信号処理装置は、前記第１のフレームレートの値を前記第３のフレームレートの値に変更し、前記第３のフレームレートが、前記第２のフレームレートより低い場合、前記第２のフレームレートの値を前記第３のフレームレートの値に変更する、請求項９に記載の処理プロトコル制御方法。