JP7013677B2 - 医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システム - Google Patents

医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システム Download PDF

Info

Publication number
JP7013677B2
JP7013677B2 JP2017091329A JP2017091329A JP7013677B2 JP 7013677 B2 JP7013677 B2 JP 7013677B2 JP 2017091329 A JP2017091329 A JP 2017091329A JP 2017091329 A JP2017091329 A JP 2017091329A JP 7013677 B2 JP7013677 B2 JP 7013677B2
Authority
JP
Japan
Prior art keywords
image
image processing
medical
processing
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017091329A
Other languages
English (en)
Other versions
JP2018187032A (ja
JP2018187032A5 (ja
Inventor
真人 山根
智之 平山
雄生 杉江
毅人 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to JP2017091329A priority Critical patent/JP7013677B2/ja
Priority to EP18722747.5A priority patent/EP3618685B1/en
Priority to CN201880027822.5A priority patent/CN110573054B/zh
Priority to US16/608,191 priority patent/US20210106206A1/en
Priority to PCT/JP2018/015811 priority patent/WO2018203473A1/en
Publication of JP2018187032A publication Critical patent/JP2018187032A/ja
Publication of JP2018187032A5 publication Critical patent/JP2018187032A5/ja
Application granted granted Critical
Publication of JP7013677B2 publication Critical patent/JP7013677B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Description

本技術は、医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システムに関し、特に、例えば、より低レイテンシを実現することができるようにする医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システムに関する。
例えば、内視鏡で撮影される、医療の用に供される医用画像については、医師が、医用画像を見ながら手術等を行うため、撮影から表示までを低レイテンシで行うことが要請される。
例えば、画像を水平方向に並ぶ複数の領域に分割し、複数のGPU(Graphical Processing Unit)を用いて、複数の領域をそれぞれ処理する並列処理を行うことで、低レイテンシを実現する画像処理装置が提案されている（例えば、特許文献１を参照）。
国際公開第2015/163171号
近年、画像を撮影するイメージセンサの性能の向上に伴い、内視鏡等で撮影される医用画像が、いわゆる4K画像や8K画像等のような多画素（高画素）の画像になりつつある。かかる多画素の医用画像の撮影から表示までを低レイテンシで行うには、特許文献１に記載のように、複数のGPUを用いた並列処理が有効である。
しかしながら、特許文献１に記載の画像処理装置は、PC(Personal Computer)アーキテクチャをベースに構成され、複数のGPUが処理する前の医用画像や処理した後の医用画像が、CPU(Central Processing Unit)が管理するメモリに転送されて記憶される。
したがって、GPUの処理を高速化しても、GPUとCPUが管理するメモリとの間の医用画像の転送に要する時間が、少なくともレイテンシとして生じる。
本技術は、このような状況に鑑みてなされたものであり、医用画像の撮影から表示までを、より低レイテンシで行うことができるようにするものである。
本技術の医用画像処理装置又は内視鏡システムは、複数のGPU(Graphical Processing Unit)で構成され、医用画像の画像処理を行う複数の画像処理部と、FPGA(Field-Programmable Gate Array)で構成され、CPU(Central Processing Unit)が管理するメモリを介さずに、前記複数の画像処理部それぞれに対して、前記医用画像を分配するとともに、前記複数の画像処理部それぞれが出力する前記医用画像を集約する分配集約部とを備え、CPU（Central Processing Unit）で構成され、前記医用画像のデータフローを設定する制御部により前記複数の画像処理部および前記分配集約部が制御され、前記分配集約部は、前記医用画像のデータフローに従って、接続された医療機器から出力された前記医用画像を水平方向に並ぶ領域に分割し、前記分割した医用画像を前記複数の画像処理部のそれぞれに分配し、前記複数の画像処理部のうちの少なくとも１つの画像処理部は、前記医用画像のデータフローに従って、分配された前記医用画像に基づいて第１の画像処理として現像処理、検波処理および高画質化処理のうち少なくとも１つの画像処理を行い、前記分配集約部は、前記医用画像のデータフローに従って、前記複数の画像処理部それぞれが出力する前記第１の画像処理が行われた分割画像を集約して前記第１の画像処理後の医用画像を生成し、前記第１の画像処理後の医用画像を前記複数の画像処理部の少なくとも１つに送信し、前記第１の画像処理後の医用画像を受信した画像処理部は、前記医用画像のデータフローに従って、前記第１の画像処理後の医用画像と、前記複数の画像処理部または前記制御部により前記第１の画像処理の結果に基づき生成されたパラメータとに基づいて前記第１の画像処理後の医用画像全体を対象とした第２の画像処理を行う医用画像処理装置、又は、そのような医用画像処理装置を備える内視鏡システムである。
本技術の医用画像処理装置の作動方法は、複数のGPU(Graphical Processing Unit)で構成される複数の画像処理部と、FPGA(Field-Programmable Gate Array)で構成される分配集約部とを備える医用画像処理装置の作動方法であって、CPU（Central Processing Unit）で構成され、医用画像のデータフローを設定する制御部により前記複数の画像処理部および前記分配集約部が制御され、前記分配集約部が、CPU(Central Processing Unit)が管理するメモリを介さずに、前記医用画像の画像処理を行う前記複数の画像処理部それぞれに対して、前記医用画像を分配するとともに、前記複数の画像処理部それぞれが出力する前記医用画像を集約することを含み、前記分配集約部は、前記医用画像のデータフローに従って、接続された医療機器から出力された前記医用画像を水平方向に並ぶ領域に分割し、前記分割した医用画像を前記複数の画像処理部のそれぞれに分配し、前記複数の画像処理部のうちの少なくとも１つの画像処理部は、前記医用画像のデータフローに従って、分配された前記医用画像に基づいて第１の画像処理として現像処理、検波処理および高画質化処理のうち少なくとも１つの画像処理を行い、前記分配集約部は、前記医用画像のデータフローに従って、前記複数の画像処理部それぞれが出力する前記第１の画像処理が行われた分割画像を集約して前記第１の画像処理後の医用画像を生成し、前記第１の画像処理後の医用画像を前記複数の画像処理部の少なくとも１つに送信し、前記第１の画像処理後の医用画像を受信した画像処理部は、前記医用画像のデータフローに従って、前記第１の画像処理後の医用画像と、前記複数の画像処理部または前記制御部により前記第１の画像処理の結果に基づき生成されたパラメータとに基づいて前記第１の画像処理後の医用画像全体を対象とした第２の画像処理を行う医用画像処理装置の作動方法である。
本技術の医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システムにおいては、CPU(Central Processing Unit)が管理するメモリを介さずに、医用画像の画像処理を行う複数の画像処理部それぞれに対して、前記医用画像が分配されるとともに、前記複数の画像処理部それぞれが出力する前記医用画像が集約される。
また、医用画像のデータフローに従って、接続された医療機器から出力された前記医用画像が水平方向に並ぶ領域に分割され、前記分割された医用画像が前記複数の画像処理部のそれぞれに分配され、前記複数の画像処理部のうちの少なくとも１つの画像処理部により、前記医用画像のデータフローに従って、分配された前記医用画像に基づいて第１の画像処理として現像処理、検波処理および高画質化処理のうち少なくとも１つの画像処理が行われ、前記医用画像のデータフローに従って、前記複数の画像処理部それぞれが出力する前記第１の画像処理が行われた分割画像が集約されて前記第１の画像処理後の医用画像が生成され、前記第１の画像処理後の医用画像が前記複数の画像処理部の少なくとも１つに送信され、前記第１の画像処理後の医用画像を受信した画像処理部により、前記医用画像のデータフローに従って、前記第１の画像処理後の医用画像と、前記複数の画像処理部または前記制御部により前記第１の画像処理の結果に基づき生成されたパラメータとに基づいて前記第１の画像処理後の医用画像全体を対象とした第２の画像処理が行われる。
なお、医用画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本技術によれば、より低レイテンシを実現することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した内視鏡手術システムの一実施の形態の構成例を示す図である。 CCU２０１の第１の構成例を示すブロック図である。 CCU２０１で医用画像に対して行われる手ぶれ補正（処理）の概要を説明する図である。 CCU２０１で医用画像に対して行われる手ぶれ補正を含む画像処理の例の概要を説明するフローチャートである。 画像処理の開始時に、必要な医用画像の領域が未知の画像処理を施す場合に並列処理の効率が著しく劣化することを説明する図である。 処理対象画像に、手ぶれ補正を含む画像処理が施される場合の分配集約の例を説明する図である。 分配集約を、CPU３０３が行う場合の、CCU２０１の第１の構成例の処理の例を説明するフローチャートである。 CCU２０１の第２の構成例を示すブロック図である。 分配集約部３１２の構成例を示すブロック図である。 GPU３１５iの構成例を示すブロック図である。 CCU２０１の第２の構成例の処理の例を説明するフローチャートである。 CCU２０１の第１の構成例と、CCU２０１の第２の構成例との処理のタイミングの例を説明する図である。 CCU２０１の第２の構成例で処理が行われる場合のデータフローの第１の例を示す図である。 CCU２０１の第２の構成例で処理が行われる場合のデータフローの第２の例を示す図である。 CCU２０１の第２の構成例で処理が行われる場合のデータフローの第３の例を示す図である。 CCU２０１が処理対象とする処理対象画像の例を示す図である。 分配集約部３１２の他の構成例を示すブロック図である。 CCU２０１の第３の構成例を示すブロック図である。 本技術を適用し得るコンピュータの一実施の形態の構成例を示すブロック図である。
＜本技術を適用した内視鏡手術システムの一実施の形態＞
図１は、本技術を適用した内視鏡手術システムの一実施の形態の構成例を示す図である。
図１では、術者（医師）１３１が、内視鏡手術システム１０を用いて、患者ベッド１３３上の患者１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１０は、内視鏡１００と、気腹チューブ１１１やエネルギ処置具１１２等の、その他の術具１１０と、内視鏡１００を支持する支持アーム装置１２０と、内視鏡下手術のための各種の装置が搭載されたカート２００と、から構成される。
内視鏡１００は、先端から所定の長さの領域が患者１３２の体腔内に挿入される鏡筒１０１と、鏡筒１０１の基端に接続されるカメラヘッド１０２と、から構成される。図示する例では、硬性の鏡筒１０１を有するいわゆる硬性鏡として構成される内視鏡１００を図示しているが、内視鏡１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１００には光源装置２０３が接続されており、光源装置２０３によって生成された光が、鏡筒１０１の内部に延設されるライトガイドによって鏡筒１０１の先端まで導光され、対物レンズを介して患者１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド１０２の内部には、光学系及びイメージセンサ（撮像素子）が設けられており、観察対象からの反射光（観察光）は、光学系によってイメージセンサに集光される。イメージセンサによって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)２０１に送信される。
なお、カメラヘッド１０２（のイメージセンサ）での画像信号の生成、すなわち、画像の撮影では、例えば、4K画像や8K画像の多画素の医用画像を撮影することができる。
CCU２０１は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡１００及び表示装置２０２の動作を統括的に制御する。さらに、CCU２０１は、カメラヘッド１０２から画像信号（画像データ）を受け取り、その画像信号に対して、例えば、現像処理（デモザイク処理）等の、画像信号に対応する医用画像を表示するための各種の画像処理を施す。
すなわち、CCU２０１は、内視鏡１００（のカメラヘッド１０２）で撮影された医用画像を処理する医用画像処理装置として機能する。
表示装置２０２は、CCU２０１からの制御により、CCU２０１によって画像処理が施された画像信号に対応する医用画像を表示する。
光源装置２０３は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等の観察対象を撮影する際の照射光を内視鏡１００に供給する。
入力装置２０４は、内視鏡手術システム１０に対する入力インタフェースである。ユーザは、入力装置２０４を介して、内視鏡手術システム１０に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
処置具制御装置２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギ処置具１１２の駆動を制御する。気腹装置２０６は、内視鏡１００による視野の確保及び術者（ユーザ）の作業空間の確保の目的で、患者１３２の体腔を膨らめるために、気腹チューブ１１１を介して体腔内にガスを送り込む。レコーダ２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡１００に術部を撮影する際の照射光を供給する光源装置２０３は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGB(Red, Green, Blue)レーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置２０３において画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で術部に照射し、その照射タイミングに同期してカメラヘッド１０２のイメージセンサの駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。以上のようなイメージセンサの駆動の制御を行う場合には、イメージセンサにカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１０２のイメージセンサの駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し、その体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに、体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
＜CCU２０１の第１の構成例＞
図２は、図１のCCU２０１の第１の構成例を示すブロック図である。
図２において、CCU２０１は、PCアーキテクチャをベースに構成され、カメラ入出力I/F(Interface)３０１、PCI(Peripheral Component Interconnect)スイッチ３０２、CPU(Central Processing Unit)３０３、及び、メモリ３０４、並びに、複数である、例えば、3個のGPU３０５1，３０５2、及び、３０５3を有する。
カメラ入出力I/F３０１は、図１のカメラヘッド１０２や表示装置２０２との間で、医用画像をやりとりするためのI/Fであり、カメラヘッド１０２から供給される、内視鏡１００で撮影された医用画像（の画像データ）を、PCIスイッチ３０２に供給するとともに、PCIスイッチ３０２から供給される医用画像を、表示装置２０２に供給する。
PCIスイッチ３０２は、カメラ入出力I/F３０１、CPU３０３、及び、GPU３０５1ないし３０５3とバスを介して接続されている。PCIスイッチ３０２は、PCIのバス規格に従って、カメラ入出力I/F３０１、CPU３０３、及び、GPU３０５iの間での医用画像その他のデータのやりとりを中継する。
したがって、カメラ入出力I/F３０１、PCIスイッチ３０２、CPU３０３、及び、GPU３０５1ないし３０５3は、バスに接続するためのバスI/Fとして、PCIのI/Fを内蔵する。
CPU３０３は、所定のプログラムに従って、CCU２０１の全体を制御する。例えば、CPU３０３は、メモリ３０４を管理し、PCIスイッチ３０２から供給される医用画像を記憶させるとともに、メモリ３０４に記憶された医用画像を読み出し、PCIスイッチ３０２に供給する。なお、CPU３０３が実行するプログラムは、あらかじめメモリ３０４にインストールすることや、図示せぬ記録媒体から、メモリ３０４にインストールすること、サイトからダウンロードして、メモリ３０４にインストールすること等が可能である。
メモリ３０４は、CPU３０３の管理の下、医用画像その他のデータを記憶する。なお、図２では、メモリ３０４に対しては、医用画像の読み書きが行われるので、医用画像の撮影から表示までを低レイテンシで行う観点から、メモリ３０４としては、高速なメモリを採用することが望ましい。また、メモリ３０４に対する医用画像その他のデータの読み書きは、DMA（Direct Memory Access）によって行うことができる。メモリ３０４に対するデータの読み書きは、CPU３０３の関与なしに行うことができるが、それでも、メモリ３０４は、CPU３０３に管理されるメモリであることに変わりはない。
GPU３０５iは（図２では、ｉ＝１，２，３）、PCIスイッチ３０２から供給される医用画像の画像処理を行う画像処理部の一例であり、画像処理後の医用画像を、PCIスイッチ３０２に供給する。
ここで、図２では、CCU２０１に、3個のGPU３０５1ないし３０５3が設けられているが、GPUの数は、3個に限定されるものではない。すなわち、CCU２０１には、2個、又は、4個以上の複数の数のGPUを設けることができる。
以上のように構成されるCCU２０１では、カメラ入出力I/F３０１が、カメラヘッド１０２から供給される医用画像を、PCIスイッチ３０２を介して、CPU３０３に出力し、CPU３０３は、カメラ入出力I/F３０１が出力する医用画像を、メモリ３０４に記憶させる。
さらに、CPU３０３は、メモリ３０４に記憶された医用画像の全部又は一部を読み出し、PCIスイッチ３０２を介して、GPU３０５iに、必要に応じて供給する。
GPU３０５iは、PCIスイッチ３０２を介して供給される医用画像の画像処理を行い、その結果得られる医用画像を、PCIスイッチ３０２を介して、CPU３０３に出力する。
CPU３０３は、GPU３０５iが出力する医用画像を、メモリ３０４に記憶させる。
メモリ３０４に記憶された医用画像のGPU３０５iへの供給、GPU３０５iによる医用画像の画像処理、及び、GPU３０５iが出力する画像処理後の医用画像のメモリ３０４への記憶は、必要に応じて繰り返される。
そして、GPU３０５iにおいて必要な画像処理がすべて行われ、その画像処理後の医用画像がメモリ３０４に記憶されると、CPU３０３は、メモリ３０４に記憶された医用画像を読み出し、PCIスイッチ３０２を介して、カメラ入出力I/F３０１に供給する。
カメラ入出力I/F３０１は、CPU３０３から供給される、必要な画像処理のすべて行われた後の医療画像を、表示装置２０２に供給する。
＜CCU２０１で行われる画像処理の例＞
図３は、CCU２０１で医用画像に対して行われる画像処理の一例としての手ぶれ補正（処理）の概要を説明する図である。
手ぶれ補正では、医用画像に映る術部等の被写体（像）が、手ぶれをキャンセルするように変形される。図３では、手ぶれ補正としての医用画像の変形として、医用画像に映る被写体が、時計回りに所定の角度だけ回転され、かつ、左方向に所定の距離だけ平行移動されている。
医師やスコピスト等のユーザが、内視鏡１００を手に持って撮影を行う場合には、内視鏡１００が揺れてしまうことに起因して、内視鏡１００で撮影される医用画像がぶれた画像になり、そのようなぶれた医用画像が表示装置２０２に表示されることがあり得る。手ぶれ補正によれば、医用画像に映る被写体のぶれを抑制し、ユーザが見やすい医用画像を表示することができる。
なお、手ぶれ補正としての医用画像の変形は、例えば、アフィン変換によって行うことができる。
図４は、CCU２０１で医用画像に対して行われる手ぶれ補正を含む画像処理の例の概要を説明するフローチャートである。
ステップＳ１１において、GPU３０５iは、内視鏡１００で撮影された医用画像の現像処理を行い、処理は、ステップＳ１２に進む。
ステップＳ１２では、GPU３０５iは、現像処理後の医用画像の検波処理を行い、処理は、ステップＳ１３及びＳ１４に進む。ここで、医用画像の検波処理では、医用画像の１以上の画素ごとの動き量その他の特徴量が検出される。検波処理の結果（検波結果）としての動き量等は、GPU３０５iからPCIスイッチ３０２を介して、CPU３０３に供給される。
ステップＳ１３では、GPU３０５iは、検波処理後の医用画像に対して、ノイズリダクション等の高画質化処理を行う。
ステップＳ１４では、CPU３０３は、GPU３０５iからの検波結果に応じて、医用画像全体（全画面）の動きを推定し、その動きに応じて、手ぶれ補正としての医用画像の変形を行う変形パラメータを生成するパラメータ生成処理を行う。パラメータ生成処理では、例えば、手ぶれ補正としてのアフィン変換を行う行列の要素が、変形パラメータとして生成される。CPU３０３は、変形パラメータを、PCIスイッチ３０２を介して、GPU３０５iに供給する。
なお、ここでは、ステップＳ１４のパラメータ生成処理を、CPU３０３が行うこととしたが、パラメータ生成処理は、CPU３０３ではなく、GPU３０５iで行うことができる。
ステップＳ１３及びＳ１４の後、処理は、ステップＳ１５に進み、GPU３０５iは、CPU３０３から供給される変形パラメータに従って、高画質化処理後の医用画像を変形する変形処理を行うことで、手ぶれ補正を行う。
手ぶれ補正後の医用画像は、カメラ入出力I/F３０１から表示装置２０２に供給されて表示される。
なお、ステップＳ１２の検波処理は、ステップＳ１１の現像処理の直前や、ステップＳ１３の高画質化処理の直後等の、ステップＳ１４の変形処理の前の任意のタイミングで行うことができる。また、ステップＳ１３の高画質化処理は、ステップＳ１５の変形処理の後に行うことができる。
ところで、図２では、CCU２０１は、複数としての3個のGPU３０５1ないし３０５3を有するので、その3個のGPU３０５1ないし３０５3を用いて、医用画像の画像処理を、並列（分散）処理で行うことができる。医用画像の画像処理を、並列処理で行うことで、医用画像の撮影から表示までを低レイテンシで行うことができる。
例えば、単純には、医用画像を、GPU３０５1ないし３０５3の数と同一の3個の水平方向に並ぶ領域に等分に分割し、1個の領域（の画像）の画像処理を、1個のGPU３０５iが担当することで、大まかには、1個のGPUで、分割しない医用画像全体の画像処理を担当する場合に比較して、画像処理に要する時間を1/3に削減することができる。
しかしながら、医用画像に、手ぶれ補正としての変形（処理）のように、画像処理の開始時に、必要な医用画像の領域（範囲）が未知の画像処理を施す場合には、並列処理の効率が著しく劣化することがある。
図５は、画像処理の開始時に、必要な医用画像の領域が未知の画像処理を施す場合に並列処理の効率が著しく劣化することを説明する図である。
ここで、以下では、医用画像に施す画像処理として、例えば、手ぶれ補正を含む画像処理を採用することとする。また、画像処理は、医用画像の、例えば、1ピクチャ（フレーム）を、処理対象の処理対象画像として行うこととする。さらに、以下では、GPU３０５1，３０５2，３０５3を、それぞれ、GPU#1, GPU#2, GPU#3とも記載する。
なお、医用画像に施す画像処理は、手ぶれ補正を含む画像処理に限定されるものではない。
いま、例えば、図５に示すように、処理対象画像としての1ピクチャの医用画像を、並列処理を行うGPU#1ないし#3の数と同一の3個の水平方向に並ぶ3個の領域A1, A2, A3に等分に分割し、GPU#iが、手ぶれ補正後の処理対象画像の領域A#iを、担当領域A#iとして、その担当領域A#iの画像Q#iの出力を担当することとする（ここでは、i=1,2,3）。
ここで、GPU#iにおいて、手ぶれ補正として、変形量がゼロでない変形が行われる場合、手ぶれ補正前の処理対象画像の担当領域A#iの画像P#iと、手ぶれ補正後の処理対象画像の担当領域A#iの画像Q#iとは、一致しない。
GPU#iは、担当領域A#iの画像Q#iの出力するために、変形パラメータに従って、手ぶれ補正前の処理対象画像を変形することで、手ぶれ補正後の処理対象画像の担当領域A#iの画像Q#iを生成する。
担当領域A#iの画像Q#iの生成にあたり、手ぶれ補正前の処理対象画像において、変形パラメータに従った変形の対象となる対象領域は、変形パラメータに従って変形したときに、担当領域A#iとなる領域であり、変形パラメータが求められる（生成される）までは、未知である。
上述の図４では、変形パラメータの生成が、現像処理及び検波処理の後、高画質化処理と並列して行われるため、最悪の場合、変形パラメータは、現像処理、検波処理、及び、高画質化処理の後に求められる。
したがって、変形パラメータ、ひいては、変形パラメータに従った変形の対象となる対象領域は、現像処理、検波処理、及び、高画質化処理が終了するまでは、未知である。
一方、GPU#iは、メモリを内蔵し、画像を、内蔵するメモリに適宜記憶させて、画像処理を行うが、GPU#1ないし#3が内蔵するメモリそれぞれは、独立しており、GPU#1ないし#3の間で、（直接的な）データのやりとりは行われない。
したがって、各GPU#iは、手ぶれ補正前の処理対象画像のうちの、変形パラメータに従った変形の対象となる対象領域の画像は、内蔵するメモリに記憶しておく必要がある。
対象領域は、現像処理、検波処理、及び、高画質化処理が終了するまでは、未知であるため、各GPU#iは、手ぶれ補正前の処理対象画像の、どの領域が対象領域になっても対処することができるように、手ぶれ補正前の処理対象画像の全体を、内蔵するメモリに記憶しておく必要がある。
したがって、図５に示すように、GPU#1ないし#3は、それぞれ、別個独立に、処理対象画像の全領域Aの画像Pの現像処理及び高画質化処理を少なくとも担当する必要がある（処理対象画像の全領域Aの画像Pの検波処理は、GPU#1ないし#3のうちのいずれか１つが行えばよい）。
その結果、GPU#1ないし#3iのそれぞれが、同一の処理対象画像に対する現像処理及び高画質化処理を行うこととなり、並列処理の効率が著しく劣化する。
変形パラメータに従った変形の最大量が制限されること等によって既知である場合も、各GPU#iは、手ぶれ補正前の処理対象画像のうちの、ゼロから既知の最大量までの変形に必要な領域の画像を、内蔵するメモリに記憶し、現像処理及び高画質化処理を行う必要がある。したがって、やはり、並列処理の効率が著しく劣化する。
手ぶれ補正としての変形等のように、画像処理の開始時に、必要な処理対象画像の領域が未知の画像処理を施す場合に、上述のように、並列処理の効率が著しく劣化することを抑制する方法としては、並列処理を行う各GPU#iに対して処理対象画像の必要な部分を分配するとともに、各GPU#iの画像処理後の処理対象画像（の担当領域A#iの画像）を集約する分配集約を行う方法がある。
＜分配集約＞
図６は、処理対象画像に、図４で説明した手ぶれ補正を含む画像処理が施される場合の分配集約の例を説明する図である。
ここで、以下では、説明を簡単にするため、例えば、図５で説明したように、処理対象画像を、並列処理を行うGPU#1ないし#3の数と同一の3個の水平方向に並ぶ3個の領域A1, A2, A3に等分に分割し、GPU#iが、手ぶれ補正後の処理対象画像の領域A#iを、担当領域A#iとして、その担当領域A#iの画像Q#iの出力を担当することとする。
なお、担当領域A1, A2, A3は、処理対象画像を等分に分割した同一のサイズの領域に限定されるものではない。すなわち、担当領域A1, A2, A3としては、例えば、異なるサイズの領域を採用することができる。また、担当領域A1, A2, A3としては、例えば、一部がオーバーラップする領域を採用することができる。
処理対象画像の領域A#iの画像P#iは、その領域A#iを担当するGPU#iに分配される。GPU#iは、画像が分配される領域A#iを担当領域A#iとして、その担当領域A#iの画像P#iに、第１の画像処理として、現像処理、検波処理、及び、高画質化処理を施す。
また、各GPU#iは、担当領域A#iの画像P#iに対する検波処理の検波結果を、CPU３０３に供給し、CPU３０３は、各GPU#iからの検波結果を用いて、変形パラメータを生成し、各GPU#iに供給する。
各GPU#iの第１の画像処理後の担当領域A#iの画像は、処理対象画像の全領域Aの画像Pとして集約され、その集約後の全領域Aの画像Pが、各GPU#iに分配される。
各GPU#iは、CPU３０３からの変形パラメータに基づき、第１の画像処理後に集約された処理対象画像の全領域Aの画像Pのうちの、担当領域A#iの手ぶれ補正後の画像Q#iを生成するのに必要な領域の画像を、変形の対象領域の画像として特定する、さらに、各GPU#iは、対象領域の画像を、CPU３０３から供給される変形パラメータに従って変形する変形処理を、第２の画像処理として行うことで、担当領域A#iについてだけ、手ぶれ補正後の画像Q#iを求める。
各GPU#iの第２の画像処理後の担当領域A#iの画像Q#iは、処理対象画像の全領域Aの画像として集約され、その集約後の全領域Aの画像が、手ぶれ補正後の変形画像として、CCU２０１から、表示装置２０２に出力される。
以上のように、分配集約を行う場合には、GPU#iは、担当領域A#iの画像P#iを対象に、第１の画像処理としての現像処理、検波処理、及び、高画質化処理を行うとともに、担当領域A#iの手ぶれ補正後の画像Q#iを生成するのに必要な領域の画像を、変形の対象領域の画像として、第２の画像処理としての変形処理を行えばよいので、図５で説明したような、GPU#1ないし#3の並列処理の効率の著しい劣化を抑制することができる。
なお、図２のCCU２０１の第１の構成例では、図６で説明した分配集約は、CPU３０３が行う。
＜分配集約を、CPU３０３が行う場合のCCU２０１の処理＞
図７は、分配集約を、CPU３０３が行う場合の、図２のCCU２０１の第１の構成例の処理の例を説明するフローチャートである。
なお、図７では、図２で説明したように、第１の画像処理としての現像処理、検波処理、及び、高画質化処理が行われるとともに、第２の画像処理としての変形処理が行われることとする。
内視鏡１００で撮影された医用画像は、カメラ入出力I/F３０１に供給され、カメラ入出力I/F３０１は、内視鏡１００からの医用画像を、PCIスイッチ３０２に出力する。
ステップＳ２１において、CPU３０３は、カメラ入出力I/F３０１が出力する医用画像を、PCIスイッチ３０２及びCPU３０３を介して、メモリ３０４に転送して記憶させ、メモリ３０４に記憶された医用画像の１ピクチャを、処理対象画像に設定する。
ステップＳ２２において、CPU３０３は、メモリ３０４に記憶された処理対象画像のうちの、各GPU#iが担当する担当領域A#iの画像(P#i)を、メモリ３０４から、CPU３０３及びPCIスイッチ３０２を介して、各GPU#iに転送することで、担当領域A#i（の画像）を、GPU#iに分配する。
ステップＳ２３では、GPU#iは、担当領域A#iの画像を対象に、第１の画像処理としての現像処理、検波処理、及び、高画質化処理を行い、その第１の画像処理後の担当領域A#iの画像を、PCIスイッチ３０２に出力する。さらに、GPU#iは、検波処理の検波結果を、PCIスイッチ３０２を介して、CPU３０３に供給する。CPU３０３は、各GPU#iからの検波結果に応じて、手ぶれ補正としての変形に用いる変形パラメータを生成し、PCIスイッチ３０２を介して、GPU#iに供給する。
ステップＳ２４において、CPU３０３は、各GPU#iが出力する第１の画像処理後の担当領域A#iの画像を、PCIスイッチ３０２、及び、CPU３０３を介して、メモリ３０４に転送して記憶させることで、各GPU#iの第１の画像処理後の担当領域A#iの画像を、処理対象画像の全領域Aの画像として集約する。
ステップＳ２５において、CPU３０３は、メモリ３０４に記憶された集約後の処理対象画像の全領域Aの画像を、CPU３０３及びPCIスイッチ３０２を介して、各GPU#iに転送することで、全領域Aの画像を、各GPU#iに分配する。
ステップＳ２６において、各GPU#iは、CPU３０３から分配された処理対象画像の全領域Aの画像(P)のうちの、変形処理後に担当領域A#iの画像となる部分を、変形の対象領域の画像に設定する。さらに、各GPU#iは、対象領域の画像を、CPU３０３からの変形パラメータに従って変形する変形処理を、第２の画像処理として行うことで、担当領域A#iについてだけ、手ぶれ補正後の画像Q#iを求め、PCIスイッチ３０２に出力する。
ステップＳ２７において、CPU３０３は、各GPU#iが出力する担当領域A#iの手ぶれ補正後の画像(Q#i)を、PCIスイッチ３０２、及び、CPU３０３を介して、メモリ３０４に転送して記憶させることで、各GPU#iの担当領域A#iの手ぶれ補正後の画像を、手ぶれ補正後の処理対象画像の全領域Aの画像として集約する。
ステップＳ２８において、CPU３０３は、メモリ３０４に記憶された手ぶれ補正後の処理対象画像の全領域Aの画像を、メモリ３０４から、CPU３０３及びPCIスイッチ３０２を介して、カメラ入出力I/F３０１に転送する。
カメラ入出力I/F３０１に転送された手ぶれ補正後の処理対象画像は、カメラ入出力I/F３０１から、表示装置２０２に供給される。
ところで、図２のCCU２０１の第１の構成例において、分配集約を行う場合には、CPU３０３が、分配や集約の対象となる画像を、CPU３０３が管理するメモリ３０４に転送して記憶させる。
したがって、GPU#iの処理を高速化しても、分配や集約の対象となる画像のメモリ３０４に対する転送（メモリ３０４への転送、及び、メモリ３０４からの転送）に要する時間が、医用画像の撮影から表示までのレイテンシとして、少なくとも生じる。
そこで、以下、医用画像の撮影から表示までを、より低レイテンシで行うことができるCCU２０１について説明する。
＜CCU２０１の第２の構成例＞
図８は、図１のCCU２０１の第２の構成例を示すブロック図である。
図８において、CCU２０１は、図２の場合と同様に、PCアーキテクチャをベースに構成され、カメラ入出力I/F３１１、分配集約部３１２、CPU３１３、及び、メモリ３１４、並びに、複数である、例えば、3個のGPU３１５1，３１５2、及び、３１５3を有する。
カメラ入出力I/F３１１は、図１のカメラヘッド１０２や表示装置２０２との間で、医用画像をやりとりするためのI/Fであり、カメラヘッド１０２から供給される、内視鏡１００で撮影された医用画像（の画像データ）を、分配集約部３１２に供給するとともに、分配集約部３１２から供給される医用画像を、表示装置２０２に供給する。
分配集約部３１２は、カメラ入出力I/F３１１、CPU３１３、及び、GPU３１５1ないし３１５3とバスを介して接続されている。分配集約部３１２は、例えば、PCIの転送速度等の所定の転送速度より高速でのデータ転送が可能な高速バスI/Fの１つである、例えば、PCIe(PCI Express)の規格に従って、カメラ入出力I/F３１１、CPU３１３、及び、GPU３１５iの間での医用画像その他のデータのやりとりを中継する。
したがって、カメラ入出力I/F３１１、分配集約部３１２、CPU３１３、及び、GPU３１５1ないし３１５3は、バスに接続するためのバスI/Fとして、PCIeのI/Fを内蔵する。カメラ入出力I/F３１１、CPU３１３、及び、GPU３１５iは、バスI/Fとして、高速なPCIeのI/Fを内蔵する点で、バスI/Fとして、PCIのI/Fを内蔵する図２のカメラ入出力I/F３０１、CPU３０３、及び、GPU３０５iとそれぞれ相違する。
以上のように、図８では、PCIよりも高速なPCIeのバスI/Fが採用されるので、その高速な分だけ、より低レイテンシを実現することができる。
また、分配集約部３１２は、CPU３１３が管理するメモリ３１４を介さずに、画像の分配集約を行う。すなわち、分配集約部３１２は、メモリ３１４を介さずに、GPU３１５1ないし３１５3それぞれが出力する医用画像を集約するとともに、GPU３１５1ないし３１５3それぞれに対して、医用画像を分配する。
さらに、分配集約部３１２は、メモリ３１４を介さずに、GPU３１５1ないし３１５3それぞれに対して、カメラ入出力I/F３１１が出力する医用画像を分配するとともに、集約後の医用画像を、カメラ入出力I/F３１１に供給する。
以上のように、図８では、図２のように、CPU３１３（３０３）が分配集約を行うのではなく、CPU３１３とは別個の分配集約部３１２が、分配集約を行う。
CPU３１３は、所定のプログラムに従って、CCU２０１の全体を制御する。例えば、CPU３１３は、分配集約部３１２の分配集約を制御する。CPU３１３が実行するプログラムは、あらかじめメモリ３１４にインストールすることや、図示せぬ記録媒体から、メモリ３１４にインストールすること、サイトからダウンロードして、メモリ３１４にインストールすること等が可能である。
メモリ３１４は、CPU３１３の管理の下、必要なデータを記憶する。なお、図８では、メモリ３１４に対しては、医用画像の読み書きは行われない。したがって、メモリ３１４については、図２のメモリ３０４のように、医用画像の撮影から表示までを低レイテンシで行う観点から、高速なメモリを採用する必要はない。すなわち、メモリ３１４としては、例えば、図２のメモリ３０４より低速なメモリを採用することができる。
GPU３１５iは（図８では、ｉ＝１，２，３）、分配集約部３１２から供給される医用画像の画像処理を行う画像処理部の一例であり、画像処理後の医用画像を、分配集約部３１２に供給する。
ここで、図８では、CCU２０１に、3個のGPU３１５1ないし３１５3が設けられているが、GPUの数は、3個に限定されるものではない。すなわち、CCU２０１には、2個、又は、4個以上の複数の数のGPUを設けることができる。
以上のように構成されるCCU２０１では、カメラ入出力I/F３１１が、カメラヘッド１０２から供給される医用画像を、分配集約部３１２に出力する。分配集約部３１２は、カメラ入出力I/F３１１が出力する医用画像を、GPU３１５iに分配する。
GPU３１５iは、分配集約部３１２から分配された医用画像の画像処理を行い、その結果得られる医用画像を、分配集約部３１２に出力する。
分配集約部３１２は、GPU３１５iが出力する医用画像を集約し、その集約後の画像を、カメラ入出力I/F３１１に出力するか、GPU３１５iに分配する。
分配集約部３１２が、集約後の画像を、GPU３１５iに分配する場合には、その分配と、GPU３１５iが出力する画像処理後の医用画像の集約とが必要に応じて繰り返される。
そして、GPU３１５iにおいて必要な画像処理がすべて行われ、その画像処理後の医用画像が、GPU３１５iから分配集約部３１２に出力されると、分配集約部３１２は、GPU３１５iが出力する医用画像を集約し、その集約後の画像を、カメラ入出力I/F３１１に出力する。
カメラ入出力I/F３１１は、分配集約部３１２が出力する集約後の医療画像を、表示装置２０２に供給する。
＜分配集約部３１２の構成例＞
図９は、図８の分配集約部３１２の構成例を示すブロック図である。
図９において、分配集約部３１２は、PCIe I/F３２１、集約部３２２、分配部３２３、及び、制御部３２４を有し、例えば、FPGA(Field-Programmable Gate Array)で構成される。
PCIe I/F３２１は、PCIeの規格に従い、カメラ入出力I/F３１１やGPU３１５iとの間で、医用画像その他のデータのやりとりを行う。そして、PCIe I/F３２１は、カメラ入出力I/F３１１が出力する医用画像を、分配部３２３に供給するとともに、集約部３２２が出力する医用画像を、カメラ入出力I/F３１１に供給する。また、PCIe I/F３２１は、GPU３１５iが出力する医用画像を、集約部３２２に供給するとともに、分配部３２３が出力する医用画像を、GPU３１５iに供給する。
集約部３２２は、GPU３１５iから、PCIe I/F３２１を介して供給される医用画像を集約し、その集約後の医用画像を、分配部３２３に供給する。また、集約部３２２は、集約後の医用画像を、PCIe I/F３２１を介して、カメラ入出力I/F３１１に供給する。
分配部３２３は、カメラ入出力I/F３１１からPCIe I/F３２１を介して供給される医用画像や、集約部３２２から供給される集約後の医用画像を、PCIe I/F３２１を介して、GPU３１５iに分配する。
制御部３２４は、CPU３１３の制御に従い、集約部３２２の集約、及び、分配部３２３の分配を制御することにより、医用画像の画像処理のデータフローを制御する。
＜GPU３１５iの構成例＞
図１０は、図８のGPU３１５iの構成例を示すブロック図である。
図１０において、GPU３１５iは、PCIe I/F３３１、プロセッサ３３２、及び、メモリ３３３を有する。
PCIe I/F３３１は、PCIeの規格に従い、分配集約部３１２との間で、医用画像その他のデータのやりとりを行う。そして、PCIe I/F３３１は、分配集約部３１２が出力（分配）する医用画像を、プロセッサ３３２やメモリ３３３に供給するとともに、プロセンサ３３２で処理が行われた後の医用画像や、メモリ３３３に記憶された医用画像を、分配集約部３１２に出力する。
プロセッサ３３２は、所定の画像処理のプログラムを実行することで、所定の画像処理を行う。メモリ３３３は、プロセッサ３３２の動作上必要なデータを記憶する。
＜CCU２０１の処理＞
図１１は、図８のCCU２０１の第２の構成例の処理の例を説明するフローチャートである。
すなわち、図１１は、医用画像に対して、手ぶれ補正を含む画像処理が行われる場合の、図８のCCU２０１の第２の構成例の処理の例を示している。
ここで、上述したように、医用画像に施す画像処理は、手ぶれ補正を含む画像処理に限定されるものではない。
また、以下では、GPU３１５1，３１５2，３１５3を、それぞれ、GPU#1, GPU#2, GPU#3とも記載する。
さらに、以下でも、図５で説明したように、処理対象画像としての1ピクチャの医用画像を、並列処理を行うGPU#1ないし#3の数と同一の3個の水平方向に並ぶ3個の領域A1, A2, A3に等分に分割し、GPU#iが、手ぶれ補正後の処理対象画像の領域A#iを、担当領域A#iとして、その担当領域A#iの画像Q#iの出力を担当することとする。
なお、図６で説明したように、担当領域A1, A2, A3は、処理対象画像を等分に分割した同一のサイズの領域に限定されるものではない。すなわち、担当領域A1, A2, A3としては、例えば、異なるサイズの領域や、一部がオーバーラップする領域を採用することができる。
内視鏡１００で撮影された医用画像は、カメラ入出力I/F３１１に供給され、カメラ入出力I/F３１１は、内視鏡１００からの医用画像を、分配集約部３１２に出力する。
ステップＳ４１において、分配集約部４１は、カメラ入出力I/F３１１が出力する医用画像の1ピクチャを、処理対象画像に設定する。さらに、分配集約部３１２は、処理対象画像のうちの、各GPU#iが担当する担当領域A#iの画像(P#i)を、各GPU#iに分配する。
ステップＳ４２において、GPU#iは、担当領域A#iの画像を対象に、第１の画像処理としての現像処理、検波処理、及び、高画質化処理を行い、その第１の画像処理後の担当領域A#iの画像を、分配集約部３１２に出力する。さらに、GPU#iは、担当領域A#iの画像に対する検波処理の検波結果を、分配集約部３１２を介して、CPU３１３に供給する。CPU３１３は、各GPU#iからの検波結果に応じて、手ぶれ補正としての変形に用いる変形パラメータを生成し、分配集約部３１２を介して、GPU#iに供給する。
ステップＳ４３において、分配集約部３１２は、各GPU#iが出力する第１の画像処理後の担当領域A#iの画像を、処理対象画像の全領域Aの画像として集約する。さらに、分配集約部３１２は、集約後の処理対象画像の全領域Aの画像を、各GPU#iに分配する。
ステップＳ４４において、各GPU#iは、分配集約部３１２から分配された処理対象画像の全領域Aの画像(P)のうちの、変形処理後に担当領域A#iの画像となる部分を、変形の対象領域の画像に設定する。さらに、各GPU#iは、対象領域の画像を、CPU３１３からの変形パラメータに従って変形する変形処理を、第２の画像処理として行うことで、担当領域A#iについてだけ、手ぶれ補正後の画像Q#iを求め、分配集約部３１２に出力する。
ステップＳ４５において、分配集約部３１２は、各GPU#iが出力する担当領域A#iの手ぶれ補正後の画像(Q#i)を、手ぶれ補正後の処理対象画像の全領域Aの画像として集約する。そして、分配集約部３１２は、集約後の画像、すなわち、手ぶれ補正後の処理対象画像の全領域Aの画像を、カメラ入出力I/F３１１に転送する。
分配集約部３１２がカメラ入出力I/F３１１に転送した手ぶれ補正後の処理対象画像は、カメラ入出力I/F３１１から、表示装置２０２に供給される。
以上のように、図８のCCU２０１の第２の構成例では、分配集約部３１２が、CPU３１３が管理するメモリ３１４を介さずに、分配集約を行うので、メモリ３１４（３０４）に対する転送時間をなくし、医用画像の撮影から表示までを、より低レイテンシで行うことができる。
＜処理のタイミング＞
図１２は、図２のCCU２０１の第１の構成例と、図８のCCU２０１の第２の構成例との処理のタイミングの例を説明する図である。
ここで、CCU２０１の第１及び第２の構成例では、図７及び図１１のフローチャートで説明した１ステップが、所定の単位時間で行われることとする。
また、医用画像のフレームには、初期値を０とする昇順の整数が、フレーム番号として付与されていることとする。
図１２は、図７及び図１１のフローチャートの各ステップと、そのステップで処理が行われる処理対象画像となっている医用画像のフレーム番号との関係を示している。
図１２に示すように、CCU２０１の第１の構成例では、フレーム番号がfのフレーム(f=0,1,2,…)について、ステップＳ２１の処理が開始されてから、ステップＳ２８の処理が終了するまでの時間が、８単位時間であるのに対して、CCU２０１の第２の構成例では、フレーム番号がfのフレームについて、ステップＳ４１の処理が開始されてから、ステップＳ４５の処理が終了するまでの時間が、メモリ３１４（３０４）に対する転送がない分だけ短く、５単位時間になっている。
したがって、CCU２０１の第２の構成例では、CCU２０１の第１の構成例よりも、３（＝８－５）単位時間だけ短い低レイテンシを実現することができる。
＜データフローの制御＞
図１３は、図８のCCU２０１の第２の構成例で処理が行われる場合のデータフローの第１の例を示す図である。
すなわち、図１３は、CCU２０１の第２の構成例で、図１１のフローチャートにしたがった処理が行われる場合のデータフローを示している。
図１３のデータフローの第１の例では、カメラ入出力I/F３１１が出力する処理対象画像が、3個のGPU#1ないし#3それぞれに分配され、GPU#1ないし#3それぞれにおいて、分配された処理対象画像に画像処理が施される。そして、その画像処理後の処理対象画像は、GPU#1ないし#3それぞれから分配集約部３１２に出力される。
分配集約部３１２では、GPU#1ないし#3それぞれが出力する画像処理後の処理対象画像が集約され、その集約後の処理対象画像が、GPU#1ないし#3それぞれに分配される。GPU#1ないし#3それぞれでは、分配された処理対象画像に画像処理が施され、その画像処理後の処理対象画像が、分配集約部３１２に出力される。
分配集約部３１２では、GPU#1ないし#3それぞれが出力する画像処理後の処理対象画像が集約され、その集約後の処理対象画像が、カメラ入出力I/F３１１に出力される。
図１３のデータフローの第１の例では、分配及び集約が２回ずつ行われるが、分配及び集約の数は、２回に限定されるものではなく、１回や３回以上の回数であってもよい。
また、図１３のデータフローの第１の例では、１回目の分配、及び、２回目の分配のいずれの分配でも、処理対象画像が、3個のGPU#1ないし#3のGPUのすべてに分配されるが、分配先のGPUとしては、3個のGPU#1ないし#3のうちの1個以上の任意のGPUを採用することができる。さらに、１回目の分配と、２回目の分配とでは、分配先のGPUとして、異なるGPUを採用することができる。
図１４は、図８のCCU２０１の第２の構成例で処理が行われる場合のデータフローの第２の例を示す図である。
図１４のデータフローの第２の例では、図１４のデータフローの第１の例の場合と同様に、分配及び集約が２回ずつ行われる。
但し、図１４では、１回目の分配については、分配先が、3個のGPU#1ないし#3のGPUのうちの、2個のGPU#1及び#2になっており、２回目の分配については、分配先が、3個のGPU#1ないし#3になっている。したがって、１回目の集約は、2個のGPU#1及び#2の出力を対象に行われ、２回目の集約は、3個のGPU#1ないし#3の出力を対象に行われる。
図１５は、図８のCCU２０１の第２の構成例で処理が行われる場合のデータフローの第３の例を示す図である。
図１５のデータフローの第３の例では、分配及び集約が３回ずつ行われる。１回目ないし３回目の1個の分配先は、GPU#1ないしGPU#3に、それぞれなっており、１回目ないし３回目の集約は、GPU#1ないしGPU#3の出力を、それぞれ対象に行われる。図１５では、集約が、1個のGPU#iの出力を対象として行われるため、集約後の画像は、集約の対象の1個のGPU#iの出力に等しく、集約では、例えば、集約の対象の1個のGPU#iの出力が、そのまま集約後の画像とされる。
分配集約部３１２（図９）において、制御部３２４は、CPU３１３の制御に従い、分配部３２３による分配の分配先となるGPUや、集約部３２２による集約の対象となるGPU（の出力）、集約部３２２による集約及び分配部３２３による分配の回数を制御し、これにより、CCU２０１で行われる医用画像の画像処理について、データフローを動的に変化させ、図１３ないし図１５に示したデータフローや、その他のデータフローを、容易に実現することができる。
＜処理対象画像＞
図１６は、CCU２０１が処理対象とする処理対象画像の例を示す図である。
CCU２０１では、図１６に示すように、例えば、1ピクチャの医用画像の全体を、処理対象画像とすることができる。
また、CCU２０１では、図１６に示すように、例えば、1ピクチャの医用画像を、上下に2分割して得られる画像P11及びP12それぞれを、処理対象画像とすることができる。
さらに、CCU２０１では、図１６に示すように、例えば、1ピクチャの医用画像を、上下に4分割して得られる画像P21, P22, P23, P24それぞれを、処理対象画像とすることができる。
その他、CCU２０１では、1ピクチャの医用画像を、上下に任意の数に分割して得られる画像それぞれを、処理対象画像とすることができる。
そして、CCU２０１では、処理対象画像を、最大で、GPU#1ないし#3の数と同一の3個の水平方向に並ぶ領域に分割し、GPU#1ないし#3において、各領域の画像処理を、並列処理で行うことができる。
＜分配集約部３１２の他の構成例＞
図１７は、図８の分配集約部３１２の他の構成例を示すブロック図である。
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１７の分配集約部３１２は、PCIe I/F３２１、集約部３２２、分配部３２３、制御部３２４、及び、HW(Hardware)信号処理部３４１を有し、例えば、FPGAで構成される。
したがって、図１７の分配集約部３１２は、PCIe I/F３２１ないし制御部３２４を有する点で、図９の場合と共通する。但し、図１７の分配集約部３１２は、HW信号処理部３４１が新たに設けられている点で、図９の場合と相違する。
HW信号処理部３４１は、集約部３２２が出力する処理対象画像（医用画像）に、所定の信号処理を施し、その所定の信号処理後の処理対象画像を、分配部３４１に出力する。
したがって、図１７では、分配部３４１は、HW信号処理部３４１が出力する処理対象画像の分配を行う。
HW信号処理部３４１が行う所定の信号処理としては、任意の信号処理を採用することができる。例えば、GPU#iが行う画像処理の一部を、HW信号処理部３４１が行う所定の信号処理として採用することができる。
分配集約部３１２に、HW信号処理部３４１を設け、そのHW信号処理部３４１に、CCU２０１で行うべき画像処理の一部を担当させることにより、CCU２０１で行うべき画像処理のアクセラレーションを実現し、さらなる低レイテンシを実現することができる。
なお、HW信号処理部３４１は、必要に応じて、集約部３２２が出力する処理対象画像に、特に、信号処理を施さずに、その処理対象画像を、そのまま、分配部３４１に出力することができる。HW信号処理部３４１で信号処理を行うかどうかは、制御部３２４（図１７）によって制御することができ、その制御により、CCU２０１で行われる画像処理のデータフローを制御することができる。
また、HW信号処理部３４１では、分配部３２３が出力する処理対象画像に信号処理を施し、その信号処理後の処理対象画像を、GPU#iに供給することができる。
＜CCU２０１の第３の構成例＞
図１８は、図１のCCU２０１の第３の構成例を示すブロック図である。
なお、図中、図８の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１８において、CCU２０１は、図８の場合と同様に、PCアーキテクチャをベースに構成され、カメラ入出力I/F３１１、分配集約部３１２、CPU３１３、メモリ３１４、GPU３１５1，３１５2、及び、３１５3、並びに、複数である、例えば、2個のHW信号処理部３５１1及び３５１2を有する。
したがって、図１８のCCU２０１は、カメラ入出力I/F３１１ないしGPU３１５3を有する点で、図８の場合と共通する。但し、図１８のCCU２０１は、HW信号処理部３５１1及び３５１2が新たに設けられている点で、図８の場合と相違する。
図１８では、分配集約部３１２は、集約後の処理対象画像を、HW信号処理部３５１jにも、必要に応じて供給する。
HW信号処理部３５１jは（図１８では、ｊ＝１，２）、分配集約部３１２から供給される処理対象画像としての医用画像に所定の信号処理を施し、その所定の信号処理後の処理対象画像を、分配集約部３１２に供給する。したがって、HW信号処理部３５１jは、処理対象画像の集約後、その集約後の処理対象画像の分配の前に、集約後の処理対象画像に、所定の信号処理を施す。
HW信号処理部３５１jは、例えば、FPGAその他の特定の信号処理を行う専用のハードウエアで構成し、所定の信号処理を高速で行わせることができる。この場合、CCU２０１で行うべき画像処理のアクセラレーションを実現し、より低レイテンシを実現することができる。
ここで、図１８では、CCU２０１に、2個のHW信号処理部３５１1及び３５１2が設けられているが、HW信号処理部３５１jの数は、2個に限定されるものではない。すなわち、CCU２０１には、1個、2個、又は、4個以上の任意の数のHW信号処理部３５１jを設けることができる。
また、HW信号処理部３５１jが行う所定の信号処理としては、任意の信号処理を採用することができる。例えば、GPU#iが行う画像処理の一部を、HW信号処理部３５１jが行う所定の信号処理として採用することができる。
さらに、分配集約部３１２では、制御部３２４（図９、図１７）の制御に従い、HW信号処理部３５１jに対して、集約後の処理対象画像を出力することや、処理対象画像の分配により、処理対象画像の一部を出力することができる。
例えば、分配集約部３１２（図１７）において、HW信号処理部３５１jに、集約部３２２での集約後の処理対象画像を出力し、HW信号処理部３５１jが出力する信号処理後の処理対象画像を、分配部３２３でのGPU#iへの分配の対象とすることにより、HW信号処理部３５１jは、図１７のHW信号処理部３４１と同様に、処理対象画像の集約後、その集約後の処理対象画像の分配の前に、集約後の処理対象画像に、所定の信号処理を施すことになる。
分配集約部３１２において、HW信号処理部３５１jへの処理対象画像の出力（供給）は、制御部３２４（図９、図１７）によって制御することができ、その制御により、CCU２０１で行われる画像処理のデータフローを制御することができる。
なお、本技術は、内視鏡手術システムの他、電子顕微鏡その他の、医用画像を処理する任意の装置に適用することができる。また、本技術は、医用画像を処理する装置の他、任意の画像を処理する装置に適用することができる。
＜本技術を適用し得るコンピュータの説明＞
図１９は、本技術を適用し得るコンピュータの一実施の形態の構成例を示すブロック図である。
コンピュータは、CPU４０２を内蔵しており、CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されている。
CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、入力部４０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、CPU４０２は、ハードディスク４０５に格納されたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。
これにより、CPU４０２は、所定の処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
なお、入力部４０７は、キーボードや、マウス、マイク等で構成される。また、出力部４０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
また、CPU４０２が実行するプログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やROM４０３に予め記録しておくことができる。
さらに、プログラムは、リムーバブル記録媒体４１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
また、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク４０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
図１９のコンピュータには、カメラ入出力I/F３１１、分配集約部３１２、及び、GPU３１５i、並びに、必要なHW信号処理部３５１jを設け、CCU２０１として機能させることができる。
ここで、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
＜１＞
医用画像の画像処理を行う複数の画像処理部と、
CPU(Central Processing Unit)が管理するメモリを介さずに、前記複数の画像処理部それぞれが出力する前記医用画像を集約するとともに、前記複数の画像処理部それぞれに対して、前記医用画像を分配する分配集約部と
を備える医用画像処理装置。
＜２＞
前記分配集約部は、さらに、前記複数の画像処理部それぞれに対して、前記医用画像の入出力I/F(Interface)が出力する前記医用画像を分配するとともに、集約後の前記医用画像を、前記入出力I/Fに供給する
＜１＞に記載の医用画像処理装置。
＜３＞
前記分配集約部による前記医用画像の分配及び集約を制御することにより、前記医用画像の画像処理のデータフローを制御する制御部をさらに備える
＜１＞又は＜２＞に記載の医用画像処理装置。
＜４＞
前記医用画像の集約後、前記医用画像の分配の前に、前記医用画像に、所定の信号処理を施す信号処理部をさらに備える
＜１＞ないし＜３＞のいずれかに記載の医用画像処理装置。
＜５＞
前記分配集約部は、
前記医用画像の集約を行う集約部と、
前記集約部が出力する前記医用画像に、所定の信号処理を施す前記信号処理部と、
前記信号処理部が出力する前記医用画像を分配する分配部と
を有する
＜４＞に記載の医用画像処理装置。
＜６＞
前記画像処理部は、GPU(Graphical Processing Unit)で構成される
＜１＞ないし＜５＞のいずれかに記載の医用画像処理装置。
＜７＞
前記分配集約部は、FPGA(Field-Programmable Gate Array)で構成される
＜１＞ないし＜６＞のいずれかに記載の医用画像処理装置。
＜８＞
前記画像処理部と前記分配集約部とは、所定の転送速度より高速でのデータ転送が可能なバスI/F(Interface)を介して接続される
＜１＞ないし＜７＞のいずれかに記載の医用画像処理装置。
＜９＞
前記バスI/Fは、PCIe(Peripheral Component Interconnect Express)のI/Fである
＜８＞に記載の医用画像処理装置。
＜１０＞
CPU(Central Processing Unit)が管理するメモリを介さずに、医用画像の画像処理を行う複数の画像処理部それぞれが出力する前記医用画像を集約するとともに、前記複数の画像処理部それぞれに対して、前記医用画像を分配する
ことを含む医用画像処理方法。
＜１１＞
医用画像を撮影する内視鏡と、
前記医用画像を処理する医用画像処理装置と
を備え、
前記医用画像処理装置は、
前記医用画像の画像処理を行う複数の画像処理部と、
CPU(Central Processing Unit)が管理するメモリを介さずに、前記複数の画像処理部それぞれが出力する前記医用画像を集約するとともに、前記複数の画像処理部それぞれに対して、前記医用画像を分配する分配集約部と
を有する
内視鏡システム。
１０ 内視鏡， １００ 内視鏡， １０１ 鏡筒， １０２ カメラヘッド， １１０ 術具， １１１ 気腹チューブ， １１２ エネルギ処置具， １２０ 支持アーム装置， １３１ 術者， １３２ 患者， １３３ 患者ベッド， ２００ カート， ２０１ CCU， ２０２ 表示装置， ２０３ 光源装置， ２０４ 入力装置， ２０５ 処置具制御装置， ２０６ 気腹装置， ２０７ レコーダ， ２０８ プリンタ， ３０１ カメラ入出力I/F， ３０２ PCIスイッチ， ３０３ CPU， ３０４ メモリ， ３０５1ないし３０５3 GPU， ３１１ カメラ入出力I/F， ３１２ 分配集約部， ３１３ CPU， ３１４ メモリ， ３１５1ないし３１５3 GPU， ３２１ PCIe I/F， ３２２ 集約部， ３２３ 分配部， ３２４ 制御部， ３３１ PCIe I/F， ３３２ プロセッサ， ３３３ メモリ， ３４１，３５１1，３５１2 HW信号処理部， ４０１ バス， ４０２ CPU， ４０３ ROM， ４０４ RAM， ４０５ ハードディスク， ４０６ 出力部， ４０７ 入力部， ４０８ 通信部， ４０９ ドライブ， ４１０ 入出力インタフェース， ４１１ リムーバブル記録媒体

Claims (8)

  1. 複数のGPU(Graphical Processing Unit)で構成され、医用画像の画像処理を行う複数の画像処理部と、
    FPGA(Field-Programmable Gate Array)で構成され、CPU(Central Processing Unit)が管理するメモリを介さずに、前記複数の画像処理部それぞれに対して、前記医用画像を分配するとともに、前記複数の画像処理部それぞれが出力する前記医用画像を集約する分配集約部と
    を備え、
    CPU（Central Processing Unit）で構成され、前記医用画像のデータフローを設定する制御部により前記複数の画像処理部および前記分配集約部が制御され、
    前記分配集約部は、前記医用画像のデータフローに従って、接続された医療機器から出力された前記医用画像を水平方向に並ぶ領域に分割し、前記分割した医用画像を前記複数の画像処理部のそれぞれに分配し、
    前記複数の画像処理部のうちの少なくとも１つの画像処理部は、前記医用画像のデータフローに従って、分配された前記医用画像に基づいて第１の画像処理として現像処理、検波処理および高画質化処理のうち少なくとも１つの画像処理を行い、
    前記分配集約部は、前記医用画像のデータフローに従って、前記複数の画像処理部それぞれが出力する前記第１の画像処理が行われた分割画像を集約して前記第１の画像処理後の医用画像を生成し、前記第１の画像処理後の医用画像を前記複数の画像処理部の少なくとも１つに送信し、
    前記第１の画像処理後の医用画像を受信した画像処理部は、前記医用画像のデータフローに従って、前記第１の画像処理後の医用画像と、前記複数の画像処理部または前記制御部により前記第１の画像処理の結果に基づき生成されたパラメータとに基づいて前記第１の画像処理後の医用画像全体を対象とした第２の画像処理を行う
    医用画像処理装置。
  2. 前記分配集約部は、さらに、前記複数の画像処理部それぞれに対して、前記医用画像の入出力I/F(Interface)が出力する前記医用画像を分配するとともに、集約後の前記医用画像を、前記入出力I/Fに供給する
    請求項１に記載の医用画像処理装置。
  3. 前記医用画像の集約後、前記医用画像の分配の前に、前記医用画像に、所定の信号処理を施す信号処理部をさらに備える
    請求項１または請求項２に記載の医用画像処理装置。
  4. 前記分配集約部は、
    前記医用画像の集約を行う集約部と、
    前記集約部が出力する前記医用画像に、所定の信号処理を施す前記信号処理部と、
    前記信号処理部が出力する前記医用画像を分配する分配部と
    を有する
    請求項３に記載の医用画像処理装置。
  5. 前記画像処理部と前記分配集約部とは、所定の転送速度より高速でのデータ転送が可能なバスI/F(Interface)を介して接続される
    請求項１乃至請求項４のいずれかに記載の医用画像処理装置。
  6. 前記バスI/Fは、PCIe(Peripheral Component Interconnect Express)のI/Fである
    請求項５に記載の医用画像処理装置。
  7. 複数のGPU(Graphical Processing Unit)で構成される複数の画像処理部と、FPGA(Field-Programmable Gate Array)で構成される分配集約部とを備える医用画像処理装置の作動方法であって、
    CPU（Central Processing Unit）で構成され、医用画像のデータフローを設定する制御部により前記複数の画像処理部および前記分配集約部が制御され、
    前記分配集約部が、CPU(Central Processing Unit)が管理するメモリを介さずに、前記医用画像の画像処理を行う前記複数の画像処理部それぞれに対して、前記医用画像を分配するとともに、前記複数の画像処理部それぞれが出力する前記医用画像を集約する
    ことを含み、
    前記分配集約部は、前記医用画像のデータフローに従って、接続された医療機器から出力された前記医用画像を水平方向に並ぶ領域に分割し、前記分割した医用画像を前記複数の画像処理部のそれぞれに分配し、
    前記複数の画像処理部のうちの少なくとも１つの画像処理部は、前記医用画像のデータフローに従って、分配された前記医用画像に基づいて第１の画像処理として現像処理、検波処理および高画質化処理のうち少なくとも１つの画像処理を行い、
    前記分配集約部は、前記医用画像のデータフローに従って、前記複数の画像処理部それぞれが出力する前記第１の画像処理が行われた分割画像を集約して前記第１の画像処理後の医用画像を生成し、前記第１の画像処理後の医用画像を前記複数の画像処理部の少なくとも１つに送信し、
    前記第１の画像処理後の医用画像を受信した画像処理部は、前記医用画像のデータフローに従って、前記第１の画像処理後の医用画像と、前記複数の画像処理部または前記制御部により前記第１の画像処理の結果に基づき生成されたパラメータとに基づいて前記第１の画像処理後の医用画像全体を対象とした第２の画像処理を行う
    医用画像処理装置の作動方法。
  8. 医用画像を撮影する内視鏡と、
    前記医用画像を処理する医用画像処理装置と
    を備え、
    前記医用画像処理装置は、
    複数のGPU(Graphical Processing Unit)で構成され、前記医用画像の画像処理を行う複数の画像処理部と、
    FPGA(Field-Programmable Gate Array)で構成され、CPU(Central Processing Unit)が管理するメモリを介さずに、前記複数の画像処理部それぞれに対して、前記医用画像を分配するとともに、前記複数の画像処理部それぞれが出力する前記医用画像を集約する分配集約部と
    を有し、
    CPU（Central Processing Unit）で構成され、前記医用画像のデータフローを設定する制御部により前記複数の画像処理部および前記分配集約部が制御され、
    前記分配集約部は、前記医用画像のデータフローに従って、接続された医療機器から出力された前記医用画像を水平方向に並ぶ領域に分割し、前記分割した医用画像を前記複数の画像処理部のそれぞれに分配し、
    前記複数の画像処理部のうちの少なくとも１つの画像処理部は、前記医用画像のデータフローに従って、分配された前記医用画像に基づいて第１の画像処理として現像処理、検波処理および高画質化処理のうち少なくとも１つの画像処理を行い、
    前記分配集約部は、前記医用画像のデータフローに従って、前記複数の画像処理部それぞれが出力する前記第１の画像処理が行われた分割画像を集約して前記第１の画像処理後の医用画像を生成し、前記第１の画像処理後の医用画像を前記複数の画像処理部の少なくとも１つに送信し、
    前記第１の画像処理後の医用画像を受信した画像処理部は、前記医用画像のデータフローに従って、前記第１の画像処理後の医用画像と、前記複数の画像処理部または前記制御部により前記第１の画像処理の結果に基づき生成されたパラメータとに基づいて前記第１の画像処理後の医用画像全体を対象とした第２の画像処理を行う
    内視鏡システム。
JP2017091329A 2017-05-01 2017-05-01 医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システム Active JP7013677B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017091329A JP7013677B2 (ja) 2017-05-01 2017-05-01 医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システム
EP18722747.5A EP3618685B1 (en) 2017-05-01 2018-04-17 Medical image processing apparatus, medical image processing method and endoscope system
CN201880027822.5A CN110573054B (zh) 2017-05-01 2018-04-17 医学图像处理设备、医学图像处理方法以及内诊镜系统
US16/608,191 US20210106206A1 (en) 2017-05-01 2018-04-17 Medical image processing apparatus, medical image processing method and endoscope system
PCT/JP2018/015811 WO2018203473A1 (en) 2017-05-01 2018-04-17 Medical image processing apparatus, medical image processing method and endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017091329A JP7013677B2 (ja) 2017-05-01 2017-05-01 医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システム

Publications (3)

Publication Number Publication Date
JP2018187032A JP2018187032A (ja) 2018-11-29
JP2018187032A5 JP2018187032A5 (ja) 2020-06-11
JP7013677B2 true JP7013677B2 (ja) 2022-02-01

Family

ID=62116522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017091329A Active JP7013677B2 (ja) 2017-05-01 2017-05-01 医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システム

Country Status (5)

Country Link
US (1) US20210106206A1 (ja)
EP (1) EP3618685B1 (ja)
JP (1) JP7013677B2 (ja)
CN (1) CN110573054B (ja)
WO (1) WO2018203473A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10868950B2 (en) * 2018-12-12 2020-12-15 Karl Storz Imaging, Inc. Systems and methods for operating video medical scopes using a virtual camera control unit
EP4008234A4 (en) * 2019-08-28 2022-09-07 Sony Olympus Medical Solutions Inc. MEDICAL IMAGE PROCESSING DEVICE AND MEDICAL OBSERVATION SYSTEM
AU2021210962A1 (en) 2020-01-22 2022-08-04 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
CN112995515B (zh) * 2021-03-05 2023-04-07 浙江大华技术股份有限公司 数据处理方法及装置、存储介质、电子装置
US20230101254A1 (en) * 2021-09-30 2023-03-30 Hyperreal Digital Inc. Creation and use of digital humans
CN117593437A (zh) * 2024-01-18 2024-02-23 华伦医疗用品(深圳)有限公司 基于gpu的内窥镜实时图像处理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007503059A (ja) 2003-08-18 2007-02-15 エヌビディア・コーポレーション マルチプロセッサ・グラフィックス処理システムの適応型負荷分散
JP2016087468A (ja) 2014-11-04 2016-05-23 株式会社東芝 医用画像診断装置及び医用画像処理装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153526A (ja) * 1997-08-08 1999-02-26 Fujitsu Ltd 画像処理装置
JP2001186530A (ja) * 1999-12-27 2001-07-06 Toshiba Corp 複数チャンネル画像圧縮装置及びその方法
TWI311728B (en) * 2005-09-27 2009-07-01 Aten Int Co Ltd Digital image process apparatus and method
JP4781764B2 (ja) * 2005-09-29 2011-09-28 富士フイルム株式会社 電子内視鏡システム
JP5573145B2 (ja) * 2009-12-16 2014-08-20 ソニー株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP5560966B2 (ja) * 2010-07-01 2014-07-30 ソニー株式会社 顕微鏡制御装置、画像管理サーバ、画像処理方法、プログラム及び画像管理システム
US20120177119A1 (en) * 2011-01-07 2012-07-12 Sony Corporation Faster motion estimation in an avc software encoder using general purpose graphic process units (gpgpu)
JP5855358B2 (ja) * 2011-05-27 2016-02-09 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2013200640A (ja) * 2012-03-23 2013-10-03 Canon Inc 画像処理装置、画像処理システム、画像処理方法、およびプログラム
AU2012201865A1 (en) * 2012-03-29 2013-10-17 Canon Kabushiki Kaisha GPU-based RIP architecture
EP2910172A4 (en) * 2012-10-18 2016-06-22 Olympus Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
JP2015192697A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 制御装置および制御方法、並びに撮影制御システム
US10440241B2 (en) * 2014-04-24 2019-10-08 Sony Corporation Image processing apparatus, image processing method, and surgical system
AU2014280960A1 (en) * 2014-12-24 2016-07-14 Canon Kabushiki Kaisha Method, apparatus and system for rendering an image
JP6548441B2 (ja) * 2015-04-15 2019-07-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10446118B2 (en) * 2015-06-02 2019-10-15 Intel Corporation Apparatus and method using subdivided swapchains for improved virtual reality implementations
JP6750194B2 (ja) * 2015-06-19 2020-09-02 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム
JP2017034587A (ja) * 2015-08-05 2017-02-09 ソニー株式会社 信号処理装置および信号処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007503059A (ja) 2003-08-18 2007-02-15 エヌビディア・コーポレーション マルチプロセッサ・グラフィックス処理システムの適応型負荷分散
JP2016087468A (ja) 2014-11-04 2016-05-23 株式会社東芝 医用画像診断装置及び医用画像処理装置

Also Published As

Publication number Publication date
CN110573054A (zh) 2019-12-13
CN110573054B (zh) 2022-06-10
JP2018187032A (ja) 2018-11-29
WO2018203473A1 (en) 2018-11-08
EP3618685B1 (en) 2021-06-16
EP3618685A1 (en) 2020-03-11
US20210106206A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
JP7013677B2 (ja) 医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システム
US20100274082A1 (en) Endoscope system, endoscope, and driving method
US10701339B2 (en) Image processing device and image processing method
JP6104493B1 (ja) 撮像システム
EP3534620B1 (en) Signal processing device and method, and program
JP7095693B2 (ja) 医療用観察システム
US20200244893A1 (en) Signal processing device, imaging device, signal processing method and program
US20180144453A1 (en) Medical signal processing apparatus and medical observation system
WO2016114155A1 (ja) 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
JP7140113B2 (ja) 内視鏡
US11244478B2 (en) Medical image processing device, system, method, and program
US11172116B2 (en) Display apparatus, camera apparatus, and method
JP2010051372A (ja) 内視鏡のプロセッサ装置及び内視鏡画像のマスク処理方法
JP6344608B2 (ja) 画像処理装置、画像処理方法、プログラム、及び、手術システム
JP2021108793A (ja) 医療画像生成装置、医療画像生成方法および医療画像生成プログラム
JP2020137955A (ja) 医療用制御装置及び医療用観察システム
JP2020141853A (ja) 画像処理装置、画像処理方法およびプログラム
EP3982624A1 (en) Image processing device, image processing method, and program
WO2022249572A1 (ja) 画像処理装置、画像処理方法及び記録媒体
US11245884B2 (en) Control apparatus, control system, and control method for transmission of a biological image
JP7089943B2 (ja) 内視鏡システム
JP6412361B2 (ja) 内視鏡用撮像装置
JP2020130884A (ja) 医療用画像処理装置、画像処理方法およびプログラム
JP2020130538A (ja) 医療用光源装置及び医療用観察システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210802

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211115

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211115

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211124

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220103