JP6116770B1 - ビデオプロセッサ - Google Patents

ビデオプロセッサ Download PDF

Info

Publication number
JP6116770B1
JP6116770B1 JP2016563481A JP2016563481A JP6116770B1 JP 6116770 B1 JP6116770 B1 JP 6116770B1 JP 2016563481 A JP2016563481 A JP 2016563481A JP 2016563481 A JP2016563481 A JP 2016563481A JP 6116770 B1 JP6116770 B1 JP 6116770B1
Authority
JP
Japan
Prior art keywords
partition
video signal
unit
signal processing
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016563481A
Other languages
English (en)
Other versions
JPWO2017022364A1 (ja
Inventor
田子 宏樹
宏樹 田子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP6116770B1 publication Critical patent/JP6116770B1/ja
Publication of JPWO2017022364A1 publication Critical patent/JPWO2017022364A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

映像信号処理デバイスが行う映像信号処理に係るハードウェア及びソフトウェアのリソースを、第1のパーティション及び第2のパーティションに区分けし、第1のパーティションに区分けされたリソースに対して、映像信号処理における必要最低限の処理を割り当て、第2のパーティションに区分けされたリソースに対して、映像信号処理における、必要最低限の処理を除く処理を割り当て、第1のパーティション及び第2のパーティションに区分けされたリソースの異常を監視し、監視により異常が検出されたパーティションに区分けされたリソースのみをリセットする。

Description

本発明は、内視鏡から入力される映像信号を処理する映像信号処理部を備えたビデオプロセッサに関する。
従来、複数の制御デバイスを備えたシステムがある。制御デバイスは、例えば、CPU(Central Processing Unit)、マイクロコントローラ、FPGA(Field-Programmable Gate Array)、又はSoC(System-on-a-Chip)等である。
このようなシステムでは、その複数の制御デバイスの各々が処理を分担しながら当該システムを動作させている。そのため、その複数の制御デバイスのいずれかに異常(不具合)が生じても、その他の正常な制御デバイスによって当該システムとしての動作を継続することが可能である。
近年では、プロセッサのマルチコア化、メニーコア化の進展に伴い、ハイパワー且つ処理性能の高い制御デバイスが登場し、このような制御デバイスを1つ用いてシステムの全体動作を制御するように構成することも可能になっている。
従来のシステムでは、1つの制御デバイスに異常が生じると、その制御デバイスをリセットすることで、その制御デバイスの復旧が行われている。その代表例としては、ウォッチドックによるリセット等がある。
しかしながら、1つの制御デバイスによってシステムの全体動作(又は大部分の動作)を制御するようにしたシステムにおいて、その制御デバイスをリセットすることは、システム全体が一時的に停止することにつながる。そのため、このようなシステムを、システムの停止が許されない内視鏡システム等の医療システムに適用する場合には、システムの可用性の確保が極めて重要な課題となる。
なお、内視鏡システムに関し、DIP(デジタル画像処理回路)等として機能するCPU、異常検出回路、初期化回路、及び代替DIPを含むプロセッサ装置を備えた内視鏡システムが知られている(例えば特許文献1参照)。この内視鏡システムのプロセッサ装置では、異常検出回路がDIPの異常を検出すると、初期化回路がDIPにリセット信号を出力し、DIPが動作しているCPUがリセットされる。そして、DIPが再起動されるまでは代替DIPが画像処理を実行し、DIPが再起動した後は、そのDIPが画像処理を再開するようにしている。また、このような構成のプロセッサ装置を、周知の仮想化技術を用いて構成するようにした内視鏡装置も知られている(例えば特許文献1参照)。この内視鏡装置では、プロセッサ装置が、ハードウェアリソース、ハイパーバイザ、第1OS(Operating System,オペレーティングシステム)、第2OS、及び第3OSを含み、第1OS上で上記のDIPに相当するソフトウェアが動作し、第2OS上で上記の代替DIPに相当するソフトウェアが動作し、第3OS上で上記の異常検出回路や初期化回路等として動作するソフトウェアが動作するように構成されている。
特開2010−4979号公報
本発明は、内視鏡から入力される映像信号を処理する映像信号処理が行う映像信号処理に係るハードウェア及びソフトウェアのリソースに異常が生じても、映像信号処理の可用性を確保しつつその異常を解消することができるビデオプロセッサを提供することを目的とする。
本発明の第1の態様は、内視鏡から入力される映像信号を処理する映像信号処理部と、前記映像信号処理部が行う映像信号処理に係るハードウェア及びソフトウェアのリソースを、第1のパーティション及び第2のパーティションに区分けする区分部と、前記第1のパーティションに区分けされたリソースに対して、前記映像信号処理における必要最低限の処理を割り当てる第1の割当部と、前記第2のパーティションに区分けされたリソースに対して、前記映像信号処理における、前記必要最低限の処理を除く処理を割り当てる第2の割当部と、前記第1のパーティション及び前記第2のパーティションに区分けされたリソースの異常を監視する監視部と、前記監視部により異常が検出されたパーティションに区分けされたリソースのみをリセットするリセット部と、を備えるビデオプロセッサを提供する。
本発明の第2の態様は、第1の態様において、前記監視部における監視により前記第2のパーティションに区分けされたリソースの異常が検出された場合、前記映像信号処理部は、前記リソースが前記リセット部のリセットにより正常に戻るまで、前記第1のパーティションに区分けされたリソースに対して割り当てられた、前記映像信号処理における前記必要最低限の処理のみを行う、ビデオプロセッサを提供する。
本発明の第3の態様は、第2の態様において、前記リソースが前記リセット部のリセットにより正常に戻った後、前記映像信号処理部は、前記第1のパーティションに区分けされたリソースに対して割り当てられた前記映像信号処理における前記必要最低限の処理、及び、前記第2のパーティションに区分けされたリソースに対して割り当てられた前記映像信号処理における前記必要最低限の処理を除く処理を行う、ビデオプロセッサを提供する。
本発明の第4の態様は、第1の態様において、前記第1のパーティションに区分けされたリソース及び前記第2のパーティションに区分けされたリソースの各々は、ハードウェアリソースとして、当該パーティション用に区分けされた1つ以上のコアプロセッサと当該パーティション用に区分けされたメモリ領域とを含み、ソフトウェアリソースとして、当該パーティション用に区分けされたオペレーティングシステムと当該パーティション用に区分けされたデバイスドライバ、ミドルウェア、及びアプリケーションの1つ以上とを含む、ビデオプロセッサを提供する。
本発明によれば、内視鏡から入力される映像信号を処理する映像信号処理が行う映像信号処理に係るハードウェア及びソフトウェアのリソースに異常が生じても、映像信号処理の可用性を確保しつつその異常を解消することができる、という効果を奏する。
一実施の形態に係るビデオプロセッサを含む内視鏡システムの構成例を示す図である。 一実施の形態に係る映像信号処理部の内部構成例を示す図である。 一実施の形態に係る異常監視動作(映像信号処理部の異常を監視する動作)の一例を示すフローチャートである。
以下、図面を参照しながら、本発明の実施の形態について説明する。
図1は、本発明の一実施の形態に係るビデオプロセッサを含む内視鏡システムの構成例を示す図である。なお、この内視鏡システムは、例えば医療機関(病院等)での内視鏡検査等に使用される。
図1に示したように、内視鏡システム1は、内視鏡2、ケーブル3、及び内視鏡装置4を含み、内視鏡2がケーブル3を介して内視鏡装置4に接続される構成を有する。
内視鏡2は、挿入部が軟性の内視鏡(軟性内視鏡)であって、スコープ制御部21、照明光学系22、対物光学系23、及び撮像素子24を含む。スコープ制御部21は、内視鏡装置4の後述のビデオプロセッサ機能部41のシステム制御部412からケーブル3を介して入力される撮像制御信号に応じて撮像素子24を制御する。照明光学系22は、内視鏡装置4の後述の光源機能部42の光源422から出射されて図示しないライトガイドを介して導かれた照明光を被写体(例えば体腔内の観察部位)に照明する。対物光学系23は、被写体からの反射光(被写体に照明された照明光の反射光)を撮像素子24の撮像面に結像する。撮像素子24は、スコープ制御部21の制御の下に、撮像面に結像されている被写体像(被写体からの反射光)を電気信号である映像信号に変換し、その映像信号を、ケーブル3を介して内視鏡装置4の後述のビデオプロセッサ機能部41の映像信号処理部411へ出力する。
ケーブル3は、内視鏡2と内視鏡装置4との間で送受される信号(映像信号、撮像制御信号)を伝送する信号線を含む。
内視鏡装置4は、ビデオプロセッサ機能部41、光源機能部42、モニタ43、記録媒体44、及び操作部45を含む。
ビデオプロセッサ機能部41は、映像信号処理部411及びシステム制御部412を含む。
映像信号処理部411は、システム制御部412の制御の下に、撮像素子24からケーブル3を介して入力される映像信号を処理する。なお、映像信号処理部411の詳細は、図2を用いて後述する。
システム制御部412は、映像信号処理部411、光源機能部42の光源制御部421、及び内視鏡2のスコープ制御部21など、内視鏡システム1の各部を制御する。例えば、システム制御部412は、映像信号処理部411の制御として、映像信号処理部411の初期設定等を行う。この初期設定では、映像信号処理部411が行う後述の表示用映像信号処理に係るハードウェア及びソフトウェアのリソースを、セキュアパーティション(Secure Partition)及びメインパーティション(Main Partition)に区分けし、セキュアパーティションに区分けされたリソースに対して、表示用映像信号処理における必要最低限の処理を割り当て、メインパーティションに区分けされたリソースに対して、表示用映像信号処理における、必要最低限の処理を除く処理を割り当てる、等の処理を行う。また、システム制御部412は、操作部45が受け付けたユーザ操作に応じた制御等も行う。
光源機能部42は、光源制御部421及び光源422を含む。光源制御部421は、システム制御部412の制御の下に、光源制御信号を光源422へ出力し、光源422を制御する。光源422は、光源制御部421から入力される光源制御信号に応じて照明光を出射する。
モニタ43は、映像信号処理部411により処理された映像信号に応じた映像を表示する。記録媒体44は、映像信号処理部411により処理された映像信号に応じた映像を記録する。操作部45は、ユーザからの各種操作を受け付け、システム制御部412に通知する。
なお、上述のように構成された内視鏡システム1において、ビデオプロセッサ機能部41及び光源機能部42は、図1に示したように一体として構成してもよいし、又は別体として構成してもよい。後者の場合には、光源機能部42が内視鏡装置4に対して別の装置として設けられるように構成してもよい。あるいは、ビデオプロセッサ機能部41及び光源機能部42を内視鏡2内部に設ける等して、内視鏡2、ケーブル3、及び内視鏡装置4を一体として構成してもよい。
また、内視鏡2は、軟性内視鏡に限らず、挿入部が硬性の内視鏡(硬性内視鏡)、又は光学式内視鏡(ファイバースコープや外科手術用の光学視管)の接眼部にカメラヘッドが接続されたもの等としてもよい。
また、撮像素子24は、CCD(Charge-Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサとしてもよい。
また、被写体への照明光の照明方式は、同時式又は面順次式等としてもよい。ここで、同時式とは、白色光を被写体に照明する方式であり、面順次式とは、異なる波長帯域の光(異なる色成分の光)を時系列に順次照明する方式である。
また、光源422は、半導体光源又はランプ光源等としてもよい。ここで、半導体光源は、例えば、白色光を出射する白色LED(Light Emitting Diode)、夫々が異なる波長帯域(R、G、B等)の光を出射する複数のLEDを用いて各LEDから出射される光の合波により所望の色調の照明光を得るようにしたもの、又はレーザ光源等である。あるいは、上述のように内視鏡2、ケーブル3、及び内視鏡装置4を一体として構成した場合等に、光源422としての半導体光源が内視鏡2の挿入部先端に設けられるように構成してもよい。また、ランプ光源は、例えば、キセノンランプ光源又はハロゲンランプ光源等である。
また、内視鏡2と内視鏡装置4との間の信号の送受は、図1に示したように有線により行われるように構成してもよいし、又は無線により行われるように構成してもよい。前者の場合には、内視鏡2と内視鏡装置4との間で送受される信号が、電気信号に限らず、例えば光信号であってもよい。この場合は、送信側で電気信号から光信号への変調が行われ、受信側で光信号から電気信号への復調が行われる。
また、モニタ43は、液晶モニタ等としてもよい。また、モニタ43は、図1に示したように内視鏡装置4に内蔵される構成としてもよいし、又は内視鏡装置4に対して外付けされる構成としてもよい。
また、記録媒体44は、図1に示したように内視鏡装置4に内蔵される構成としてもよいし、又は記録媒体44を内視鏡装置4に対して着脱自在のSDカードやUSB( Universal Serial Bus )メモリ等の記録媒体として構成してもよい。あるいは、記録媒体44を、内視鏡装置4とは別体の外部記録装置の記録媒体として構成してもよい。この場合、記録媒体44を、例えば、内視鏡装置4にネットワークを介さずにローカル接続された外部記録装置の記録媒体、又は内視鏡装置4にネットワークを介して接続された外部記録装置(サーバ等)の記録媒体等として構成してもよい。
また、操作部45は、図1に示したように内視鏡装置4に内蔵される構成としてもよいし、又は内視鏡装置4に対して外付けされる構成としてもよい。前者の場合には、操作部45を、内視鏡装置4の前面に設けられたフロントパネルスイッチ等として構成してもよい。この場合、そのフロントパネルスイッチは、物理的なスイッチ、又はタッチパネル等によって実現される仮想的なスイッチ等であってもよい。また、操作部45が内視鏡装置4に対して外付けされる構成とした場合には、操作部45を、内視鏡装置4に接続されるキーボード、内視鏡2の把持部に設けられたスコープスイッチ、又は内視鏡装置4に有線或いは無線による接続される可搬型情報端末装置(タブレット型PC(Personal Computer)、スマートフォン等)等として構成してもよい。
図2は、映像信号処理部411の内部構成例を示す図である。但し、ここでは、その内部構成例として、映像信号処理部411が行う表示用映像信号処理に主に関係する要素のみを示す。なお、表示用映像信号処理とは、内視鏡2の撮像素子24から入力される映像信号をモニタ43に表示させるために行われる映像信号処理のことである。
図2に示したように、映像信号処理部411は、FPGA4111、メニーコアプロセッサ(又はマルチコアプロセッサ)4112、及びメモリ4113を含む。
FPGA4111は、内視鏡2の撮像素子24からケーブル3を介して入力される映像信号を、メニーコアプロセッサ4112が処理可能な形式のデータ(例えばPCIe(PCI Express)形式のデータ)に変換してメニーコアプロセッサ4112へ出力する処理を行う。また、FPGA4111は、メニーコアプロセッサ4112から入力されるデータを、モニタ43が表示可能な形式の映像信号に変換してモニタ43へ出力する処理等も行う。
メニーコアプロセッサ4112は、複数のコアプロセッサ(以下単に「コア」と言う)を含む。その複数のコアは、システム制御部412による初期設定により、複数のパーティションに区分けされている。その複数のパーティションは、セキュアパーティション、メインパーティション、通信用パーティション、不具合検知用パーティション、及びリセット用パーティションを含む。
以下では、セキュアパーティションに区分けされたコア(1つ以上のコア)をセキュアパーティション部41121とし、メインパーティションに区分けされたコア(1つ以上のコア)をメインパーティション部41122とし、通信用パーティションに区分けされたコア(1つ以上のコア)を通信部41123とし、不具合検知用パーティションに区分けされたコア(1つ以上のコア)を不具合検知部41124とし、リセット用パーティションに区分けされたコア(1つ以上のコア)をリセット部41125とする。
セキュアパーティション部41121及びメインパーティション部41122は、FPGA4111から入力されるデータに対して表示用映像信号処理を行い、処理後のデータをFPGA4111へ出力する処理を行う。より詳しくは、セキュアパーティション部41121は、表示用映像信号処理における必要最低限の処理を行う。ここで、表示用映像信号処理における必要最低限の処理とは、撮像素子24から入力される映像信号をモニタ43に表示させるために必要な最低限の処理のことであり、例えば、RAWデータをRGBデータに変換する処理である。メインパーティション部41122は、表示用映像信号処理における、必要最低限の処理を除く処理を行う。ここで、表示用映像信号処理における、必要最低限の処理を除く処理は、例えば、γ補正処理、ホワイトバランス処理、ノイズリダクション処理、及び強調処理等の処理を含む。
通信部41123は、メモリ4113の後述の共有メモリ領域41132を介して、異なるパーティションに区分けされたコア間におけるデータの送受を行う。例えば、通信部41123は、セキュアパーティション部41121とメインパーティション部41122との間におけるデータの送受を行う。
不具合検知部41124は、システム制御部412による初期設定によりセキュアパーティションに区分けされたハードウェア及びソフトウェアのリソース、及び、その初期設定によりメインパーティションに区分けされたハードウェア及びソフトウェアのリソースを監視し、そのリソースの不具合(異常)を検知(検出)する。
なお、本実施形態において、セキュアパーティションに区分けされたハードウェアリソースは、セキュアパーティション部41121及び後述のセキュア用メモリ領域41131を含み、セキュアパーティションに区分けされたソフトウェアリソースは、第1のOSと、当該第1のOS上で動作するデバイスドライバ、ミドルウェア、及びアプリケーションの1つ以上とを含む。また、メインパーティションに区分けされたハードウェアリソースは、メインパーティション部41122及び後述のメイン用メモリ領域41133を含み、メインパーティションに区分けされたソフトウェアリソースは、第2のOSと、当該第2のOS上で動作するデバイスドライバ、ミドルウェア、及びアプリケーションの1つ以上とを含む。
ここで、第1のOS及び第2のOSは、メニーコアプロセッサ4112のような1つの制御デバイス上に複数のOS(複数種類のOS又は1種類のOSで複数のOSインスタンスを取り得るOS等)を配置できる仕組みを持つOSにより実現されるものであり、例えば、イーソル株式会社(登録商標)のeMCOS等によって実現される。
リセット部41125は、不具合検知部41124により不具合が検知されたパーティションのリソースをリセットする。なお、各パーティションに区分けされたリソースは、他のパーティションに区分けされたリソースに対して独立しており、リセット部41125は、パーティション単位で、各パーティションに区分けされたリソースをリセットすることができる。
メモリ4113は、例えばDDR SDRAM(Double-Data-Rate Synchronous Dynamic Random Access Memory)等であって、セキュア用メモリ領域41131、共有メモリ領域41132、及びメイン用メモリ領域41133を含む。
セキュア用メモリ領域41131は、システム制御部412による初期設定によりセキュアパーティションに区分けされたメモリ領域であって、セキュアパーティション部41121により使用されるメモリ領域である。
共有メモリ領域41132は、通信部41123により使用されるメモリ領域である。
メイン用メモリ領域41133は、システム制御部412による初期設定によりメインパーティションに区分けされたメモリ領域であって、メインパーティション部41122により使用されるメモリ領域である。
このような図2に示した構成の映像信号処理部411において、通常時の表示用映像信号処理では、図2の矢印A、矢印B、矢印C、矢印D、矢印E、及び矢印Fの流れで映像信号が処理される。すなわち、この場合には、セキュアパーティション部41121及びメインパーティション部41122の両方による処理が行われる。
一方、例えば、メインパーティションに区分けされたリソースに不具合が発生した場合、その不具合を不具合検知部41124が検知してから、そのリソースがリセット部41125によるリセットにより正常に戻るまでの間の表示用映像信号処理では、図2の矢印C及び矢印Dを除く、図2の矢印A、矢印B、矢印E、及び矢印Fの流れで映像信号が処理される。すなわち、この場合には、セキュアパーティション部41121による処理は行われるが、メインパーティション部41122による処理は行われない。そして、その不具合が発生したリソースがリセット部41125によるリセットにより正常に戻った後は、通常の表示用映像信号処理に戻る。
このような表示用映像信号処理の変更は、内視鏡システム1で行われる後述の異常監視動作(映像信号処理部411の異常を監視する動作)に従って行われる。
なお、上述のように構成された映像信号処理部411を含む内視鏡システム1において、映像信号処理部411は、内視鏡から入力される映像信号を処理する映像信号処理の一例である。システム制御部412の一部の機能は、映像信号処理が行う映像信号処理に係るハードウェア及びソフトウェアのリソースを、第1のパーティション及び第2のパーティションに区分けする区分部の一例である。システム制御部412の他の一部の機能は、第1のパーティションに区分けされたリソースに対して、映像信号処理における必要最低限の処理を割り当てる第1の割当部の一例である。システム制御部412の更に他の一部の機能は、第2のパーティションに区分けされたリソースに対して、映像信号処理における、必要最低限の処理を除く処理を割り当てる第2の割当部の一例である。不具合検知部41124は、第1のパーティション及び第2のパーティションに区分けされたリソースの異常を監視する監視部の一例である。リセット部41125は、監視部により異常が検出されたパーティションに区分けされたリソースのみをリセットするリセット部の一例である。
図3は、内視鏡システム1で行われる異常監視動作の一例を示すフローチャートである。
図3に示したように、本動作では、まず、システム制御部412が映像信号処理部411の初期設定を行う(S1乃至S3)。より詳しくは、システム制御部412は、映像信号処理部411が行う表示用映像信号処理に係るハードウェア及びソフトウェアのリソースを、セキュアパーティション及びメインパーティションに区分けし(S1)、セキュアパーティションに区分けされたリソースに対して、表示用映像信号処理における必要最低限の処理を割り当て(S2)、メインパーティションに区分けされたリソースに対して、表示用映像信号処理における、必要最低限の処理を除く処理を割り当てる(S3)。また、システム制御部412による初期設定では、その他、メニーコアプロセッサ4112に含まれるコアを、通信用パーティション、不具合検知用パーティション、及びリセット用パーティションに区分けする処理等も行われる。
このようにして映像信号処理部411の初期設定が完了すると、不具合検知部41124は、セキュアパーティションに区分けされたハードウェア及びソフトウェアのリソース、及び、メインパーティションに区分けされたハードウェア及びソフトウェアのリソースの監視を開始する(S4)。
S4の後、セキュアパーティションに区分けされたリソース及びメインパーティションに区分けされたリソースのいずれにも不具合が発生していない場合には、図2の矢印A、矢印B、矢印C、矢印D、矢印E、及び矢印Fの流れで映像信号の処理が行われる(すなわち、セキュアパーティション部41121及びメインパーティション部41122の両方による処理が行われる)通常時の表示用映像信号処理が行われ、その処理に応じた映像がモニタ43に表示される。
一方、S4の後、例えば、メインパーティションに区分けされたリソースに不具合(例えば例外処理等)が発生し、その不具合を不具合検知部41124が検知した場合には、次のような処理が行われる。
まず、不具合検知部41124は、その不具合を検知すると(S5)、通信部41123を介してセキュアパーティション部41121に対して、図2の矢印C及び矢印Dを除く、図2の矢印A、矢印B、矢印E、及び矢印Fの流れで映像信号の処理が行われるように(すなわち、セキュアパーティション部41121及びメインパーティション部41122のうちの前者のみによる処理が行われるように)、表示用映像信号処理の変更を指示する(S6)。なお、この指示には、メインパーティションに区分けされたリソースに不具合が発生した旨の通知も含まれる。
続いて、セキュアパーティション部41121は、その指示に応じて、表示用映像信号処理を変更する(S7)。これにより、モニタ43には、変更後の表示用映像信号処理(図2の矢印C及び矢印Dを除く、図2の矢印A、矢印B、矢印E、及び矢印Fの流れで映像信号の処理が行われる表示用映像信号処理)に応じた映像が表示される。
続いて、セキュアパーティション部41121は、通信部41123を介してリセット部41125に対して、メインパーティションに区分けされたリソースをリセットするように指示する(S8)。
続いて、リセット部41125は、その指示に応じて、メインパーティションに区分けされたリソースをリセットする(S9)。なお、セキュアパーティションに区分けされたリソースとメインパーティションに区分けされたリソースは互いに独立しているため、メインパーティションに区分けされたリソースのリセットが、セキュアパーティションに区分けされたリソースに影響することはない。
その後、リセット部41125によるリセットによりメインパーティションに区分けされたリソースが正常に戻ると、メインパーティション部41122は、通信部41123を介してセキュアパーティション部41121に対して、メインパーティションに区分けされたリソースが正常に戻った旨を通知する(S10)。
続いて、その通知を受けたセキュアパーティション部41121は、表示用映像信号処理を、通常時の表示用映像信号処理に戻す(S11)。これにより、モニタ43には、通常時の表示用映像信号処理(図2の矢印A、矢印B、矢印C、矢印D、矢印E、及び矢印Fの流れで映像信号の処理が行われる表示用映像信号処理)に応じた映像が表示される。
このような図3に示した異常監視動作によれば、例えば内視鏡検査中において、メインパーティションに区分けされたリソースに不具合が発生したとしても、その内視鏡検査中では停止が許されないモニタ43への映像表示を継続させたまま、メインパーティションに区分けされたリソースに発生した不具合の解消が可能になる。
あるいは、図2に示した映像信号処理部411において、撮像素子24から入力される映像信号を処理してモニタ43に出力する仕組みを1つのシステムとして捉えた場合には、当該システムのメインパーティションに区分けされたリソースに不具合が発生したとしても、当該システムを停止させることなく不具合の解消が可能になり、内視鏡システム1のような医療システムに求められる高い可用性を確保することができる、と言うこともできる。
以上のように、本実施形態によれば、内視鏡2の撮像素子24から入力される映像信号を処理する映像信号処理部411が行う表示用映像信号処理に係るハードウェア及びソフトウェアのリソースに異常が生じても、映像信号処理部411の可用性を確保しつつ、その異常を解消することができる。
なお、本実施形態においては、次のような変形も可能である。
例えば、セキュアパーティションに区分けされたリソースと同様のものを、代替セキュアパーティションに区分けされたリソースとして設けるようにし、不具合検知部41124がセキュアパーティションに区分けされたリソースの不具合を検知した場合には、その不具合が解消されるまで、セキュアパーティションに区分けされたリソースに代わって、代替セキュアパーティションに区分けされたリソースが処理を行うようにしてもよい。なお、この場合に、セキュアパーティションに区分けされたリソースに発生した不具合の解消は、そのリソースをリセット部41125がリセットすることによって行われる。そして、その不具合が解消された後は、セキュアパーティションに区分けされたリソースが処理を再開するようにしてもよい。このような変形例によれば、セキュアパーティションに区分けされたリソースに不具合が発生したとしても、モニタ43への映像表示を継続させたままで、セキュアパーティションに区分けされたリソースに発生した不具合の解消が可能になる。
以上、上述した実施形態は、発明の理解を容易にするために本発明の具体例を示したものであり、本発明は上述の実施形態に限定されるものではない。本発明は、特許請求の範囲に規定された本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。
1 内視鏡システム
2 内視鏡
3 ケーブル
4 内視鏡装置
21 スコープ制御部
22 照明光学系
23 対物光学系
24 撮像素子
41 ビデオプロセッサ機能部
42 光源機能部
43 モニタ
44 記録媒体
45 操作部
411 映像信号処理部
412 システム制御部
421 光源制御部
422 光源
4111 FPGA
4112 メニーコアプロセッサ
4113 メモリ
41121 セキュアパーティション部
41122 メインパーティション部
41123 通信部
41124 不具合検知部
41125 リセット部
41131 セキュア用メモリ領域
41132 共有メモリ領域
41133 メイン用メモリ領域

Claims (4)

  1. 内視鏡から入力される映像信号を処理する映像信号処理部と、
    前記映像信号処理部が行う映像信号処理に係るハードウェア及びソフトウェアのリソースを、第1のパーティション及び第2のパーティションに区分けする区分部と、
    前記第1のパーティションに区分けされたリソースに対して、前記映像信号処理における必要最低限の処理を割り当てる第1の割当部と、
    前記第2のパーティションに区分けされたリソースに対して、前記映像信号処理における、前記必要最低限の処理を除く処理を割り当てる第2の割当部と、
    前記第1のパーティション及び前記第2のパーティションに区分けされたリソースの異常を監視する監視部と、
    前記監視部により異常が検出されたパーティションに区分けされたリソースのみをリセットするリセット部と、
    を備えることを特徴とするビデオプロセッサ
  2. 前記監視部における監視により前記第2のパーティションに区分けされたリソースの異常が検出された場合
    前記映像信号処理部は、前記リソースが前記リセット部のリセットにより正常に戻るまで、前記第1のパーティションに区分けされたリソースに対して割り当てられた、前記映像信号処理における前記必要最低限の処理のみを行うことを特徴とする請求項1記載のビデオプロセッサ
  3. 前記リソースが前記リセット部のリセットにより正常に戻った後
    前記映像信号処理部は、前記第1のパーティションに区分けされたリソースに対して割り当てられた前記映像信号処理における前記必要最低限の処理、及び、前記第2のパーティションに区分けされたリソースに対して割り当てられた前記映像信号処理における前記必要最低限の処理を除く処理を行うことを特徴とする請求項2記載のビデオプロセッサ
  4. 前記第1のパーティションに区分けされたリソース及び前記第2のパーティションに区分けされたリソースの各々は、ハードウェアリソースとして、当該パーティション用に区分けされた1つ以上のコアプロセッサと当該パーティション用に区分けされたメモリ領域とを含み、ソフトウェアリソースとして、当該パーティション用に区分けされたオペレーティングシステムと当該パーティション用に区分けされたデバイスドライバ、ミドルウェア、及びアプリケーションの1つ以上とを含むことを特徴とする請求項1に記載のビデオプロセッサ
JP2016563481A 2015-08-04 2016-06-27 ビデオプロセッサ Active JP6116770B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015154291 2015-08-04
JP2015154291 2015-08-04
PCT/JP2016/069029 WO2017022364A1 (ja) 2015-08-04 2016-06-27 異常監視方法及び異常監視装置

Publications (2)

Publication Number Publication Date
JP6116770B1 true JP6116770B1 (ja) 2017-04-19
JPWO2017022364A1 JPWO2017022364A1 (ja) 2017-08-03

Family

ID=57942797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016563481A Active JP6116770B1 (ja) 2015-08-04 2016-06-27 ビデオプロセッサ

Country Status (5)

Country Link
US (1) US10231602B2 (ja)
EP (1) EP3332690A1 (ja)
JP (1) JP6116770B1 (ja)
CN (1) CN107105992B (ja)
WO (1) WO2017022364A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022201597A1 (ja) * 2021-03-22 2022-09-29

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010004979A (ja) * 2008-06-25 2010-01-14 Fujifilm Corp 画像処理装置、および内視鏡用プロセッサ装置
JP2011244884A (ja) * 2010-05-24 2011-12-08 Olympus Corp 内視鏡システム
JP2013225208A (ja) * 2012-04-20 2013-10-31 Toyota Motor Corp 情報処理装置、情報処理方法、及びプログラム
JP2014059733A (ja) * 2012-09-18 2014-04-03 Ricoh Co Ltd 情報処理システム、画像処理装置
JP2014115703A (ja) * 2012-12-06 2014-06-26 Denso Corp データ処理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060041252A1 (en) * 2004-08-17 2006-02-23 Odell Roger C System and method for monitoring electrosurgical instruments
JP5384409B2 (ja) * 2010-03-30 2014-01-08 富士フイルム株式会社 内視鏡装置におけるcmos撮像素子の作動方法
JP5220964B1 (ja) * 2011-07-05 2013-06-26 オリンパスメディカルシステムズ株式会社 内視鏡システム
US8713378B2 (en) * 2011-07-07 2014-04-29 Microsoft Corporation Health monitoring of applications in a guest partition
JP5298259B1 (ja) * 2011-09-22 2013-09-25 オリンパスメディカルシステムズ株式会社 内視鏡
WO2015163084A1 (ja) * 2014-04-22 2015-10-29 オリンパス株式会社 データ処理システム及びデータ処理方法
JP6353810B2 (ja) * 2015-04-24 2018-07-04 富士フイルム株式会社 内視鏡システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010004979A (ja) * 2008-06-25 2010-01-14 Fujifilm Corp 画像処理装置、および内視鏡用プロセッサ装置
JP2011244884A (ja) * 2010-05-24 2011-12-08 Olympus Corp 内視鏡システム
JP2013225208A (ja) * 2012-04-20 2013-10-31 Toyota Motor Corp 情報処理装置、情報処理方法、及びプログラム
JP2014059733A (ja) * 2012-09-18 2014-04-03 Ricoh Co Ltd 情報処理システム、画像処理装置
JP2014115703A (ja) * 2012-12-06 2014-06-26 Denso Corp データ処理装置

Also Published As

Publication number Publication date
JPWO2017022364A1 (ja) 2017-08-03
EP3332690A1 (en) 2018-06-13
WO2017022364A1 (ja) 2017-02-09
CN107105992B (zh) 2018-09-11
US10231602B2 (en) 2019-03-19
US20170265716A1 (en) 2017-09-21
CN107105992A (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
US10788908B2 (en) Electronic device including optical structure
US9378181B2 (en) Scalable computing array
US10602049B2 (en) Endoscopy system and method for processing image of the same
US20170132488A1 (en) Image display apparatus, image display control apparatus, and image display method
US20220000340A1 (en) Signal processing device and medical observation system
JP2015195977A (ja) ゲーム提供サーバ
US10905310B2 (en) Signal processing device and medical observation system
JP6807869B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6116770B1 (ja) ビデオプロセッサ
KR20140137814A (ko) 터치스크린 디스플레이 장치
US10548460B2 (en) Signal processing apparatus and medical observation system
KR20170001189A (ko) 저속 장거리 인터페이스용 안드로이드 시스템을 위한 다중 영상 장치 및 이미지 처리 방법
WO2016174902A1 (ja) 中継デバイス及び医療機器
JP6340333B2 (ja) 内視鏡装置
JP7222662B2 (ja) 生体情報システム、生体情報センサ及び生体情報処理装置
US20240037808A1 (en) Systems and methods for real-time processing of medical imaging data utilizing an external processing device
Mewada et al. A Comparative Study Between External USB and MIPI CSI for Medical Imaging and a Device Driver Implementation for Endoscope Camera Using USB

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170321

R151 Written notification of patent or utility model registration

Ref document number: 6116770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250