JP6866501B2 - 内視鏡システム、端末装置および制御方法 - Google Patents

内視鏡システム、端末装置および制御方法 Download PDF

Info

Publication number
JP6866501B2
JP6866501B2 JP2019556136A JP2019556136A JP6866501B2 JP 6866501 B2 JP6866501 B2 JP 6866501B2 JP 2019556136 A JP2019556136 A JP 2019556136A JP 2019556136 A JP2019556136 A JP 2019556136A JP 6866501 B2 JP6866501 B2 JP 6866501B2
Authority
JP
Japan
Prior art keywords
unit
terminal device
processor
communication
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019556136A
Other languages
English (en)
Other versions
JPWO2019102753A1 (ja
Inventor
雄吾 小泉
雄吾 小泉
秀和 信濃
秀和 信濃
秀之 釘宮
秀之 釘宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2019102753A1 publication Critical patent/JPWO2019102753A1/ja
Application granted granted Critical
Publication of JP6866501B2 publication Critical patent/JP6866501B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Power Engineering (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Description

本発明は、被検体内に内視鏡を挿入して該被検体の体内を撮像した画像データを表示する内視鏡システム、端末装置、制御方法およびプログラムに関する。
近年、内視鏡の検査業務を支援するシステムにおいて、内視鏡の検査スケジュールおよび洗浄スケジュールの各々を設定し、医師を含む医療従事者に対して、そのスケジュールに通知することで検査関連業務および洗浄関連業務を支援する技術が知られている(特許文献1参照)。この技術では、検査スケジュールに含まれる検査開始予定時刻情報で指定される時刻と、医療従事者が検査開始前に実施する行為内容を通知するタイミング情報とに基づいて、決定された通知タイミングで行為内容を通知した後に、医療従事者から確認通知を受け取ることで、内視鏡検査業務のスケジュールを適切に実施させる。
特開2017−117295号公報
ところで、従来の内視鏡システムでは、画像処理を行うプロセッサを中心として各システムの制御を行っているため、取り扱い性の面から効率が悪く、さらなる効率の改善が求められていた。さらに、近年の内視鏡システムでは、手術室内における情報セキュリティの面からの要求レベルも上がってきている。このため、さらなる効率化と情報セキュリティの両者を考慮した内視鏡システムを構築することができる技術が求められていた。
本発明は、上記に鑑みてなされたものであって、効率化と情報セキュリティの両者を考慮することができる内視鏡システム、端末装置、制御方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る内視鏡システムは、被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すとともに、ネットワークに対して接続可能なプロセッサと、前記プロセッサまたは前記ネットワークに対して無線で通信可能な端末装置と、を備えた内視鏡システムであって、前記端末装置は、前記プロセッサに対して、前記端末装置を識別する識別情報を送信するとともに、前記プロセッサから相互無線通信を許可する認証情報を受信する通信部と、前記通信部が受信した前記認証情報に基づいて、前記プロセッサが相互無線通信可能な接続先であるか否かを判定する接続判定部と、前記端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証部と、前記接続判定部の判定結果および前記認証部の認証結果に基づいて、前記プロセッサと前記端末装置との相互無線通信または前記ネットワークと前記端末装置との相互無線通信を許可する通信制御部と、を備えることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記通信制御部は、前記プロセッサと前記端末装置との相互無線通信可能な状態となった場合、前記通信部を介して前記プロセッサまたは前記ネットワークに接続されたサーバから当該内視鏡システムに関するソフトウェアプログラムおよび前記登録使用者が設定した当該内視鏡システムを構成する各機器の設定情報の少なくとも一方を取得することを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記端末装置は、画像を表示可能な表示部と、前記表示部の表示態様を制御する表示制御部と、をさらに備え、前記通信制御部は、前記プロセッサまたは前記プロセッサに接続されたプロセッサ記録部に記録された前記内視鏡画像データを取得するとともに、前記ネットワークを介してサーバに蓄積された症例画像データを取得し、前記表示制御部は、前記内視鏡画像データに対応する内視鏡画像と前記症例画像データに対応する症例画像とを比較可能に前記表示部に表示させることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記端末装置は、各種情報を記録する端末記録部と、前記端末記録部を制御する記録制御部と、をさらに備え、前記通信制御部は、前記プロセッサまたは前記ネットワークを介してサーバから前記内視鏡画像データ、前記被検体である患者に関する患者情報および前記登録使用者のスケジュール情報の各々を取得し、前記スケジュール情報は、少なくとも前記患者を回診する患者回診時間を含み、前記記録制御部は、前記患者回診時間と前記内視鏡画像データとを対応付けて前記端末記録部に記録させることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記認証部は、前記使用者の顔画像、前記使用者の生体情報および前記使用者のジェスチャ情報のいずれか1つ以上を取得して認証を行うことを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記端末装置は、前記相互無線通信の状態において前記プロセッサまたは前記ネットワークに接続されたサーバに対して取得する画像データの解像度を設定する解像度設定要求信号の入力を受け付け可能な操作部をさらに備え、前記通信制御部は、前記プロセッサまたは前記サーバに対して、前記解像度設定要求信号を前記通信部に送信させることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記端末装置は、画像データを生成可能な撮像部をさらに備え、前記認証部によって前記使用者が前記登録使用者であると認証された場合、前記使用者による前記撮像部の撮像機能を有効とする撮像制御部と、をさらに備えることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記通信部は、手術室外へ情報を送信可能であり、前記通信制御部は、前記認証部によって前記使用者が前記登録使用者であると認証された場合、前記通信部による前記手術室外への前記情報の送信を許可することを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、情報の入力を受け付け可能な操作部をさらに備え、前記通信制御部は、前記認証部によって前記使用者が前記登録使用者であると認証された場合、前記ネットワークに接続されたサーバに対して、前記操作部が入力を受け付けた前記情報を前記通信部に送信させることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記ネットワークに接続され、前記端末装置および前記プロセッサに無線相互通信可能なワイヤレスユニットをさらに備え、前記ワイヤレスユニットは、前記端末装置から前記識別情報を受信した場合、前記端末装置と相互無線通信可能であるか否かを示す接続可否判定情報を前記端末装置へ送信することを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記端末装置または前記ワイヤレスユニットは、前記接続可否判定情報を保持するとともに、前記端末装置の電源投入後に前記接続可否判定情報に基づいて、前記端末装置と前記ワイヤレスユニットとの自動接続を行うことを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記端末装置は、前記通信制御部によって前記プロセッサと当該端末装置との相互無線通信または前記ネットワークと当該端末装置との相互無線通信が可能であることを報知する報知部をさらに備えることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記端末装置は、画像を表示可能な表示部と、前記表示部の表示態様を制御する表示制御部と、をさらに備え、前記通信制御部は、前記プロセッサが前記ネットワークに接続されたサーバに送信した前記内視鏡画像データおよび前記サーバに蓄積された症例画像データを、前記ネットワークを介して前記サーバから取得し、前記表示制御部は、前記内視鏡画像データに対応する内視鏡画像と前記症例画像データに対応する症例画像とを比較可能に前記表示部に表示させることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記プロセッサは、当該プロセッサに設けられた交換可能なデバイスに関するデバイス情報を記録するとともに、所定の範囲内に前記デバイス情報を無線送信可能な交換デバイス情報記録部をさらに備え、前記端末装置は、前記交換デバイス情報記録部から前記デバイス情報を取得可能な交換デバイス情報取得部をさらに備えることを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記通信制御部は、前記交換デバイス情報取得部が取得した前記デバイス情報を前記ネットワークに接続されたサーバに送信することを特徴とする。
また、本発明に係る端末装置は、被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すとともに、ネットワークに対して接続可能なプロセッサまたは前記ネットワークに対して無線で通信可能な端末装置であって、前記プロセッサに対して、当該端末装置を識別する識別情報を送信するとともに、前記プロセッサから相互無線通信を許可する認証情報を受信する通信部と、前記通信部が受信した前記認証情報に基づいて、前記プロセッサが相互無線通信可能な接続先であるか否かを判定する接続判定部と、当該端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証部と、前記接続判定部の判定結果および前記認証部の認証結果に基づいて、前記プロセッサと当該端末装置との相互無線通信または前記ネットワークと当該端末装置との相互無線通信を許可する通信制御部と、を備えることを特徴とする。
また、本発明に係る制御方法は、被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すとともに、ネットワークに対して接続可能なプロセッサと、前記プロセッサまたは前記ネットワークに対して無線で通信可能な端末装置と、を備えた内視鏡システムが実行する制御方法であって、前記プロセッサに対して、前記端末装置を識別する識別情報を送信する送信ステップと、前記プロセッサから相互無線通信を許可する認証情報を受信する受信ステップと、前記認証情報に基づいて、前記プロセッサが相互無線通信可能な接続先であるか否かを判定する接続判定ステップと、前記端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証ステップと、前記接続判定ステップの判定結果および前記認証ステップの認証結果に基づいて、前記プロセッサと前記端末装置との相互無線通信または前記ネットワークと前記端末装置との相互無線通信を許可する通信制御ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すとともに、ネットワークに対して接続可能なプロセッサと、前記プロセッサまたは前記ネットワークに対して無線で通信可能な端末装置と、を備えた内視鏡システムに、前記プロセッサに対して、前記端末装置を識別する識別情報を送信する送信ステップと、前記プロセッサから相互無線通信を許可する認証情報を受信する受信ステップと、前記認証情報に基づいて、前記プロセッサが相互無線通信可能な接続先であるか否かを判定する接続判定ステップと、前記端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証ステップと、前記接続判定ステップの判定結果および前記認証ステップの認証結果に基づいて、前記プロセッサと前記端末装置との相互無線通信または前記ネットワークと前記端末装置との相互無線通信を許可する通信制御ステップと、を実行させることを特徴とする。
本発明によれば、効率化と情報セキュリティの両者を考慮することができるという効果を奏する。
図1は、本発明の一実施の形態に係る内視鏡システムの機能構成を示すブロック図である。 図2は、本発明の一実施の形態に係る端末装置の機能構成を示すブロック図である。 図3は、端末装置5が実行する処理の概要を示すフローチャートである。 図4は、図3の認証処理の詳細を示すフローチャートである。 図5は、図3の接続処理の詳細を示すフローチャートである。 図6は、図3の通信操作処理の詳細を示すフローチャートである。
以下、本発明を実施するための形態(以下、「実施の形態」という)として、患者等の被検体の体腔内を撮像して画像を表示する内視鏡を備える内視鏡システムを例に説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。
〔内視鏡システムの構成〕
図1は、本発明の一実施の形態に係る内視鏡システムの機能構成を示すブロック図である。図1に示す内視鏡システム1は、病院内の手術室100内において、少なくとも医者を含む医療従事者が患者等の被検体に内視鏡外科手術、内視鏡検査または内視鏡治療を行う際に用いられる。内視鏡システム1は、内視鏡2と、プロセッサ3と、ワイヤレスユニット4と、端末装置5と、表示装置6と、システムコントローラ7と、音声入力部8と、超音波装置9と、気腹装置10と、電気メス装置11と、プリンタ12と、ルームライト13と、電動手術台14と、無線給電装置15と、を備える。
まず、内視鏡2の構成について説明する。内視鏡2は、被検体に挿入される。内視鏡2は、硬性内視鏡または軟性内視鏡を用いて構成される。内視鏡2は、プロセッサ3の制御のもと、被検体内に対して照明光を照射するとともに、照明光が照射された被検体内の領域を撮像して内視鏡画像データを生成し、この生成した内視鏡画像データをプロセッサ3へ出力する。内視鏡2は、被検体内を撮像して画像データを生成する撮像素子21を備える。撮像素子21は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)のイメージセンサやA/D変換回路等を用いて構成される。なお、内視鏡2は、有線または無線によってプロセッサ3に双方向に通信可能に接続される。また、内視鏡2が生成した内視鏡画像データを無線によって送信する場合、後述するワイヤレスユニット4を介してプロセッサ3に内視鏡画像データを順次送信してもよいし、ネットワークN100を介して手術室100外の院内に設置されたサーバ200に内視鏡画像データを順次送信してもよい。
次に、プロセッサ3の構成について説明する。プロセッサ3は、内視鏡2を制御するとともに、内視鏡2から順次入力された内視鏡画像データに対して所定の画像処理を行って表示装置6へ順次出力する。プロセッサ3は、映像処理部31と、通信部32と、記録部33と、交換デバイス情報記録部34と、プロセッサ制御部36と、を備える。
映像処理部31は、内視鏡2から入力された内視鏡画像データに対して所定の画像処理を行って表示装置6へ出力する。ここで、所定の画像処理とは、同時化処理、デモザイキング処理(撮像素子21がベイヤー配列の場合)、ホワイトバランス調整処理、γ補正処理、彩度調整処理およびフォーマット変換処理等である。映像処理部31は、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)およびGPU(Graphics Processing Unit)等を用いて構成される。
通信部32は、通信モジュールを用いて構成され、所定の通信規格に従って端末装置5と双方向に通信を行う。また、通信部32は、ワイヤレスユニット4を介して端末装置5またはネットワークN100を介して院内に設置されたサーバ200と双方向に通信を行う。ここで、所定の通信規格としては、Wi−Fi(Wireless Fidelity)(登録商標)通信、Bluetooth(登録商標)通信およびBluetooth Low Energy(登録商標)通信(以下、単に「BLE通信」という)等である。例えば、Wi-Fiの場合、ローカルネットワークを想定し、機器の役割として、アクセスポイント、ステーションの関係があり、概略の接続処理としては、アクセスポイントが構築している無線ネットワークに、ステーションが接続する関係となる。大まかな接続シーケンスとしては、まず、アクセスポイントであるワイヤレスユニット4は、無線ネットワークを構築し、自分のネットワーク識別子(SSID)を報知する。続いて、ステーションであるプロセッサ3の通信部32は、報知されているネットワーク識別子(SSID)を検索し、所望のネットワーク(アクセスポイント)に接続する。多くの機器とのネットワークを想定するので、カバー範囲も広く、干渉の問題を考慮しながら厳密な識別ステップを踏むことになる。このため、接続確立に時間がかかることがある。ただし、データ通信は、アクセスポイント、ステーションそれぞれのタイミングでデータの送受信が可能である。なお、通信部32は、Wi-Fi通信以外に、4G無線を利用した通信を採用してもよい。もちろん、通信部32は、3G無線を利用した通信、5G無線を利用した通信およびWiMAX(Worldwide Interoperability for Microwave Access)(登録商標)通信および赤外線通信(IrDA(Infrared Data Association)(登録商標))等、他の通信を採用してもよい。
記録部33は、プロセッサ3が実行する各種プログラム、処理中のデータおよび内視鏡内視鏡画像データ等を記録する。記録部33は、Flashメモリ、SDRAM(Synchronous Dynamic Random Access Memory)、メモリカードおよびSSD(Solid State Drive)等を用いて構成される。また、記録部33は、相互無線通信を認証した機器の機器アドレスと接続可否判定情報とを記録する認証情報記録部331と、プロセッサ3を識別するプロセッサIPアドレスを含むプロセッサ識別情報を記録するプロセッサIPアドレス記録部332と、を有する。
交換デバイス情報記録部34は、プロセッサ3を構成する各デバイスの交換時期を所定の範囲内に位置する機器に無線によって送信する。交換デバイス情報記録部34は、無線タグ、例えばRFID(Radio Frequency Identifier)を用いて構成される。
位置情報取得部35は、端末装置5が発した位置情報を取得する。位置情報取得部35は、例えばRFIDリーダやBluetooth通信可能な通信モジュールを用いて構成される。
プロセッサ制御部36は、プロセッサ3の各部および内視鏡システム1を構成する各装置を制御する。プロセッサ制御部36は、CPU(Central Processing Unit)等を用いて構成される。プロセッサ制御部36は、接続判定部361と、表示制御部362と、通信制御部363と、設定部364と、駆動制御部365と、を有する。
接続判定部361は、端末装置5から送信された端末IPアドレスと認証結果とに基づいて、端末装置5が相互無線通信可能な接続先であるか否かを判定する。
表示制御部362は、表示装置6の表示態様を制御する。具体的には、表示制御部362は、映像処理部31が画像処理を施した内視鏡画像データに対応する内視鏡画像を表示装置6に表示させる。また、表示制御部362は、プロセッサ3と端末装置5との相互無線通信が確立された場合、プロセッサ3と端末装置5とが相互無線通信可能である旨の情報を表示装置6に表示させる。
通信制御部363は、接続判定部361の判定結果および端末装置5から送信された認証結果に基づいて、端末装置5と複数の周辺機器との通信を許可する。
設定部364は、端末装置5から送信された認証結果の登録使用者に割当たれたレベルに基づいて、端末装置5がシステムコントローラ7を介して操作可能な複数の周辺機器を設定する。
駆動制御部365は、通信部32を介して端末装置5から入力された要求信号や操作信号に基づいて、システムコントローラ7を制御することによって、周辺機器の駆動を制御する。
次に、ワイヤレスユニット4の構成について説明する。ワイヤレスユニット4は、ネットワークN100を介してサーバ200に接続されるとともに、プロセッサ3および端末装置5と所定の通信規格に従って双方向に通信可能に接続される。ワイヤレスユニット4は、Wi−Fi通信を採用している。また、ワイヤレスユニット4は、プロセッサ3の周辺や手術室100内の壁面等に設置される。
次に、端末装置5の構成について説明する。端末装置5は、プロセッサ3と所定の通信規格に従って双方向に通信するとともに、内視鏡2が生成した内視鏡画像データおよびワイヤレスユニット4を介してサーバ200から症例画像データを受信して表示する。また、端末装置5は、プロセッサ3またはネットワークN100に接続されたサーバ200から内視鏡システム1を構成する各機器のソフトウェアプログラムおよび端末装置5を使用可能な登録者使用者が設定した内視鏡システム1を構成する各機器の設定情報の少なくとも一方を取得する。さらに、端末装置5は、プロセッサ3またはワイヤレスユニット4を介して内視鏡システム1を構成する各機器の動作を操作するための操作信号や要求信号の入力を受け付ける。なお、端末装置5の詳細な構成は、後述する。
次に、表示装置6の構成について説明する。表示装置6は、表示制御部362の制御のもと、映像処理部31から入力された画像データに対応する画像および内視鏡システム1の各種情報を表示する。表示装置6は、液晶または有機EL(Electro Luminescence)の表示モニタおよび音声を外部に出力するスピーカ等を用いて構成される。
システムコントローラ7は、プロセッサ3に有線または無線によって接続され、プロセッサ3から入力された指示信号に従って、音声入力部8、超音波装置9、気腹装置10、電気メス装置11、プリンタ12、ルームライト13、電動手術台14および無線給電装置15の各々を個別に制御する。以下、音声入力部8、超音波装置9、気腹装置10、電気メス装置11、プリンタ12、ルームライト13、電動手術台14および無線給電装置15のいずれか1つを指す場合を単に「周辺機器」という。また、システムコントローラ7は、各周辺機器と有線または無線によって接続される。システムコントローラ7は、CPUおよびFlashメモリ等を用いて構成される。
音声入力部8は、システムコントローラ7の制御のもと、音源や話者から発せられた音声を収音してアナログの音声信号(電気信号)に変換し、この音声信号に対してA/D変換処理やゲイン調整処理を行ってデジタルの音声データを生成してシステムコントローラ7を介してプロセッサ3へ出力する。音声入力部8は、単一指向性マイク、無指向性マイクおよび双指向性マイクのいずれか1つのマイクロホン、A/D変換回路および信号処理回路等を用いて構成される。
超音波装置9は、内視鏡2と接続し、システムコントローラ7の制御のもと、内視鏡2の先端に設けられた超音波振動子を介して超音波を送受信する。また、超音波装置9は、内視鏡2を介して受信した超音波に基づく超音波画像データをシステムコントローラ7へ出力する。なお、超音波装置9は、専用の超音波プローブを介して被検体の超音波画像データを生成するものであってもよい。
気腹装置10は、システムコントローラ7の制御のもと、被検体内に気腹ガス、例えば二酸化炭素を送出する。
電気メス装置11は、システムコントローラ7の制御のもと、電気メスに対して所定の電圧を印加することによって電気メスを駆動する。
プリンタ12は、システムコントローラ7の制御のもと、プロセッサ3から入力された画像データに対応する画像を出力する。
ルームライト13は、手術室100内に複数設けられ、システムコントローラ7の制御のもと、所定の照度で被検体や手術室100を投光する。ルームライト13は、LED(Light Emitting Diode)ランプおよび調光スイッチ等を用いて構成される。
電動手術台14は、被検体が手術台に配置される。電動手術台14は、システムコントローラ7の制御のもと、手術台を垂直方向および水平方向へ移動することによって、被検体の位置や姿勢を変更する。電動手術台14は、垂直方向および水平方向へ移動可能な手術台と、手術台を駆動するモータ等の駆動部を用いて構成される。
無線給電装置15は、システムコントローラ7の制御のもと、端末装置5に無線で給電する。無線給電装置15は、電磁誘導方式、磁界共鳴方式、電解結合方式および電波送受信方式のいずれか1つを用いて構成される。
サーバ200は、手術室100外の院内に設置され、ネットワークN100を介してプロセッサ3または端末装置5から送信された内視鏡画像データと患者を識別する患者ID(患者情報)とを対応付けて記録する。また、サーバ200は、ネットワークN100またはワイヤレスユニット4を介して症例画像データおよび内視鏡画像データを要求する画像要求信号を受信した場合、画像要求信号を発したプロセッサ3または端末装置5へ症例画像データおよび内視鏡画像データを送信する。なお、ここで、内視鏡画像データとは、動画データおよび静止画データ(キャプチャー画像データ)を含む。
〔端末装置の構成〕
次に、図1で説明した端末装置5の詳細な構成について説明する。図2は、端末装置5の機能構成を示すブロック図である。
図2に示す端末装置5は、電池部50と、通信部51と、撮像部52と、指紋情報検出部53と、音声入力部54と、表示部55と、記録部56と、操作部57と、交換デバイス情報取得部58と、位置情報発信部59と、端末制御部60と、を備える。
電池部50は、端末装置5を構成する各部に電力を供給する電池501と、無線給電装置15から給電された電磁波を受信して電流に変換して電池501へ供給する受信部502と、を有する。
通信部51は、通信モジュールを用いて構成され、所定の通信規格に従ってプロセッサ3と双方向に通信を行う。また、通信部51は、ワイヤレスユニット4および院内のネットワークN100を介してサーバ200と双方向に通信を行う。ここで、所定の通信規格としては、Wi−Fi通信が想定される。なお、通信部51は、Wi-Fi通信以外に、4G無線を利用した通信を採用してもよい。もちろん、通信部51は、Bluetooth通信、BLE通信、3G無線を利用した通信、5G無線を利用した通信およびWiMAX通信および赤外線通信等、他の通信を採用してもよい。
撮像部52は、端末制御部60の制御のもと、端末装置5の使用者を撮像して画像データを生成し、この画像データを端末制御部60へ出力する。撮像部52は、CCDやCMOS等のイメージセンサ、A/D変換処理およびFPGAやGPU等を用いて実現される画像処理エンジン等を用いて構成される。なお、撮像部52に、赤外光を照射可能な赤外ランプと、この赤外ランプが照射した赤外光を撮像可能な画素を設けたイメージセンサとを設けることによって、使用者の顔表面の凹凸を取得するようにしてもよい。
指紋情報検出部53は、外部からタッチされた使用者の指の指紋情報を検出し、この検出結果を端末制御部60へ出力する。指紋情報検出部53は、指紋センサを用いて構成される。なお、指紋情報検出部53は、押圧式以外にも、例えばスライド式であってもよい。もちろん、指紋情報検出部53は、指紋以外にも、使用者の静脈を検出してもよい。
音声入力部54は、端末制御部60の制御のもと、音源や話者から発せられた音声を収音してアナログの音声信号(電気信号)に変換し、この音声信号に対してA/D変換処理やゲイン調整処理を行ってデジタルの音声データを生成して端末制御部60へ出力する。音声入力部54は、単一指向性マイク、無指向性マイクおよび双指向性マイクのいずれか1つのマイクロホン、A/D変換回路および信号処理回路等を用いて構成される。
表示部55は、端末制御部60から入力された画像データや各種情報を表示する。表示部55は、液晶や有機EL等の表示パネルを用いて構成される。
記録部56は、端末装置5が実行する各種プログラム、処理中のデータおよび画像データ等を記録する。記録部56は、Flashメモリ、SSDおよびメモリカード等を用いて構成される。また、記録部56は、認証情報記録部561と、端末装置5を識別する端末IPアドレスを記録する端末IPアドレス記録部562と、を有する。
操作部57は、使用者からの操作に応じた指示信号の入力を受け付ける。操作部57は、タッチパネル、ボタンおよびスイッチ等を用いて構成される。
交換デバイス情報取得部58は、プロセッサ3に設けられた交換デバイス情報記録部34から送信された無線を取得して端末制御部60に出力する。交換デバイス情報取得部58は、RFIDリーダを用いて構成される。
位置情報発信部59は、端末装置5の位置に関する位置情報を所定の距離まで発信する。具体的には、位置情報発信部59は、手術室100内で到達可能な距離まで位置情報を発信する。位置情報発信部59は、例えばRFIDやBluetooth通信可能な通信モジュールを用いて構成される。
端末制御部60は、端末装置5を構成する各部を統括的に制御する。端末制御部60は、CPU等を用いて構成される。端末制御部60は、接続判定部601と、認証部602と、通信制御部603と、表示制御部604と、記録制御部605と、撮像制御部606と、を有する。
接続判定部601は、通信部51がプロセッサ3から受信した認証情報に基づいて、プロセッサ3が相互無線通信可能な接続先であるか否かを判定する。
認証部602は、端末装置5の使用者が予め登録された登録使用者であるか否かを認証する。具体的には、認証部602は、端末装置5の使用者の顔画像、使用者の生体情報および使用者のジェスチャ情報のいずれか1つ以上を取得した認証を行う。例えば、認証部602は、撮像部52が生成した画像データに対応する画像に写る使用者の顔画像の特徴と記録部56が記録する登録使用者の顔の特徴とが一致するか否かを判定する。
通信制御部603は、接続判定部601の判定結果および認証部602の認証結果に基づいて、プロセッサ3と端末装置5との相互無線通信またはネットワークN100と端末装置5との相互無線通信を許可する。
表示制御部604は、表示部55の表示態様を制御する。具体的には、表示制御部604は、内視鏡画像データに対応する内視鏡画像と症例画像データに対応する症例画像とを比較可能に表示部55に表示させる。
記録制御部605は、通信制御部603が取得したスケジュール情報に含まれる患者回診時間と内視鏡画像データとを対応付けて記録部56に記録させる。
撮像制御部606は、認証部602によって使用者が登録使用者であると認証された場合、端末装置5の使用者による撮像部52の撮像機能を有効とする。
〔端末装置の処理〕
次に、端末装置5が実行する処理について説明する。図3は、端末装置5が実行する処理の概要を示すフローチャートである。
図3に示すように、まず、端末装置5は、端末装置5の使用者に対して、端末装置5を操作可能な登録使用者であるか否かの認証を行う認証処理を実行する(ステップS101)。ステップS101の後、端末装置5は、後述するステップS102へ移行する。
〔認証処理〕
次に、図3のステップS101で説明した認証処理の詳細について説明する。図4は、認証処理の詳細を示すフローチャートである。
図4に示すように、認証部602は、端末装置5の使用者情報を取得する(ステップS201)。具体的には、認証部602は、撮像部52が端末装置5の使用者を撮像した画像データ、指紋情報検出部53が検出した使用者の指紋情報および音声入力部54が生成した音声データのいずれか1つを撮像部52、指紋情報検出部53および音声入力部54のいずれか1つから取得する。
続いて、認証部602は、端末装置5の使用者情報と認証情報記録部561が記録する認証情報とに基づいて、使用者が登録使用者であるか否かを判定する(ステップS202)。具体的には、認証部602は、撮像部52が生成した画像データと認証情報記録部561が記録する認証情報とに基づいて、使用者が登録使用者であるか否かを認証する。より具体的には、認証部602は、撮像部52が生成した画像データに対応する画像内に写る使用者の顔の特徴点と、認証情報記録部561が記録する認証情報に含まれる登録使用者の顔の特徴点とが所定の一致度であるか否かを判定し、所定の一致度である場合、登録使用者であると認証する一方、所定の一致度でない場合、登録使用者でないと認証する。また、認証部602は、指紋情報検出部53が検出した指紋情報と認証情報記録部561が記録する認証情報とに基づいて、使用者が登録使用者であるか否かを認証する。より具体的には、認証部602は、指紋情報検出部53が検出した使用者の指紋情報の特徴点と、認証情報記録部561が記録する認証情報に含まれる登録使用者の指紋情報の特徴点とが所定の一致度であるか否かを判定し、所定の一致度である場合、登録使用者であると認証する一方、所定の一致度でない場合、登録使用者でないと認証する。さらにまた、認証部602は、音声入力部54が生成した音声データと認証情報記録部561が記録する認証情報とに基づいて、使用者が登録使用者であるか否かを認証する。より具体的には、認証部602は、音声入力部54が生成した音声データの声紋の特徴点と、認証情報記録部561が記録する認証情報に含まれる登録使用者の声紋の特徴点とが所定の一致度であるか否かを判定し、所定の一致度である場合、登録使用者であると認証する一方、所定の一致度でない場合、登録使用者でないと認証する。また、認証部602は、撮像部52が生成した画像データに対応する画像内に写る使用者のジェスチャ情報と、認証情報記録部561が記録する認証情報に含まれるジェスチャ情報とが所定の一致度であるか否かを判定し、所定の一致度である場合、登録使用者であると認証する一方、所定の一致度でない場合、登録使用者でないと認証する。ここで、ジェスチャ情報とは、例えば使用者の目の瞬きの回数、口の形状、顔の動作および手の動作等である。認証部602が端末装置5の使用者が登録使用者であると判定した場合(ステップS202:Yes)、認証部602は、端末装置5の使用を使用者に許可する(ステップS203)。
続いて、表示制御部604は、使用者の操作の入力を受け付け可能なGUI等を表示部55に表示させる(ステップS204)。なお、表示制御部604は、使用者の操作の入力を受け付け可能なGUI等を表示部55に表示させていたが、図示しないスピーカ等で端末装置5の使用を許可する旨を報知してもよい。即ち、表示制御部604は、プロセッサ3と端末装置5との相互無線通信またはネットワークN100と端末装置5との相互無線通信が可能であることを報知する報知部として機能する。ステップS204の後、端末装置5は、上述した図3のメインルーチンへ戻る。
ステップS202において、認証部602が端末装置5の使用者が登録使用者でないと判定した場合(ステップS202:No)、認証部602は、端末装置5の使用を使用者に対して不可とする(ステップS205)。
続いて、表示制御部604は、表示部55を非表示または表示部55に警告を表示させる(ステップS206)。なお、表示制御部604は、表示部55を非表示または表示部55に警告を表示させていたが、図示しないスピーカ等で警告を出力してもよい。ステップS206の後、端末装置5は、上述した図3のメインルーチンへ戻る。
図3に戻り、ステップS102以降の説明を続ける。
ステップS102において、端末装置5は、プロセッサ3と双方向に通信を行うための接続を行う接続処理を実行する(ステップS102)。ステップS102の後、端末装置5は、後述するステップS103へ移行する。
〔接続処理〕
次に、図3のステップS102で説明した接続処理の詳細について説明する。図5は、接続処理の詳細を示すフローチャートである。
図5に示すように、まず、接続判定部601は、通信部51を介してプロセッサ3からプロセッサIPアドレス(SSID)および認証情報を受信したか否かを判定する(ステップS301)。ここで、認証情報とは、プロセッサ3との相互無線通信を行うためのパスワードとして機能する認証部602の認証結果を要求するための情報である。接続判定部601によって通信部51を介してプロセッサ3からプロセッサIPアドレスおよび認証情報を受信したと判定された場合(ステップS301:Yes)、端末装置5は、後述するステップS302へ移行する。これに対して、接続判定部601によって通信部51を介してプロセッサ3からプロセッサIPアドレスおよび認証情報を受信していないと判定された場合(ステップS301:No)、端末装置5は、この判定を所定の時間毎(例えば10秒毎)に行う。
続いて、通信制御部603は、プロセッサ3に対して、記録部56が記録する端末IPアドレス記録部562が記録する端末IPアドレスおよび認証部602が認証した認証結果を通信部51に送信させる(ステップS302)。この場合において、通信制御部603は、使用者が操作部57を介して予め選択されたアクセスポイント(プロセッサ3のSSIDまたはワイヤレスユニット4のSSID)に端末IPアドレスおよび認証結果を通信部51に送信させる。なお、本実施の形態では、アクセスポイントをプロセッサ3またはワイヤレスユニット4としているが、端末装置5をアクセスポイントとしてもよい。この場合、通信制御部603は、通信部51を介して所定の範囲内、例えばWi−Fiの通信範囲に端末装置5が存在する旨の端末IPアドレス(SSID)を発信してもよい。
ステップS303において、接続判定部601は、通信部51が受信したプロセッサIPアドレスが端末装置5と相互通信可能な接続先であるか否かを判定する(ステップS303)。具体的には、接続判定部601は、使用者が操作部57を介して選択されたプロセッサIPアドレス(SSID)であるか否かを判定する。接続判定部601によって通信部51が受信したプロセッサIPアドレスが端末装置5と相互通信可能な接続先であると判定された場合(ステップS303:Yes)、端末装置5は、後述するステップS304へ移行する。これに対して、接続判定部601によって通信部51が受信したプロセッサIPアドレスが端末装置5と相互通信可能な接続先でないと判定された場合(ステップS303:No)、端末装置5は、後述するステップS306へ移行する。
ステップS304において、通信制御部603は、プロセッサ3と端末装置5とを相互通信可能に接続する。これにより、端末装置5は、プロセッサ3と相互通信可能な状態となる。
続いて、表示制御部604は、プロセッサ3との接続が完了したことを示す接続完了を表示部55に表示させる(ステップS305)。これにより、使用者は、プロセッサ3と相互通信可能な状態になったことを直感的に把握することができる。ステップS305の後、端末装置5は、図3のメインルーチンへ戻る。なお、表示制御部604は、表示部55によって接続完了を表示させていたが、これに限定されることなく、例えばスピーカ(図示せず)によってプロセッサ3と接続が完了したことを出力してもよいし、モータ等の振動部(図示せず)を駆動させて報知するようにしてもよい。
ステップS306において、表示制御部604は、プロセッサ3と接続ができない旨の接続不可を表示部55に表示させる。これにより、ユーザは、プロセッサ3と接続できない旨を直感的に把握することができる。ステップS306の後、端末装置5は、図3のメインルーチンへ戻る。
図3に戻り、ステップS103以降の説明を続ける。
ステップS103において、端末装置5とプロセッサ3とが相互通信状態である場合(ステップS103:Yes)、端末装置5は、操作部57で入力を受け付けた操作に応じてプロセッサ3と通信を行って内視鏡システム1の各部を制御する通信操作処理を実行する(ステップS104)。ステップS104の後、端末装置5は、ステップS105へ移行する。これに対して、端末装置5とプロセッサ3とが相互通信状態でない場合(ステップS103:No)、端末装置5は、本処理を終了する。
〔通信操作処理〕
次に、上述した図3のステップS104の通信操作処理の詳細について説明する。図6は、通信操作処理の詳細を示すフローチャートである。
図6に示すように、まず、通信部51を介してプロセッサ3からソフトウェアプログラムを受信した場合(ステップS401:Yes)、端末制御部60は、記録部56に記録されたソフトウェアプログラムを更新する(ステップS402)。これにより、端末装置5は、周辺機器およびプロセッサ3の各々を操作するためのプログラムを最新のものに更新することができる。また、ソフトウェアプログラムには、周辺機器およびプロセッサ3のプログラムの更新以外にも、周辺機器における初期値の設定パラメータが含まれる。ステップS402の後、端末装置5は、後述するステップS403へ移行する。これに対して、通信部51を介してプロセッサ3からソフトウェアプログラムを受信していない場合(ステップS401:No)、端末装置5は、後述するステップS403へ移行する。
ステップS403において、操作部57から設定情報を要求する設定要求信号の入力があった場合(ステップS403:Yes)、通信制御部603は、プロセッサ3に対して設定要求信号を通信部51に送信させる(ステップS404)。ここで、設定情報とは、周辺機器における初期値の設定パラメータから使用者が設定した設定パラメータである。
続いて、通信部51がプロセッサ3から設定情報を受信した場合(ステップS405:Yes)、通信制御部603は、記録部56に設定情報を記録する(ステップS406)。この場合、通信制御部603は、通信部51を介して設定情報をプロセッサ3へ送信してもよい。これにより、プロセッサ3は、設定情報に基づいて、システムコントローラ7を介して周辺機器の設定パラメータを端末装置5の使用者が設定した設定パラメータに自動的に設定することができる。なお、通信制御部603は、通信部51およびワイヤレスユニット4を介してサーバ200から設定情報を要求してもよい。ステップS406の後、端末装置5は、後述するステップS407へ移行する。これに対して、通信部51がプロセッサ3から設定情報を受信していない場合(ステップS405:No)、端末装置5は、上述したステップS404へ戻る。
ステップS403において、操作部57から設定情報を要求する設定要求信号の入力がなかった場合(ステップS403:No)、端末装置5は、後述するステップS407へ移行する。
ステップS407において、操作部57から内視鏡2が生成した内視鏡画像データおよびサーバ200が記録する症例画像データを要求する画像要求信号の入力があった場合(ステップS407:Yes)、通信制御部603は、プロセッサ3に対して画像要求信号を通信部51に送信させる(ステップS408)。
続いて、通信部51がプロセッサ3から内視鏡画像データおよび症例画像データを受信した場合(ステップS409:Yes)、表示制御部604は、通信部51が受信した内視鏡画像データに対応する内視鏡画像および症例画像データに対応する症例画像を表示部55に表示させる(ステップS410)。この場合、表示制御部604は、通信部51が受信した内視鏡画像データが順次送信される動画データであった場合、内視鏡画像データに対応する内視鏡画像を時系列に沿って順次更新させる。また、表示制御部604は、内視鏡画像と症例画像とを比較できるように表示部55に表示させる。例えば、表示制御部604は、内視鏡画像と症例画像とを並列にして表示部55に表示させたり、内視鏡画像上に所定の比率で縮小した症例画像を重畳して表示させたり、症例画像上に所定の比率で縮小した内視鏡画像を重畳して表示させたりしてもよい。ステップS410の後、端末装置5は、後述するステップS411へ移行する。これに対して、通信部51がプロセッサ3から内視鏡画像データおよび症例画像データを受信していない場合(ステップS409:No)、端末装置5は、上述したステップS408へ戻る。
ステップS407において、操作部57から内視鏡2が生成した内視鏡画像データおよびサーバ200が記録する症例画像データを要求する画像要求信号の入力がなかった場合(ステップS407:No)、端末装置5は、後述するステップS411へ移行する。
ステップS411において、操作部57から被検体に対する手術スケジュール、治療スケジュール、回診スケジュールおよび退院スケジュール等を含むスケジュールを要求するスケジュール要求信号の入力があった場合(ステップS411:Yes)、通信制御部603は、プロセッサ3に対して、スケジュール要求信号を通信部51に送信させる(ステップS412)。
続いて、通信部51がプロセッサ3からスケジュール情報を受信した場合(ステップS413:Yes)、通信制御部603は、上述したステップS410で受信した内視鏡画像データと、スケジュール情報に含まれる患者回診時間と、を対応付けて記録部56に記録する(ステップS414)。ステップS414の後、端末装置5は、後述するステップS415へ移行する。これに対して、通信部51がプロセッサ3からスケジュール情報を受信していない場合(ステップS413:No)、端末装置5は、上述したステップS412へ戻る。
ステップS411において、操作部57から被検体に対する手術スケジュール、治療スケジュール、回診スケジュールおよび退院スケジュール等を含むスケジュールを要求するスケジュール要求信号の入力がなかった場合(ステップS411:No)、端末装置5は、後述するステップS415へ移行する。
ステップS415において、プロセッサ3から受信する内視鏡画像データの解像度および症例画像データの解像度を設定する解像度設定要求信号が操作部57から入力された場合(ステップS415:Yes)、通信制御部603は、プロセッサ3に対して、解像度設定要求信号を通信部51に送信させる(ステップS416)。ステップS416の後、端末装置5は、後述するステップS417へ移行する。これに対して、プロセッサ3から受信する内視鏡画像データの解像度および症例画像データの解像度を設定する解像度設定要求信号が操作部57から入力されていない場合(ステップS415:No)、端末装置5は、後述するステップS417へ移行する。
ステップS417において、交換デバイス情報取得部58がプロセッサ3に設けられた交換デバイス情報記録部34から無線タグ情報を取得した場合(ステップS417:Yes)、表示制御部604は、無線タグ情報を表示部55に表示させる(ステップS418)。これにより、医療従事者は、内視鏡システム1において交換可能なデバイスの交換時期を直感的に把握することができる。ステップS418の後、端末装置5は、後述するステップS419へ移行する。これに対して、交換デバイス情報取得部58がプロセッサ3に設けられた交換デバイス情報記録部34から無線タグ情報を取得していない場合(ステップS417:No)、端末装置5は、後述するステップS419へ移行する。
ステップS419において、操作部57から周辺機器を操作する操作信号の入力があった場合(ステップS419:Yes)、通信制御部603は、通信部51を介してプロセッサ3へ操作信号を送信する(ステップS420)。ステップS420の後、端末装置5は、後述するステップS421へ移行する。これに対して、操作部57から周辺機器を操作する操作信号の入力がなかった場合(ステップS419:No)、端末装置5は、後述するステップS421へ移行する。
ステップS421において、通信部51がプロセッサ3から周辺機器の操作不可を示す操作不可信号を受信した場合(ステップS421:Yes)、表示制御部604は、端末装置5の使用者のレベルが周辺機器の操作が禁じられている旨の警告を表示部55に表示させる(ステップS422)。ステップS422の後、端末装置5は、後述するステップS423へ移行する。これに対して、通信部51がプロセッサ3から周辺機器の操作不可を示す操作不可信号を受信していない場合(ステップS421:No)、端末装置5は、後述するステップS423へ移行する。
ステップS423において、操作部57からプロセッサ3と通信を行いながら内視鏡システム1の操作を終了する指示信号が入力された場合(ステップS423:Yes)、端末装置5は、図3のメインルーチンへ戻る。これに対して、操作部57からプロセッサ3と通信を行いながら内視鏡システム1の操作を終了する指示信号が入力されていない場合(ステップS423:No)、端末装置5は、上述したステップS401へ戻る。
図3に戻り、ステップS105以降の説明を続ける。
ステップS105において、操作部57から端末装置5による操作を終了する指示信号が入力された場合(ステップS105:Yes)、端末装置5は、後述するステップS106へ移行する。これに対して、操作部57から端末装置5による操作を終了する指示信号が入力されていない場合(ステップS105:No)、端末装置5は、上述したステップS104へ戻る。
ステップS106において、通信制御部603は、プロセッサ3のプロセッサIPアドレスを記録部56に記録する。ステップS106の後、端末装置5は、本処理を終了する。
以上説明した本発明の一実施の形態によれば、通信制御部603が接続判定部601の判定結果および認証部602の認証結果に基づいて、プロセッサ3と端末装置5との相互無線通信を許可するので、効率化と情報セキュリティの両者を考慮することができる。
また、本発明の一実施の形態によれば、プロセッサ3と端末装置5とが相互無線通信可能な状態となった場合、通信制御部603が通信部51を介してプロセッサ3またはネットワークN100に接続されたサーバ200から内視鏡システム1に関するソフトウェアプログラムおよび登録使用者が設定した内視鏡システム1を構成する周辺機器の各種パラメータに関する設定情報の少なくとも一方を取得するので、その都度、周辺機器のパラメータを設定することなく、端末装置5を用いて敏速に操作を行うことができる。
また、本発明の一実施の形態によれば、表示制御部604が通信制御部603によって取得された内視鏡画像データに対応する内視鏡画像と症例画像データに対応する症例画像とを比較可能に表示部55に表示させるので、内視鏡画像と症例画像とを比較しながら閲覧することができる。
また、本発明の一実施の形態によれば、記録制御部605がスケジュール情報に含まれる患者回診時間と内視鏡画像データとを対応付けて記録部56に記録するので、端末装置5の使用者が被検体等の患者を回診する回診時に内視鏡画像を用いて回診することができる。
また、本発明の一実施の形態によれば、通信制御部603がプロセッサ3またはサーバ200に対して、内視鏡画像データの解像度を設定する解像度設定要求信号を通信部51に送信させるので、内視鏡画像データの容量を制限することができる。
なお、本発明の一実施の形態では、認証部602が端末装置5の使用者が登録使用者であると認証した場合、撮像制御部606が撮像部52の撮像機能を有効としてもよい。これにより、情報セキュリティを旦保することができる。
また、本発明の一実施の形態では、認証部602によって端末装置5の使用者が登録使用者であると認証された場合、通信制御部603が通信部51による手術室100外への情報の送信を許可してもよい。具体的には、通信制御部603は、操作部57が入力を受け付けた情報、例えば被検体に対する使用者の所見等を通信部51によって手術室100外のサーバ200等に出力させてもよい。これにより、情報セキュリティを旦保することができる。
また、本発明の一実施の形態では、認証部602によって端末装置5の使用者が登録使用者であると認証された場合、通信制御部603がネットワークN100に接続されたサーバ200に対して操作部57が入力を受け付けた情報、例えば患者の症状や治療内容を通信部51に送信させてもよい。これにより、情報セキュリティを旦保することができる。
また、本発明の一実施の形態では、ワイヤレスユニット4が端末装置5から端末IPアドレス情報を受信した場合、端末装置5と相互無線通信可能であるか否かを示す接続可否判定情報を端末装置5へ送信してもよい。これにより、ワイヤレスユニット4を介して端末装置5による内視鏡システム1の操作を行うことができる。ここで、接続可否判定情報とは、ワイヤレスユニット4のワイヤレスIPアドレス(SSID)および、このワイヤレスIPアドレスのワイヤレスユニット4に対して接続を許可するためのパスワードである。
また、本発明の一実施の形態では、ワイヤレスユニット4が接続可否判定情報を保持するとともに、端末装置5の電源投入後に接続可否判定情報に基づいて、端末装置5とワイヤレスユニット4との自動接続を行ってもよい。これにより、操作性を上げることができる。もちろん、端末装置5も端末装置5の電源投入後に接続可否判定情報に基づいて、端末装置5とワイヤレスユニット4との自動接続を行ってもよい。
また、本発明の一実施の形態では、ネットワークN100に接続されたサーバ200と端末装置5との相互無線通信を許可してもよい。これにより、効率化と情報セキュリティの両者を考慮することができる。
(その他の実施の形態)
上述した本発明の一実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本発明の一実施の形態に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本発明の一実施の形態で説明した構成要素を適宜組み合わせてもよい。
また、本発明の一実施の形態では、プロセッサに光源装置が設けられていたが、別体に形成してもよい。
また、本発明の一実施の形態では、内視鏡システムであったが、例えばカプセル型の内視鏡、被検体を撮像するビデオマイクロスコープ、撮像機能を有する携帯電話および撮像機能を有するタブレット型端末であっても適用することができる。
また、本発明の一実施の形態では、医療用の内視鏡を備えた内視鏡システムであったが、工業用の内視鏡を備えた内視鏡システムであっても適用することができる。
また、本発明の一実施の形態では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
また、本発明の一実施の形態に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本発明の一実施の形態に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本発明の一実施の形態に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、使用者にマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
1 内視鏡システム
2 内視鏡
3 プロセッサ
4 ワイヤレスユニット
5 端末装置
6 表示装置
7 システムコントローラ
8 音声入力部
9 超音波装置
10 気腹装置
11 電気メス装置
12 プリンタ
13 ルームライト
14 電動手術台
15 無線給電装置
21 撮像素子
31 映像処理部
32 通信部
33 記録部
34 交換デバイス情報記録部
35 位置情報取得部
36 プロセッサ制御部
50 電池部
51 通信部
52 撮像部
53 指紋情報検出部
54 音声入力部
55 表示部
56 記録部
57 操作部
58 交換デバイス情報取得部
59 位置情報発信部
60 端末制御部
100 手術室
200 サーバ
331 認証情報記録部
332 プロセッサIPアドレス記録部
361 接続判定部
362 表示制御部
363 通信制御部
364 設定部
365 駆動制御部
501 電池
502 受信部
561 認証情報記録部
562 端末IPアドレス記録部
601 接続判定部
602 認証部
603 通信制御部
604 表示制御部
605 記録制御部
606 撮像制御部
N100 ネットワーク

Claims (21)

  1. 被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すプロセッサと、前記プロセッサに対して通信可能な端末装置と、を備えた内視鏡システムであって、
    前記端末装置は、
    前記プロセッサに対して、前記端末装置を識別する識別情報を送信するとともに、前記プロセッサから前記プロセッサを識別するプロセッサ識別情報を受信する通信部と、
    前記通信部が受信した前記プロセッサ識別情報に基づいて、前記プロセッサが相互通信可能な接続先であるか否かを判定する接続判定部と、
    前記端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証部と、
    前記接続判定部の判定結果および前記認証部の認証結果に基づいて、前記プロセッサと前記端末装置との相互通信を許可する通信制御部と、
    を備えることを特徴とする内視鏡システム。
  2. 前記相互通信は、相互無線通信であることを特徴とする請求項1に記載の内視鏡システム。
  3. 前記プロセッサおよび前記端末装置の各々は、ネットワークに対して接続可能であり、 前記通信制御部は、前記接続判定部の判定結果および前記認証部の認証結果に基づいて、前記プロセッサと前記端末装置との相互無線通信または前記ネットワークと前記端末装置との相互無線通信を許可することを特徴とする請求項2に記載の内視鏡システム。
  4. 前記通信制御部は、
    前記プロセッサと前記端末装置との相互通信可能な状態となった場合、前記通信部を介して前記プロセッサまたはネットワークに接続されたサーバから当該内視鏡システムに関するソフトウェアプログラムおよび前記登録使用者が設定した当該内視鏡システムを構成する各機器の設定情報の少なくとも一方を取得することを特徴とする請求項1に記載の内視鏡システム。
  5. 前記端末装置は、
    画像を表示可能な表示部と、
    前記表示部の表示態様を制御する表示制御部と、
    をさらに備え、
    前記通信制御部は、
    前記プロセッサまたは前記プロセッサに接続されたプロセッサ記録部に記録された前記内視鏡画像データを取得するとともに、ネットワークを介してサーバに蓄積された症例画像データを取得し、
    前記表示制御部は、前記内視鏡画像データに対応する内視鏡画像と前記症例画像データに対応する症例画像とを比較可能に前記表示部に表示させることを特徴とする請求項1に記載の内視鏡システム。
  6. 前記端末装置は、
    各種情報を記録する端末記録部と、
    前記端末記録部を制御する記録制御部と、
    をさらに備え、
    前記通信制御部は、前記プロセッサまたはネットワークを介してサーバから前記内視鏡画像データ、前記被検体である患者に関する患者情報および前記登録使用者のスケジュール情報の各々を取得し、
    前記スケジュール情報は、少なくとも前記患者を回診する患者回診時間を含み、
    前記記録制御部は、前記患者回診時間と前記内視鏡画像データとを対応付けて前記端末記録部に記録させることを特徴とする請求項1に記載の内視鏡システム。
  7. 前記認証部は、前記使用者の顔画像、前記使用者の生体情報および前記使用者のジェスチャ情報のいずれか1つ以上を取得して認証を行うことを特徴とする請求項1に記載の内視鏡システム。
  8. 前記端末装置は、
    前記相互通信の状態において前記プロセッサまたはネットワークに接続されたサーバに対して取得する画像データの解像度を設定する解像度設定要求信号の入力を受け付け可能な操作部をさらに備え、
    前記通信制御部は、前記プロセッサまたは前記サーバに対して、前記解像度設定要求信号を前記通信部に送信させることを特徴とする請求項1に記載の内視鏡システム。
  9. 前記端末装置は、
    画像データを生成可能な撮像部をさらに備え、
    前記認証部によって前記使用者が前記登録使用者であると認証された場合、前記使用者による前記撮像部の撮像機能を有効とする撮像制御部と、
    をさらに備えることを特徴とする請求項1に記載の内視鏡システム。
  10. 前記通信部は、手術室外へ情報を送信可能であり、
    前記通信制御部は、前記認証部によって前記使用者が前記登録使用者であると認証された場合、前記通信部による前記手術室外への前記情報の送信を許可することを特徴とする請求項1に記載の内視鏡システム。
  11. 情報の入力を受け付け可能な操作部をさらに備え、
    前記通信制御部は、前記認証部によって前記使用者が前記登録使用者であると認証された場合、ネットワークに接続されたサーバに対して、前記操作部が入力を受け付けた前記情報を前記通信部に送信させることを特徴とする請求項1に記載の内視鏡システム。
  12. ットワークに接続され、前記端末装置および前記プロセッサに相互通信可能なワイヤレスユニットをさらに備え、
    前記ワイヤレスユニットは、前記端末装置から前記識別情報を受信した場合、前記端末装置と相互通信可能であるか否かを示す接続可否判定情報を前記端末装置へ送信することを特徴とする請求項1に記載の内視鏡システム。
  13. 前記端末装置または前記ワイヤレスユニットは、前記接続可否判定情報を保持するとともに、前記端末装置の電源投入後に前記接続可否判定情報に基づいて、前記端末装置と前記ワイヤレスユニットとの自動接続を行うことを特徴とする請求項12に記載の内視鏡システム。
  14. 前記端末装置は、
    前記通信制御部によって前記プロセッサと当該端末装置との相互通信またはネットワークと当該端末装置との相互通信が可能であることを報知する報知部をさらに備えることを特徴とする請求項1に記載の内視鏡システム。
  15. 前記端末装置は、
    画像を表示可能な表示部と、
    前記表示部の表示態様を制御する表示制御部と、
    をさらに備え、
    前記通信制御部は、
    前記プロセッサがネットワークに接続されたサーバに送信した前記内視鏡画像データおよび前記サーバに蓄積された症例画像データを、前記ネットワークを介して前記サーバから取得し、
    前記表示制御部は、前記内視鏡画像データに対応する内視鏡画像と前記症例画像データに対応する症例画像とを比較可能に前記表示部に表示させることを特徴とする請求項1に記載の内視鏡システム。
  16. 前記プロセッサは、
    当該プロセッサに設けられた交換可能なデバイスに関するデバイス情報を記録するとともに、所定の範囲内に前記デバイス情報を無線送信可能な交換デバイス情報記録部をさらに備え、
    前記端末装置は、
    前記交換デバイス情報記録部から前記デバイス情報を取得可能な交換デバイス情報取得部をさらに備えることを特徴とする請求項1に記載の内視鏡システム。
  17. 前記通信制御部は、前記交換デバイス情報取得部が取得した前記デバイス情報をネットワークに接続されたサーバに送信することを特徴とする請求項1に記載の内視鏡システム。
  18. 被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すプロセッサに対して通信可能な端末装置であって、
    前記プロセッサに対して、当該端末装置を識別する識別情報を送信するとともに、前記プロセッサから相互通信を許可する認証情報を受信する通信部と、
    前記通信部が受信した前記認証情報に基づいて、前記プロセッサが相互通信可能な接続先であるか否かを判定する接続判定部と、
    当該端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証部と、
    前記接続判定部の判定結果および前記認証部の認証結果に基づいて、前記プロセッサと当該端末装置との相互通信を許可する通信制御部と、
    を備えることを特徴とする端末装置。
  19. 前記相互通信は、相互無線通信であることを特徴とする請求項18に記載の端末装置。
  20. 前記プロセッサおよび前記端末装置の各々は、ネットワークに対して接続可能であり、
    前記通信制御部は、前記接続判定部の判定結果および前記認証部の認証結果に基づいて、前記プロセッサと当該端末装置との相互無線通信または前記ネットワークと当該端末装置との相互無線通信を許可することを特徴とする請求項19に記載の端末装置。
  21. 被検体内を観察する内視鏡が取得した内視鏡画像データに対して画像処理を施すプロセッサと、前記プロセッサに対して通信可能な端末装置と、を備えた内視鏡システムが実行する制御方法であって、
    前記プロセッサに対して、前記端末装置を識別する識別情報を送信する送信ステップと、
    前記プロセッサから相互通信を許可する認証情報を受信する受信ステップと、
    前記認証情報に基づいて、前記プロセッサが相互通信可能な接続先であるか否かを判定する接続判定ステップと、
    前記端末装置の使用者が予め登録された登録使用者であるか否かを認証する認証ステップと、
    前記接続判定ステップの判定結果および前記認証ステップの認証結果に基づいて、前記プロセッサと前記端末装置との相互通信を許可する通信制御ステップと、
    を含むことを特徴とする制御方法。
JP2019556136A 2017-11-27 2018-10-18 内視鏡システム、端末装置および制御方法 Active JP6866501B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017227190 2017-11-27
JP2017227190 2017-11-27
PCT/JP2018/038875 WO2019102753A1 (ja) 2017-11-27 2018-10-18 内視鏡システム、端末装置、制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019102753A1 JPWO2019102753A1 (ja) 2020-11-19
JP6866501B2 true JP6866501B2 (ja) 2021-04-28

Family

ID=66631464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019556136A Active JP6866501B2 (ja) 2017-11-27 2018-10-18 内視鏡システム、端末装置および制御方法

Country Status (3)

Country Link
US (1) US11496468B2 (ja)
JP (1) JP6866501B2 (ja)
WO (1) WO2019102753A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7048628B2 (ja) 2016-11-28 2022-04-05 アダプティブエンドウ エルエルシー 分離可能使い捨てシャフト付き内視鏡
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110034769A1 (en) * 1997-10-06 2011-02-10 Micro-Imaging Solutions Llc Reduced area imaging device incorporated within wireless endoscopic devices
US6452626B1 (en) * 1997-10-06 2002-09-17 Edwin L. Adair Communication devices incorporating reduced area imaging devices
JP2003164413A (ja) * 2001-12-03 2003-06-10 Olympus Optical Co Ltd 内視鏡画像ファイリングシステム
JP4648016B2 (ja) * 2005-01-28 2011-03-09 オリンパス株式会社 内視鏡装置
JP2009213790A (ja) * 2008-03-12 2009-09-24 Fujinon Corp 内視鏡用プロセッサ装置、および内視鏡画像ファイルの出力方法
JP2009265531A (ja) * 2008-04-28 2009-11-12 Olympus Corp 内視鏡装置およびプログラム
JP5616917B2 (ja) * 2012-03-14 2014-10-29 富士フイルム株式会社 操作管理システムならびに制御システムおよびその動作制御方法
JP5988697B2 (ja) * 2012-05-23 2016-09-07 オリンパス株式会社 内視鏡システム及びプログラム
JP6669488B2 (ja) 2015-12-25 2020-03-18 オリンパス株式会社 内視鏡検査業務支援システム
CN207356062U (zh) * 2017-03-08 2018-05-15 福州宏旭科技有限公司 无线耳疗内窥镜

Also Published As

Publication number Publication date
US20200287899A1 (en) 2020-09-10
JPWO2019102753A1 (ja) 2020-11-19
WO2019102753A1 (ja) 2019-05-31
US11496468B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
JP6866501B2 (ja) 内視鏡システム、端末装置および制御方法
US10758310B2 (en) Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
JP5134721B1 (ja) ポータブル超音波診断装置
JP5351360B2 (ja) 無線映像伝送システム及び送信装置
CN104255023B (zh) 由平板电脑控制的相机系统
EP3005946A1 (en) Ultrasound diagnosis apparatus and communication connecting method performed in the ultrasound diagnosis apparatus
US10993608B2 (en) Endoscope system and control method
US20180084996A1 (en) A wireless imaging apparatus and related methods
JP6464329B2 (ja) 内視鏡システム、受信装置、ワークステーション、設定方法およびプログラム
JP6946460B2 (ja) 内視鏡システム、プロセッサ、制御方法およびプログラム
JP6300708B2 (ja) 内視鏡装置及び内視鏡装置の画像伝送方法
JP5959987B2 (ja) 内視鏡システム
JP6133474B2 (ja) 内視鏡システム
KR20120124123A (ko) 스마트폰에 의한 제어가 가능한 초음파 프로브
EP4159161A1 (en) Method and apparatus for predicting missing tooth in oral image
US20170290571A1 (en) Medical diagnostic apparatus, method for operating medical diagnostic apparatus, and computer-readable recording medium
KR102171116B1 (ko) 초음파 진단 장치, 초음파 프로브, 초음파 진단 장치의 동작 방법, 및 초음파 프로브의 동작 방법
JP2021029669A (ja) 内視鏡システム、データ処理装置、内視鏡、通信接続方法及びコンピュータプログラム
WO2016072156A1 (ja) カプセル型内視鏡誘導システム及びカプセル型内視鏡誘導システムの作動方法
WO2022014035A1 (ja) 集中制御装置及びデータログの表示方法
KR20140143125A (ko) 스마트폰에 의한 제어가 가능한 초음파 프로브
JP2013111476A (ja) ポータブル超音波診断装置
KR20240022047A (ko) 수술에 대한 시나리오를 제공하는 방법 및 디바이스
JP2021122610A (ja) 超音波診断装置、超音波探触子切替方法及びプログラム
KR20130083866A (ko) 스마트폰에 의한 제어가 가능한 초음파 프로브

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200427

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210407

R151 Written notification of patent or utility model registration

Ref document number: 6866501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250