JP6192882B1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP6192882B1
JP6192882B1 JP2017526726A JP2017526726A JP6192882B1 JP 6192882 B1 JP6192882 B1 JP 6192882B1 JP 2017526726 A JP2017526726 A JP 2017526726A JP 2017526726 A JP2017526726 A JP 2017526726A JP 6192882 B1 JP6192882 B1 JP 6192882B1
Authority
JP
Japan
Prior art keywords
scene
unit
image
endoscope
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017526726A
Other languages
English (en)
Other versions
JPWO2017061495A1 (ja
Inventor
伸介 谷
伸介 谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP6192882B1 publication Critical patent/JP6192882B1/ja
Publication of JPWO2017061495A1 publication Critical patent/JPWO2017061495A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00025Operational features of endoscopes characterised by power management
    • A61B1/00036Means for power saving, e.g. sleeping mode
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00108Constructional details of the endoscope body characterised by self-sufficient functionality for stand-alone use
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

プロセッサ側の画像処理部33は、画像における動き量又は距離を検出し、内視鏡手技シーン分類部53は、特徴量から画像のシーンが内視鏡手技シーンのいずれに該当するかの分類を行い、更に分類された内視鏡手技シーンの信頼性が低いか否かの判定を行い、信頼性が低い場合には、過去に分類された内視鏡手技シーンから目標圧縮率に決定して、対応する圧縮パラメータをワイヤレス内視鏡に送信し、ワイヤレス内視鏡は、圧縮パラメータで圧縮した画像の無線伝送を行う。

Description

本発明は、バッテリを備えた内視鏡本体により撮像した画像をプロセッサに無線伝送する内視鏡システムに関する。
近年、内視鏡は、医療分野及び工業用分野において広く用いられるようになっている。医療分野において使用される内視鏡は、半導体技術の進歩や照明用光源としてLEDを用いた省電力化により、充電式のバッテリを搭載したバッテリ駆動型の内視鏡(以下内視鏡本体)が実用化される状況に至っている。
このようにバッテリを搭載した内視鏡本体を利用した内視鏡システムにおいては、バッテリを搭載しない従来の内視鏡において画像処理装置としてのプロセッサや光源装置に接続するためのケーブルを必要としないため、(従来の内視鏡を用いた場合に比較して)術者が手術等を行う場合の操作性を向上することができる。
この場合、術者が内視鏡本体を把持して手術等を行う場合における良好な操作性を確保するためには、内視鏡本体に搭載したバッテリの重量を軽量化するために、バッテリの電池容量が制限される。
長時間に亘る手術を完遂できるようにするためには、更にバッテリ駆動する際の内視鏡本体内に搭載した電子回路における消費電力をより低減化することが必要になる。
内視鏡本体内に搭載した電子回路における消費電力をより低減化する有力な方法の1つとして、内視鏡本体からプロセッサ装置に無線伝送するデータ量を低減することが挙げられる。
特に、画像データは、データ量が膨大となるために、画像データを圧縮して伝送すると、消費電力の低減化の効果が大きくなる。
しかしながら、画像データを圧縮すると、圧縮に伴って画質も低下するため、例えば術者が内視鏡本体を操作して手術を行う場合、患部を精査して観察しようとするようなシーンにおいては高画質の画像が望まれるために、圧縮率を小さくするか又は圧縮しないで無線伝送することが望まれる。また、患部を観察するために、術者が内視鏡本体を挿入しているようなシーンの場合においては、術者は高画質の画像を必要とせず、圧縮率を大きくして無線伝送しても良い。このように術者が内視鏡手技を行おうとするシーン(以降、内視鏡手技シーン)の状態に応じて、画像データの圧縮率を変えて無線伝送することが望まれる。
例えば第1の従来例としての日本国特開2009−18975号公報は、被検体内を撮影するカプセル内視鏡と、被検体に携帯され、カプセル内視鏡で得られた内視鏡画像を無線受信して記憶する受信装置と、受信装置から取り込んだ内視鏡画像を記憶、管理すると共に、モニタで内視鏡画像を表示する情報管理装置とを備えたカプセル内視鏡システムを開示し、カプセル内視鏡から受信装置が無線受信した複数の内視鏡画像の中から、情報管理装置で記憶する内視鏡画像を選択する選択手段は、カプセル内視鏡から受信装置が無線受信した複数の内視鏡画像の中から、2つの内視鏡画像の類似度を算出し、算出した類似度に基づき、受信装置から情報管理装置に無線送信する内視鏡画像を選択することにより、カプセル内視鏡により撮影された内視鏡画像の読影を迅速に行うことができるようにしている。
第2の従来例としての日本国特表2009−513283号公報は、カプセルカメラ装置を開示し、このカプセルカメラ装置は、飲み込み適したハウジングと、ハウジング内の光源と、前記光源によって照射される部位の第1のデジタル画像及び第2のデジタル画像をキャプチャするためのカメラと、前記第1のデジタル画像及び前記第2のデジタル画像との差に基づき動きを検出する動き検出器と、前記動きの測定量に基づき、更に処理するための第2のデジタル画像を指定する動き評価器とを有し、前記動き検出によりキャプチャするキャプチャレートを変更することを記載している。
しかしながら、上記第1の従来例及び第2の従来例とも、画像の類似度又は動きを評価して、評価結果を考慮して画像データを無線伝送することを開示しているが、評価結果に基づいて内視鏡手技のシーンを分類するための手段は開示していない。そもそも、第1の従来例及び第2の従来例は、術者がカプセルカメラを操作することがないため、内視鏡手技は複数、存在しない。また、上記に加えて、動きなどの評価の信頼性を判定する手段や、信頼性が低いと判定された場合に無線伝送する際の圧縮率を再設定することを開示していない。
術者が内視鏡本体を操作して、内視鏡本体に搭載された撮像部により撮像される画像を観察しながら、診断や手術等を行おうとする際には、術者の操作により設定された各画像のシーンが、術者による複数からなる代表的な内視鏡手技シーンにおけるいずれの内視鏡手技シーンに該当するかの(シーン)分類を行うことが望まれると共に、分類した場合の信頼性を判定し、信頼性が低い場合には、画像を無線伝送する際の圧縮率を適切な値に再設定することが(術者による手術等を行う手技を円滑に支援できるようにするために)望まれる。
本発明は上述した点に鑑みてなされたもので、画像に対する内視鏡手技シーンを分類する際の信頼性が低い場合においても適切な目標圧縮率に設定して画像信号を無線伝送できるようにした内視鏡システムを提供することを目的とする。
本発明の一態様の内視鏡システムは、被検体内に挿入され、先端部に設けられた撮像部と、該撮像部により撮像した画像信号を無線伝送する第1の無線伝送部とを有する内視鏡本体と、前記被検体の外部に配置され、無線伝送された画像信号を受信する第2の無線伝送部と、無線伝送された前記画像信号の画像処理を行う画像処理部とを有するプロセッサと、前記撮像部により前記被検体内の部位を撮像した画像信号に基づいて、前記内視鏡本体による前記部位を観察する画像のシーンが、複数からなる代表的な内視鏡手技シーンにおけるいずれの内視鏡手技シーンに該当するかの分類をするシーン分類部と、前記シーン分類部により分類された前記シーンの信頼性の判定を行うシーン信頼性判定部と、前記シーン信頼性判定部が、前記シーン分類部により分類された前記シーンの信頼性が低いと判定した場合には、前記信頼性が低いと判定された画像信号のフレームよりも所定期間前のフレームの画像信号において前記シーン分類部によるシーンの分類結果に応じて、前記第1の無線伝送部が無線伝送する前記画像信号の目標圧縮率を決定する画像信号目標圧縮率決定部と、を有する。
図1は本発明の第1の実施形態の内視鏡システムの全体構成を示す図。 図2は第1の実施形態の内視鏡システムにおける内視鏡本体としてのワイヤレス内視鏡およびプロセッサの構成を示すブロック図。 図3は第1の実施形態の内視鏡システムにおけるプロセッサ側の画像処理部の構成を示すブロック図。 図4は動き検出部により動き量を算出するためのブロックマッチングにより、一方の画像における分割された領域に対応する他方の画像の領域を検出する場合の説明図。 図5Aは図4のブロックマッチングにより算出された水平方向の変位と垂直方向の変位に対するSSDの分布を示す図。 図5Bは、例えば画像のぼけが小さい場合と、ぼけが大きい場合において、ブロックマッチングにより算出された例えば水平方向の変位に対するSSDの分布の例を示す図。 図6Aは動き量に基づいて判別される代表的な画像シーンを示す図。 図6Bは動き量に基づいて判別される代表的な画像シーンを示す図。 図6Cは動き量に基づいて判別される代表的な画像シーンを示す図。 図6Dは内視鏡手技シーンの分類ができない例外の画像シーンを示す図 図7Aは画像シーンと動き量の大きさにより分類される内視鏡手技シーンと、各内視鏡手技シーンに対して設定される目標圧縮率の例を表形式で示す図。 図7Bは、内視鏡手技シーンに応じて設定される目標圧縮率と、画像の特徴及び画像シーンの関係を表形式で示す図。 図7CはLUTに格納され、内視鏡手技シーンと動き量に応じて設定される目標圧縮率との関係を表形式で示す図。 図7DはLUTに格納され、内視鏡手技シーンと距離に応じて設定される目標圧縮率との関係を表形式で示す図。 図7Eは画像シーン、動き量、距離に応じて分類される内視鏡手技シーンと、内視鏡手技シ−ンに応じて設定される目標圧縮率との関係を表形式で示す図。 図7Fは内視鏡手技シーンと動き量及び距離に応じて設定される目標圧縮率の関係を表形式で示す図。 図8Aは距離に基づいて判別される代表的な画像シーンを示す図。 図8Bは距離に基づいて判別される代表的な画像シーンを示す図。 図8Cは距離に基づいて判別される代表的な画像シーンを示す図。 図8Dは距離に基づいて判別不可となる例外シーンを示す図。 図9は第1の実施形態の内視鏡システムにおけるワイヤレス内視鏡とプロセッサとの処理内容を示すフローチャート。 図10は伝送可能なデータ量以下に目標圧縮率を設定して、フレーム番号と共に圧縮パラメータの値を変えて無線伝送する制御方法においての画像データ量の推移の様子を示す図。 図11は、動き量と距離との検出により内視鏡手技シーンを分類し、、更に目標圧縮率を決定する処理の一部を示すフローチャート。 図12は第1の実施形態の変形例の内視鏡システムにおけるワイヤレス内視鏡の画像処理部の構成を示すブロック図。 図13は第1の実施形態の変形例の内視鏡システムにおけるワイヤレス内視鏡とプロセッサとの処理内容を示すフローチャート。
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示すように、内視鏡システム1は、バッテリ駆動型の携帯型内視鏡を形成するワイヤレス内視鏡本体(以下、ワイヤレス内視鏡と略記)2Aと、ワイヤレス内視鏡2Aと無線により接続され所定の画像処理を行うプロセッサ3と、プロセッサ3に接続され内視鏡画像等を表示する表示装置としてのモニタ7等とによって主要部が構成される。また、本実施形態の内視鏡システム1においては、単一の撮像素子を備えたワイヤレス内視鏡2Aの他に、立体視が可能となる2つの撮像素子を備えた2点鎖線で示すワイヤレス内視鏡2Bを用いることもできる。
なお、本実施形態の内視鏡システム1は、手術室において使用される場合には、カート6上に、前記プロセッサ3をはじめとする各種医療機器、たとえば電気メス装置、気腹装置、ビデオレコーダ等の装置類および二酸化炭素を充填したガスボンベ等が載置される。
ワイヤレス内視鏡2I(I=A,又はB)は体腔内に挿入される細長の挿入部8と、挿入部8の基端側に設けられた操作部9とを有する。
図2に示すようにワイヤレス内視鏡2I内に設けた図示しない発光ダイオードにより構成される光源部(又は光源ユニット)26は、操作部9に配設され、内視鏡側制御部21に制御されて体腔内を照明する照明光を発生する。この照明光は図1における拡大図内に示すライトガイド11によって挿入部8の先端に設けられた先端部8aに導かれ、先端部8aの照明窓に設けられた照明レンズ12を介して被検体内の患部等の部位(被写体とも言う)に照射される。また、先端部8aには、拡大図に示すように撮像部22A、22Bが設けられている。
撮像部22Aは、挿入部8の先端部8aに配設され、被写体の光学像を結ぶ対物レンズ13と、その結像位置に配置される電荷結合素子(CCDと略記)またはCMOSセンサ等の撮像素子14とにより構成される。そして撮像素子14の撮像面には、光源部26からの照明光による被写体からの戻り光が結像され、撮像素子14は光電変換によって被写体光学像に基づく撮像画像(信号)を内視鏡側画像処理部(単に画像処理部とも言う)23に出力する。なお、撮像部22A(の撮像素子14)は、撮像画像(信号)を出力(又は生成)し、画像処理部23は撮像画像(信号)に対して画像処理した画像(信号)を生成すると定義しても良いし、撮像部22A(の撮像素子14)が、画像(信号)を出力(又は生成)し、画像処理部23はその画像(信号)に対して画像処理を行い、画像処理した画像(信号)を生成すると定義しても良い。撮像部22Bに関しても同様である。
図2は、第1の実施形態の内視鏡システム1におけるワイヤレス内視鏡2A、2Bおよびプロセッサ3の構成を示し、図3は、プロセッサ3における画像処理系の構成を示す。
図2に示すように、本実施形態におけるワイヤレス内視鏡2Aは、プロセッサ3と無線にて接続される、ワイヤレス構成を採るバッテリ駆動型の携帯型内視鏡であって、ワイヤレス内視鏡2A内の各回路部を制御する内視鏡側制御部(単に制御部とも言う)21と、被検体内の部位の撮像画像を取得する単一の撮像素子からなる撮像部22Aと、撮像部22Aからの撮像画像又は撮像画像信号に所定の画像処理を施す内視鏡側画像処理部23と、プロセッサ3との間で所定の信号を無線により伝送するための内視鏡側無線伝送部(単に無線伝送部とも言う)24と、ワイヤレス内視鏡2Aの各部に電源を供給するバッテリ25と、体腔内を照射するための光源部26と、プロセッサ3との間で無線送受信を行うためのアンテナ27とで、主要部が構成されている。
なお、制御部21は、例えばプログラムに従って制御動作を行う中央演算装置(CPUと略記)により構成される。また、画像処理部23は、撮像部22Aから出力される撮像信号に対して、相関二重サンプリング(CDS)処理を行うCDS回路等を備えた画像処理回路により構成される。また、無線伝送部24は、無線で送信する送信信号を生成する無線送信回路と、無線で受信した送信信号を受信し、復調した信号を生成する無線受信回路とから構成される。なお、制御部21、画像処理部23等をデジタルシグナルプロセッサ(DSP)により構成しても良い。また、後述するプロセッサ3側の制御部31、画像処理部33等もCPUや、DSPにより構成しても良い。
また、各ワイヤレス内視鏡2Aは、その種別を含む固有の識別情報(IDと略記)を格納するメモリ28を備え、プロセッサ3に信号を無線で送信する場合、IDを付加して送信する。このため、プロセッサ3は、信号を無線で受信した場合、送信元となるワイヤレス内視鏡2Aを識別することができる。
バッテリ25は、操作部9に装着することができるようになっている。また、バッテリ25は、ワイヤレス内視鏡2Aに装着された後、電源部として内視鏡側制御部21の他、撮像部22A、内視鏡側画像処理部23、光源部26および内視鏡側無線伝送部24に対して電力を供給することができるようになっている。
内視鏡側制御部21は、ワイヤレス内視鏡2Aにおける各部回路を制御するとともに、電源部であるバッテリ25を制御して各部に電力を供給させる。
また、内視鏡側制御部21は、プロセッサ3側から内視鏡側無線伝送部24を介して伝送される目標圧縮率に係る情報としての圧縮パラメータを取得し、当該圧縮パラメータに基づいて内視鏡側画像処理部23を制御する。
内視鏡側画像処理部23は、内視鏡側制御部21に制御されて、前記圧縮パラメータに応じて撮像部22Aからの撮像画像に対して目標圧縮率に圧縮する所定の画像処理を施した後、内視鏡側無線伝送部24に出力する。
内視鏡側無線伝送部24は、内視鏡側制御部21に制御され、プロセッサ3との間でアンテナ27を介して無線により画像データおよび所定の通信データの送受信を行う。この内視鏡側無線伝送部24は、本実施形態においては、たとえば60GHz帯による無線通信と5GHz帯による無線通信が可能である。
ワイヤレス内視鏡2Bは、ワイヤレス内視鏡2Aにおける撮像部22Aが、左右に配置された左撮像部29aと右撮像部29bとからなる撮像部22Bを備え、その他はワイヤレス内視鏡2Aと同様の構成である。
つまり、図1における拡大図に示すように左右方向に対物レンズ13l,13rが配置され、対物レンズ13l,13rの各結像位置に撮像素子14l,14rがそれぞれ配置されて、対物レンズ13l、撮像素子14lからなる左撮像部29aと、対物レンズ13r、撮像素子14rからなる右撮像部29bとが形成されている。
ワイヤレス内視鏡2Bにおける画像処理部23は、左撮像部29aと右撮像部29bにより生成される左右の撮像画像に対する所定の画像処理を施す。また、ワイヤレス内視鏡2Bにおける無線伝送部24は、画像処理部23により生成された左右の撮像画像を無線で伝送する。また、ワイヤレス内視鏡2Bの場合には、立体視の種別の情報を含むIDをプロセッサ3に送信するため、プロセッサ3は、立体視のワイヤレス内視鏡2Bに対応した画像処理を行う。
後述するように立体視のワイヤレス内視鏡2Bにおいては、被検体内の患部等の部位を撮像した場合、左右の撮像素子の2次元位置の情報から撮像部22B又は先端部8aと前記部位との間の距離を算出することが可能となる。
本実施形態におけるワイヤレス内視鏡2Iとプロセッサ3との無線通信は、たとえば画像処理部23からの画像信号については60GHz帯を利用した無線通信を行い、圧縮率等の情報に係る通信については5GHz帯を利用した無線通信を行う。なお、画像信号、圧縮率等の情報を何れも5GHzで行う方式、もしくは60GHzで行う方式、もしくはその他の圧縮方式の組み合わせでも良い。また、後述するように画像信号と圧縮パラメータなどの情報とを60GHzと、5GHzとに分けて行うようにしても良い。
これにより内視鏡側無線伝送部24は、制御部21に制御されて、撮像によって得た画像信号を前記圧縮率に応じて逐次アンテナ27を介してプロセッサ3に無線送信すると共に、プロセッサ3からの圧縮パラメータの情報を所定の時間間隔でアンテナ27を介して受信する。
一方、本実施形態においてプロセッサ3は、図2に示すように、プロセッサ3内の各回路部を制御するプロセッサ側制御部(単に制御部とも言う)31と、ワイヤレス内視鏡2Iと無線により情報の伝達を行うための無線受信機32と、無線受信機32を介して取得した撮像部22Iからの撮像信号に所定の処理を施すプロセッサ側画像処理部(単に画像処理部とも言う)33と、プロセッサ側画像処理部33からの出力された撮像画像をモニタ7に表示可能なフォーマットに変換して出力するビデオ出力部35と、術者等のユーザによる操作を受け付けるインタフェースであるユーザIF部36と、で主要部が構成されている。
前記無線受信機32は、ワイヤレス内視鏡2Iとの間で所定の信号を無線により伝送するためのプロセッサ側無線伝送部(単に無線伝送部とも言う)34と、ワイヤレス内視鏡2Iとの無線送受信のためのアンテナ37とで、主要部が構成されている。
なお、本実施形態においては、前記無線受信機32はプロセッサ本体とは別体に構成され、図示しないコネクタによってプロセッサ3本体に接続されるようになっている。図1では、カート6上に、プロセッサ3の本体とは別体に構成された無線受信機32が当該プロセッサ3上に載置される様子を示している。
また、無線受信機32における前記プロセッサ側無線伝送部34は、プロセッサ側制御部31に制御され、ワイヤレス内視鏡2Iとの間でアンテナ37を介して無線により画像データおよび所定の通信データの送受信を行うようになっている。また、このプロセッサ側無線伝送部34は、前記内視鏡側無線伝送部24と同様に本実施形態においては、たとえば60GHz帯による無線通信と5GHz帯による無線通信が可能である。
すなわち、プロセッサ側無線伝送部34は、ワイヤレス内視鏡2Iから送信される画像処理部23からの画像信号については60GHz帯を利用した無線通信により逐次アンテナ37を介して受信し、プロセッサ3内において判定した圧縮パラメータ等の情報に係る通信については、5GHz帯を利用した無線通信により所定の時間間隔でアンテナ37を介してワイヤレス内視鏡2Iに対して送信する。
ユーザIF部36は、ユーザ操作を受け付けるインタフェースであり、たとえば、フロントパネルおよび制御系の各種ボタン等によって構成され、ユーザ操作に基づく操作信号をプロセッサ側制御部31に対して出力する。
このユーザIF部36によって、ワイヤレス内視鏡2Iの観察モードの指定、および、画像表示に関する設定等の各種ユーザ操作を受け付けることができるようになっており、プロセッサ側制御部31は当該ユーザIF部36からの操作信号に基づいて、プロセッサ側無線伝送部34を介して、ワイヤレス内視鏡2Iの内視鏡側制御部21に対して各種指示を与えることが可能である。なお、プロセッサ3がプロセッサ側無線伝送部34を内蔵する構成にしても良い。
次に、プロセッサ3におけるプロセッサ側画像処理部33について詳述する。
図3は、第1の実施形態の内視鏡システム1におけるプロセッサ3の画像処理部(プロセッサ側画像処理部33)の構成を示す。
図3に示すように、プロセッサ側画像処理部33は、プロセッサ側無線伝送部34を介してワイヤレス内視鏡2Iから無線にて伝送された画像信号を取得する画像取得部(又は画像取得回路)51と、この画像取得部51において取得した画像信号に基づいてワイヤレス内視鏡2Iにおける挿入部8の先端部8aに設けた撮像部22A又は22Bによる被検体内の部位を観察した状態を反映する物理量を検出する物理量検出部(又は物理量検出回路)52と、物理量検出部52において検出した物理量の特徴量に基づいて術者がワイヤレス内視鏡2Iを用いて手技を行っているシーンが、予め用意又は登録された複数からなる代表的な内視鏡手技シーンのいずれの代表的な内視鏡手技シーンに該当するかのシーンの分類をする内視鏡手技シーン分類部(又は内視鏡手技シーン分類回路)53と、内視鏡手技シーン分類部53において分類した内視鏡手技シーンと、物理量検出部52において取得した物理量の特徴量(具体的には、物理量の大きさ、複数の位置での物理量の分布など)からワイヤレス内視鏡2Iにおける内視鏡側画像処理部23において用いる画像の目標圧縮率を決定する目標圧縮率決定部(又は目標圧縮率決定回路)54と、決定された目標圧縮率に圧縮する圧縮パラメータを決定する圧縮パラメータ決定部(又は圧縮パラメータ決定回路)57とで主要部が構成されている。
なお、画像取得部51は、無線伝送された画像信号が圧縮されている場合には、伸張する画像処理を行い、圧縮されていない画像信号を生成する。この画像信号は、物理量検出部52と、ビデオ出力部35とに出力される。また、画像取得部51は、無線伝送の状況を把握して、無線伝送可能なデータ量を算出する無線伝送可能データ量算出部51aと、無線伝送可能なデータ量を判定する無線伝送可能データ量判定部51bとを有する。なお、画像取得部51の内部に無線伝送可能データ量算出部51aと、無線伝送可能データ量判定部51bとを設けた例を示しているが、画像取得部51の外部に設けるようにしても良い。
また、無線伝送可能データ量算出部51aにより算出された無線伝送可能データ量と、無線伝送可能データ量判定部51bによる判定結果は、目標圧縮率決定部54に送られ、目標圧縮率決定部54は、無線伝送可能データ量を優先して画像信号を無線伝送する場合の目標圧縮率を決定する。
そして、後述するように無線伝送可能データ量を算出及び判定し、目標圧縮率が低い場合の画像信号を無線伝送する場合、無線伝送可能データ量以内となるように画像信号の圧縮率を設定し、確実に無線伝送することができるようにしている。
本実施形態における物理量検出部52は、撮像部22A又は22Bにより被検体内を撮像した画像信号に基づいて、1フレーム分の画像中における複数の代表領域における動き量(又は動きベクトル)を前記物理量として検出する動き量検出部(又は動き量検出回路)52aと、例えば撮像部22Bが撮像する被検体内の複数の位置と撮像部22Bとの間の複数の距離を前記物理量として検出する距離検出部(又は距離検出回路)52bとを有する。なお、動き量が検出される複数の代表領域は、最も小さい場合には複数の代表位置となる。また、距離が検出される複数の各位置として、位置の集合体としての複数の各代表領域としても良い。
本実施形態においては、立体視が可能な撮像部22Bを備えたワイヤレス内視鏡2Bを用いた場合においては、例えばユーザIF部36から物理量検出部52における検出する物理量として動き量検出部52a、及び距離検出部52bの一方を選択して画像シーンから内視鏡手技シーンの分類を行うことができる。これに対して、1つの撮像素子からなる撮像部22Aを備えたワイヤレス内視鏡2Aを用いた場合においては、物理量検出部52における検出する物理量として動き量検出部52aを選択して内視鏡手技シーンの分類を行う。後述する動作の具体例では、ワイヤレス内視鏡2Aを用いた場合においては、IDにより動き量検出部52aを自動的に選択する。
なお、距離計測用のレーザ光源と、被検体側に照射したレーザ光が戻るまでの時間計測する計測部とを備えた種別のワイヤレス内視鏡(2Cする)では、1つの撮像素子からなる撮像部22Aを備えたワイヤレス内視鏡においても、立体視が可能な撮像部22Bを備えたワイヤレス内視鏡2Bを用いた場合と同様に、物理量検出部52における検出する物理量として動き量検出部52a、及び距離検出部52bの一方を選択して内視鏡手技シーンの分類を行うことができる。以下の説明では、簡単化のためワイヤレス内視鏡として、ワイヤレス内視鏡2Aと2Bの場合において説明するが、ワイヤレス内視鏡2Cの場合に適用することもできる。
本実施形態における内視鏡手技シーン分類部53は、上記のように物理量検出部52により検出された物理量の特徴量に基づいて内視鏡手技シーンの分類を行う他に、さらに分類した内視鏡手技シーンの信頼性の判定を行う内視鏡手技シーン信頼性判定部(又はシーン信頼性判定回路)53aの機能を有する。
図3においては、内視鏡手技シーン分類部53が内視鏡手技シーン信頼性判定部53aを備える構成を示しているが、内視鏡手技シーン分類部53の外部に内視鏡手技シーン信頼性判定部53aを備える構成にしても良い。
また、画像処理部33は、内視鏡手技シーン分類部53が内視鏡手技シーンの分類を行う際の代表的な複数の内視鏡手技シーンを表す特徴量を格納した代表的な内視鏡手技シーン特徴量格納部55aを有するメモリ55を備え、内視鏡手技シーン分類部53は、メモリ55における代表的な内視鏡手技シーン特徴量格納部55aの情報を参照して内視鏡手技シーンの分類を行う(例えば、図7A,図7B参照)。
また、内視鏡手技シーン分類部53は、経時的(時間順)に分類した内視鏡手技シーンの情報を、例えばメモリ55における分類シーン格納部55bに(現在のフレームの画像から過去に遡る)適宜のフレーム数だけ格納する。
そして、シーン信頼性判定部53aは、内視鏡手技シーン分類部53が分類した内視鏡手技シーンの信頼性が低いと判定した場合には、信頼性が低いと判定されたフレームの画像(信号)よりも、所定期間前のフレームの画像(信号)において、内視鏡手技シーン分類部53により分類され、分類シーン格納部55bに格納されている内視鏡手技シーンの分類結果を目標圧縮率決定部54に送る。
目標圧縮率決定部54は、内視鏡手技シーン信頼性判定部53aにより信頼性が低いと判定されていない場合の内視鏡手技シーンにおいては、内視鏡手技シーン分類部53が分類した内視鏡手技シーンの分類結果と、物理量の大きさ等により目標圧縮率を決定する(図7A,図7B,図7C等参照)。前述したように、目標圧縮率決定部54には、無線伝送可能データ量と、判定結果が入力されるため、目標圧縮率決定部54は、無線伝送する画像信号のデータ量を、少なくとも無線伝送可能データ量以下の範囲内になるように目標圧縮率を決定する。換言すると、目標圧縮率決定部54は、無線伝送可能データ量と、内視鏡手技シーンの分類結果と、物理量の大きさ等により目標圧縮率を決定し、その場合、無線伝送可能データ量を優先する。
目標圧縮率決定部54は、予め用意されたルックアップテーブル(LUTと略記)56に格納された情報を参照して、目標圧縮率を決定する(図7C、図7D参照)。
物理量検出部52は、動き量を検出する動き量検出部52aと、距離を検出する距離検出部52bと有し、内視鏡手技シーンの分類は、画像シーンと、検出される動き量又は距離に基づいて行うため、まず動き量検出部52aによる動き量の検出、画像シーンの判別を説明する。つまり、内視鏡手技シーン分類部54は、画像シーンから内視鏡手技シーンを分類する。なお、画像シーンの判別を経ることなく、内視鏡手技シーンの分類を行うようにしても良い。
図4は、撮像部22Iにより撮像され、プロセッサ3の画像処理部33の動き量検出部52aに入力された現在のフレームの画像(信号)Ipと、1フレーム前の画像(信号)Ifとを示す。
動き量検出部52aは、両画像Ip,Ifを複数に区分けしたブロック(又は区分け領域)Bi(図4ではi=1〜9)に分割し、図4に示すように画像Ipにおける1つのブロックB5の画像が、画像IfにおけるいずれのブロックBiの画像に最も良く一致するかのブロックマッチングの処理を行う。
図4の場合、動き量検出部52aは、ブロックマッチングの処理として、ブロックB5,Bi間の対応する画素値の差の2乗和(SSD:Sum of Squared Difference)などを算出して、そのSSDが最小となるブロックBiをブロックB5にマッチングした同じブロックであると判定する。
例えば図4において、画像IpにおけるブロックB5が画像IpにおけるブロックB4に最も良くマッチングした場合には、動き量検出部52aは、ブロックB5の中心位置等の代表位置(単に位置とも言う)からブロックB4の代表位置までの移動量が1フレーム期間における動き量として検出する。
動き量検出部52aは、画像IpにおけるブロックB1からB9までのブロックにおいて、動き量を検出する。図4においては、9個のブロックB1〜B9の場合を説明したが、動き量検出部52aは、実際にはより大きな分割数のブロック(換言すると小さなサイズのブロック又は領域)において動き量を検出する。
また、図5Aは、図4のブロックのサイズを小さく設定した場合において画像Ip,Ifにおいて算出したSSDの特性Caと、水平方向と垂直方向の位置の1例を示す。例えば、画像Ip側の位置に対して、画像If側における(前記画像Ip側の位置に)対応する位置付近においてその位置を変化させた場合のSSDの特性を示す(このため、その特性は、動き量を決定する特性に対応する)。
図5Aに示す例では、水平方向の位置Phと垂直方向の位置PvとにおいてSSDが最小値SSD_aとなり、位置Ph,Pvからずれるとパラボラ状にSSDが大きくなる特性となっている。
このような特性Caの場合には、ブロックマッチングによる動き量の検出結果は、少なくとも信頼性が低くないと見なされる(評価される)。
これに対して、例えば図5Bでは、この特性Caと共に、信頼性が低い特性Cbを、例えば水平方向の位置に対する特性として示す。
上記のように特性Caの場合には、水平方向の位置がPhにおいてSSDの値が小さな最小値SSD_aとなり、この位置Phからの小さな位置変化に対してSSDの値が大きく変化する。
これに対して特性Cbの場合には、水平方向の位置がPhにおいてSSDの値が特性Caの場合とほぼ同じ値の最小値SSD_bとなり、この位置Phからの位置変化に対してSSDの値の変化が小さい。
例えば、SSD_a,SSD_bがノイズ等に起因する値Δ程度の誤差を含むとすると、特性Caの場合には位置Phから僅かにずれた範囲Raの値となり、位置Phの信頼性は高いのに対して、特性Cbの場合には位置Phから広い範囲Rbに及ぶ値となり、この場合の位置Phの信頼性は低い。即ち、範囲Ra,Rbの値を所定の閾値と比較することで、位置Phの信頼性が高いか低いかの判定、つまり、動き量の値自体の信頼性が高いか低いかの判定を行うことができる。
このため、特性Caの場合の動き量の特徴量を用いて画像シーンの判別と、内視鏡手技シーンの分類を行った場合には、内視鏡手技シーン信頼性判定部53aは、動き量に関しては内視鏡手技シーンの分類結果は低くないと判定する。これに対して、特性Cbの場合の動き量の特徴量を用いて内視鏡手技シーンの分類を行った場合には、内視鏡手技シーン信頼性判定部53aは、動き量の値自体の信頼性が低いため、その動き量を用いて分類した内視鏡手技シーンの信頼性が低いと判定する。
図6A〜図6Cは、動き量に基づいて判別された複数の代表的な画像シーンを示す図であり、図6Dは内視鏡手技シーンの分類ができない例外の画像シーンを示す図である。以下に説明するように、図6A〜図6C以外となる図6Dの画像シーンは、分類不可シーンの内視鏡手技シーンに該当する。
以下に説明するように1フレーム分の画像における複数の代表位置での動き量の(特徴量としての)大きさの分布により、複数の代表的な画像シーンに判別されると共に、内視鏡手技シーンに分類される。図6Aの画像シーンは、画像における代表的な複数の位置での動き量がほぼ等しい平行移動の画像シーン(図6Aでは右側への平行移動の画像シーン)を示す。
図6Bの画像シーンは、画像における中央側での動き量が小さく、周辺側ほど動き量が放射状に(段階的に)大きくなってなる前後移動の画像シーンを示す。
また、図6Cの画像シーンは、画像における例えば左側部分では動きがあるが、右側部分では動き量が小さい又は殆ど動きが無い一部移動の画像シーンを示す。例えば左側部分では心臓に近い臓器が動き、その右側の殆ど動いていない部分を詳細に観察している例が想定されたり、患部付近の一部を処置具で処置しながら手術を行っている例が想定される。このため、一部移動の画像シーンを一部移動無しの画像シーンと言うこともできる。このような一部移動の画像シーン又は一部移動無しの画像シーンにおいては、高画質の画像が望まれる治療シーンの内視鏡手技シーンに分類される。図7Aは、動き量により判別された画像シーンから分類される内視鏡手技シーンの1例を示すと共に、設定される目標圧縮率の関係を示している。図7Aに示すように一部移動の画像シーンは、治療シーンに分類され、平行移動の画像シーンは動き量の大きさに応じて、存在診断シーン、質的、量的診断シーンの内視鏡手技シーンに分類され、前後移動の画像シーンは、動き量の大きさに応じて挿入シーン、存在診断シーン、質的、量的診断シーンに分類される。
これに対して、図6Dの画像シーンは、(点線で示す)局所的な領域A内において動き量がバラバラになるために合理性のある分類ができない分類不可シーンとなる。検出された画像における動き量の大きさの分布(配置)が、上述した3つに分類できないで、上記分類不可シーンに該当する場合も起こりえる。
内視鏡手技シーン分類部53は、動き量検出部52aにより検出された動き量の画像内での(大きさを含む)分布の特徴量から、内視鏡手技シーンを特定(分類)し、例えば図7A又は図7Bに示すように特定した内視鏡手技シーンと目標圧縮率を設定する。また、この場合の画像の特徴と画像シーンは、図7Bに示すようになる。
図7Bに示すように内視鏡手技シーンのシーン項目における挿入シーンは、画像の特徴として動き量が大きい、又は距離が大きい場合に該当し、前後移動の画像シーンが主に対応する。そして、目標圧縮率は大(高)となる。存在診断シーンは、画像の特徴として動き量が中〜大、又は距離が中〜大の場合に該当し、平行移動又は前後移動の画像シーンが主に対応する。そして、目標圧縮率は中となる。
また、質的、量的診断シーンは、画像の特徴として動き量が小(低)〜中、又は距離が小〜中の場合に該当し、平行移動又は前後移動の画像シーンが主に対応する。そして、目標圧縮率は小(低)となる。また、治療シーンは、画像の特徴として動き量が小〜中、又は距離が小〜中の場合に該当し、一部移動の画像シーンが主に対応する。そして、目標圧縮率は小(低)となる。一部移動シーンは、画像の一部の領域のみ動きや距離が異なる。また、目標圧縮率の代わりに、目標圧縮率により定まる圧縮パラメータを用いるようにしても良い。
上記のように正常に分類される内視鏡手技シーンのシーン項目の他に、分類不可シーンは、画像の特徴として動き量の値が又は距離の値がばらつく(図6D参照)、若しくは算出精度は悪い場合に該当する(図5B参照)。そして、目標圧縮率は前のフレームにより決定される。
図7Bの主旨に沿って目標圧縮率を決定する場合、目標圧縮率を例えば圧縮後のデータ量を用いて大(100KB)、中(150KB)、小(180KB)と定めるようにしても良い。なお、KBはキロバイトを表す。また、目標圧縮率を例えば圧縮率を用いて、大(1/20倍)、中(1/15倍)、小(1/12倍)と定めるようにしても良い。また、同じ内視鏡手技シーンでも、動き量や距離に応じて、目標圧縮率の値を変化させても良い。
内視鏡手技シーン分類部53は、(内視鏡手技シーン信頼性判定部53aにより内視鏡手技シーンの信頼性が低いと判定されないで)上記のように分類対象の内視鏡手技シーンの1つに分類した場合、分類結果と共に、(検出される物理量が動き量の場合には)動き量の大きさの情報を目標圧縮率決定部54に送る。この場合、内視鏡手技シーンの分類は確定する。
目標圧縮率決定部54は、内視鏡手技シーン分類部53から送られた内視鏡手技シーンの分類結果と、動き量の大きさの情報とから、対応する目標圧縮率を、LUT56から読み出し、(検出される物理量が動き量の場合には)目標圧縮率を決定する。
図7Cは、内視鏡手技シーン及び動き量に応じて予め用意された目標圧縮率を決定するためのLUT56のテーブルの内容を示す。図7Cにおいては、動き量の場合において示しているが、図7Dは、動き量の代わりに距離に応じて予め用意された目標圧縮率を決定するためのLUT56のテーブルの内容を示す。上記のように内視鏡手技シーンは、挿入シーン(移動シーン)、存在診断シーン(スクリーニングシーン)、質的、量的診断シーン((精査シーン)、治療シーン、および分類不可シーンに分類できる。図7C、図7Dでは、以下のように目標圧縮率が設定される。
例えば、挿入シーンにおいては、動き量が大の場合は、距離が大の場合と同様に目標圧縮率が大に、動き鑞が中の場合は、距離が中の場合と同様に、目標圧縮率が中に、動き鑞が小の場合は、距離が小の場合と同様に目標圧縮率小に設定される。存在診断シーンの場合においては、動き量が大、中の場合は、距離が大、中の場合と同様に、目標圧縮率が中に、動き量が小の場合は、距離が小の場合と同様に、目標圧縮率が小に設定される。また、質的、量的診断シーンにおいては、動き量が中、小の場合は、距離が中、小の場合と同様に、目標圧縮率が小に設定される。、また、治療シーンにおいては、質的、量的診断シーンの場合と同様となる、また、分類不可シーンは、前フレームの場合から算出される。
なお、図7C、図7Dに示す目標圧縮率を決定するテーブルは、1つの具体例を示すものであり、例えばより細かく目標圧縮率を設定しても良い。
このように目標圧縮率決定部54は、図7Cに示すようなテーブル内容のLUT56を参照して、内視鏡手技シーンの分類結果(及び動き量の大きさ)から送信する画像の目標圧縮率を決定する。また、目標圧縮率決定部54により決定された目標圧縮率の情報は、圧縮パラメータ決定部57に入力され、圧縮パラメータ決定部57は目標圧縮率に圧縮するための圧縮パラメータ決定する。圧縮パラメータ決定部57は、決定した圧縮パラメータを無線伝送部34に送り、無線伝送部34は、入力された圧縮パラメータの情報をワイヤレス内視鏡2Iに無線で送信する。そして、ワイヤレス内視鏡2Iは、送信された圧縮パラメータを用いて、無線伝送する画像データを圧縮する。
なお、LUT56として動き量を検出した場合の図7C,距離を検出した場合の図7Dのようなテーブル内容の内視鏡手技シ−ンと目標圧縮率との関連付け(組み合わせ)の場合の他に、動き量と距離との両方の検出を行うような場合においては、図7Eに示すような関連付けのものを採用することができる。図7Eは、画像シーン、動き量及び距離から内視鏡手技シーンが分類される内容と共に、分類された内視鏡手技シーンの場合に応じて設定される目標圧縮率を含む内容となっている。
例えば、画像シーンが平行移動の場合において、動き量が大となる場合には、内視鏡手技シーンとして挿入シーン、存在診断シーン、質的、量的診断シーンが分類候補となり、その場合、距離が大、中、小に応じて挿入シーン、存在診断シーン、質的、量的診断シーンに分類される。また、分類された挿入シーン、存在診断シーン、質的、量的診断シーンに応じて、目標圧縮率が大、中、小に設定される。
また、画像シーンが平行移動の場合において、動き量が中となる場合には、内視鏡手技シーンとして存在診断シーン、質的、量的診断シーンが分類候補となり、その場合、距離が大、中、小に応じて存在診断シーン、質的、量的診断シーン、質的、量的診断シーンに分類される。また、分類された存在診断シーン、質的、量的診断シーンに応じて、目標圧縮率が、中、小に設定される。
また、画像シーンが平行移動の場合において、動き量が小となる場合には、内視鏡手技シーンとして存在診断シーン、質的、量的診断シーンが分類候補となり、その場合、距離が大、中、小に応じて存在診断シーン、質的、量的診断シーン、質的、量的診断シーンに分類される。また、分類された存在診断シーン、質的、量的診断シーンに応じて、目標圧縮率が、中、小に設定される。
画像シーンが前後移動の場合において、動き量が大となる場合には、内視鏡手技シーンとして挿入シーン、存在診断シーンが分類候補となり、その場合、距離が大、中、小に応じて挿入シーン、存在診断シーン、存在診断シーンに分類される。また、分類された挿入シーン、存在診断シーンに応じて、目標圧縮率が大、中に設定される。
また、画像シーンが前後移動の場合において、動き量が中となる場合には、内視鏡手技シーンとして挿入シーン、存在診断シーン、質的、量的診断シーンが分類候補となり、その場合、距離が大、中、小に応じて挿入シーン、存在診断シーン、質的、量的診断シーンに分類される。また、分類された挿入シーン、存在診断シーン、質的、量的診断シーンに応じて、目標圧縮率が、大、中、小に設定される。
また、画像シーンが前後移動の場合において、動き量が小となる場合には、内視鏡手技シーンとして存在診断シーン、質的、量的診断シーンが分類候補となり、その場合、距離が大、中、小に応じて存在診断シーン、質的、量的診断シーン、質的、量的診断シーンに分類される。また、分類された存在診断シーン、質的、量的診断シーンに応じて、目標圧縮率が中、小に設定される。
また、画像シーンが一部移動の場合には治療シーンに分類され、目標圧縮率が小に設定される。その他の画像シーンは、分類不可の内視鏡手技シ−ンに分類され、目標圧縮率は、前フレームの画像の内視鏡手技シーンにより設定(決定)される。
また、内視鏡手技シ−ンと目標圧縮率との関連付け(組み合わせ)のモードとして、例えば低圧縮を行う標準モードと、高圧縮を行う省電力モードのように複数のモードを用意し、ユーザが使用するモードを設定(選択)できるようにしても良い。また、LUT56は、分類された内視鏡手技シーンと、動き量及び距離の少なくとも一方とから、目標圧縮率を決定するものに限らず、画像シーンと、き量及び距離の少なくとも一方とから、目標圧縮率を決定するようなものでも良い。また、LUT56として図7Eの代わりに、図7Fのテーブル内容のものを採用しても良い。
一方、内視鏡手技シーン信頼性判定部53aは、図5Bにおいて説明したように算出された動き量の値の信頼性(算出精度)が低い場合、又は図6Dの例外シーンの場合には、例外シーンに該当する内視鏡手技シーンとしての分類不可シーンの信頼性が低いと判定する。
内視鏡手技シーンの信頼性が低いと判定された画像に対しては、内視鏡手技シーン分類部53は、この画像のフレームの1つ前のフレームの画像の内視鏡手技シーンと同じと判定する。または、内視鏡手技シーン分類部53は、この画像のフレームの複数フレーム前のフレームの画像の内視鏡手技シーンと同じと判定する。
このように内視鏡手技シーンの信頼性が低いと判定された画像に対しては、内視鏡手技シーン分類部53は、この画像のフレームから所定期間前のフレームの画像の内視鏡手技シーンと同じと判定する。なお、内視鏡手技シーンの信頼性が低いと判定された画像に対して、内視鏡手技シーン分類部53がその画像のフレームから何フレーム前の画像の内視鏡手技シーンと同じと設定する場合のフレーム数、又はフレーム期間の情報を術者等のユーザが、ユーザIF部36から設定できるようにしても良い。また、後述する動作例のように、過去に分類された内視鏡手技シーンが複数ある場合、例えば、過去に分類された内視鏡手技シーンにおける最新の内視鏡手技シーンと同じであると判定(分類)する。または、複数の過去に分類された内視鏡手技シーンから、内視鏡手技シーンの変化に応じて最新の内視鏡手技シーンを推定する。例えば、複数の過去のフレームが存在診断シーンと分類され、その場合の動き量が少しずつ大きくなっている場合には、存在診断シーンから挿入シーンに移行していると判断する。
このように、内視鏡手技シーンの信頼性が低いと判定された画像の場合には、当該画像よりも前のフレームの画像と同じ内視鏡手技シーンと判定され、当該前のフレームの内視鏡手技シーンに対応する目標圧縮率が設定(決定)される。
更に距離検出部52bを用いた場合の内視鏡手技シーンの分類及び目標圧縮率の決定を説明する。左撮像部29a、右撮像部29bにより撮像され、画像取得部51を経て距離検出部52bに入力された左右の画像(信号)は、距離検出部52bにより一方の画像内における複数の代表的な位置においての距離が算出される。なお、画像内の各位置は、撮像された被検体内の各部位にそれぞれ対応するため、被検体内における代表的な複数の位置と、撮像部22B(又は先端部8aの先端)間の距離が算出されると言っても良い。
図8A〜図8Cは、距離に基づいて判別された複数の代表的な画像シーンの場合における距離(情報)を示す図であり、図8Dは例外の画像シーンを示す図である。図8Aの画像シーンは、画像における代表的な複数の位置での距離が、例えば大となる平行移動の画像シーンを示す。なお、図8A〜図8Dにおいて、円の大きさが距離の大きさを表す。
図8Bの画像シーンは、画像における中央側での距離が大きく、周辺側ほど距離が放射状に小さくなってなる前後移動の画像シーンを示す。
また、図8Cの画像シーンは、画像における例えば左側部分の領域では距離が変化しているが、右側部分の領域では距離が変化していない一部移動の画像シーンを示す。なお、この他に画像シーンとして、図8Cの画像シーンにおいて、画像の全体において距離が小さい移動無しの画像シーンを、一部移動の画像シーンに含めるようにしても良い。
これに対して、図8Dの画像シーンは、(点線で示す)局所的な領域A内において距離の値が閾値以上にバラバラになる(ばらつく)ために例外の画像シーンとなる。
内視鏡手技シーン分類部53は、距離検出部52bにより検出された距離(情報)の画像内での分布の特徴量から、図8A〜図8Cの3つの画像シーンに判別し、図7Bに示したように距離の大きさからいずれの内視鏡手技シ−ンに該当するか否かの分類を行う。
また、内視鏡手技シーン分類部53は、距離検出部52bにより検出された距離(の値)の画像内での分布の特徴量が、図8Dの画像シーンのように局所的な領域A内において距離がバラバラになる例外の画像シーンも、分類不可シーンとしてその信頼性が低いとする。
内視鏡手技シーン分類部53は、上記のように分類した内視鏡手技シーンの情報と共に、距離の大きさの情報を目標圧縮率決定部54に送る。この場合、内視鏡手技シーンの分類は確定する。
目標圧縮率決定部54は、内視鏡手技シーン分類部53から送られた内視鏡手技シーンの分類結果と、距離の大きさの情報とから対応する目標圧縮率を、LUT56から読み出し、画像の目標圧縮率を決定する。
上述したように 図7Dは、予め用意された距離の場合において使用されるLUT56のテーブル内容を示す。
上述したように挿入シーンにおいては距離が大の場合には目標圧縮率が大に、距離が中の場合には目標圧縮率が中に、距離が小の場合には目標圧縮率が小に設定される。存在診断シーンにおいては、距離が大、中、小の場合には、それぞれ目標圧縮率が中、小、小に設定される。また、質的、量的診断シーンと、治療シーンにおいては、距離が中又は、小の場合において目標圧縮率が小に設定される。なお、分類不可シーンの場合は、動き量の場合において説明したように時間的に前となるフレームの画像に対して分類された内視鏡手技シーンによる目標圧縮率に設定される。
このように目標圧縮率決定部54は、図7Dのようなテーブル内容のLUT56を参照して、決定対象の画像の目標圧縮率を決定する。また、目標圧縮率決定部54により、決定された目標圧縮率の情報は、圧縮パラメータ決定部57に入力され、圧縮パラメータ決定部57は目標圧縮率に圧縮するための圧縮パラメータ決定する。圧縮パラメータ決定部57は、決定した圧縮パラメータを無線伝送部34に送り、無線伝送部34は、入力された圧縮パラメータの情報をワイヤレス内視鏡2Iに無線で送信する。そして、ワイヤレス内視鏡2Iは、送信された圧縮パラメータを用いて、無線伝送する画像データを圧縮する。
一方、内視鏡手技シーン信頼性判定部53aは、図5Bにおいて説明したのと類似して、距離を算出する場合の精度が低い場合、又は図8Dのように例外の画像シーンに対応する(内視鏡手技シーンとしての)分離不可シーンの場合にはその内視鏡手技シーンの信頼性が低いと判定する。
内視鏡手技シーンの信頼性が低いと判定された画像に対しては、上述した動き量の場合と同様に、内視鏡手技シーンの信頼性が低いと判定された画像の場合には、当該画像よりも前のフレームの画像と同じ内視鏡手技シーンと判定され、当該前のフレームの内視鏡手技シーンに対応する目標圧縮率が設定(決定)される。
本実施形態の内視鏡システム1は、被検体内に挿入され、先端部8aに設けられた撮像部22A又は22Bと、該撮像部22A又は22Bにより撮像した画像信号を無線伝送する第1の無線伝送部を形成する無線伝送部24とを有する内視鏡本体を形成するワイヤレス内視鏡2A又は2Bと、前記被検体の外部に配置され、無線伝送された画像信号を受信する第2の無線伝送部を形成する無線伝送部34と、無線伝送された前記画像信号の画像処理を行う画像処理部33とを有するプロセッサ3と、前記撮像部22A又は22Bにより前記被検体内の部位を撮像した画像信号に基づいて、前記内視鏡本体による前記部位を観察する画像のシーンが、複数からなる代表的な内視鏡手技シーン(挿入シーン、存在診断シーン、質的、量的診断シーン、治療シーン)におけるいずれの内視鏡手技シーンに該当するかの分類をするシーン分類部を形成する内視鏡手技シーン分類部53と、前記シーン分類部により分類された前記シーンの信頼性の判定を行うシーン信頼性判定部を形成する内視鏡手技シーン信頼性判定部53aと、前記シーン信頼性判定部が、前記シーン分類部より分類された前記シーンの信頼性が低いと判定した場合には、前記信頼性が低いと判定された画像信号のフレームよりも所定期間前のフレームの画像信号において前記シーン分類部による内視鏡手技シーンの分類結果に応じて、前記第1の無線伝送部が無線伝送する前記画像信号の目標圧縮率を決定する画像信号目標圧縮率決定部を形成する目標圧縮率決定部54と、を有することを特徴とする。
次に図9を参照して本実施形態の動作を説明する。図9は、本実施形態におけるワイヤレス内視鏡2Iとプロセッサ3との代表的な処理を示す。なお、図9における最も左側のフローチャート部分は、ワイヤレス内視鏡2I側の処理を示し、その右側は、プロセッサ3側の処理を示す。なお、図9の図面上では、内視鏡手技シーンを単にシーンと表記している。
ワイヤレス内視鏡2Iとプロセッサ3との両者の電源が投入されると、両者は動作状態となる。
最初のステップS1においてプロセッサ3の制御部31は、無線伝送部34からワイヤレス内視鏡2IがIDを送信するようにID(送信)要求のコマンドを無線送信する。ワイヤレス内視鏡2Iは、ステップS2においてこのコマンドを受信し、要求されたIDを無線送信する。そして、ステップS3に示すようにプロセッサ3はIDを受信し、ワイヤレス内視鏡2Iと無線通信する接続状態となる。なお、プロセッサ3はIDを受信することにより、IDを送信したワイヤレス内視鏡2Iの撮像部22Iの種別が1つの撮像素子を有する22Aタイプであるか2つの撮像素子を有する22Bタイプであるかを認識(識別)する。
次のステップS4においてワイヤレス内視鏡2Iは、撮像部22Iにより被検体の体腔内の撮像を開始する。そして、ステップS5においてワイヤレス内視鏡2Iの画像処理部23は、撮像部22Iにより撮像した画像の(圧縮前の)画像データを生成し、ステップS6においてワイヤレス内視鏡2Iの画像処理部23は、予め設定された圧縮パラメータで前記画像データを圧縮する。画像データを無線で伝送(通信)する場合、無線伝送可能なデータ量に制限があるため、送信する場合のデータ量が無線伝送可能なデータ量より大きくならない様に、画像圧縮により、送信する場合のデータ量を調整する必要がある。
ステップS7においてワイヤレス内視鏡2Iの無線伝送部24は、圧縮された画像データを無線送信する。ステップS8においてプロセッサ3の無線伝送部34は、圧縮された画像データを受信し、画像処理部33は、圧縮前の画像データに戻す画像処理を行う。また、画像処理部33内の無線伝送可能データ量算出部51aは、無線伝送部24から無線伝送部34に最初に無線送信された画像データを受信した際に、無線伝送可能データ量を算出し、無線伝送可能データ量判定部51bは無線送信された画像データが無線伝送可能なデータ量の範囲内であることを判定する。
例えば、最初に画像データを送信する場合、送信データ量のレートを変化させた複数の画像データを送信して無線伝送可能データ量判定部51bが無線伝送可能なデータ量を判定できるようにしても良い。仮に無線伝送可能データ量判定部51bが無線送信された画像データが無線伝送可能なデータ量の範囲を超える場合には、画像データの圧縮パラメータを大きくして、画像データをより大きく圧縮して送信するように送信要求の信号を、無線伝送部34を経てワイヤレス内視鏡2Iの無線伝送部24に送信し、ワイヤレス内視鏡2Iからプロセッサ3に無線送信される画像データが無線伝送可能なデータ量の範囲内に設定する。
図10は、無線伝送可能データ量判定部51bにより無線伝送可能なデータ量を算出後におけるワイヤレス内視鏡2Iの無線伝送部24からプロセッサ3の無線伝送部34に無線伝送される場合の画像データ量の推移をフレーム番号の変化の場合で示す。
例えば、撮像された画像が2000キロバイト(2000KBと略記)の画像データに対して、無線伝送可能なデータ量が200KBであれば、1/10倍に圧縮しなければならない。この場合、ワイヤレス内視鏡2Iの画像処理部23は、圧縮パラメータに基づいて画像圧縮を行う。なお、圧縮パラメータは、大きな値にするほど、高圧縮(大きい圧縮)小さい値にするほど低圧縮になる。
圧縮パラメータをpとした場合、圧縮パラメータpを変えることで画像圧縮後のデータ量を変えることができるが、最終的なデータ量は圧縮パラメータpと画像とにより決まる。圧縮し難い画像であれば、同じ圧縮パラメータpでも、圧縮後のデータ量が異なる(換言すると、同じ圧縮パラメータpでも圧縮率が異なる)。
そのため、目標圧縮率を定めて、圧縮パラメータpと共に圧縮後のデータ量を監視しながら、画像圧縮後のデータ量が無線伝送可能なデータ量を超えないように、適宜に圧縮パラメータpを更新していかなければならない。
無線伝送可能なデータ量が、例えば200KBの場合、200KBを超えるデータ量になると、その画像を伝送できないため、目標とする圧縮後のデータ量は200KBより例えば1割小さい値としての180KBにする。
図10に示す例では、圧縮パラメータpの初期値を大きな値としての200にして、最初は画像圧縮後のデータ量を十分に小さくしておいて、目標圧縮率に近づける制御方法を採用している。図10に示すような制御方法を採用することにより、フレーム番号が大きい画像においてのデータ量を目標とする圧縮後のデータ量からのずれを小さい範囲に抑え、安定して画像の無線伝送を行えるようにする。
図10に示すようにフレーム番号0の最初の画像を大きな値の圧縮パラメータpにより圧縮して伝送し、次のフレーム番号1においては、前のフレーム番号0の圧縮されたデータ量に応じて、目標圧縮率を更新する。
具体的には、フレーム番号1の圧縮パラメータpの値を算出する方法を述べる。
以下のように最初は、初期値200の圧縮パラメータpからスタートし、フレーム番号1から圧縮パラメータpを算出する。
入力画像サイズ 2000KB
目標とする圧縮後のデータ量 180KB
目標圧縮率 180KB/2000KB
前フレーム(0)の圧縮パラメータp 200
前フレーム(0)のデータ量 40KB
次フレームの圧縮パラメーpの値は、以下の関数式で算出する。
次フレームの圧縮パラメーpの値=前フレームの圧縮パラメーpの値+定数×(前フレームのデータ量−目標とする圧縮後のデータ量)/目標とする圧縮後のデータ量
=200+65×(40KB−180KB)/180KB
=150
次フレームの圧縮パラメーpの値を算出する関数式は制御方法の制約により様々な式が考えられる。この場合の制約としては、早く目標圧縮率に収束させる、制御中の画質の変化を少なくする等がある。
図9におけるステップS8の次のステップS9においてプロセッサ3の制御部31は、目標圧縮率を決定するための物理量検出部52が検出する物理量として動き量か否かの判定を行う。ステップS3においてワイヤレス内視鏡2Iの撮像部22Iの種別が22Aタイプであると認識した場合には、ステップS9の判定処理に関して制御部31は、動き量であると判定する。
これに対してワイヤレス内視鏡2Iの撮像部の種別が22Bタイプであると認識した場合には、術者がユーザIF部36から動き量と距離との一方を選択する。なお、ステップS9の際に、術者が一方を選択する入力を行う場合に限定されるものでなく、ステップS9よりも前の段階において一方を選択する入力を行うようにしても良い。また、後述するように両方を用いて圧縮率を決定する処理を行う選択をすることもできる。
ステップS9の判定処理において動き量を検出することが選択又は判定された場合には次のステップS10aにおいて動き量検出部52aは、この動き量検出部52aに入力された画像(現在画像又は現在フレームの画像とも言う)と1フレーム前の画像とを用いて現在画像における動き量を検出する(最初の1フレーム分の画像においては、前のフレームの画像が無いため、この処理を行わないで、次のフレームの画像においてこの処理を開始する)。
次のステップS11aにおいて内視鏡手技シーン分類部53は、動き量検出部52aにより検出された動き量の画像内での分布からこの画像が図6A〜図6Dに示したいずれの代表的な画像シーンに該当するかの判別を行い、さらに画像シーンと動き量の大きさから図7Aに示すような内視鏡手技シーンの分類の処理を行う。
次のステップS12aにおいて内視鏡手技シーン信頼性判定部53aは、内視鏡手技シーン分類部53により分類された内視鏡手技シーンの信頼性が低いか否かの判定を行う。上述したように、内視鏡手技シーン信頼性判定部53aは、内視鏡手技シーンの分類に用いる動き量の信頼性が低い場合(図5Bの特性Cbの場合)、又は図6A〜図6Dに示した例外の画像シーンの場合に(分類された)内視鏡手技シーンの信頼性が低いと判定し、その他の場合には内視鏡手技シーンの信頼性が低くないと判定する。
従って、ステップS12aの判定処理において内視鏡手技シーンの信頼性が低くないと判定された場合には、次のステップS13aにおいて内視鏡手技シーン分類部53により分類された現在画像に対する内視鏡手技シーンの分類が決定する。そして、内視鏡手技シーン分類部53は決定した分類結果と、その際の動き量の大きさを目標圧縮率決定部54に送る。
次のステップS14aにおいて目標圧縮率決定部54は、算出された無線伝送可能なデータ量と、内視鏡手技シーン分類部53が決定した内視鏡手技シーンと、動き量の大きさの情報とを用いて対応する目標圧縮率を、例えば図7Cの内容のLUT56から読み出し、目標圧縮率を決定する。目標圧縮率決定部54は、算出された無線伝送可能なデータ量以内となるように目標圧縮率を決定する。そして、図9Bにおいて説明した制御方法により画像信号を無線伝送する場合、無線伝送可能データ量以内となるように画像信号の目標圧縮率を設定し、画像信号を確実に無線伝送することができるようにしている。決定された目標圧縮率は、圧縮パラメータ決定部57に入力され、圧縮パラメータ決定部57は目標圧縮率に圧縮する場合の圧縮パラメータを決定し、その圧縮パラメータを無線伝送部34に送る。
次のステップS15において無線伝送部34は、決定された圧縮パラメータをワイヤレス内視鏡2Iに無線送信する。
一方、ステップS12aにおいて内視鏡手技シーンの信頼性が低いと判定された場合には、ステップS16aにおいて内視鏡手技シーン分類部53は、過去に分類された内視鏡手技シーンが存在するか否かの判定を行う。過去に分類された内視鏡手技シーンが存在する場合には、ステップS17aにおいて内視鏡手技シーン分類部53は、例えば、過去に分類された内視鏡手技シーンを最新の内視鏡手技シーンと同じであると判定(分類)する。または、複数の過去に分類された内視鏡手技シーンから、内視鏡手技シーンの変化に応じて最新の内視鏡手技シーンを推定する。そして、ステップS18aにおいて内視鏡手技シーン分類部53は、その内視鏡手技シーンの情報を、(動き量の信頼性が低くない場合には動き量の大きさと共に)目標圧縮率決定部54に送る。
次のステップS19aにおいて目標圧縮率決定部54は、内視鏡手技シーン分類部53から送られた内視鏡手技シーン、又は内視鏡手技シーンと共に動き量の信頼性が低くない場合の動き量の大きさの情報とを用いて対応する目標圧縮率をLUT56から読み出し、目標圧縮率を決定する。その後、ステップS15の処理に移る。なお、動き量の信頼性が低い場合(換言すると内視鏡手技シーンのみの情報から目標圧縮率を決定する場合)には、目標圧縮率決定部54は、例えばその内視鏡手技シーンにおける最も目標圧縮率が大きい場合の目標圧縮率に決定するように設定しても良い。
これに対して、ステップS16aの判定処理において、過去に分類された内視鏡手技シーンが存在しない場合には、ステップS20aに示すように内視鏡手技シーン分類部53は、予め用意又は設定された所定の内視鏡手技シーンの情報、例えば、内視鏡手技シーンは変化しないという情報を目標圧縮率決定部54に送る。そして、ステップS19aにおいて目標圧縮率決定部54は、内視鏡手技シーン分類部53から送られた所定の内視鏡手技シーンの情報を用いて対応する目標圧縮率をLUT56から読み出し、目標圧縮率を決定する。図7Cの場合、挿入シーン、と存在診断シーンにおいては内視鏡手技シーンにおける動き量の大きさにより目標圧縮率が変化し、質的、量的診断シーン、治療シーンにおいては動き量が中以下となり、目標圧縮率が小に設定される。
一方、ステップS9の判定処理において、動き量でなく、距離の検出が選択又は判定された場合には、ステップS10bにおいて距離検出部52bは、視差のある左右の撮像部29a,29bに基づく左右画像から、一方の画像における複数の位置での距離を検出する。
以下に説明するステップS11b〜S20bは、ステップS11a〜S20aと類似した処理となる(動き量を距離に置換した処理となる)。
次のステップS11bにおいて内視鏡手技シーン分類部53は、距離検出部52bにより検出された距離の画像内での分布からその画像が図8A〜図8Dに示したいずれの代表的な画像シーンに該当するかの判別を行い、さらに画像シーンと距離の大きさから図7Bに示すような内視鏡手技シーンの分類の処理を行う。
次のステップS12bにおいて内視鏡手技シーン信頼性判定部53aは、内視鏡手技シーン分類部53により分類された内視鏡手技シーンの信頼性が低いか否かの判定を行う。上述したように、内視鏡手技シーン信頼性判定部53aは、内視鏡手技シーンの分類に用いる距離の信頼性が低い場合、又は図8Dに示した例外シーンの場合(局所的な領域A内において距離の値が閾値以上にばらつく場合)に内視鏡手技シーンの信頼性が低いと判定し、その他の場合には内視鏡手技シーンの信頼性が低くないと判定する。
従って、ステップS12bの判定処理において内視鏡手技シーンの信頼性が低くないと判定された場合には、次のステップS13bにおいて内視鏡手技シーン分類部53により分類された現在画像に対する内視鏡手技シーン分類が決定する。そして、内視鏡手技シーン分類部53は決定した分類結果と、その際の距離の大きさを目標圧縮率決定部54に送る。
次のステップS14bにおいて目標圧縮率決定部54は、算出された無線伝送可能なデータ量と、内視鏡手技シーン分類部53が決定した内視鏡手技シーンと、距離の大きさの情報とを用いて対応する目標圧縮率を図7Dに示すLUT56から読み出し、目標圧縮率を決定する。目標圧縮率決定部54は、算出された無線伝送可能なデータ量以内となるように目標圧縮率を決定する。そして、目標圧縮率が低い場合の画像信号を無線伝送する場合、無線伝送可能データ量以内となるように画像信号の目標圧縮率を設定し、画像信号を確実に無線伝送することができるようにしている。決定された目標圧縮率は、圧縮パラメータ決定部57に入力され、圧縮パラメータ決定部57は目標圧縮率に圧縮する場合の圧縮パラメータを決定し、その圧縮パラメータを無線伝送部34に送る。
次のステップS15において無線伝送部34は、決定された圧縮パラメータをワイヤレス内視鏡2Iに無線送信する。
一方、ステップS12bにおいて内視鏡手技シーンの信頼性が低いと判定された場合には、ステップS16bにおいて内視鏡手技シーン分類部53は、過去に分類された内視鏡手技シーンが存在するか否かの判定を行う。過去に分類された内視鏡手技シーンが存在する場合には、ステップS17bにおいて内視鏡手技シーン分類部53は、例えば過去に分類された内視鏡手技シーンを最新の内視鏡手技シーンと同じであると判定(分類)する。または、複数の過去に分類された内視鏡手技シーンから、内視鏡手技シーンの変化に応じて最新の内視鏡手技シーンを推定する。そして、ステップS18bにおいて内視鏡手技シーン分類部53は、その内視鏡手技シーンの情報を、(距離の信頼性が低くない場合には距離の大きさと共に)目標圧縮率決定部54に送る。
次のステップS19bにおいて目標圧縮率決定部54は、内視鏡手技シーン分類部53から送られた内視鏡手技シーン、又は内視鏡手技シーンと共に距離の信頼性が低くない場合のその距離の大きさの情報とを用いて対応する目標圧縮率をLUT56から読み出し、目標圧縮率を決定する。その後、圧縮パラメータ決定部57は目標圧縮率に圧縮する場合の圧縮パラメータを決定し、その圧縮パラメータを無線伝送部34に送り、ステップS15の処理に移る。なお、距離の信頼性が低い場合(換言すると内視鏡手技シーンのみの情報から目標圧縮率を決定する場合)には、目標圧縮率決定部54は、その内視鏡手技シーンにおける最も目標圧縮率が大きい場合の目標圧縮率に決定するようにしても良い。
これに対して、ステップS16bの判定処理において、過去に分類された内視鏡手技シーンが存在しない場合には、ステップS20bに示すように内視鏡手技シーン分類部53は、予め用意又は設定された所定の内視鏡手技シーンの情報、例えば、内視鏡手技シーンは変化しないという情報を目標圧縮率決定部54に送る。そして、ステップS19bにおいて目標圧縮率決定部54は、内視鏡手技シーン分類部53から送られた所定の内視鏡手技シーンの情報を用いて対応する目標圧縮率をLUT56から読み出し、目標圧縮率を決定する。この場合、その内視鏡手技シーンにおける距離の大きさにより目標圧縮率が変化する場合には、例えば最も大きい目標圧縮率に設定しても良い。
上述したようにステップS15においてプロセッサ3の無線伝送部34は、決定された目標圧縮率に対応する圧縮パラメータの情報をワイヤレス内視鏡2Iに無線送信する。
そして、ステップS21に示すようにワイヤレス内視鏡2Iは、圧縮パラメータの情報を受信する。次のステップS22に示すように受信した圧縮パラメータの情報を用いて、ワイヤレス内視鏡2Iからプロセッサ3に無線伝送する画像データを圧縮する。次のステップS23においてワイヤレス内視鏡2Iの無線伝送部24は、プロセッサ3に圧縮した画像データを無線送信する。この後の動作は、ステップS8以降と同様の動作となる。なお、ステップS15による圧縮パラメータを無線送信する処理と、ステップS21(及びS22)における圧縮パラメータを受信する処理を実質的に同期させる必要はない。例えば、プロセッサ3から圧縮パラメータを無線送信した場合、ワイヤレス内視鏡2Iの無線伝送部24は、送信された圧縮パラメータを一旦メモリに保存するようにしても良い。つまり、ステップS21では送信された圧縮パラメータを保存し、圧縮パラメータが送信されたタイミングと異なるタイミングで送信された圧縮パラメータを用いて圧縮する処理を行うようにしても良い。
また、内視鏡手技シーンの分類にも時間がかかる場合があるため、内視鏡手技シーンの分類が終了したことを確認した後に、次のフレーム画像を内視鏡手技シーン分類部53に入力するようにしても良い。このように撮像の動作と、内視鏡手技シーン分類等の動作を非同期にしても良い。内視鏡手技シーンは、1フレームではなく、複数フレームにおいて次第に変化していくため、上記のように撮像の動作と、内視鏡手技シーン分類等の動作を非同期にしても良い。
なお、ワイヤレス内視鏡2Iは、ステップS7の処理後、ステップS21においてプロセッサ3から無線で送信される圧縮パラメータの情報を取得するまでの間に1〜数フレーム分の撮像を行う。
例えば1フレーム期間以下において、プロセッサ3が目標圧縮率を決定し、プロセッサ3からワイヤレス内視鏡2Iに圧縮パラメータの情報を取得できる場合には、1フレーム期間のみ時間的にずれた画像データに基づく圧縮パラメータ率を用いて、ワイヤレス内視鏡2Iは、順次、撮像した画像データを圧縮し、プロセッサ3に無線伝送する。
これに対して、1フレーム期間を超える期間かかって目標圧縮率の情報を取得できる場合には、プロセッサ3は各フレーム毎に目標圧縮率を決定(算出)する処理を行わないで、複数フレームの画像毎に目標圧縮率を決定する処理を行うようにしても良い。
なお、1フレーム期間以内において、内視鏡手技シーンの分類ができるような場合において、現在の画像の内視鏡手技シーンにおける動き量又は距離を検出する場合、過去の複数の内視鏡手技シーンにおける動き量又は距離の大きさの変化の傾向から現在の画像の内視鏡手技シーンにおける動き量又は距離を推定するようにしても良い。例えば、2フレーム期間前及び1フレーム期間前の画像がいずれも同じ内視鏡手技シーンと分類され、かつ2フレーム期間前及び1フレーム期間前の画像の例えば動き量が大、中と変化した場合には現在の画像の内視鏡手技シーンも、それらと同じ内視鏡手技シーンと推定し、更に動き量が小と推定するようにしても良い。この場合、2フレーム期間前及び1フレーム期間前の画像の例えば動き量が小、中と変化した場合には現在の画像の内視鏡手技シーンも、それらと同じ内視鏡手技シーンと推定し、更に動き量が大と推定するようにしても良い。
このように動作する本実施形態の内視鏡システム1によれば、画像に対する内視鏡手技シーンを分類する際の信頼性が低い場合においても適切な目標圧縮率に設定して画像信号を無線伝送できる。また、無線伝送の送信状況を把握して、無線伝送可能データ量を算出し、目標圧縮率が低い場合の画像信号を無線伝送する場合、無線伝送可能データ量以内となるように画像信号の目標圧縮率を設定し、画像信号を確実に無線伝送することができる。
体腔内を一定のフレーム周期(例えば1/30S又は1/60S)で撮像している場合、1〜数フレーム期間においては、画像の内視鏡手技シーンが直前の内視鏡手技シーンから急に大きく変化した内視鏡手技シーンに変化することは少なく、殆どの場合、序々に内視鏡手技シーンが変化しく傾向を示す。このため、信頼性を有する状態で内視鏡手技シーンの分類が出来なくなった場合の内視鏡手技シーンとして、その直前付近において内視鏡手技シーンの分類ができた内視鏡手技シーンと同じと判定(又は同定)することは妥当性を有し、その場合の内視鏡手技シーンの目標圧縮率に対応した圧縮パラメータで圧縮することは適切な処理と評価できる。
また、本実施形態によれば、実際に使用するワイヤレス内視鏡2Bの場合には、内視鏡手技シーンの分類及び目標圧縮率の決定に使用する物理量を複数から選択することができる。一方、ワイヤレス内視鏡2Aの場合には、内視鏡手技シーンの分類及び目標圧縮率の決定に使用する物理量を自動的に決定でき、術者等のユーザに対する操作性を向上できる。
なお、上記の実施形態の説明においては、内視鏡手技シーンの分類及び目標圧縮率の決定を動き量又は距離における一方のみを用いて行うようにしているが、両方(2つ)の情報を用いて内視鏡手技シーンの分類及び目標圧縮率の決定を行うようにしても良い。
この場合の処理を図11に示す。図11の処理は、図9において一部の処理が異なるのみであるので、異なる部分のみを説明する。ステップS1〜S8までは図9と同じ処理であり、ステップS8の次のステップS30においてプロセッサ3(の制御部31)は、2つの物理量の検出を行う設定か否かの判定を行う。術者は、動き量及び距離を検出して内視鏡手技シーンの分類及び目標圧縮率の決定を行うことを希望する場合には、その選択をユーザIF部36から行う。
なお、ステップS30の判定処理において、動き量及び距離の一方を選択した場合には、図9のステップS9の処理に移る。この場合には、図9と同様の処理となる。
ステップS30の判定処理において、動き量及び距離の両方を選択した場合には、図11に示すようにステップS10c〜S13cと、ステップS14を行う。具体的にはステップS10cにおいて動き量検出部52aと距離検出部52bはそれぞれ動き量と距離を検出する。次のステップS11cにおいて内視鏡手技シーン分類部53は、動き量と距離とから内視鏡手技シーンの分類を行う。内視鏡手技シーンの分類は、図7Bに示すように画像の特徴と画像シーンから行っても良いし、図7Eに示すテーブルデータから内視鏡手技シーンの分類を行うようにしても良い。
内視鏡手技シーンの分類の処理を行う際に、ステップS12cに示すように内視鏡手技シーン信頼性判定部53aは分類される内視鏡手技シーンの信頼性を判定する。内視鏡手技シーンの信頼性が低いと判定した場合には、例えばステップS16a(又はステップS16b)の処理に移り、内視鏡手技シーンの信頼性が低くないと判定した場合には、次のステップS13cに進む。ステップS13cにおいて内視鏡手技シーン分類部53による内視鏡手技シーンの分類が決定する。
そして、ステップS13cの結果からステップS14において目標圧縮率決定部54は、算出された無線伝送可能なデータ量と、内視鏡手技シーンの分類結果と動き量の大きさ及び距離の大きさの情報を用いて目標圧縮率を決定する。圧縮パラメータ決定部57は、決定された目標圧縮率から圧縮パラメータを決定し、次のステップS15の処理に移る。なお、内視鏡手技シーンから目標圧縮率を決定する場合のLUTとして、図7Eに示すテーブルデータのものに限らず、図7Fに示すテーブルデータを利用しても良い。また、ユーザの好み等により、図7Eや図7Fなど、一部が異なるテーブルデータを選択して使用できるようにしても良い。
具体的には、内視鏡手技シーンとして挿入シーンの場合には、動き量が大で、距離が大、中、小の場合には、目標圧縮率はそれぞれ大、大、中に設定され、動き量が中で、距離が大、中、小の場合には、目標圧縮率は中に設定され、動き量が小で、距離が大、中、小の場合には、目標圧縮率は中、小、小に設定される。
また、存在診断シーンの場合には、動き量が大で、距離が大、中、小の場合には、目標圧縮率はそれぞれ中、中、小に設定され、動き量が中で、距離が大、中、小の場合には、目標圧縮率は小に設定され、動き量が小の場合には、距離が大、中、小の場合においても、目標圧縮率は小に設定される。
また、質的、量的診断シーンの場合には、動き量が中又は小となり、これらの動き量においては距離が中、小のいずれの場合にも、目標圧縮率は小に設定される。また、治療シーンの場合は、質的、量的診断シーンの場合と同様に目標圧縮率は小に設定される。
このように動き量及び距離との両方の情報を用いて内視鏡手技シーンの分類及び目標圧縮率の決定を行うと、より精度良く内視鏡手技シーンの分類を行うことができると共に、分類した内視鏡手技シーンに適した目標圧縮率を決定することができる。なお、一方の物理量の特徴量から内視鏡手技シーンを分類すると共に、他方物理量の特徴量からも内視鏡手技シーンを分類するようにしても良い。この場合、分類された内視鏡手技シーンや目標圧縮率が異なるような場合には、優先する方の物理量を予め決定しておき、優先する方の物理量に基づく内視鏡手技シーンや目標圧縮率を優先するようにしても良い。
上述した実施形態においては、内視鏡手技シーンの分類及び目標圧縮率の決定(算出)をプロセッサ3側で行う場合を説明したが、ワイヤレス内視鏡2I側で行うようにしても良い。図12は、第1の実施形態の変形例における内視鏡手技シーンの分類及び目標圧縮率を決定(算出)を、ワイヤレス内視鏡2I側で行う場合における画像処理部23Bの構成を示す。
本変形例は、図2に示したワイヤレス内視鏡2Iにおける画像処理部23を、図12に示した画像処理部23Bに置換した内容となっている。
図12に示す画像処理部23Bは、図3に示した画像処理部33と殆ど同じ構成である。なお、本変形例においては、ワイヤレス内視鏡2I側で目標圧縮率及び圧縮パラメータを決定するため、本変形例の場合のプロセッサ3の画像処理部33は、図3における画像取得部51のみを備える構成となる。
画像処理部23Bは、撮像部22Iの撮像画像(信号)から画像信号を生成する画像生成部151と、画像生成部151により生成された画像信号に基づいてワイヤレス内視鏡2Iにおける挿入部8の先端部8aに設けた撮像部22Iによる体腔内の部位を観察した状態を反映する物理量を検出する物理量検出部152と、物理量検出部152において検出した物理量の特徴に基づいて術者がワイヤレス内視鏡2Iを用いて手技を行っている画像のシーンが、予め用意又は登録された複数からなる代表的な内視鏡手技シーン(又は観察シーン)のいずれの代表的な内視鏡手技シーンに該当するかのシーンの分類をする内視鏡手技シーン分類部153と、内視鏡手技シーン分類部153において分類した内視鏡手技シーンと、物理量検出部152において取得した物理量の特徴量(具体的には、物理量の大きさ、複数の位置での物理量の分布など)からワイヤレス内視鏡2Iから画像を無線送信する場合の目標圧縮率を決定する目標圧縮率決定部154と、決定された目標圧縮率から、圧縮パラメータを決定する圧縮パラメータ決定部157と、圧縮パラメータで画像信号の圧縮を行う画像圧縮部154aとで主要部が構成されている。
また、画像生成部151は、無線伝送の状況を把握して、無線伝送可能なデータ量を算出する無線伝送可能データ量算出部151aと、無線伝送可能なデータ量を判定する無線伝送可能データ量判定部151bとを有する。
また、無線伝送可能データ量算出部151aにより算出された無線伝送可能データ量と、無線伝送可能データ量判定部151bによる判定結果は、目標圧縮率決定部154に送られ、目標圧縮率決定部154は、無線伝送可能データ量と判定結果を優先して画像信号を無線伝送する場合の目標圧縮率を決定する。また、圧縮パラメータ決定部157は、決定された目標圧縮率から、この目標圧縮率に圧縮するための圧縮パラメータを決定する。そして、後述するように無線伝送可能データ量を算出及び判定し、目標圧縮率が低い場合の画像信号を無線伝送する場合、無線伝送可能データ量以内となるように画像信号の目標圧縮率を設定し、確実に無線伝送することができるようにしている。
本変形例における物理量検出部152は、撮像部22Iにより被検体内を撮像した画像信号に基づいて、1フレーム分の画像中における複数の代表領域における動き量を前記物理量として検出する動き量検出部152aと、例えば撮像部22Bが撮像する被検体内の複数の位置と撮像部22Bとの間の複数の距離を前記物理量として検出する距離検出部152bとを有する。
第1の実施形態において説明したように、立体視が可能な撮像部22Bを備えたワイヤレス内視鏡2Bを用いた場合においては、例えばユーザIF部36から物理量検出部52における検出する物理量として動き量検出部152a、及び距離検出部152bの一方を選択してシーンの分類を行うことができる。また、図11において説明したように、2つ(両方)を選択して内視鏡手技シーンの分類と目標圧縮率の決定を行う選択もできる。
これに対して、1つの撮像素子からなる撮像部22Aを備えたワイヤレス内視鏡2Bを用いた場合においては、物理量検出部152における検出する物理量として動き量検出部152aを選択して内視鏡手技シーンの分類を行う。
また、上述したワイヤレス内視鏡(2C)では、1つの撮像素子からなる撮像部22Aを備えたワイヤレス内視鏡においても、動き量検出部152a、及び距離検出部152bの一方又は両方を選択して内視鏡手技シーンの分類を行うことができる。以下の説明では、簡単化のためワイヤレス内視鏡として、ワイヤレス内視鏡2Aと2Bの場合において説明するが、ワイヤレス内視鏡2Cの場合に適用することもできる。
また、内視鏡手技シーン分類部153は、上記のように物理量検出部152により検出された物理量の特徴量に基づいて内視鏡手技シーンの分類を行う他に、さらに分類した内視鏡手技シーンの信頼性の判定を行う内視鏡手技シーン信頼性判定部153aの機能を有する。
また、画像処理部23Bは、内視鏡手技シーン分類部153が内視鏡手技シーンの分類を行う際の代表的な複数の内視鏡手技シーンを表す特徴量を格納した代表的内視鏡手技シーン特徴量格納部155aを有するメモリ155を備え、内視鏡手技シーン分類部153は、メモリ155における代表的な内視鏡手技シーン特徴量格納部155aの情報を参照して内視鏡手技シーンの分類を行う。
また、内視鏡手技シーン分類部153は、経時的(時間順)に分類した内視鏡手技シーンの情報を、例えばメモリ155における分類シーン格納部155bに(現在のフレームの画像から過去における)適宜のフレーム数だけ格納する。
そして、内視鏡手技シーン信頼性判定部153aは、内視鏡手技シーン分類部153が分類した内視鏡手技シーンの信頼性が低いと判定した場合には、信頼性が低いと判定されたフレームの画像(信号)よりも、所定期間前のフレームの画像(信号)において、内視鏡手技シーン分類部153により分類され、分類シーン格納部155bに格納されている内視鏡手技シーンの分類結果を目標圧縮率決定部154に送る。
目標圧縮率決定部154は、内視鏡手技シーン信頼性判定部153aにより低いと判定されていない場合の内視鏡手技シーンにおいては、内視鏡手技シーン分類部153が分類した内視鏡手技シーンの分類結果と、物理量の大きさ等により目標圧縮率を決定する。前述したように、目標圧縮率決定部154には、無線伝送可能データ量と、判定結果が入力されるため、目標圧縮率決定部154は、無線伝送する画像信号のデータ量を、少なくとも無線伝送可能データ量以下の範囲内になるように目標圧縮率を決定する。
目標圧縮率決定部154は、予め用意されたLUT156に格納された情報を参照して、目標圧縮率を決定する。そして、画像圧縮部154aは、目標圧縮率決定部154により決定された目標圧縮率に対応する圧縮パラメータで画像信号を圧縮し、無線伝送部24に送る。無線伝送部24は、画像圧縮部154aから送られた画像信号を無線でプロセッサ3に送信する。
その他の構成は、第1の実施形態と同様の構成である。
本変形例の動作は図13のようになる。図13の動作は図9の動作に類似ために簡単に説明する。
変形例の内視鏡システムの動作が開始すると、図9の場合と同様にステップS1〜S3の処理を行い、さらにワイヤレス内視鏡2Iは、ステップS4,S5の処理を行う。また、次のステップS30′において画像処理部23Bは、無線伝送可能なデータ量を算出する。例えば送信データ量のレートを変化させた複数の画像データをプロセッサ3に無線送信し、プロセッサ3により受信結果を受け取ることにより、無線伝送可能データ量算出部151aは、無線伝送可能なデータ量を算出する。また、無線伝送可能データ量判定部151bは、無線送信される画像データが無線伝送可能なデータ量の範囲内であることを判定する。
ステップS5の処理の後、ステップS31においてワイヤレス内視鏡2I(又はプロセッサ3)は、内視鏡手技シーン分類等に用いるために、検出する物理量を設定する処理を行う。ワイヤレス内視鏡2Iが2Aタイプの場合には、検出する物理量は動き量となるように制御部21は自動的に設定する。ワイヤレス内視鏡2Iが2Bタイプの場合には、ワイヤレス内視鏡2Iの操作部9に設けた図示しない操作スイッチ等により検出する物理量を設定しても良い。又は、プロセッサ3のユーザIF部36からユーザが前もって、検出する物理量を設定し、ワイヤレス内視鏡2Iに無線で送信し、ワイヤレス内視鏡2Iは、送信された情報に従って、検出する物理量を設定するようにしても良い。
次のステップS9においてワイヤレス内視鏡2Iは、検出する物理量として動き量が設定されたか否かの判定を行う。
ステップS9の判定処理に応じてステップS10a〜S20a、又はステップS10b〜S20bの処理をワイヤレス内視鏡2Iが行う。図9の場合には、ステップS10a〜S20a、又はステップS10b〜S20bの処理をプロセッサ3が行っていたが、本変形例ではワイヤレス内視鏡2I側が行う。
ステップS10a〜S20a、又はステップS10b〜S20bの処理により目標圧縮率が決定し、ステップS32において圧縮パラメータ決定部157は圧縮パラメータを決定する。また、画像圧縮部154aは、決定した圧縮パラメータを用いて画像を圧縮する。そして、ステップS33において無線伝送部24は、圧縮された画像データを無線でプロセッサ3に送信する。ステップS33の処理の後、ワイヤレス内視鏡2IはステップS9の処理に戻る。
ステップS34においてプロセッサ3は受信した画像データを伸張する処理を行い、伸張処理された画像信号はモニタ7に出力される。そして、ステップS35においてモニタ7は内視鏡画像を表示する。なお、動き量と距離との両方を検出して、画像信号を無線送信する場合の処理は、図11に示す処理と同じ処理となる。但し、図11においてのステップS30の前のステップS8は、図13におけるステップS31となる。また、図11に示すステップS14の処理後のステップS15は、図13のステップS32となる。
このように動作する本変形例によれば、第1の実施形態と同様に画像に対する内視鏡手技シーンを分類する際の信頼性が低い場合においても適切な目標圧縮率に設定して画像信号を無線伝送できる。また、無線伝送の送信状況を把握して、無線伝送可能データ量を算出し、目標圧縮率が低い場合の画像信号を無線伝送する場合、無線伝送可能データ量以内となるように画像信号の目標圧縮率を設定し、画像信号を確実に無線伝送することができる。
なお、本変形例において、1フレームの画像における目標圧縮率を決定する処理を1フレーム期間内に行える場合には、1フレーム期間毎に目標圧縮率を決定する処理を行うことができる。
これに対して、1フレームの画像における目標圧縮率を決定する処理に複数フレーム期間かかる場合には、複数フレーム期間の周期で目標圧縮率を決定すれば良い。この場合、目標圧縮率を決定する最中に撮像した画像に対しては、その直前に算出した(最新の)目標圧縮率を用いて画像を圧縮し、プロセッサ3側に無線伝送するようにすれば良い。 また、第1の実施形態等において、物理量検出部52として動き量検出部52a又は距離検出部52bのみを備える構成にしても良い。
上述した実施形態又は変形例を部分的に組み合わせて構成される実施形態等も本発明に属する。

本出願は、2015年10月8日に日本国に出願された特願2015−200281号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (10)

  1. 被検体内に挿入され、先端部に設けられた撮像部と、該撮像部により撮像した画像信号を無線伝送する第1の無線伝送部とを有する内視鏡本体と、
    前記被検体の外部に配置され、無線伝送された画像信号を受信する第2の無線伝送部と、無線伝送された前記画像信号の画像処理を行う画像処理部とを有するプロセッサと、
    前記撮像部により前記被検体内の部位を撮像した画像信号に基づいて、前記内視鏡本体による前記部位を観察する画像のシーンが、複数からなる代表的な内視鏡手技シーンにおけるいずれの内視鏡手技シーンに該当するかの分類をするシーン分類部と、
    前記シーン分類部により分類された前記シーンの信頼性の判定を行うシーン信頼性判定部と、
    前記シーン信頼性判定部が、前記シーン分類部により分類された前記シーンの信頼性が低いと判定した場合には、前記信頼性が低いと判定された画像信号のフレームよりも所定期間前のフレームの画像信号において前記シーン分類部によるシーンの分類結果に応じて、前記第1の無線伝送部が無線伝送する前記画像信号の目標圧縮率を決定する画像信号目標圧縮率決定部と、
    を有することを特徴とする内視鏡システム。
  2. 前記内視鏡本体が前記被検体内に挿入された状態において、前記被検体に対する前記撮像部が撮像する状態を反映する物理量を検出する物理量検出部をさらに備え、
    前記シーン分類部は、前記物理量検出部において検出した物理量の特徴量に基づいて前記内視鏡本体の前記シーンの分類を行うことを特徴とする請求項1に記載の内視鏡システム。
  3. 前記物理量検出部は、前記撮像部により前記被検体内を撮像した前記画像信号に基づいて、1フレーム分の画像中における複数の代表領域における動き量を前記物理量として検出する動き検出部により形成され、
    前記シーン分類部は、前記動き検出部において検出された前記複数の代表領域におけるそれぞれの動き量の特徴量に基づいて、前記動き検出部により検出された前記内視鏡本体の前記シーンが、前記いずれの内視鏡手技シ−ンに該当するかの分類を行うことを特徴とする請求項2に記載の内視鏡システム。
  4. 前記物理量検出部は、前記撮像部が撮像する前記被検体内の複数の位置と前記撮像部との間の複数の距離を前記物理量として検出する距離検出部により形成され、
    前記シーン分類部は、前記距離検出部により検出された前記複数の位置に対する前記複数の距離の特徴量に基づいて、前記距離検出部により検出された前記内視鏡本体の前記シーンが、前記いずれの内視鏡手技シ−ンに該当するかの分類を行うことを特徴とする請求項2に記載の内視鏡システム。
  5. 前記物理量検出部は、前記撮像部により前記被検体内を撮像した前記画像信号に基づいて、1フレーム分の画像中における複数の代表領域におけるそれぞれの動き量を前記物理量として検出する動き検出部、及び前記撮像部が撮像する前記被検体内の複数の位置と前記撮像部との間の複数の距離を前記物理量として検出する距離検出部により形成され、
    前記シーン分類部は、前記動き検出部及び前記距離検出部の少なくとも一方の検出結果に基づいて、前記内視鏡本体の前記シーンが、前記いずれの内視鏡手技シ−ンに該当するかの分類を行うことを特徴とする請求項2に記載の内視鏡システム。
  6. 前記シーン信頼性判定部は、前記複数の代表領域におけるそれぞれの動き量が局所領域中において閾値以上にばらつく場合、又は検出されるそれぞれの動き量が検出される前記複数の代表位置の誤差量が閾値以上に大きいと評価される場合を、前記シーンの信頼性が低いと判定することを特徴とする請求項3に記載の内視鏡システム。
  7. 前記シーン信頼性判定部は、前記距離検出部により検出された前記複数の位置に対する前記複数の距離が局所領域中において閾値以上にばらつく場合、又は前記複数の距離が検出される前記複数の位置の誤差量が閾値以上に大きいと評価される場合を、前記シーンの信頼性が低いと判定することを特徴とする請求項4に記載の内視鏡システム。
  8. 前記シーン分類部は、前記物理量検出部により検出された前記物理量の特徴量に基づいて、前記物理量が検出されたシーンを、前記複数からなる代表的な内視鏡手技シーンとして、挿入シーン、存在診断シーン、質的、量的診断シーン、治療シーンにおけるいずれの内視鏡手技シーンに該当するかの分類を行うことを特徴とする請求項2に記載の内視鏡システム。
  9. 前記プロセッサは、前記シーン分類部、前記シーン信頼性判定部及び前記画像信号目標圧縮率決定部を内蔵することを特徴とする請求項1に記載の内視鏡システム。
  10. 前記内視鏡本体は、前記シーン分類部、前記シーン信頼性判定部及び前記画像信号目標圧縮率決定部を内蔵することを特徴とする請求項1に記載の内視鏡システム。
JP2017526726A 2015-10-08 2016-10-05 内視鏡システム Active JP6192882B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015200281 2015-10-08
JP2015200281 2015-10-08
PCT/JP2016/079674 WO2017061495A1 (ja) 2015-10-08 2016-10-05 内視鏡システム

Publications (2)

Publication Number Publication Date
JP6192882B1 true JP6192882B1 (ja) 2017-09-06
JPWO2017061495A1 JPWO2017061495A1 (ja) 2017-10-12

Family

ID=58487804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017526726A Active JP6192882B1 (ja) 2015-10-08 2016-10-05 内視鏡システム

Country Status (4)

Country Link
US (1) US11006817B2 (ja)
JP (1) JP6192882B1 (ja)
CN (1) CN108135455B (ja)
WO (1) WO2017061495A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11595621B2 (en) 2018-05-01 2023-02-28 Olympus Corporation Endoscope apparatus, endoscope, and image generation method
US11786107B2 (en) 2018-04-03 2023-10-17 Olympus Corporation Endoscope apparatus, compression method, and non-transitory computer-readable recording medium

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7051408B2 (ja) 2017-12-07 2022-04-11 ソニー・オリンパスメディカルソリューションズ株式会社 医療用内視鏡装置、および医療用観察システム
WO2019116592A1 (ja) * 2017-12-14 2019-06-20 オリンパス株式会社 内視鏡の表示画像の調整装置及び手術システム
JP6426867B1 (ja) * 2018-03-30 2018-11-21 株式会社ミルプラトー 動画閲覧装置、動画閲覧装置の制御方法、およびプログラム
JP2019185726A (ja) * 2018-10-25 2019-10-24 株式会社ミルプラトー 動画閲覧装置、動画閲覧装置の制御方法、およびプログラム
JP7123166B2 (ja) 2018-12-10 2022-08-22 オリンパス株式会社 画像記録装置、画像記録装置の作動方法及び内視鏡システム
CN113631073A (zh) * 2019-01-22 2021-11-09 奥林巴斯株式会社 内窥镜系统和参数控制装置
US10799090B1 (en) * 2019-06-13 2020-10-13 Verb Surgical Inc. Method and system for automatically turning on/off a light source for an endoscope during a surgery
WO2021033215A1 (ja) * 2019-08-16 2021-02-25 Hoya株式会社 内視鏡用プロセッサ、内視鏡システム、情報処理装置、プログラム及び情報処理方法
JP7474571B2 (ja) * 2019-08-26 2024-04-25 Hoya株式会社 内視鏡システム、データ処理装置、通信接続方法及びコンピュータプログラム
JP7463507B2 (ja) 2020-05-27 2024-04-08 富士フイルム株式会社 内視鏡画像処理装置
CN113676734A (zh) * 2021-08-05 2021-11-19 维沃移动通信(杭州)有限公司 图像压缩方法和图像压缩装置
CN116523907B (zh) * 2023-06-28 2023-10-31 浙江华诺康科技有限公司 内窥镜成像质量检测方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121127A (ja) * 2004-10-19 2006-05-11 System Lsi Kk 画像変換装置およびそれを用いた電子カルテの情報処理方法
JP2007312810A (ja) * 2006-05-23 2007-12-06 Olympus Corp 画像処理装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5331551A (en) * 1989-10-02 1994-07-19 Olympus Optical Co., Ltd. Endoscope image recording system for compressing and recording endoscope image data
US20050187433A1 (en) * 2001-07-26 2005-08-25 Given Imaging Ltd. In-vivo imaging device providing constant bit rate transmission
JP4928081B2 (ja) * 2005-02-03 2012-05-09 オリンパス株式会社 顕微鏡用撮像装置、記録制御方法、および記録制御プログラム
US20080232702A1 (en) * 2005-06-27 2008-09-25 Seiichiro Kimoto Image display apparatus
US20090027486A1 (en) * 2005-08-22 2009-01-29 Katsumi Hirakawa Image display apparatus
US7983458B2 (en) 2005-09-20 2011-07-19 Capso Vision, Inc. In vivo autonomous camera with on-board data storage or digital wireless transmission in regulatory approved band
JP2007195586A (ja) * 2006-01-23 2007-08-09 Olympus Medical Systems Corp カプセル型医療装置、医療用制御装置、医療用画像処理装置及びプログラム
KR101444485B1 (ko) * 2006-11-16 2014-09-24 스트리커 코포레이션 무선 내시경 카메라
JP4825747B2 (ja) 2007-07-13 2011-11-30 日本碍子株式会社 非極性面iii族窒化物単結晶の製造方法
EP2109317B1 (en) * 2008-04-10 2020-12-30 Sony Corporation Improving video robustness using spatial and temporal diversity
JP2009284394A (ja) * 2008-05-26 2009-12-03 Olympus Imaging Corp 撮像装置および撮像方法
JP5155037B2 (ja) * 2008-06-30 2013-02-27 オリンパス株式会社 受像機及び画像送信機からなる無線通信システム及び、その無線通信方法
JP5075757B2 (ja) * 2008-08-05 2012-11-21 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
US8665326B2 (en) * 2009-01-30 2014-03-04 Olympus Corporation Scene-change detecting device, computer readable storage medium storing scene-change detection program, and scene-change detecting method
US8698920B2 (en) * 2009-02-24 2014-04-15 Olympus Imaging Corp. Image display apparatus and image display method
US20140233826A1 (en) * 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
JP2014042727A (ja) * 2012-08-28 2014-03-13 Fujifilm Corp 医療画像記録装置及びその記録方法並びに医療画像記録プログラム
JP6744713B2 (ja) * 2015-12-17 2020-08-19 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121127A (ja) * 2004-10-19 2006-05-11 System Lsi Kk 画像変換装置およびそれを用いた電子カルテの情報処理方法
JP2007312810A (ja) * 2006-05-23 2007-12-06 Olympus Corp 画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11786107B2 (en) 2018-04-03 2023-10-17 Olympus Corporation Endoscope apparatus, compression method, and non-transitory computer-readable recording medium
US11595621B2 (en) 2018-05-01 2023-02-28 Olympus Corporation Endoscope apparatus, endoscope, and image generation method

Also Published As

Publication number Publication date
WO2017061495A1 (ja) 2017-04-13
US11006817B2 (en) 2021-05-18
CN108135455B (zh) 2020-01-24
CN108135455A (zh) 2018-06-08
US20180220873A1 (en) 2018-08-09
JPWO2017061495A1 (ja) 2017-10-12

Similar Documents

Publication Publication Date Title
JP6192882B1 (ja) 内視鏡システム
US11245843B2 (en) Imaging apparatus and imaging method for improvement of reproduction image quality
JP6177083B2 (ja) データ受信装置、カプセル内視鏡システム、データ受信方法、及びプログラム
US20090240108A1 (en) Capsule endoscopy system and method of controlling operation of capsule endoscope
JP4875691B2 (ja) 撮像装置、画像表示装置、および画像表示システム
US11245849B2 (en) Information processing apparatus and information processing method
CN110168605B (zh) 用于动态范围压缩的视频信号处理装置、视频信号处理方法和计算机可读介质
JP2008237639A (ja) カプセル内視鏡システム、およびカプセル内視鏡の動作制御方法
WO2017126425A1 (ja) 医療用サーバシステム
US9392230B2 (en) Endoscopic apparatus and measuring method
WO2016052175A1 (ja) 内視鏡システム
JP5732565B1 (ja) 撮像装置、撮像システム、撮像方法、およびプログラム
US11336825B2 (en) Endoscope apparatus, endoscope and video processor, and restoration method
JPWO2019211938A1 (ja) 内視鏡装置および内視鏡ならびに画像生成方法
US20190052854A1 (en) Image processing apparatus
US11910105B2 (en) Video processing using a blended tone curve characteristic
JP2011040860A (ja) 画像処理装置及び画像処理プログラム
JP5927318B2 (ja) 撮像装置、撮像システム、撮像方法、およびプログラム
JPWO2020090002A1 (ja) 内視鏡システム及び内視鏡システムに用いる画像処理装置及び画像処理方法
JP6974593B2 (ja) 内視鏡装置、画像圧縮装置の作動方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170516

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170516

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170718

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170808

R151 Written notification of patent or utility model registration

Ref document number: 6192882

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250