JP6549711B2 - 内視鏡装置及び内視鏡装置の作動方法 - Google Patents
内視鏡装置及び内視鏡装置の作動方法 Download PDFInfo
- Publication number
- JP6549711B2 JP6549711B2 JP2017523050A JP2017523050A JP6549711B2 JP 6549711 B2 JP6549711 B2 JP 6549711B2 JP 2017523050 A JP2017523050 A JP 2017523050A JP 2017523050 A JP2017523050 A JP 2017523050A JP 6549711 B2 JP6549711 B2 JP 6549711B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured image
- area
- alert
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
Description
本発明は、内視鏡装置及び内視鏡装置の作動方法等に関する。
内視鏡観察では、画像解析の結果に基づいて、システム側から病変検出結果等の注目領域に関する情報の提示が行われる場合がある。システムからの情報は、従来、観察画面上の注目領域に対して所定の位置に所定の方法で重畳して提示されていた。この重畳提示は時として観察の妨げとなるため、観察の妨げとならないような種々の提示手法が開示されている。
例えば、特許文献1では、注目領域の数、サイズ、最初に検出されてからの検出経過時間のうちの少なくとも1つが所定の閾値を越えた場合に提示を消去する手法が開示されている。
また、特許文献2では、選択手段によって選択された注目領域の病変部の位置を示すマーク(画像データ)を重畳する手法が開示されている。
また、特許文献3では、重畳のウィンドウの大きさ、表示場所、表示、非表示を変更可能な手法が開示されている。
また、特許文献4では、画像が変化したと判別されると、各部分での画像のずれ量を算出し、そのずれ量に応じて重畳する情報を変化させる手法が開示されている。
"Visual SLAM for handheld monocular endoscope" Grasa, Oscar G and Bernal, Ernesto and Casado, Santiago and Gil, Ismael and Montiel, Medical Imaging, Vol. 33, No.1, p. 135-146, 2014
"Towards Automatic Polyp Detection with a Polyp Appearance Model" Jorge Bernal, F. Javier Sanchez, & Fernando Vilarino, Pattern Recognition, 45(9), 3166-3182
特許文献1〜4のように、撮像画像(表示画像、観察画像)上に何らかの情報を重畳表示する際の、表示制御手法が知られている。しかし従来手法では、システム側から病変検出結果などを重畳して、内視鏡の観察画面上に情報提示を行う場合に、情報が重畳される注目領域上の所定の位置の観察の妨げを、迅速に改善できない場合があった。
例えば特許文献1では、注目領域の数や、サイズ、検出経過時間が所定の閾値を越えなければ提示を消去することはできないため、提示を消去するまでの反応が遅かったり、医師が消去するためのプロセスを理解する必要がある。
また、特許文献2では、マークを示す画像データの制御を行う際には、注目領域の選択というプロセスが発生してしまう。
また、特許文献3では、表示形態を変更するには、変更のための操作を行うというプロセスが発生してしまう。
また、特許文献4では、ずれ量に応じて提示する情報を変化させる手法は開示されているものの、重畳されていた被写体の観察状態の改善を考慮したものでないため、提示情報の変化後においても、観察状態が改善されない場合がある。
本発明の幾つかの態様によれば、アラート画像による注目領域の観察の妨げを、適切に改善する内視鏡装置及び内視鏡装置の作動方法等を提供できる。
本発明の一態様は、撮像部が被写体を撮像した画像である撮像画像を取得する画像取得部と、前記撮像画像の画素の特徴量に基づいて、注目領域を検出する注目領域検出部と、前記撮像画像の少なくとも一部における移動ベクトルを推定する移動ベクトル推定部と、前記注目領域と前記移動ベクトルに基づいて、前記注目領域を強調するアラート画像を、前記撮像画像に重畳して表示する表示制御部と、を含み、第1の撮像画像において前記アラート画像と前記注目領域が重畳する領域を第1の画像上領域とし、前記第1の画像上領域に対応する前記被写体上での領域を第1の被写体領域とし、第2の撮像画像において、前記第1の被写体領域に対応する画像上領域と前記アラート画像とが重畳する領域を第2の画像上領域とし、前記第2の画像上領域に対応する前記被写体上での領域を第2の被写体領域とした場合に、前記表示制御部は、前記第2の被写体領域が前記第1の被写体領域に比べて狭い領域となるように、前記第2の撮像画像における前記アラート画像の表示制御を行う内視鏡装置に関係する。
本発明の一態様では、上記のように第1の被写体領域、第2の被写体領域を考えた場合に、第2の被写体領域を第1の被写体領域よりも狭くするようなアラート画像の表示制御を行う。ここで、第1の被写体領域は、第1の撮像画像においてアラート画像により観察が難しい被写体(特に注目すべき被写体)に対応し、第2の被写体領域が、第1の撮像画像と第2の撮像画像の両方において、アラート画像により観察が難しい被写体に対応する。つまりこのようにすれば、注目領域の観察状態を適切に改善することができ、且つそのための表示制御を移動ベクトルに基づいて行うため、ユーザによる煩雑な操作を省略すること等が可能になる。
また、本発明の他の態様は、撮像部が被写体を撮像した画像である撮像画像を取得する処理を行い、前記撮像画像の画素の特徴量に基づいて、注目領域を検出し、前記撮像画像の少なくとも一部における移動ベクトルを推定し前記注目領域と前記移動ベクトルに基づいて、前記注目領域を強調するアラート画像を、前記撮像画像に重畳して表示する表示制御を行い、第1の撮像画像において前記アラート画像と前記注目領域が重畳する領域を第1の画像上領域とし、前記第1の画像上領域に対応する前記被写体上での領域を第1の被写体領域とし、第2の撮像画像において、前記第1の被写体領域に対応する画像上領域と前記アラート画像とが重畳する領域を第2の画像上領域とし、前記第2の画像上領域に対応する前記被写体上での領域を第2の被写体領域とした場合に、前記表示制御において、前記第2の被写体領域が前記第1の被写体領域に比べて狭い領域となるように、前記第2の撮像画像における前記アラート画像の表示制御を行う内視鏡装置の作動方法に関係する。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の手法
まず本実施形態の手法について説明する。従来、内視鏡スコープを用いて撮像された撮像画像から注目領域を検出し、当該注目領域に対して所与の情報を付加して表示する手法が知られている。例えば内視鏡検査では、医師は内視鏡画像を見ながら診察対象の体腔内に異常な部位が無いかを診断する。しかしながら、この視認による診断では、小さい病変や、周辺との差異が少ない病変などの見つけにくい病変部を見落とす可能性がある。
まず本実施形態の手法について説明する。従来、内視鏡スコープを用いて撮像された撮像画像から注目領域を検出し、当該注目領域に対して所与の情報を付加して表示する手法が知られている。例えば内視鏡検査では、医師は内視鏡画像を見ながら診察対象の体腔内に異常な部位が無いかを診断する。しかしながら、この視認による診断では、小さい病変や、周辺との差異が少ない病変などの見つけにくい病変部を見落とす可能性がある。
そのため、図1のA1のように、撮像画像中から病変の可能性がある領域を注目領域AAとして検出し、その領域に図1のA2に示したアラート画像AL(ここでは矢印)を表示することで、医師の見落としを抑止し、医師の負担を低減する。具体的には、図1のA3に示すように、注目領域AAの位置を表す矢印(広義にはアラート画像AL)を、当該注目領域に対応する位置に表示する手法が考えられる。このようにすれば、撮像画像を閲覧するユーザに対して、注目領域が検出されていること、及び検出された注目領域の画像上での位置をわかりやすく提示することが可能になる。また、文字等を含むアラート画像を用いることで、位置以外の情報を提示することもできる。なお、本実施形態に係る内視鏡装置は、狭義には医療用内視鏡装置であってもよく、以下の説明は医療用の内視鏡装置を例にとって行うものとする。
しかし、撮像画像上にアラート画像を表示することで、当該アラート画像と重畳する被写体の観察が妨げられる。例えば、アラート画像を透明ではないものとすれば、アラート画像と重畳する被写体は、その撮像画像上では確認できないことになる。特に、図1のA3に示すように注目領域AAとアラート画像ALが重畳する場合、当該注目領域AAは注目すべき被写体が撮像されているにもかかわらず、重畳する範囲の注目領域は観察が妨げられてしまい問題となる。ここでの重畳する範囲とは、具体的には図1のA4に示した注目領域AAのうちのR1の領域に対応する。
これに対して、特許文献1〜4等の従来手法では、撮像画像上に表示する情報を制御する手法が開示されている。しかし、従来手法ではアラート画像を非表示とするために、所定の条件を満たす必要があったり、所定の操作を行う必要があった。例えば、注目領域の数やサイズが所定閾値を超えたり、注目領域の検出からの経過時間が所定閾値を超えることがアラート画像消去の条件となっている場合、アラート画像の消去を行うには、ユーザはそのような条件を認識した上で、注目領域の数やサイズが大きくなるような工夫をする、或いは所定時間が経過するまで待つ必要がある。或いは、例えば注目領域やアラート領域の選択操作、表示態様の指定操作といったような、アラート画像を制御するための操作を意図的に行う必要があり、ユーザの操作が煩雑となる場合もある。
特許文献4には、画像上での動き、すなわち撮像部と被写体の相対的な動きに基づいて、表示される情報を変化させる手法が開示されている。この手法であれば、専用の操作を行わなくとも、アラート画像を変化させることは可能である。しかし、特許文献4の手法は、アラート画像による観察状態の改善を想定したものではなく、情報の変化後でも注目領域の観察状態が改善されていることは保証されない。言い換えれば、注目領域の観察状態を改善するための、情報(アラート画像)の変更手法を開示するものではなかった。
そこで本出願人は、ユーザによる煩雑な操作等が行われなかったとしても、注目領域の観察状態を改善するようにアラート画像の表示態様を制御する手法を提案する。具体的には、本実施形態に係る内視鏡装置は、図2に示すように、撮像部(例えば後述する図5における撮像部200)が被写体を撮像した画像である撮像画像を取得する画像取得部310と、撮像画像の画素の特徴量に基づいて、注目領域を検出する注目領域検出部320と、撮像画像の少なくとも一部における移動ベクトルを推定する移動ベクトル推定部340と、注目領域と移動ベクトルに基づいて、注目領域を強調するアラート画像を、撮像画像に重畳して表示する表示制御部350を含む。そして、第1の撮像画像においてアラート画像と注目領域が重畳する領域を第1の画像上領域とし、第1の画像上領域に対応する被写体上での領域を第1の被写体領域とし、第2の撮像画像において、第1の被写体領域に対応する画像上領域とアラート画像とが重畳する領域を第2の画像上領域とし、第2の画像上領域に対応する被写体上での領域を第2の被写体領域とした場合に、表示制御部350は、第2の被写体領域が第1の被写体領域に比べて狭い領域となるように、第2の撮像画像におけるアラート画像の表示制御を行う。
ここで、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。注目領域の検出手法については後述する。また、特徴量とは、画素の特徴を表す情報であり、画素値(R,G,Bの各値の少なくとも1つ)であってもよいし、輝度値や色差、色相等であってもよい。また、特徴量はこれに限定されず、被写体のエッジ情報(輪郭情報)や、エッジによって囲まれる領域の形状情報等、種々の情報を用いることが可能である。また、アラート画像とは、上述したように注目領域の強調に用いられる情報であって、撮像画像上に表示される画像情報である。アラート画像は、図3(A)等に示す矢印形状の画像であってもよいし、図9(A)を用いて後述するように文字情報を含む画像であってもよいし、図11(A)を用いて後述するように旗形状の画像でもよいし、これ以外の画像であってもよい。本実施形態のアラート画像は、注目領域の位置やサイズ、或いは当該注目領域の性質等を強調し、わかりやすくユーザーに提示できる情報であればよく、その形態は種々の変形実施が可能である。
また、第1の画像上領域とは、上述したように撮像画像上において、注目領域とアラート画像とが重畳する領域であり、図3(A)のように第1の撮像画像において、注目領域AA1が検出され、当該撮像画像に対して、アラート画像AL1が重畳表示されたとすれば、第1の画像上領域は図3(A)のR1に示した領域となる。そして、第1の被写体領域とは、図3(A)の第1の撮像画像において、第1の画像上領域R1に撮像された被写体範囲を表す領域である。
また、第2の画像上領域を規定する際には、まず第2の撮像画像で検出された注目領域AA2のうち、第1の被写体範囲が撮像された領域R1’を考えるとよい。例えば、第1の撮像画像と第2の撮像画像との間で、図3(B)に示したように撮像部200と被写体が相対的に並進移動をした場合、領域R1’は図3(B)に示したように、R1を並進移動させた第2の撮像画像上での領域となる。また、第1の撮像画像と第2の撮像画像との間で、図4(A)、図4(B)に示したようにズームインが行われた場合、領域R1’は図4(B)に示したように、R1を拡大させた第2の撮像画像上での領域となる。このように、R1’は撮像された被写体がR1に対応(狭義には一致)する領域であるため、画像上での位置、サイズ、形状はR1と一致するとは限らないものである。
第2の画像上領域とは、領域R1’と、第2の撮像画像でのアラート画像AL2との重畳領域であり、例えば図3(C)のようにアラート画像AL2が表示される場合、第2の画像上領域は図3(D)のR2に示した領域となる。そして、第2の被写体領域とは、図3(D)の第2の撮像画像において、第2の画像上領域R2に撮像された被写体範囲を表す領域である。
このようにすれば、第1の撮像画像ではアラート画像により遮蔽されていた被写体範囲(第1の被写体領域に対応)のうち、少なくとも一部の領域は第2の撮像画像ではアラート画像により遮蔽されないようなアラート画像の制御が可能になる。つまり、第1の撮像画像で観察が難しかった被写体が、第2の撮像画像では観察できるようになるため、観察状態を適切に改善することが可能になる。その際、アラート画像の表示制御を移動ベクトルに基づいて行うため、ユーザはアラート画像を制御するための煩雑な操作を必要としないという利点がある。
なお、第2の被写体領域が第1の被写体領域に比べて狭い領域となるような、第2の撮像画像におけるアラート画像の具体的な表示制御手法については、図6〜図15を用いて後述する。
また、以上では第1,第2の被写体領域のサイズ(面積)を用いて説明を行ったが、本実施形態の手法はこれに限定されない。例えば、本実施形態に係る内視鏡装置は、上述した画像取得部310と、注目領域検出部320と、移動ベクトル推定部340と、表示制御部350を含み、第1の撮像画像においてアラート画像と注目領域が重畳する領域を第1の画像上領域とし、第2の撮像画像において、第1の画像上領域に対応する領域とアラート画像とが重畳する領域を第2の画像上領域とした場合に、表示制御部350は、第2の画像上領域が第1の画像上領域に比べて狭い領域となるように、第2の撮像画像におけるアラート画像の表示制御を行うものであってもよい。ここで、第2の画像上領域が第1の画像上領域に比べて狭い領域となる表示制御とは、第2の画像上領域の面積をSI2とし、第1の画像上領域の面積をSI1とした場合に、SI2<SI1となるような表示制御である。つまり本実施形態の手法は、撮像画像上での領域に基づいて表示制御を行うものであってもよい。
以下、移動ベクトルを用いた検出処理の具体例と、アラート画像の表示制御の具体例を説明する。本発明の手法では、移動ベクトルを用いてどのような動きを検出するか、対象の動きを検出した場合にアラート画像をどのように変化させるか、という組み合わせが種々考えられるため、以下ではまず基本的な組み合わせの例を説明し、その後、変形例について説明する。
2.基本的な実施形態
本実施形態に係る内視鏡装置(内視鏡システム)について、図5を用いて説明する。本実施形態における内視鏡装置は、体内への挿入部である硬性鏡100と、硬性鏡100に接続される撮像部200と、処理部300と、表示部400と、外部I/F部500と、光源部600を備えている。
本実施形態に係る内視鏡装置(内視鏡システム)について、図5を用いて説明する。本実施形態における内視鏡装置は、体内への挿入部である硬性鏡100と、硬性鏡100に接続される撮像部200と、処理部300と、表示部400と、外部I/F部500と、光源部600を備えている。
光源部600は、白色光を発生する白色光源610と、白色光源610からの出射光を硬性鏡に導光するライトガイドケーブル620を備えている。
硬性鏡100は対物レンズ、リレーレンズ、接眼レンズ等を含んで構成されるレンズ系110と、ライトガイドケーブル620からの出射光を、硬性鏡先端まで導光するライトガイド部120を備えている。
撮像部200は、レンズ系110からの出射光を結像する撮像レンズ系240を備える。撮像レンズ系240は、合焦物体位置を調整するフォーカスレンズ220を含んで構成されている。撮像部200はさらに、撮像レンズ系240で結像された反射光を光電変換して画像を生成する撮像素子250と、フォーカスレンズ220を駆動するフォーカスレンズ駆動部230と、オートフォーカス(以下、AF)の開始、終了を制御するAF開始/終了ボタン210を備えている。
撮像素子250は例えば、RGBのいずれかのカラーフィルタがベイヤ配列で配置されている原色ベイヤ型の撮像素子である。ここでは他にも、補色カラーフィルタを用いた撮像素子や、カラーフィルタを用いずに1つの画素で異なる波長の光を受光可能な積層型の撮像素子、カラーフィルタを用いないモノクロ撮像素子など、被写体を撮像して画像を得られるものであれば、任意の撮像素子を使用できる。フォーカスレンズ駆動部230は、例えばボイスコイルモータ(VCM)等の任意のアクチュエータである。
処理部300は、図2を用いて上述したように、画像取得部310と、注目領域検出部320と、画像保存部(記憶部)330と、移動ベクトル推定部340と、表示制御部350を備えている。
画像取得部310は、撮像部200で撮像された撮像画像を取得する。ここで取得される撮像画像は、狭義には時間的に連続した(時系列的な)画像である。画像取得部310は、例えばA/D変換部であってもよく、A/D変換部は、撮像素子250から順次出力されるアナログ信号をデジタルの画像に変換する処理を行う。また、画像取得部310(或いは不図示の前処理部)において撮像画像に対する前処理を行ってもよい。ここでの前処理とは、例えばホワイトバランス、補間処理(デモザイキング処理)等の画像処理である。
注目領域検出部320は、撮像画像から注目領域を検出する。画像保存部330は、撮像画像を記憶(保存)する。移動ベクトル推定部340は、処理対象タイミングでの撮像画像と、画像保存部330に保存された過去の(狭義には1タイミング前の)撮像画像とに基づいて、移動ベクトルを推定する。表示制御部350は、注目領域の検出結果と、推定された移動ベクトルとに基づいて、アラート画像の表示制御を行う。なお、表示制御部350では、アラート画像以外の表示制御を行ってもよく、例えば色変換、階調変換、エッジ強調、拡縮処理、ノイズリダクション等の画像処理を行ってもよい。アラート画像の具体的な表示制御については後述する。
表示部400は例えば液晶モニタであり、表示制御部350から順次出力される画像を表示する。
処理部300(制御部)は外部I/F部500や撮像素子250、AF開始/終了ボタン210、光源部600と相互に接続されており、制御信号の入出力を行う。外部I/F部500は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースであり、例えばAF領域の位置やサイズを設定するための設定ボタン、画像処理のパラメータを調整するための調整ボタンなどを含んで構成されている。
なお、図5では腹腔鏡手術等に用いられる硬性鏡を例にとって説明したが、内視鏡装置の構成はこれに限定されず、上部内視鏡や下部内視鏡等の他の内視鏡装置であってもよい。また、内視鏡装置は図5の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば、図5ではAFを行う内視鏡装置を想定したため、フォーカスレンズ220等を含むものとしたが、本実施形態の内視鏡装置はAFを行わない構成でもよく、これらの構成要素は省略可能である。また、後述するように本実施形態ではズームイン操作が行われてもよく、当該ズームインを撮像レンズ系240により実現してもよい。その場合、撮像レンズ系240は、図5に不図示のズームレンズを含む構成であってもよい。
次に、注目領域検出部320、移動ベクトル推定部340、表示制御部350での具体的な処理について説明する。
注目領域、特に生体の病変部を検出する手法は種々提案されており、例えば、非特許文献1のような手法を用いてもよいし、特許文献5に開示されているように領域の形状及び色を用いてもよい。特許文献5では、撮像画像から楕円状の形状を抽出し、抽出した楕円内の色と、あらかじめ定義された病変モデルとの色の比較処理に基づいて注目領域を検出する。或いは、狭帯域光観察(NBI,Narrow band imaging)を用いてもよい。NBIでは、通常のRGBに比べて狭い波長帯域の光、例えばB2(390nm〜445nm)やG2(530nm〜550nm)を用いることで、所与の病変が通常とは異なる色味(例えば赤褐色)で表示される。つまり、狭帯域光を用いた上で被写体の色情報等を判定することでも、注目領域を検出できる。その他、本実施形態では種々の検出手法を広く適用可能である。
注目領域検出部320において注目領域が検出された場合には、表示制御部350は図1のA3に示したように、注目領域AAが検出された位置にアラート画像ALを重畳表示する。この時点では、アラート画像ALに遮蔽された領域は観察することができない。ここで、アラート画像ALは矢印に限定されるものではなく、検出された病変の種類や、患者背景、他のモダリティ(医用画像装置、モダリティ装置)で観察された情報などを、文字、形状、色等で提示する画像であってもよい。
また表示制御部350は、時間的に連続した次の画像においても注目領域が検出された場合に、前の画像においてアラート画像ALに遮蔽された領域が観察可能なように、アラート画像の形態を変化させる。
具体的には、移動ベクトル推定部340において、画像保存部330に保存された過去の画像を用いて、少なくとも一組の対応点に関する移動ベクトルを推定する。具体的には、内視鏡装置は、撮像画像を記憶する記憶部(画像保存部330)を含み、移動ベクトル推定部340は、処理タイミングでの撮像画像と、記憶部に記憶された処理タイミングよりも過去の撮像画像との比較処理に基づいて、少なくとも一つの対応画素(対応点)を検出し、対応画素に基づいて移動ベクトルを推定すればよい。
画像間の対応点に関する移動ベクトルを推定する手法は、種々提案されており、例えば、特許文献4に開示されている手法を用いてもよい。また、移動ベクトル推定は、画像間の対応点に関する移動ベクトル以外にも、予め取得された3次元データに基づいて、内視鏡先端位置や方向を推定する手法や、外部のセンサを用いて直接内視鏡の動きを検出することによって推定する手法も知られており、本実施形態の移動ベクトル推定ではそれらの手法を広く適用可能である。そして表示制御部350は、推定された移動ベクトルによってアラート画像の形態を変化させる。
図6(A)〜図7(B)に、より具体的な実施の形態を示す。移動ベクトル推定部340は、注目領域検出部320によって検出された注目領域周辺の少なくとも1つの対応点の移動ベクトルを推定し、表示制御部350は、その移動ベクトルに基づいてアラート画像を消失させるかどうかを制御する。つまり本実施形態の第2の撮像画像におけるアラート画像の表示制御とは、第1の撮像画像で表示していたアラート画像を消去する制御であってもよい。
上述してきたように、本実施形態ではアラート画像により観察が妨げられていた被写体の観察状態を改善する。そのため、第2の撮像画像でアラート画像を消去すれば(非表示とすれば)、第2の撮像画像では注目領域がアラート画像により遮蔽されることがない。つまり、上述した第2の画像上領域も第2の被写体領域もサイズ(面積)が0となるため、第2の被写体領域を第1の被写体領域に比べて狭い領域とすることが可能である。
しかし、アラート画像自体は、注目領域の位置やその詳細な情報等をユーザに提示するものであるため、当該アラート画像を消去すれば、ユーザに提示される情報量が少なくなってしまう。例えば、注目領域の視認性が低い状態でアラート画像が消去されてしまうことで、ユーザが注目領域を見失ってしまう可能性や、ユーザは注目領域の詳細情報の閲覧を望んでいる状態で、当該詳細情報が消去されてしまう可能性がある。つまり、アラート画像を消去するのであれば、当該消去制御により問題が発生しない状況であるか否かを考慮することが望ましい。
そのため本実施形態では、移動ベクトルに基づいて、ユーザの観察状態を推定してもよい。具体的には、ユーザが対象としている注目領域を詳細に観察しようとしているか否かを推定するとよい。詳細な観察を行う状況では、アラート画像により注目領域が遮蔽されることで、注目領域の一部を観察できないことは病変の診断漏れ等の問題を生じさせるし、ユーザのストレスも大きい。よって、ユーザが詳細観察を行おうとしていると推定された場合に、アラート画像の消去を行うとよい。
例えば、注目領域のズーミング(ズームイン)が行われた場合には、ユーザは当該注目領域の詳細な観察を望んでいることが推定される。具体的には、図6(A)の過去の画像(第1の撮像画像)で検出された病変部と、図6(B)の現在の画像(第2の撮像画像)で検出された病変部の周辺の少なくとも2つの対応点に関する移動ベクトルを推定し、その2つの対応点間の距離が増大している場合には、ユーザが内視鏡を病変部へズーミングしていると判断する。そして、ズーミングしていると判断されたため、図6(B)の第2の撮像画像では、第1の撮像画像で表示していたアラート画像を消失させる。図6(B)は図4(B)に対応する状況であるが、アラート画像AL2が非表示であるため、図4(B)で示した第1の被写体領域に対応する画像上領域R1’とアラート画像AL2とは重畳せず、第2の画像上領域も第2の被写体領域も面積が0となる。
或いは、図7(A)の過去の画像で検出された病変部と、図7(B)の現在の画像で検出された病変部の周辺の少なくとも1つの対応点に関する移動ベクトルを推定し、移動ベクトルが画像中心に向かっている場合には、ユーザが病変に気がついて詳細観察を開始すると判断してもよい。この場合も、図7(B)の第2の撮像画像では、第1の撮像画像で表示していたアラート画像を消失させる。図7(B)は図3(B)に対応する状況であるが、アラート画像AL2が非表示であるため、図3(B)で示した第1の被写体領域に対応する画像上領域R1’とアラート画像AL2とは重畳せず、やはり第2の画像上領域も第2の被写体領域も面積が0となる。
なお、図7(A)、図7(B)では注目領域が画像中心方向へ並進移動をしている例を示したが、これには限定されず回転移動をすることで画像中心方向へ移動している場合に、アラート画像を消失させてもよい。ここでの回転移動は、例えば内視鏡装置の硬性鏡100(挿入部)を光軸まわりに回転させることで実現される。
以上の本実施形態では、上記第1の被写体領域の面積をS1とし、上記第2の被写体領域の面積をS2とした場合に、表示制御部350は、S2<S1が満たされるように、第2の撮像画像におけるアラート画像の表示制御を行ってもよい。すなわち、第2の被写体領域が第1の被写体領域に比べて狭くなるとは、各被写体領域の面積S1,S2を規定し、S2<S1の関係が満たされることであってもよい。ここで、各被写体領域の面積とは、各領域に撮像された被写体の表面積であってもよいし、各被写体を所与の平面(例えば撮像部200の光軸方向に直交する平面)へ射影した領域(被写体平面)の面積であってもよい。いずれにせよ、本実施形態における被写体領域は、実空間上における被写体のサイズを表すものであるため、画像上でのサイズ(面積)と一致するとは限らないものである。例えば図4(A)、図4(B)を用いて上述したように、同じ被写体領域であっても、被写体と撮像部200との距離や、ズーム倍率等の光学系の条件が異なれば、画像上での面積は変化するものである。
また、移動ベクトルに基づいて、第1の撮像画像と第2の撮像画像との間で、撮像部200の被写体に対するズーミングが行われたと判定された場合に、表示制御部350は、第2の被写体領域が第1の被写体領域に比べて狭い領域となるように、第2の撮像画像におけるアラート画像の表示制御を行ってもよい。
或いは、移動ベクトルに基づいて、第1の撮像画像と第2の撮像画像との間で、撮像部200の被写体に対する相対的な並進移動及び回転移動の少なくとも一方が行われたと判定された場合に、表示制御部350は、第2の被写体領域が第1の被写体領域に比べて狭い領域となるように、第2の撮像画像におけるアラート画像の表示制御を行ってもよい。
これにより、移動ベクトルを用いてズーミングや、並進、回転移動を判定し、判定結果に基づいてアラート画像の表示制御を行うことが可能になる。つまり、ユーザはズーミングや、並進、回転移動が行われるような操作を実行すればよい。ズーミングは、例えば撮像レンズ系240がズームレンズを有するのであれば、当該ズームレンズの制御(ズーム倍率の制御)を行うことでも実現できるし、撮像部200と被写体との距離を近づけることでも実現できる。また、並進移動は、撮像部200(硬性鏡100)を光軸に交差する方向(狭義には直交する方向)に移動させればよいし、回転移動は撮像部(硬性鏡100)を光軸まわりに回転させればよい。これらの操作は、内視鏡装置を用いて被写体を観察する際に自然と行われる。例えば、注目領域の探索や、発見した注目領域を見やすくするための位置取りの際に行われる操作である。つまり、アラート画像の表示態様を変更するに当たって、変更専用の煩わしい操作を行う必要がなく、内視鏡観察における自然な操作により表示態様の変更が可能になる。
この際、表示制御部350は、第2の撮像画像において、アラート画像を非表示とする制御を行ってもよい。さらに具体的には、上述したように、移動ベクトルに基づいて、第1の撮像画像と第2の撮像画像との間で、注目領域に対するズームインが行われたと判定された場合に、表示制御部350は、第2の撮像画像において、アラート画像を非表示とする制御を行ってもよい。或いは、移動ベクトルに基づいて、第1の撮像画像と第2の撮像画像との間で、注目領域が撮像画像の中央部に移動したと判定された場合に、表示制御部350は、第2の撮像画像において、アラート画像を非表示とする制御を行ってもよい。
なお、上述したように本実施形態の移動ベクトルとは、撮像画像上での被写体の動きを表す情報であればよく、画像から求められる情報に限定されるものではない。例えば、何らかの動きセンサ(一例としては加速度センサやジャイロセンサ)を硬性鏡100に搭載し、当該動きセンサからのセンサ情報に基づいて、本実施形態の移動ベクトルを求めてもよい。また、ズームインをズームレンズの制御により実現する場合であれば、当該ズームレンズの制御情報に基づいて移動ベクトルを求め、ズームインが行われたか否かを判定してもよい。また、センサ情報と画像情報の両方から移動ベクトルを求めるといったように、複数の手法を組み合わせて移動ベクトルを求めてもよい。
このようにすれば、注目領域へのズームイン、或いは画像中央方向への注目領域の移動が検出された場合に、アラート画像を消去することが可能になる。これにより、ユーザが注目領域の観察を行おうとしているか否かを判定し、観察を意図していると判定された場合に、アラート画像を消去することができる。ユーザが注目領域の観察を意図している場合、注目領域がアラート画像により遮蔽されることによる弊害が大きいと考えられるため、アラート画像の消去を行う利点が大きい。また、詳細観察を行う場合、位置を示す矢印や詳細な情報等の重要度は相対的に下がるため、アラート画像を消去することによる問題も発生しにくいと言える。例えば、注目領域を注視している以上、位置がわからなくなるということは考えにくいため、矢印が消去されてもよい。また、ズーミング等を行う状況では、ユーザは注目領域の被写体を視覚的に確認することを意図しているはずであり、文字情報等の詳細なアラート画像を同時に見る必要性も低い。
また、本実施形態の内視鏡装置は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばCPU(Central Processing Unit)であってもよい。ただしプロセッサはCPUに限定されるものではなく、GPU(Graphics Processing Unit)、或いはDSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。またプロセッサはASIC(application specific integrated circuit)によるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係る内視鏡装置の各部が実現されることになる。ここでのメモリは、SRAM、DRAMなどの半導体メモリであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
以上のように、本実施形態では操作者が撮像部200(硬性鏡100)を移動することによって注目領域につけられたマーク(アラート画像)の変形・表示・非表示を制御できるため、操作者が注目領域につけられたマークを移動したい場合に、特別なスイッチを必要とせず、自然な動作で制御可能である。その際、操作者が注目領域をズーミングする、或いは中心に移動することでマークを非表示にできるため、操作者が注目領域につけられたマークを移動したい場合に特別なスイッチも必要とせず自然な動作で制御可能である。
3.変形例
本実施形態における移動ベクトルを用いた判定、及びアラート画像の表示制御は上記のものに限定されない。以下、いくつかの変形例を説明する。
本実施形態における移動ベクトルを用いた判定、及びアラート画像の表示制御は上記のものに限定されない。以下、いくつかの変形例を説明する。
3.1 回転表示
図8(A)、図8(B)に示すように、表示制御部350は、移動ベクトルに基づいて、第1の撮像画像におけるアラート画像を回転移動させて、第2の撮像画像に表示する制御を行ってもよい。以下、具体的に説明する。図8(A)に示した第1の撮像画像を基準とした場合に、図8(B)に示した第2の撮像画像では、撮像部200(硬性鏡100)が相対的に左上方向(DR1)に移動し、それに伴い撮像画像上では注目領域が右下方向(DR2)に移動した場合を考える。ここでDR2はDR1の反対方向となる。
図8(A)、図8(B)に示すように、表示制御部350は、移動ベクトルに基づいて、第1の撮像画像におけるアラート画像を回転移動させて、第2の撮像画像に表示する制御を行ってもよい。以下、具体的に説明する。図8(A)に示した第1の撮像画像を基準とした場合に、図8(B)に示した第2の撮像画像では、撮像部200(硬性鏡100)が相対的に左上方向(DR1)に移動し、それに伴い撮像画像上では注目領域が右下方向(DR2)に移動した場合を考える。ここでDR2はDR1の反対方向となる。
移動ベクトルは、DR1或いはDR2を検出することになるが、ここでは撮像画像に対する画像処理から移動ベクトルを求める場合を想定し、移動ベクトルとしてDR2が検出されたものとして説明を行う。
第1の撮像画像における注目領域AA1とアラート画像AL1の相対的な関係を変化させないように、第2の撮像画像にアラート画像を表示するものとした場合、当該アラート画像は図8(B)のAL1’となる。例えば、アラート画像である矢印の先端位置が、注目領域の所定位置(例えば中心、重心等の位置)となり、矢印の姿勢(角度、方向)が変わらないような配置をすれば、相対位置関係を変化させないと仮定した場合の第2の撮像画像上でのアラート画像AL1’の位置が決定できる。
本実施形態では、例えばAL1’を基準(回転の始点)として、推定された移動ベクトルの方向DR2を用いて、AL1’を回転させて、第2の撮像画像で表示するアラート画像AL2を決定する。一例としては、アラート画像の所与の位置を中心として、アラート画像の方向を移動ベクトルの方向DR2の逆方向DR1と一致させるような回転を行ってもよい。
例えば、アラート画像がシャフトと当該シャフトの一端に矢尻が設けられる矢印画像である場合には、図8(C)に示したように、回転の中心であるアラート画像の所与の位置として、矢尻の先端(P0)を用いればよい。また、アラート画像の方向とは、矢尻の先端P0から、矢印のシャフトのうち矢尻とは異なる側の端点へと向かう方向(DRA)を用いればよい。この場合、アラート画像の回転とは、図8(B)においてP0を中心として、DRAがDR1と一致するような回転となり、回転後のアラート画像はAL2に示したものとなる。
このようにすれば、第1の撮像画像と第2の撮像画像とで、注目領域に対するアラート画像の相対位置が変化する。そのため、図8(D)に示したように、第1の被写体領域に対応する画像上領域R1’の少なくとも一部は、第2の撮像画像でのアラート画像AL2と重複しないことになるため、第1の被写体領域に対応する被写体、すなわち第1の撮像画像では観察が難しかった被写体を、第2の撮像画像では観察しやすくすることが可能になる。特に、図8(B)、図8(D)の例では、R1’とAL2とが重複しない(第2の画像上領域及び第2の被写体領域のサイズ=0)。もちろん、P0やDRA、DR1の関係によっては、R1’とAL2が重複する、すなわち第1の撮像画像で観察できず、且つ第2の撮像画像でも観察できない注目領域が生じることはあり得る。しかし、図8(A)〜図8(D)の手法では、アラート画像が回転移動することで、第2の撮像画像における注目領域AA2とアラート画像AL2の相対関係は、第1の撮像画像における注目領域AA1とアラート画像AL1の相対関係とは異なるものとなっている。よって、第2の被写体領域は第1の被写体領域に比べて狭い領域となるため、第1の撮像画像で観察できなかった領域の少なくとも一部は第2の撮像画像で観察できる状態となっており、観察状態の改善は実現されている。
なお、図8(B)からわかるように、本変形例では第2の撮像画像でもアラート画像を消去しないため、第2の撮像画像において注目領域AA2とアラート画像AL2とが重複することで、観察が難しい領域(図8(E)のR3)が生じる可能性がある。そして、状況によっては(R3に対応する被写体領域のサイズ)>(R1に対応する第1の被写体領域のサイズ)となることも起こりうる。しかし、本実施形態の手法は、ユーザによる移動操作前には(第1の撮像画像では)観察できなかった被写体を、移動操作後には(第2の撮像画像では)観察しやすくする表示制御を行うものである。そのため、当該表示制御により、それまで観察できていた被写体がアラート画像で遮蔽されることは許容する。仮に第2の撮像画像で注目領域の一部領域(R3)が観察できなくなったとしても、ユーザがさらにズームインや並進、回転移動を行えば、さらに次の撮像画像(第3の撮像画像)では当該一部領域の観察状態を改善する表示制御が行われるため、この点は大きな問題とならない。
また、本変形例の手法により表示制御が行われるアラート画像は矢印に限定されるものではない。例えば、文字等を含むアラート画像が、図9(A)のように第1の撮像画像において基準位置に対してDRA側に表示されている場合であって、図9(B)のように第2の撮像画像との間で注目領域がDR2側へ移動した場合には、第2の撮像画像では基準位置に対してDR1側に文字等を含むアラート画像を表示するといった変形実施を行ってもよい。
また、回転の目標を移動ベクトルの方向DR1とし、回転量は移動量(移動ベクトルの大きさ)によって決定してもよい。一例としては、移動量が所与の閾値Mth以上の場合には、図8(A)、図8(B)と同様にDRAをDR1と一致させる回転を行い、移動量がM(<Mth)の場合には、回転量をθ×M/Mthとしてもよい。ここでのθは回転前のDRAとDR1のなす角度である。例えば、移動量M=Mth/2であれば、アラート画像の回転量はθ/2となるため、図10に示した位置にアラート画像AL2が表示される。このようにすれば、アラート画像を回転移動させる際の移動量(回転量)を、移動ベクトルの大きさ(移動量)により制御することが可能になる。
以上のように、本変形例では、移動ベクトルに基づいて、第1の撮像画像と第2の撮像画像との間で、注目領域が第1の方向(図8(B)等のDR2に対応)に並進移動したと判定された場合に、表示制御部350は、第2の撮像画像における注目領域を基準として、第1の方向の反対方向(DR1)側へ、アラート画像を回転移動させて、第2の撮像画像に表示する制御を行う。
このようにすれば、ユーザが撮像部200を移動することによって注目領域につけられたアラート画像(マーク)を回転できるため、操作者がアラート画像の移動を希望した場合に、特別なスイッチも必要とせず自然な動作で制御可能である。その際、回転方向を移動ベクトルの方向に基づいて設定することで、実空間での物理法則に準じたアラート画像の移動が行われるため、直感的な操作を実現することが可能である。図8(A)、図8(B)等の制御は、例えば旗の竿を持って移動する場合を考えるとわかりやすい。旗を持って所与の方向へ移動した場合、竿の先端に取り付けられた素材(布、紙等)は、移動方向とは逆方向の気流を受けることで、移動方向とは逆方向にたなびくことになる。
図8(A)、図8(B)の例でも、注目領域をDR2の方向へ移動させることで、アラート画像はその反対方向であるDR1の方向側に位置するような回転が行われる。これは、注目領域がDR2方向に移動しているのに、アラート画像は元の位置に残ろうとしていると考えることも可能である。いずれにせよ、上記の旗の例や、強い慣性がはたらく場合等、移動方向と逆方向に物体が引きずられる(残ろうとする)という物理現象はよく見られるものであるため、撮像画像において、アラート画像を同様の方針で移動させるものとすれば、ユーザによるアラート画像の直感的な制御を実現することが可能になる。その際、回転量を移動ベクトルの大きさに対応付けるものとすれば、さらに実空間での物体の移動にあった制御を実現できるため、よりわかりやすい制御が可能になる。例えば、旗の竿をわずかに動かしただけでは、布のたなびきも小さいものになるのは容易に理解できる現象であり、このような現象に沿ったアラート画像の制御が可能になる。
また、以上では移動ベクトルにより撮像部200と被写体の相対的な並進移動が検出された場合について説明したが、撮像部200と被写体の相対的な回転移動が検出された場合に、アラート画像を回転させて表示する制御を行ってもよい。この場合も、アラート画像の回転方向や回転量を、移動ベクトルの方向や大きさに基づいて設定してもよい点は同様である。
また、以上の変形例では、第2の撮像画像でもアラート画像の表示を継続し、且つ、表示される位置姿勢を移動ベクトルに基づいて制御するものであるため、移動ベクトルに基づいて検出される動きは、注目領域の画像中央方向への移動に限定されない。例えば、本変形例であれば、アラート画像の注目領域に対する相対位置姿勢を変更する意図で(観察状態を改善する意図で)、注目領域が画像周縁部方向に移動するような操作を行うことも十分考えられる。
3.2 パンチルト
また、以上では撮像部200と被写体との相対的な動きとして、ズーミング、並進移動、回転移動(狭義には光軸まわりでの回転であり、ロールに対応)について説明したが、相対的な動きはこれに限定されない。例えば、撮像部200の光軸と、当該光軸に直交する2つの軸による直交3軸を規定し、光軸に直交する2つの軸の各軸まわりでの回転を表す動きを移動ベクトルに基づいて検出し、表示制御に用いてもよい。ここでの動きは、具体的にはパン、チルトに対応する動きである。
また、以上では撮像部200と被写体との相対的な動きとして、ズーミング、並進移動、回転移動(狭義には光軸まわりでの回転であり、ロールに対応)について説明したが、相対的な動きはこれに限定されない。例えば、撮像部200の光軸と、当該光軸に直交する2つの軸による直交3軸を規定し、光軸に直交する2つの軸の各軸まわりでの回転を表す動きを移動ベクトルに基づいて検出し、表示制御に用いてもよい。ここでの動きは、具体的にはパン、チルトに対応する動きである。
本変形例では、内視鏡装置(狭義には処理部300)は、図5等には不図示の注目領域法線推定部を含んでもよい。注目領域法線推定部は、移動ベクトル推定部340によって推定された対応点とその移動ベクトルから、注目領域周辺の内視鏡の視線方向に対する3次元的な接平面の法線方向を推定する。内視鏡の視線方向に対する3次元的な接平面の法線方向を推定する手法は、種々提案されており、例えば、非特許文献2に開示された手法を用いてもよい。また、これに限定されず、本実施形態における注目領域法線推定部における法線方向の推定処理は、種々の手法を広く適用することが可能である。
表示制御部350では、推定された法線方向に基づいて、アラート画像の形態を変形させて提示する。図11(A)、図11(B)を用いて、より具体的な動作を説明する。図11(A)の第1の撮像画像のように、注目領域AAの接平面Fが推定されており、旗型のアラート画像が、接平面Fの法線方向に表示されている場合を想定する。
この場合、観察が難しい第1の画像上領域、第1の被写体領域とは、旗の裏側に相当する領域である。ユーザが旗の裏側の観察を意図して、図11(B)の第2の撮像画像のように接平面Fに近づけるように撮像部200(硬性鏡100)を移動させると、法線方向が変化する。本変形例では、この法線方向の変化に基づいて、旗型のアラート画像の形態を変化させることで、図11(B)のように裏側の観察が可能とする。この場合、第1の被写体領域に対応する第2の撮像画像の画像上領域R1’は図11(C)に示した領域となるため、第2の画像上領域R2はR1’と図11(B)のAL2との重複領域を考えればよく、明らかにR2はR1’のうちの少なくとも一部の領域となる。つまり、本変形例においても、第2の被写体領域を第1の被写体領域に比べて狭い領域とすることが可能である。
つまり、以上の本変形例では、移動ベクトルに基づいて、第1の撮像画像と第2の撮像画像との間で、撮像部200の光軸方向と、被写体の法線方向のなす角度が変化する移動が行われたと判定された場合に、表示制御部350は、第2の被写体領域が第1の被写体領域に比べて狭い領域となるように、第2の撮像画像におけるアラート画像の表示制御を行う。
具体的には、アラート画像を3次元空間に存在する仮想的な物体としてとらえ、撮像部200の位置により決定される仮想的な視点で当該アラート画像を観察した場合の画像を、第2の撮像画像上に表示すればよい。なお、仮想的な3次元空間に物体を配置し、所与の視点から当該物体を観察した2次元画像を生成する手法は、CG(コンピューターグラフィックス)等で広く知られたものであるため、詳細な説明は省略する。また、図11(B)のような旗形状のアラート画像の例であれば、表示制御部350は、厳密に3次元物体の2次元画像への射影を演算するのではなく簡易的な演算を行ってもよい。例えば、図12に示すように、表示制御部350は、移動ベクトルから注目領域の面の法線方向を推定し、法線方向での線分の長さを変化させる表示制御を行ってもよい。図12のB1のように、撮像部200(硬性鏡100)を接平面側に回り込ませる移動、すなわち撮像部200の光軸が接平面の面内に含まれる方向に近くなる移動を行った場合には、図11(B)に示したように、移動前に比べて法線方向の線分の長さを長くすればよい。また、図12のB2のように、撮像部200の光軸が接平面の法線方向に近くなる移動を行った場合には、移動前に比べて法線方向の線分の長さを短くすればよい。
このようにすれば、操作者が撮像部200を移動することによって注目領域につけられたアラート画像(マーク)を変形できるため、操作者がアラート画像の移動を希望した場合に、特別なスイッチも必要とせず自然な動作で制御可能である。さらに、本変形例では、あたかもアラート画像が3次元空間上に存在する物体であるかのように表示されるため、或いはそのような表示を簡易的に実現するため、ユーザからすればアラート画像に遮蔽された(アラート画像の裏側にある)被写体を観察するために、どのように撮像部200を移動させればよいかを容易に理解することができる。すなわち、直感的にわかりやすい操作により、注目領域の観察状態を改善することが可能である。
また、以上ではパンチルト操作を検出した場合のアラート画像の表示制御として、その形状を変化させるものとしたがこれには限定されない。例えば、パンチルト操作を検出した場合に、アラート画像を消去したり、回転移動させて表示してもよい。この場合の、消去の基準や、回転移動の方向、量については、上述したように移動ベクトルの方向や大きさに基づいて決定すればよい。
3.3 サイズ変化
また、以上ではアラート画像の変化として、消去、回転移動、形状変化(特に仮想的な3次元物体を2次元画像へ射影する際の射影方向の変化)を説明したが、これ以外の変化を用いてもよい。例えば、表示制御部350は、移動ベクトルに基づいて、第1の撮像画像におけるアラート画像のサイズを変更して、第2の撮像画像に表示する制御を行ってもよい。
また、以上ではアラート画像の変化として、消去、回転移動、形状変化(特に仮想的な3次元物体を2次元画像へ射影する際の射影方向の変化)を説明したが、これ以外の変化を用いてもよい。例えば、表示制御部350は、移動ベクトルに基づいて、第1の撮像画像におけるアラート画像のサイズを変更して、第2の撮像画像に表示する制御を行ってもよい。
例えば、移動ベクトルに基づいて、第1の撮像画像と第2の撮像画像との間で、撮像部200の被写体に対するズームインが行われたと判定された場合に、表示制御部350は、第1の撮像画像におけるアラート画像のサイズを縮小して、第2の撮像画像に表示する制御を行う。
具体例を図13(A)〜図13(C)に示す。図13(A)は、図4(A)等と同様に第1の撮像画像を表す。図13(B)に示したように、第2の撮像画像においてズームインが行われた場合、第1の被写体領域に対応する画像上領域R1’は、第1の画像上領域R1に比べて拡大された状態となる。この点は、図4(B)を用いて上述したとおりである。そのため、サイズが第1の撮像画像と同等となるアラート画像を第2の撮像画像に表示すれば、図13(B)に示したように当該アラート画像AL2はR1’の一部としか重複しないため、第2の被写体領域が第1の被写体領域よりも狭い領域とできる。
しかし、本変形例ではこのような場合に、アラート画像のサイズを縮小することで、アラート画像のサイズを一定に保った場合に比べて、観察状態をより改善する。具体的には、図13(C)に示したように、アラート画像AL2のサイズを第1の撮像画像でのアラート画像AL1(図13(C)におけるAL1’’に相当)に比べて縮小することで、図13(B)よりもさらにR1’との重複領域を狭くすることができ、観察状態のさらなる改善が実現可能である。ズームインを行う場合とは、上述したようにユーザは所与の被写体の詳細な観察を希望していることが想定されるため、アラート画像のサイズが小さくなることによる問題は生じにくいと考えることができる。
また、以上ではズーミング(特にズームイン)について説明したが、アラート画像のサイズを変更する際の動きはこれに限定されない。具体的には、撮像部200と被写体が相対的に並進移動や回転移動をした場合、或いはパンチルト操作が行われた場合等にアラート画像のサイズを変更してもよい。また、以上では説明を省略したが、サイズを変更する際の変倍率を、移動ベクトルの大きさ等により決定してもよい。
3.4 複数のアラート画像
また、以上では1つの注目領域に対して1つのアラート画像を表示する例を示したがこれには限定されず、1つの注目領域に対して複数のアラート画像を表示してもよい。
また、以上では1つの注目領域に対して1つのアラート画像を表示する例を示したがこれには限定されず、1つの注目領域に対して複数のアラート画像を表示してもよい。
具体例を図14(A)、図14(B)に示す。図14(A)では1つの注目領域に対して4つのアラート画像(矢印)を表示している。例えば、注目領域を囲むように(4つの矢印の先端部の中心が注目領域の所与の位置となるように)アラート画像を表示すればよい。
また、図14(B)に示したように、移動ベクトルに基づいて、前記第1の撮像画像と前記第2の撮像画像との間で、前記注目領域に対するズームインが行われたと判定された場合に、表示制御部350は、アラート画像を、撮像画像の周縁部へ向かう方向に並進移動させて、第2の撮像画像に表示する制御を行ってもよい。
このようにすれば、ズームイン前(第1の撮像画像)では、複数のアラート画像により示される位置が理解しやすい表示形態とすることができるため、注目領域の位置を容易に理解させること等が可能になる。さらに、ズームイン後(第2の撮像画像)では、アラート画像が相対的に撮像画像の周辺部へ移動されるため、複数のアラート画像の表示を継続しつつも、観察状態の改善を実現することが可能になる。ここでの周縁部への移動とは、例えば、アラート画像の基準位置(矢印の先端等)が、第1の撮像画像での位置に比べて撮像画像の周縁(端部)に近い位置となる表示制御であってもよい。
なお、ここではアラート画像が複数の例を説明したが、上述してきたアラート画像が1つの場合にも、アラート画像を並進移動させる表示制御を行ってもよい。すなわち、表示制御部350は、移動ベクトルに基づいて、第1の撮像画像におけるアラート画像を並進移動させて、第2の撮像画像に表示する制御を行ってもよい。
この場合、並進移動の方向は周辺部へ向かう方向に限定されるものではなく、他の方向であってもよい。具体的には、アラート画像の並進移動における移動方向や移動量を、推定された移動ベクトルの方向や大きさにより決定してもよい。また、アラート画像を並進移動させる制御は、ズーミングが行われた場合に限定されず、撮像部200と被写体の相対的な並進移動、回転移動(ロール)、パン、チルト等と組み合わせてもよい。
3.5 段階処理
また、以上では第1の撮像画像と第2の撮像画像との間での移動ベクトルの推定結果に基づいて、第2の撮像画像におけるアラート画像の表示制御を行う例について説明した。しかしこれに限定されず、3つ以上のタイミングでの撮像画像に基づいて表示制御を行ってもよい。
また、以上では第1の撮像画像と第2の撮像画像との間での移動ベクトルの推定結果に基づいて、第2の撮像画像におけるアラート画像の表示制御を行う例について説明した。しかしこれに限定されず、3つ以上のタイミングでの撮像画像に基づいて表示制御を行ってもよい。
例えば、移動ベクトルに基づいて、第1の撮像画像と第2の撮像画像との間で、注目領域に対するズーミング、撮像部200の被写体に対する相対的な並進移動、撮像部200の被写体に対する相対的な回転移動、及び撮像部200の光軸方向と被写体の法線方向のなす角度が変化する移動、の少なくとも1つが行われたと判定された場合に、表示制御部350は、第2の被写体領域が第1の被写体領域に比べて狭い領域となるアラート画像を、第2の撮像画像に重畳して表示する制御を行い、第2の撮像画像と第3の撮像画像との間で、ズーミング、並進移動、回転移動、及び角度が変化する移動の少なくとも1つが行われたと判定された場合に、表示制御部350は、第3の撮像画像において、アラート画像を非表示とする制御を行ってもよい。
具体的な表示制御の流れを図15(A)〜図15(C)に示す。図15(A)が第1の撮像画像、図15(B)が第2の撮像画像、図15(C)が第3の撮像画像を表す。上述してきたように、第2の撮像画像は第1の撮像画像よりも時間的に後の(狭義には次のタイミングの)画像であり、第3の撮像画像は第2の撮像画像よりも時間的に後の(狭義には次のタイミングの)画像である。図15(B)では、ズームインが行われたため、観察状態を改善する表示制御として、アラート画像のサイズが縮小される。そして、図15(C)ではさらなるズーミングが行われたため、観察状態を改善する表示制御として、アラート画像が消去される。
このようにすれば、観察状態を改善するための表示制御を、複数の段階に分けて行うことが可能になる。上述したように、ユーザが注目領域の詳細な観察を望んでいる状況ではアラート画像を消去しても問題が生じにくい。しかし、所与のタイミングでズームイン等の操作が行われたとしても、それが誤操作等の可能性があり、ユーザは注目領域の詳細な観察を意図していない場合も考えられる。その場合、アラート画像を消去することで問題が生じる可能性がある。
よって本変形例では、1回のズームインの検出で即座にアラート画像を消去するのではなく、まず第1段階として、消去とは異なるアラート画像の表示制御(並進移動、回転移動、変形、サイズの変更等)を行う。この場合、アラート画像はその表示形態は変化するものの、表示が継続されるため、ユーザがアラート画像の参照を望んでいる場合であっても問題が生じにくい。その上で、さらにズームインが行われたのであれば、ユーザが注目領域の詳細な観察を希望している可能性が非常に高いと判定できるため、第2段階の処理としてアラート画像の消去を行う。このように、複数の段階で処理を行うことで、ユーザの意図に反するアラート画像の表示制御を行ってしまう可能性を抑止できる。なお、図15(A)〜図15(C)ではズーミングを例に取ったがこれには限定されず、他の移動を検出してもよい。また、第1段階と第2段階で同じ種類の移動を検出するものには限定されない。例えば、第2の撮像画像でズーミングを検出し、第3の撮像画像で撮像画像中央部への注目領域の並進移動を検出するといった変形実施も可能である。
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また内視鏡装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。さらに、上述した種々の実施形態はそれぞれを単独で行うものには限定されず、複数の実施形態を自由に組み合わせることが可能である。
100 硬性鏡、110 レンズ系、120 ライトガイド部、200 撮像部、
210 AF開始/終了ボタン、220 フォーカスレンズ、
230 フォーカスレンズ駆動部、240 撮像レンズ系、250 撮像素子、
300 処理部、310 画像取得部、320 注目領域検出部、330 画像保存部、340 移動ベクトル推定部、350 表示制御部、400 表示部、
500 外部I/F部、600 光源部、610 白色光源、
620 ライトガイドケーブル、AA 注目領域、AL アラート画像、F 接平面
210 AF開始/終了ボタン、220 フォーカスレンズ、
230 フォーカスレンズ駆動部、240 撮像レンズ系、250 撮像素子、
300 処理部、310 画像取得部、320 注目領域検出部、330 画像保存部、340 移動ベクトル推定部、350 表示制御部、400 表示部、
500 外部I/F部、600 光源部、610 白色光源、
620 ライトガイドケーブル、AA 注目領域、AL アラート画像、F 接平面
Claims (16)
- 撮像部が被写体を撮像した画像である撮像画像を取得する画像取得部と、
前記撮像画像の画素の特徴量に基づいて、注目領域を検出する注目領域検出部と、
前記撮像画像の少なくとも一部における移動ベクトルを推定する移動ベクトル推定部と、
前記注目領域と前記移動ベクトルに基づいて、前記注目領域を強調するアラート画像を、前記撮像画像に重畳して表示する表示制御部と、
を含み、
第1の撮像画像において前記アラート画像と前記注目領域が重畳する領域を第1の画像上領域とし、前記第1の画像上領域に対応する前記被写体上での領域を第1の被写体領域とし、
第2の撮像画像において、前記第1の被写体領域に対応する画像上領域と前記アラート画像とが重畳する領域を第2の画像上領域とし、前記第2の画像上領域に対応する前記被写体上での領域を第2の被写体領域とした場合に、
前記表示制御部は、
前記第2の被写体領域が前記第1の被写体領域に比べて狭い領域となるように、前記第2の撮像画像における前記アラート画像の表示制御を行うことを特徴とする内視鏡装置。 - 請求項1において、
前記移動ベクトルに基づいて、前記第1の撮像画像と前記第2の撮像画像との間で、前記撮像部の前記被写体に対するズーミングが行われたと判定された場合に、
前記表示制御部は、
前記第2の被写体領域が前記第1の被写体領域に比べて狭い領域となるように、前記第2の撮像画像における前記アラート画像の表示制御を行うことを特徴とする内視鏡装置。 - 請求項1において、
前記移動ベクトルに基づいて、前記第1の撮像画像と前記第2の撮像画像との間で、前記撮像部の前記被写体に対する相対的な並進移動及び回転移動の少なくとも一方が行われたと判定された場合に、
前記表示制御部は、
前記第2の被写体領域が前記第1の被写体領域に比べて狭い領域となるように、前記第2の撮像画像における前記アラート画像の表示制御を行うことを特徴とする内視鏡装置。 - 請求項1において、
前記移動ベクトルに基づいて、前記第1の撮像画像と前記第2の撮像画像との間で、前記撮像部の光軸方向と、前記被写体の法線方向のなす角度が変化する移動が行われたと判定された場合に、
前記表示制御部は、
前記第2の被写体領域が前記第1の被写体領域に比べて狭い領域となるように、前記第2の撮像画像における前記アラート画像の表示制御を行うことを特徴とする内視鏡装置。 - 請求項2乃至4のいずれかにおいて、
前記表示制御部は、
前記第2の撮像画像において、前記アラート画像を非表示とする制御を行うことを特徴とする内視鏡装置。 - 請求項5において、
前記移動ベクトルに基づいて、前記第1の撮像画像と前記第2の撮像画像との間で、前記注目領域に対するズームインが行われたと判定された場合に、
前記表示制御部は、
前記第2の撮像画像において、前記アラート画像を非表示とする制御を行うことを特徴とする内視鏡装置。 - 請求項5において、
前記移動ベクトルに基づいて、前記第1の撮像画像と前記第2の撮像画像との間で、前記注目領域が前記撮像画像の中央部に移動したと判定された場合に、
前記表示制御部は、
前記第2の撮像画像において、前記アラート画像を非表示とする制御を行うことを特徴とする内視鏡装置。 - 請求項2乃至4のいずれかにおいて、
前記表示制御部は、
前記移動ベクトルに基づいて、前記第1の撮像画像における前記アラート画像を回転移動させて、前記第2の撮像画像に表示する制御を行うことを特徴とする内視鏡装置。 - 請求項8において、
前記移動ベクトルに基づいて、前記第1の撮像画像と前記第2の撮像画像との間で、前記注目領域が第1の方向に並進移動したと判定された場合に、
前記表示制御部は、
前記第2の撮像画像における前記注目領域の前記第1の方向の反対方向側へ、前記アラート画像を回転移動させて、前記第2の撮像画像に表示する制御を行うことを特徴とする内視鏡装置。 - 請求項2乃至4のいずれかにおいて、
前記表示制御部は、
前記移動ベクトルに基づいて、前記第1の撮像画像における前記アラート画像を並進移動させて、前記第2の撮像画像に表示する制御を行うことを特徴とする内視鏡装置。 - 請求項10において、
前記移動ベクトルに基づいて、前記第1の撮像画像と前記第2の撮像画像との間で、前記注目領域に対するズームインが行われたと判定された場合に、
前記表示制御部は、
前記アラート画像を、前記撮像画像の周縁部へ向かう方向に並進移動させて、前記第2の撮像画像に表示する制御を行うことを特徴とする内視鏡装置。 - 請求項2乃至4のいずれかにおいて、
前記表示制御部は、
前記移動ベクトルに基づいて、前記第1の撮像画像における前記アラート画像のサイズを変更して、前記第2の撮像画像に表示する制御を行うことを特徴とする内視鏡装置。 - 請求項2において、
前記移動ベクトルに基づいて、前記第1の撮像画像と前記第2の撮像画像との間で、前記撮像部の前記被写体に対するズームインが行われたと判定された場合に、
前記表示制御部は、
前記第1の撮像画像における前記アラート画像のサイズを縮小して、前記第2の撮像画像に表示する制御を行うことを特徴とする内視鏡装置。 - 請求項1において、
前記移動ベクトルに基づいて、前記第1の撮像画像と前記第2の撮像画像との間で、前記注目領域に対するズーミング、前記撮像部の前記被写体に対する相対的な並進移動、前記撮像部の前記被写体に対する相対的な回転移動、及び前記撮像部の光軸方向と前記被写体の法線方向のなす角度が変化する移動、の少なくとも1つが行われたと判定された場合に、
前記表示制御部は、
前記第2の被写体領域が前記第1の被写体領域に比べて狭い領域となる前記アラート画像を、前記第2の撮像画像に重畳して表示する制御を行い、
前記第2の撮像画像と第3の撮像画像との間で、前記ズーミング、前記並進移動、前記回転移動、及び前記角度が変化する移動の少なくとも1つが行われたと判定された場合に、
前記表示制御部は、
前記第3の撮像画像において、前記アラート画像を非表示とする制御を行うことを特徴とする内視鏡装置。 - 請求項1乃至14のいずれかにおいて、
前記撮像画像を記憶する記憶部を含み、
前記移動ベクトル推定部は、
処理タイミングでの前記撮像画像と、前記記憶部に記憶された前記処理タイミングよりも過去の前記撮像画像との比較処理に基づいて、少なくとも一つの対応画素を検出し、前記対応画素に基づいて前記移動ベクトルを推定することを特徴とする内視鏡装置。 - 撮像部が被写体を撮像した画像である撮像画像を取得する処理を行い、
前記撮像画像の画素の特徴量に基づいて、注目領域を検出し、
前記撮像画像の少なくとも一部における移動ベクトルを推定し
前記注目領域と前記移動ベクトルに基づいて、前記注目領域を強調するアラート画像を、前記撮像画像に重畳して表示する表示制御を行い、
第1の撮像画像において前記アラート画像と前記注目領域が重畳する領域を第1の画像上領域とし、前記第1の画像上領域に対応する前記被写体上での領域を第1の被写体領域とし、
第2の撮像画像において、前記第1の被写体領域に対応する画像上領域と前記アラート画像とが重畳する領域を第2の画像上領域とし、前記第2の画像上領域に対応する前記被写体上での領域を第2の被写体領域とした場合に、
前記表示制御において、
前記第2の被写体領域が前記第1の被写体領域に比べて狭い領域となるように、前記第2の撮像画像における前記アラート画像の表示制御を行うことを特徴とする内視鏡装置の作動方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/066887 WO2016199273A1 (ja) | 2015-06-11 | 2015-06-11 | 内視鏡装置及び内視鏡装置の作動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016199273A1 JPWO2016199273A1 (ja) | 2018-03-29 |
JP6549711B2 true JP6549711B2 (ja) | 2019-07-24 |
Family
ID=57504887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017523050A Expired - Fee Related JP6549711B2 (ja) | 2015-06-11 | 2015-06-11 | 内視鏡装置及び内視鏡装置の作動方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180098690A1 (ja) |
JP (1) | JP6549711B2 (ja) |
CN (1) | CN107613839B (ja) |
DE (1) | DE112015006531T5 (ja) |
WO (1) | WO2016199273A1 (ja) |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8672837B2 (en) | 2010-06-24 | 2014-03-18 | Hansen Medical, Inc. | Methods and devices for controlling a shapeable medical device |
US9057600B2 (en) | 2013-03-13 | 2015-06-16 | Hansen Medical, Inc. | Reducing incremental measurement sensor error |
US9014851B2 (en) | 2013-03-15 | 2015-04-21 | Hansen Medical, Inc. | Systems and methods for tracking robotically controlled medical instruments |
US9629595B2 (en) | 2013-03-15 | 2017-04-25 | Hansen Medical, Inc. | Systems and methods for localizing, tracking and/or controlling medical instruments |
US9271663B2 (en) | 2013-03-15 | 2016-03-01 | Hansen Medical, Inc. | Flexible instrument localization from both remote and elongation sensors |
US11020016B2 (en) | 2013-05-30 | 2021-06-01 | Auris Health, Inc. | System and method for displaying anatomy and devices on a movable display |
JP6824967B2 (ja) | 2015-09-18 | 2021-02-03 | オーリス ヘルス インコーポレイテッド | 管状網のナビゲーション |
US10143526B2 (en) | 2015-11-30 | 2018-12-04 | Auris Health, Inc. | Robot-assisted driving systems and methods |
US10244926B2 (en) | 2016-12-28 | 2019-04-02 | Auris Health, Inc. | Detecting endolumenal buckling of flexible instruments |
DE102017103198A1 (de) * | 2017-02-16 | 2018-08-16 | avateramedical GmBH | Vorrichtung zum Festlegen und Wiederauffinden eines Bezugspunkts während eines chirurgischen Eingriffs |
CN110325100B (zh) | 2017-03-01 | 2021-09-24 | 富士胶片株式会社 | 内窥镜系统及其操作方法 |
US10127631B1 (en) * | 2017-03-02 | 2018-11-13 | Snap Inc. | Automatic image inpainting using local patch statistics |
CN110461209B (zh) * | 2017-03-30 | 2021-10-29 | 富士胶片株式会社 | 内窥镜系统及处理器装置 |
JP7282685B2 (ja) | 2017-03-31 | 2023-05-29 | オーリス ヘルス インコーポレイテッド | 生理学的ノイズを補償する管腔ネットワークのナビゲーション用ロボットシステム |
JP6751815B2 (ja) * | 2017-04-28 | 2020-09-09 | オリンパス株式会社 | 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法 |
EP3632295A4 (en) * | 2017-05-25 | 2021-03-10 | Nec Corporation | INFORMATION PROCESSING DEVICE, ORDERING PROCESS, AND PROGRAM |
US10022192B1 (en) | 2017-06-23 | 2018-07-17 | Auris Health, Inc. | Automatically-initialized robotic systems for navigation of luminal networks |
WO2019012586A1 (ja) * | 2017-07-10 | 2019-01-17 | オリンパス株式会社 | 医用画像処理装置及び医用画像処理方法 |
WO2019065111A1 (ja) * | 2017-09-26 | 2019-04-04 | 富士フイルム株式会社 | 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置 |
US10555778B2 (en) | 2017-10-13 | 2020-02-11 | Auris Health, Inc. | Image-based branch detection and mapping for navigation |
US11058493B2 (en) | 2017-10-13 | 2021-07-13 | Auris Health, Inc. | Robotic system configured for navigation path tracing |
JP7059297B2 (ja) * | 2017-10-20 | 2022-04-25 | 富士フイルム株式会社 | 医療画像処理装置 |
KR20200100613A (ko) | 2017-12-14 | 2020-08-26 | 아우리스 헬스, 인코포레이티드 | 기구 위치 추정을 위한 시스템 및 방법 |
AU2018390476B2 (en) | 2017-12-18 | 2024-03-28 | Auris Health, Inc. | Methods and systems for instrument tracking and navigation within luminal networks |
EP3773131A4 (en) | 2018-03-28 | 2021-12-15 | Auris Health, Inc. | LOCATION SENSOR RECORDING SYSTEMS AND METHODS |
KR102500422B1 (ko) | 2018-03-28 | 2023-02-20 | 아우리스 헬스, 인코포레이티드 | 기구의 추정된 위치를 디스플레이하기 위한 시스템 및 방법 |
JP6956853B2 (ja) | 2018-03-30 | 2021-11-02 | オリンパス株式会社 | 診断支援装置、診断支援プログラム、及び、診断支援方法 |
JP2019180966A (ja) * | 2018-04-13 | 2019-10-24 | 学校法人昭和大学 | 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム |
JP2022010368A (ja) * | 2018-04-13 | 2022-01-14 | 学校法人昭和大学 | 大腸内視鏡観察支援装置、大腸内視鏡観察支援方法、及びプログラム |
JP6981915B2 (ja) * | 2018-04-19 | 2021-12-17 | 富士フイルム株式会社 | 内視鏡用光学系および内視鏡 |
WO2019220916A1 (ja) * | 2018-05-14 | 2019-11-21 | 富士フイルム株式会社 | 医療画像処理装置、医療画像処理方法及び内視鏡システム |
WO2019231895A1 (en) | 2018-05-30 | 2019-12-05 | Auris Health, Inc. | Systems and methods for location sensor-based branch prediction |
MX2020012898A (es) | 2018-05-31 | 2021-02-26 | Auris Health Inc | Navegacion de redes tubulares basada en trayecto. |
JP7214757B2 (ja) * | 2018-05-31 | 2023-01-30 | オーリス ヘルス インコーポレイテッド | 生理学的ノイズを検出する管腔網のナビゲーションのためのロボットシステム及び方法 |
US10898275B2 (en) | 2018-05-31 | 2021-01-26 | Auris Health, Inc. | Image-based airway analysis and mapping |
JP6978604B2 (ja) * | 2018-07-10 | 2021-12-08 | オリンパス株式会社 | 内視鏡装置、内視鏡装置の作動方法及びプログラム |
WO2020036224A1 (ja) * | 2018-08-17 | 2020-02-20 | 富士フイルム株式会社 | 内視鏡システム |
GB2576574B (en) | 2018-08-24 | 2023-01-11 | Cmr Surgical Ltd | Image correction of a surgical endoscope video stream |
EP3851022A4 (en) * | 2018-09-11 | 2021-10-27 | FUJIFILM Corporation | MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING METHOD AND PROGRAM AND ENDOSCOPIC SYSTEM |
EP3858223B1 (en) | 2018-09-26 | 2024-04-24 | FUJIFILM Corporation | Medical image processing device, endoscope system, and operation method for medical image processing device |
JP7143436B2 (ja) | 2018-11-01 | 2022-09-28 | 富士フイルム株式会社 | 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置 |
CN113498323A (zh) * | 2019-02-26 | 2021-10-12 | 富士胶片株式会社 | 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序 |
JP7060536B2 (ja) | 2019-03-13 | 2022-04-26 | 富士フイルム株式会社 | 内視鏡画像処理装置、内視鏡画像処理装置の作動方法及びプログラム、内視鏡システム |
JP7225417B2 (ja) * | 2019-08-27 | 2023-02-20 | 富士フイルム株式会社 | 医療画像処理システム及び医療画像処理装置の作動方法 |
WO2021038495A1 (en) | 2019-08-30 | 2021-03-04 | Auris Health, Inc. | Instrument image reliability systems and methods |
KR20220058569A (ko) | 2019-08-30 | 2022-05-09 | 아우리스 헬스, 인코포레이티드 | 위치 센서의 가중치-기반 정합을 위한 시스템 및 방법 |
JP7373335B2 (ja) * | 2019-09-18 | 2023-11-02 | 富士フイルム株式会社 | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム |
JP2023508719A (ja) | 2019-12-31 | 2023-03-03 | オーリス ヘルス インコーポレイテッド | 経皮的アクセスのための位置合わせインターフェース |
EP4084721A4 (en) | 2019-12-31 | 2024-01-03 | Auris Health Inc | IDENTIFICATION OF AN ANATOMIC FEATURE AND AIMING |
US11660147B2 (en) | 2019-12-31 | 2023-05-30 | Auris Health, Inc. | Alignment techniques for percutaneous access |
WO2021149169A1 (ja) * | 2020-01-21 | 2021-07-29 | 日本電気株式会社 | 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体 |
WO2022004056A1 (ja) * | 2020-07-03 | 2022-01-06 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2022080008A1 (ja) * | 2020-10-15 | 2022-04-21 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101677756B (zh) * | 2007-05-17 | 2012-10-17 | 奥林巴斯医疗株式会社 | 图像信息的显示处理装置以及显示处理方法 |
JP5380348B2 (ja) * | 2010-03-31 | 2014-01-08 | 富士フイルム株式会社 | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
JP2011255006A (ja) * | 2010-06-09 | 2011-12-22 | Olympus Corp | 画像処理装置、内視鏡装置、プログラム及び画像処理方法 |
JP6053673B2 (ja) * | 2011-04-28 | 2016-12-27 | オリンパス株式会社 | 蛍光観察装置とその画像表示方法 |
JP5274724B2 (ja) * | 2011-05-17 | 2013-08-28 | オリンパスメディカルシステムズ株式会社 | 医療機器、医療用プロセッサの作動方法及び医療用プロセッサ |
WO2013179905A1 (ja) * | 2012-05-30 | 2013-12-05 | オリンパスメディカルシステムズ株式会社 | 医療用3次元観察装置 |
JP6485694B2 (ja) * | 2015-03-26 | 2019-03-20 | ソニー株式会社 | 情報処理装置および方法 |
WO2017073338A1 (ja) * | 2015-10-26 | 2017-05-04 | オリンパス株式会社 | 内視鏡画像処理装置 |
WO2017081976A1 (ja) * | 2015-11-10 | 2017-05-18 | オリンパス株式会社 | 内視鏡装置 |
-
2015
- 2015-06-11 WO PCT/JP2015/066887 patent/WO2016199273A1/ja active Application Filing
- 2015-06-11 JP JP2017523050A patent/JP6549711B2/ja not_active Expired - Fee Related
- 2015-06-11 CN CN201580080748.XA patent/CN107613839B/zh not_active Expired - Fee Related
- 2015-06-11 DE DE112015006531.8T patent/DE112015006531T5/de not_active Withdrawn
-
2017
- 2017-12-08 US US15/836,235 patent/US20180098690A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20180098690A1 (en) | 2018-04-12 |
DE112015006531T5 (de) | 2018-02-15 |
WO2016199273A1 (ja) | 2016-12-15 |
JPWO2016199273A1 (ja) | 2018-03-29 |
CN107613839B (zh) | 2019-10-01 |
CN107613839A (zh) | 2018-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6549711B2 (ja) | 内視鏡装置及び内視鏡装置の作動方法 | |
US10694933B2 (en) | Image processing apparatus and image processing method for image display including determining position of superimposed zoomed image | |
US11266294B2 (en) | Image processing device, endoscopic surgery system, and image processing method | |
WO2016043063A1 (ja) | 画像処理装置および画像処理方法 | |
US20190051039A1 (en) | Image processing apparatus, image processing method, program, and surgical system | |
WO2020054566A1 (ja) | 医療用観察システム、医療用観察装置及び医療用観察方法 | |
JP7280188B2 (ja) | 医療用拡大高解像度撮像方法及び撮像システム | |
WO2017072853A1 (ja) | 撮像装置、内視鏡装置及び撮像装置の作動方法 | |
JP7095693B2 (ja) | 医療用観察システム | |
US20220215539A1 (en) | Composite medical imaging systems and methods | |
JP7385731B2 (ja) | 内視鏡システム、画像処理装置の作動方法及び内視鏡 | |
EP3870021B1 (en) | Mixed reality systems and methods for indicating an extent of a field of view of an imaging device | |
JP2008029694A (ja) | 画像処理装置及び該画像処理装置を備える医用診断装置 | |
WO2020008920A1 (ja) | 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法 | |
JP5835797B2 (ja) | パノラマ画像作成プログラム | |
US20210278904A1 (en) | Information processing device, information processing method, and program | |
US20210378748A1 (en) | Anatomical structure visualization systems and methods | |
WO2020009127A1 (ja) | 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法 | |
JPWO2017072860A1 (ja) | 撮像装置、内視鏡装置及び撮像装置の作動方法 | |
JP6128664B2 (ja) | パノラマ画像作成プログラム | |
JP6064092B2 (ja) | 内視鏡システム | |
JP7375022B2 (ja) | 画像処理装置の作動方法、制御装置、および内視鏡システム | |
WO2021161369A1 (ja) | 内視鏡装置、情報処理方法及びプログラム | |
EP3982624A1 (en) | Image processing device, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190627 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6549711 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |