JP6764574B2 - 画像処理装置、画像処理方法、プログラム、及び、手術システム - Google Patents

画像処理装置、画像処理方法、プログラム、及び、手術システム Download PDF

Info

Publication number
JP6764574B2
JP6764574B2 JP2017561581A JP2017561581A JP6764574B2 JP 6764574 B2 JP6764574 B2 JP 6764574B2 JP 2017561581 A JP2017561581 A JP 2017561581A JP 2017561581 A JP2017561581 A JP 2017561581A JP 6764574 B2 JP6764574 B2 JP 6764574B2
Authority
JP
Japan
Prior art keywords
monitor
image
image processing
display
surgical site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017561581A
Other languages
English (en)
Other versions
JPWO2017122541A1 (ja
Inventor
健太郎 深沢
健太郎 深沢
雄生 杉江
雄生 杉江
貴美 水倉
貴美 水倉
一木 洋
洋 一木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017122541A1 publication Critical patent/JPWO2017122541A1/ja
Application granted granted Critical
Publication of JP6764574B2 publication Critical patent/JP6764574B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/00048Constructional features of the display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70
    • G06T5/73
    • G06T5/80
    • G06T5/92
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/372Details of monitor hardware
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/373Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Description

本技術は、画像処理装置、画像処理方法、プログラム、及び、手術システムに関し、特に、例えば、適切な術部画像を表示することができるようにする画像処理装置、画像処理方法、プログラム、及び、手術システムに関する。
例えば、特許文献1には、医用画像を縮小した参照画像を生成し、モニタサイズに応じて、参照画像の表示可能枚数を算出し、モニタの表示画面に、表示可能枚数だけの参照画像を配置することで、モニタサイズに依存することなく、一律のサイズで、参照画像を表示させる技術が記載されている。
特開2004-305272号公報
ところで、モニタに表示される画像の視認性、すなわち、画像の画質の感じ方は、視聴距離やモニタサイズによって異なる。
医療現場では、例えば、手術室において、あらかじめ決められた範囲内にモニタが設置されることが多く、そのため、モニタに表示される画像の視認性については、モニタサイズが大きく影響する。
例えば、モニタサイズが大きい場合、ノイズが見えやすくなり、モニタに表示される画像を見る術者に疲労を感じさせることがある。
そのため、画像を表示するモニタのモニタサイズに適切な画質の画像を提供することが要請されている。
さらに、医療現場では、術部が映った術部画像を表示する表示装置としてのモニタに、術者等にとって、視認性の良い適切な術部画像が表示されることが要請されている。
本技術は、このような状況に鑑みてなされたものであり、適切な術部画像を表示することができるようにするものである。
本技術の画像処理装置、又は、プログラムは、術部が映った術部画像を表示する表示装置の表示に関する情報に基づいて、前記術部画像に対して補正処理を行うよう制御する制御部を備える画像処理装置、又は、そのような画像処理装置として、コンピュータを機能させるためのプログラムである。前記表示に関する情報は、表示画面サイズであり、前記制御部は、前記表示装置の表示画面を撮影した撮影画像から、前記表示画面サイズを推定し、前記表示画面サイズに基づいて、前記術部画像に対して前記補正処理を行うよう制御する。
本技術の画像処理方法は、画像処理装置が、術部が映った術部画像を表示する表示装置の表示に関する情報に基づいて、前記術部画像に対して補正処理を行うよう制御することを含む画像処理方法である。前記表示に関する情報は、表示画面サイズであり、前記制御は、前記表示装置の表示画面を撮影した撮影画像から、前記表示画面サイズを推定し、前記表示画面サイズに基づいて、前記術部画像に対して前記補正処理を行うよう制御する。
本技術の手術システムは、画像を撮影する内視鏡と、前記内視鏡により撮影された、術部が映った術部画像を表示する表示装置の表示に関する情報に基づいて、前記術部画像に対して補正処理を行うよう制御する制御部と、前記補正処理を行った後の補正後術部画像
を表示する前記表示装置とを備える手術システムである。前記表示に関する情報は、表示画面サイズであり、前記制御部は、前記表示装置の表示画面を撮影した撮影画像から、前記表示画面サイズを推定し、前記表示画面サイズに基づいて、前記術部画像に対して前記補正処理を行うよう制御する。
本技術の画像処理装置、画像処理方法、プログラム、及び、手術システムにおいては、術部が映った術部画像を表示する表示装置の表示に関する情報に基づいて、前記術部画像に対して補正処理を行うよう制御される。前記表示に関する情報は、表示画面サイズであり、前記制御は、前記表示装置の表示画面を撮影した撮影画像から、前記表示画面サイズを推定し、前記表示画面サイズに基づいて、前記術部画像に対して前記補正処理が行われるように制御する。
なお、画像処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術によれば、適切な術部画像を表示することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した内視鏡手術システムの一実施の形態の構成例を示す図である。 CCU31の第1の構成例を示すブロック図である。 画像処理パラメータ決定部42の構成例を示すブロック図である。 パラメータ記憶部52での複数の画像処理パラメータの記憶の例を示す図である。 モニタのモニタサイズと、そのモニタに表示される画像のコントラストに対するコントラスト感度との関係を説明する図である。 モニタのモニタサイズと、そのモニタに表示される画像のノイズに対するノイズ感度との関係を説明する図である。 NR処理の例を説明する図である。 エッジ強調処理の例を説明する図である。 CCU31の処理の例を説明するフローチャートである。 CCU31の第2の構成例を示すブロック図である。 CCU31の第3の構成例を示すブロック図である。 モニタサイズ推定部61の第1の構成例を示すブロック図である。 モニタサイズ推定部61の処理の例を説明する図である。 モニタサイズ推定部61の第2の構成例を示すブロック図である。 モニタサイズ推定部61の第3の構成例を示すブロック図である。 モニタサイズ推定部61の第4の構成例を示すブロック図である。 奥行き推定部101での基準画像の各画素の奥行きの推定を説明する図である。 CCU31の第4の構成例を示すブロック図である。 CCU31の第5の構成例を示すブロック図である。 CCU31の第6の構成例を示すブロック図である。 画像処理方式決定部121の構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
<本技術を適用した内視鏡手術システムの一実施の形態>
図1は、本技術を適用した内視鏡手術システムの一実施の形態の構成例を示す図である。
図1の内視鏡手術システムは、手術室に設置され、この内視鏡手術システムを用いて、例えば、従来の開腹手術に代えて、内視鏡下手術により、腹部の手術等が行われる。
図1において、手術室には、患者ベッド11が配置され、その患者ベッド11には、患者12が横たわっている。
患者12については、従来のように腹壁を切って開腹する代わりに、開孔器具であるトロッカ13,14,15,16が、腹壁に小さな孔を数カ所(図1では、4箇所)空けて取り付けられている。
トロッカ13ないし16には、図示せぬ孔が設けられており、その孔から、手術に用いられる術具(例えば、内視鏡や、電気メス等のエネルギ処置具、鉗子等)が、患者12の体内に挿入される。図1では、トロッカ13からは内視鏡21が、トロッカ14からは、気腹針22が、トロッカ15からはエネルギ処置具23が、トロッカ16からは鉗子24が、それぞれ挿入されている。内視鏡21、エネルギ処置具23、及び、鉗子24のそれぞれは、例えば、術者、助手、スコピスト、又は、ロボット等によって保持される。
図1において、内視鏡手術システムは、内視鏡21、気腹針22、エネルギ処置具23、鉗子24、カート30、CCU(Camera Control Unit)31、光源装置32、処置具用装置33、気腹装置34、レコーダ35、プリンタ36、モニタ37、及び、フットスイッチ38を有する。
かかる内視鏡手術システムによれば、内視鏡21によってビデオ撮像された、手術の対象である術部としての患部(腫瘍等)12Aが映った術部画像が、モニタ37に表示される。術者は、モニタ37に表示された術部画像をリアルタイムで見ながら、エネルギ処置具23等によって、患部12Aの切除等の処置を施す。
内視鏡21は、カメラ(撮影装置)、すなわち、イメージセンサ等を含むカメラヘッドや観察光学系(いずれも図示せず)を有し、画像を撮影する。
すなわち、図1において、内視鏡21は、腹腔鏡であり、光源装置32からライトガイドケーブル32Aを介して供給される光を照射することにより、患部12A及び患部12Aの周辺等を照明する。
さらに、内視鏡21は、内視鏡21が照射した光の反射光を、観察光学系を介して、カメラヘッドのイメージセンサで受光することにより、患部12A等の術部が映った術部画像を撮影する。
そして、内視鏡21は、術部画像を、カメラケーブル31Aを介して、CCU31に供給する。
気腹針22は、気腹装置34から供給される気体(例えば、空気や炭酸ガス等)を、患者12の体内の患部12A周辺等の腹部に送気し、また、患者12の体内の気体を、気腹装置34に吸気するためのニードルである。
エネルギ処置具23は、例えば、電気熱により、患部12Aを切断する電気メス等の、電気エネルギを利用する術具である。
鉗子24は、生体内の組織等を把持する術具である。
カート30には、内視鏡手術システムを構成する医療機器としての装置が必要に応じて搭載される。図1では、カート30には、CCU31ないしモニタ37が搭載されている。
CCU31は、内視鏡21が有するカメラヘッドを、カメラケーブル31Aを介して制御し、これにより、例えば、フォーカスや、絞り、露光時間等を調整する。
さらに、CCU31は、内視鏡21からカメラケーブル31Aを介して供給される画像(術部画像等)を表示する表示装置としてのモニタ37の表示に関する情報に基づいて、内視鏡21からの術部画像に対して補正処理を行うように、各種の処理を制御する。
そして、CCU31は、内視鏡21からカメラケーブル31Aを介して供給される画像(術部画像等)に、補正処理としての画像処理を行う(施す)ことにより得られる画像処理後の画像(補正後術部画像等)を、モニタ37に供給する。
なお、図1では、内視鏡21とCCU31とが、有線のカメラケーブル31Aを介して接続されているが、内視鏡21とCCU31とは、その他、無線により接続することができる。
光源装置32は、ライトガイドケーブル32Aを介して内視鏡21に接続されている。光源装置32は、様々な波長の光を、必要に応じて切り替えて発し、ライトガイドケーブル32Aを介して、内視鏡21に供給する。
処置具用装置33は、高周波電流を、エネルギ処置具23に供給する高周波出力装置である。
気腹装置34は、送気手段及び吸気手段(いずれも図示せず)を有し、気腹針22を介して、送気や吸気を行う。
レコーダ35は、内視鏡21で撮影された術部画像等を記録する。
プリンタ36は、内視鏡21で撮影された術部画像等を印刷する。
モニタ37は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)パネル等で構成され、CCU31から供給される画像を表示する表示装置である。
フットスイッチ38は、例えば、術者や助手等によってフット操作され、そのフット操作に応じた操作信号(トリガ信号)を、CCU31や処置具用装置33に供給することで、CCU31や処置具用装置33を制御する。
なお、内視鏡21が有するカメラは、1眼のカメラ(単眼カメラ)であっても良いし、ステレオカメラ等の2眼以上の多眼カメラであっても良い。内視鏡21のカメラとして、ステレオカメラ等の多眼カメラを採用する場合には、モニタ37には、術部画像として、3D(Dimensional)画像を表示することができる。
また、図1では、術部画像を表示するモニタとして、1台のモニタ37だけが設けられているが、術部画像を表示するモニタとしては、複数台のモニタを設けること、すなわち、モニタ37の他に、1台以上のモニタを設けることができる。
術部画像を表示するモニタとして、複数台のモニタを設ける場合には、その複数台のモニタについては、モニタサイズが同一のサイズであっても、異なるサイズであっても良い。
さらに、複数台のモニタには、内視鏡21で撮影された同一の画像を表示することができる。
また、複数台のモニタを設ける場合には、複数の内視鏡を設け、各モニタには、各内視鏡で撮影された別個の画像を表示することができる。
さらに、複数台のモニタには、内視鏡21で撮影された画像を広視野にした画像や、ズームアップ(拡大)した画像等の異なる画像を表示することができる。
<CCU31の第1の構成例>
図2は、図1のCCU31の第1の構成例を示すブロック図である。
図2において、CCU31は、UI(User Interface)41、画像処理パラメータ決定部42、及び、画像処理部43を有する。
UI41は、図1の内視鏡手術システムを使用するユーザとしての、例えば、術者や、助手、スコピスト等によって操作される。ユーザは、UI41を操作することにより、モニタ37のモニタサイズを入力することができ、UI41は、ユーザによる操作により入力されたモニタサイズを、画像処理パラメータ決定部42に供給する。
画像処理パラメータ決定部42は、UI41からのモニタサイズを取得する。画像処理パラメータ決定部42は、UI41からのモニタサイズに応じて、画像処理部43での画像処理に用いる画像処理パラメータを決定し、画像処理部43に供給する。
画像処理部43には、画像処理パラメータ決定部42から画像処理パラメータが供給される他、内視鏡21から、術部が映った術部画像(の画像データ)が供給される。
画像処理部43は、画像処理パラメータ決定部43からの画像処理パラメータを用いて、内視鏡21からの術部画像の画像処理である術部画像に対する補正処理を行うことで、その画像処理(補正処理)後の術部画像を表示するモニタ37のモニタサイズに応じた画像処理を、術部画像に行う。そして、画像処理部43は、画像処理後の術部画像(の画像データ)を、モニタ37に供給することで表示させる。
図3は、図2の画像処理パラメータ決定部42の構成例を示すブロック図である。
図3において、画像処理パラメータ決定部42は、モニタサイズ取得部51、パラメータ記憶部52、及び、決定部53を有する。
モニタサイズ取得部51は、例えば、図2のUI41から供給されるモニタサイズを取得し、決定部53に供給する。
パラメータ記憶部52は、術部画像を表示するモニタ37等の各種のモニタの表示に関する情報と対応付けて、各モニタでの術部画像の表示に適切な補正処理(の情報)を記憶している。
すなわち、パラメータ記憶部52は、例えば、図2の画像処理部43で行われる画像処理(補正処理)で用いられる画像処理パラメータとして、複数(セット)の画像処理パラメータを、モニタサイズ(モニタの表示に関する情報)に対応付けて記憶している。
決定部53は、モニタサイズ取得部51から供給されるモニタサイズに応じて、パラメータ記憶部52に記憶された複数の画像処理パラメータから、画像処理部43の画像処理に用いる画像処理パラメータを決定し、注目パラメータとして、画像処理部43に供給する。
図4は、図3のパラメータ記憶部52での複数の画像処理パラメータの記憶の例を示す図である。
パラメータ記憶部52は、複数のモニタサイズそれぞれに対応付けて、そのモニタサイズに適切な画像処理パラメータを記憶している。
ここで、図2の画像処理部43で行われる画像処理としては、例えば、画像のノイズを除去(低減)するNR(Noise Reduction)(ノイズ除去)処理や、画像の任意の部分を強調する強調処理等がある。
強調処理には、例えば、アンシャープマスク処理等に代表されるエッジ強調処理や、特定の周波数帯域を強調する帯域強調処理等がある。医者は、高域よりも幾分か低い周波数帯域を強調した画質を好む傾向があるため、内視鏡手術システムのCCU31では、帯域強調処理が行われることがある。
図4では、画像処理部43で行われる画像処理が、NR処理及びエッジ強調処理であるとして、NR処理用のパラメータと、エッジ強調処理用のパラメータとが、画像処理パラメータとして記憶されている。
なお、パラメータ記憶部52には、NR処理用のパラメータ、又は、エッジ強調処理用のパラメータに代えて、帯域強調処理用のパラメータを記憶させることができる。また、パラメータ記憶部52には、NR処理用のパラメータ、及び、エッジ強調処理用のパラメータに加えて、帯域強調処理用のパラメータを記憶させることができる。さらに、パラメータ記憶部52には、NR処理用のパラメータ、エッジ強調処理用のパラメータ、及び、帯域強調用のパラメータのうちのいずれか1つを記憶させることができる。
パラメータ記憶部52に記憶させる画像処理パラメータの種類は、画像処理部43で行われる画像処理の種類に応じて決定される。すなわち、画像処理部43において、画像処理として、例えば、NR処理、エッジ強調処理、及び、帯域強調処理等のうちの1以上を行うことができる場合、パラメータ記憶部52には、画像処理部43で行われる画像処理に応じて、その画像処理用のパラメータが記憶される。
また、パラメータ記憶部52には、CCU31に接続可能なモニタのあらゆるモニタサイズに対する画像処理パラメータを記憶させておくことができる。この場合、決定部53は、パラメータ記憶部52に記憶された複数の画像処理パラメータのうちの、モニタ37のモニタサイズに対応付けられた画像処理パラメータを、画像処理部43での画像処理に用いる注目パラメータに決定する。
また、パラメータ記憶部52には、CCU31に接続可能なモニタのあらゆるモニタサイズのうちの、幾つか(複数)のモニタサイズに対する画像処理パラメータ記憶させることができる。
この場合、パラメータ記憶部52に記憶された複数の画像処理パラメータの中に、モニタ37のモニタサイズに対応付けられた画像処理パラメータが存在するときには、決定部53は、モニタ37のモニタサイズに対応付けられた画像処理パラメータを、注目パラメータに決定する。
また、パラメータ記憶部52に記憶された複数の画像処理パラメータの中に、モニタ37のモニタサイズに対応付けられた画像処理パラメータが存在しないときには、決定部53は、パラメータ記憶部52に記憶された複数の画像処理パラメータのうちの、モニタ37のモニタサイズに最も近いモニタサイズに対応付けられた画像処理パラメータを、注目パラメータに決定することができる。
なお、パラメータ記憶部52に記憶された複数の画像処理パラメータの中に、モニタ37のモニタサイズに対応付けられた画像処理パラメータが存在しないときには、その他、例えば、パラメータ記憶部52に記憶された複数の画像処理パラメータを用いた補間により、注目パラメータを決定することができる。
ここで、画像処理部43で行われる画像処理は、NR処理、エッジ強調処理、及び、帯域強調処理に限定されるものではない。
また、以下では、説明を簡単にするため、画像処理部43では、例えば、NR処理、及び、エッジ強調処理が、画像処理として行われることとする。
図5は、モニタのモニタサイズと、そのモニタに表示される画像のコントラストに対するコントラスト感度との関係を説明する図である。
図6は、モニタのモニタサイズと、そのモニタに表示される画像のノイズに対するノイズ感度(ノイズの評価値)との関係を説明する図である。
なお、図5は、電子情報通信学会「知識ベース」、知識の森、5章 視覚系の周波数特性、電子情報通信学会 2010からの引用であり、図6は、青山et.al、「異種画像出力機器のノイズ評価方法」、日本写真学会誌1964 p392からの引用である。
ここで、画像を視聴する視聴者から画像が表示されるモニタまでの距離を、視聴距離という。
また、モニタに表示される画像にノイズが見える程度、すなわち、モニタに表示される画像の中に、視聴者がノイズを感じる程度を、ノイズ感度という。
さらに、モニタに表示される画像に、視聴者がコントラストを感じる程度を、コントラスト感度という。
図5は、モニタの空間周波数(横軸)とコントラスト感度(縦軸)との関係を示している。
視聴距離を固定にした場合、図5に示すように、モニタの空間周波数とコントラスト感度との間には、モニタの空間周波数が所定値(例えば、10c/deg(cycles/degree)程度)以下の範囲では、空間周波数が大であるほど、コントラスト感度が大になる傾向がある。
モニタの空間周波数が小であることは、モニタサイズが大であることに対応し、モニタの空間周波数が大であることは、モニタサイズが小であることに対応する。
したがって、所定の空間周波数に対応するモニタサイズ以上のモニタについては、コントラスト感度は、モニタサイズが小(空間周波数が大)であるほど大になる傾向がある。
図6は、視聴距離(横軸)と、ノイズの見え方を表すノイズの評価値(縦軸)との関係を示している。
視聴距離とノイズの評価値との間には、視聴距離が小であるほど、ノイズの評価値が大になる傾向がある。
視聴距離が小であることは、視聴距離が一定である場合に、モニタサイズが大であることに対応する。逆に、視聴距離が大であることは、視聴距離が一定である場合に、モニタサイズが小であることに対応する。また、ノイズの評価値は、モニタに表示される画像の中に、視聴者がノイズを感じる程度を表すノイズ感度に対応する。
したがって、ノイズ感度は、モニタサイズが大(視聴距離が小)であるほど大になる傾向がある。
以上から、ノイズ感度及びコントラスト感度については、モニタサイズが大きい場合には、ノイズ感度が支配的になり、モニタサイズが小さい場合には、コントラスト感度が支配的になる。
そこで、画像処理部43の画像処理としてのNR処理やエッジ強調処理の強度は、以下のように調整することが望ましい。
すなわち、モニタサイズが大である場合には、ノイズ感度が大になり、ノイズを視認しやすくなる。したがって、モニタサイズが大である場合には、画像処理部43のNR処理としては、強度が大のNR処理を行って、ノイズをより低減することが望ましい。
さらに、モニタサイズが大である場合には、モニタの1画素あたりの面積が大になるため、ノイズの他、エッジ強調処理等によって生じるリンギングを視認しやすくなる。したがって、モニタサイズが大である場合には、画像処理43のエッジ強調処理としては、強度が小のエッジ強調処理を行って、リンギングの発生を抑制することが望ましい。
一方、モニタサイズが小である場合には、コントラスト感度が大になり、コントラストの有無を感じやすくなる。したがって、モニタサイズが小である場合には、画像処理部43のエッジ強調処理としては、強度が大のエッジ強調処理を行って、コントラストを強くし、視認性を向上させることが望ましい。
また、モニタサイズが大である場合に、強度が大のエッジ強調処理を行うと、コントラストが強くなりすぎ、術部画像を視聴する術者の眼の疲労を増長するおそれがある。
そこで、パラメータ記憶部52には、モニタサイズが大である場合には、強度が大のNR処理が行われ、モニタサイズが小である場合には、強度が小のNR処理が行われるように、NR処理用のパラメータを、モニタサイズに対応付けて記憶させる。
さらに、パラメータ記憶部52には、モニタサイズが大である場合には、強度が小のエッジ強調処理が行われ、モニタサイズが小である場合には、強度が大のエッジ強調処理が行われるように、エッジ強調処理用のパラメータを、モニタサイズに対応付けて記憶させる。
図7は、NR処理の例を説明する図である。
NR処理としては、例えば、バイラテラルフィルタによるフィルタリングを採用することができる。
例えば、いま、術部画像の左からi番目で、上からj番目の画素を、注目画素として、バイラテラルフィルタによるフィルタリング前の注目画素の画素値を、f(i,j)と表すとともに、フィルタリング後の画素値を、g(i,j)と表すこととする。
この場合、注目画素のバイラテラルフィルタによるフィルタリングは、図7に示す式に従い、注目画素を中心とする横×縦がm×n個の画素の画素値を用いて行われ、フィルタリング後の画素値g(i,j)が求められる。
バイラテラルフィルタによるフィルタリングとしての式は、パラメータσ 及びσ を含んでおり、NR処理用のパラメータとしては、このパラメータσ やσ を採用することができる。
パラメータσ やσ を大にすると、NR処理の強度(NR効果)は大になり、パラメータσ やσ を小にすると、NR処理の強度は小になる。
したがって、NR処理として、バイラテラルフィルタによるフィルタリングを採用するとともに、NR処理用のパラメータとして、パラメータσ やσ を採用する場合、画像処理パラメータ決定部42では、モニタサイズが大であるほど、値が大のパラメータσ やσ を、NR処理に用いる注目パラメータに決定することができる。
なお、バイラテラルフィルタによるフィルタリング後の画像は、フィルタリング前の画像(元の画像)に比較して、コントラストが低下する。コントラストが低下する程度は、NR処理の強度が大であるほど大になる。
したがって、バイラテラルフィルタによるフィルタリングは、ノイズを除去するNR処理であるとともに、コントラストを低下させるコントラスト低下処理、又は、エッジを抑制させるエッジ抑制処理ということができる。
バイラテラルフィルタによるフィルタリングを、コントラスト低下処理、又は、エッジ抑制処理として捉える場合、画像処理部43では、モニタサイズが大であるほど、強度が大のコントラスト低下処理、又は、エッジ抑制処理が行われる、ということができる。
図8は、エッジ強調処理の例を説明する図である。
エッジ強調処理としては、例えば、アンシャープマスク処理を採用することができる。
アンシャープマスク処理前の注目画素の画素値を、f(i,j)と表すとともに、アンシャープマスク処理後の画素値を、g(i,j)と表すこととする。
この場合、アンシャープマスク処理は、図8に示す式に従い、注目画素を中心とする横×縦がm×n個の画素の画素値を用いて行われ、アンシャープマスク処理後の画素値g(i,j)が求められる。
アンシャープマスク処理としての式は、パラメータk,m,nを含んでおり、エッジ強調処理用のパラメータとしては、このパラメータkや、m,nを採用することができる。
パラメータkや、m,nを大にすると、エッジ強調処理の強度(強調効果)は大になり、パラメータkや、m,nを小にすると、エッジ強調処理の強度は小になる。
したがって、エッジ強調処理として、アンシャープマスク処理を採用するとともに、エッジ強調処理用のパラメータとして、パラメータkや、m,nを採用する場合、画像処理パラメータ決定部42では、モニタサイズが小であるほど、値が大のパラメータkや、m,nを、エッジ強調処理に用いる注目パラメータに決定することができる。
図9は、図2のCCU31の処理の例を説明するフローチャートである。
ステップS11において、画像処理パラメータ決定部42は、術者等のユーザが、UI41を操作することにより、モニタ37のモニタサイズを入力するのを待って、そのモニタサイズを取得し、処理は、ステップS12に進む。
ステップS12では、画像処理パラメータ決定部42は、UI41から取得したモニタサイズに応じて、画像処理部43での画像処理に用いる画像処理パラメータを、注目パラメータに決定し、画像処理部43に供給して、処理は、ステップS13に進む。
ステップS13では、画像処理部43は、画像処理パラメータ決定部43からの注目パラメータとしての画像処理パラメータを用いて、内視鏡21から供給される術部画像の画像処理を行うことで、モニタ37のモニタサイズに応じた画像処理を、術部画像に行う。そして、画像処理部43は、画像処理後の術部画像を、モニタ37に供給することで表示させる。
以上のように、図1の内視鏡手術システムでは、画像処理部43が、モニタ37のモニタサイズに応じた強度の画像処理を、術部画像に行うので、モニタ37のモニタサイズに適切な画質の術部画像を提供することができる。
すなわち、モニタサイズが大である場合には、例えば、強度が大のNR処理が行われるとともに、強度が小のエッジ強調処理が行われる。また、モニタサイズが小である場合には、例えば、強度が小のNR処理が行われるとともに、強度が大のエッジ強調処理が行われる。
したがって、モニタサイズが大である場合に、ノイズやリンギングが目立つことによる術部画像の視認性の低下を抑制することができる。さらに、モニタサイズが小である場合に、術部画像のコントラストを強くし、視認性を向上させることができる。
その結果、例えば、術者が、長時間の手術において、術部画像を視聴することによる疲労の蓄積を軽減することができる。
なお、画像処理部43の画像処理の強度、すなわち、画像処理パラメータは、モニタサイズの他、視聴距離(モニタ37と、モニタ37に表示される術部画像を視聴する術者等との距離)を考慮して決定することができる。
例えば、画像処理パラメータ決定部42(図3)においてパラメータ記憶部52には、ある距離を、基準視聴距離として、その基準視聴距離に対して、複数のモニタサイズに適した複数の画像処理パラメータを記憶させておくことができる。この場合、決定部53では、パラメータ記憶部52に記憶された複数の画像処理パラメータから、モニタ37のモニタサイズに応じた画像処理パラメータを求め、その画像処理パラメータを、実際の視聴距離と基準視聴処理との差に応じて補正することができる。
あるいは、パラメータ記憶部52には、複数の視聴距離それぞれと複数のモニタサイズそれぞれとの各組み合わせに適切な画像処理パラメータを記憶させておくことができる。この場合、決定部53では、パラメータ記憶部52に記憶された複数の画像処理パラメータから、実際の視聴距離とモニタ37のモニタサイズに応じた画像処理パラメータを求めることができる。
視聴距離については、例えば、UI41を操作してユーザに入力してもらうことや、後述するモニタ撮影距離を、視聴距離として用いることができる。
また、各モニタサイズ(及び視聴距離)に対して適切な強度の画像処理を行う画像処理パラメータは、例えば、シミュレーションや実験等によって求めることができる。
なお、画像処理部43の画像処理の強度(ひいては、画像処理パラメータ)は、モニタサイズが所定の下限値以下となった場合は、その下限値に対応する強度に固定することができる。同様に、画像処理部43の画像処理の強度は、モニタサイズが所定の上限値以下となった場合は、その上限値に対応する強度に固定することができる。
また、画像処理パラメータは、ユーザごとに設定することができる。すなわち、例えば、あるユーザAについては、パラメータ記憶部52において、モニタ37のモニタサイズに対応付けられている画像処理パラメータを用い、他のユーザBについては、パラメータ記憶部52において、モニタ37のモニタサイズの1段上や1段下のモニタサイズ等に対応付けられている画像処理パラメータを用いることができる。
ここで、上述の場合には、CCU31において、モニタサイズ(表示画面サイズ)に応じて、術部画像に対する補正処理としての画像処理を行うこととしたが、術部画像に対する補正処理は、モニタサイズ以外の、術部画像を表示する表示装置としてのモニタ37の表示に関する情報(以下、表示関連情報ともいう)に応じて(基づいて)行うことができる。
表示関連情報としては、モニタサイズの他、例えば、モニタ37(に表示された画像)の明るさや、解像度(表示解像度)等がある。
モニタ37の明るさについては、その明るさが明るいほど、画素差分が視認しにくくなる。そこで、モニタ37の明るさが明るい場合には、NR処理の強度を小にすることや、エッジ強調処理の強度を大にすることができる。一方、モニタ37の明るさが暗い場合には、NR処理の強度を大にすることや、エッジ強調処理の強度を小にすることができる。
モニタ37の明るさは、例えば、モニタ37に設定されているメタデータのその他の設定情報から取得することや、照度センサを用いて取得することができる。
モニタ37の解像度については、その解像度が高いほど、1画素が視認しにくくなる。そこで、モニタ37の解像度が高い場合には、NR処理の強度を小にすることや、エッジ強調処理の強度を大にすることができる。一方、モニタ37の解像度が低い場合には、NR処理の強度を大にすることや、エッジ強調処理の強度を小にすることができる。
モニタ37の解像度は、例えば、モニタ37に設定されている設定情報から取得することができる。
また、CCU31において、術部画像に対して行う補正処理は、モニタ37の表示関連情報の他、その表示関連情報、及び、モニタ37の使用状況に基づいて行うことができる。
モニタ37の使用状況としては、モニタ37の設置場所の明るさや、モニタ37(に表示された画像)を視聴(閲覧)するユーザの視聴距離、視聴時間等がある。
例えば、モニタ37を視聴するユーザは、視聴時間(手術時間)が長いほど、疲労を感じやすくなる。そこで、CCU31では、表示関連情報、及び、モニタ37の使用状況としての視聴時間、又は、手術推定時間の長さに応じて、補正処理としてのNR処理やエッジ強調処理の強度を変えることができる。
例えば、CCU31では、視聴時間、又は、手術推定時間の長さが長いほど、NR処理の強度を大にすることや、エッジ強調処理の強度を小にすることができる。さらに、CCU31では、視聴時間、又は、手術推定時間の長さが短いほど、NR処理の強度を小にすることや、エッジ強調処理の強度を大にすることができる。
また、手術室では、モニタ37を視聴するユーザは、モニタ37の設置場所の明るさとしての、例えば、無影灯の明るさが明るいほど、画素差分を視認しにくくなる。そこで、CCU31では、表示関連情報、及び、モニタ37の使用状況としての無影灯の明るさに応じて、補正処理としてのNR処理やエッジ強調処理の強度を変えることができる。
例えば、CCU31では、無影灯の明るさが明るいほど、NR処理の強度を小にすることや、エッジ強調処理の強度を大にすることができる。さらに、CCU31では、無影灯の明るさが暗いほど、NR処理の強度を大にすることや、エッジ強調処理の強度を小にすることができる。
無影灯の明るさは、例えば、照度計を用いて検出することができる。
なお、CCU31において、術部画像に対する補正処理を、モニタ37の表示関連情報、及び、モニタ37の使用状況に基づいて行う場合には、モニタ37の表示関連情報、及び、モニタ37の使用状況を、均等の重みで勘案することもできるし、異なる重みで勘案することもできる。
また、術部画像に対する補正処理としての画像処理としては、上述したNR処理(コントラスト低下処理)、エッジ強調処理、及び、帯域強調処理の他、例えば、トーンカーブ補正やヒストグラム平滑化によりコントラストを調整するコントラスト調整処理や、ステレオ画像の視差を調整する視差調整処理等を採用することができる。
コントラスト調整処理については、例えば、モニタサイズが大であるほど、コントラスト調整処理の強度を小にし(コントラストをそれほど高くしない、又は、低くする処理を行い)、モニタサイズが小であるほど、コントラスト調整処理の強度を大にすることができる。
視差調整処理については、術部画像がステレオ画像である場合に、例えば、モニタサイズが大であるほど、視差調整処理の強度を小にし(視差をそれほど大きくしない、又は、小さくする処理を行い)、モニタサイズが小であるほど、視差調整処理の強度を大にすることができる。
以下では、説明を簡単にするため、表示関連情報として、モニタサイズを用いるとともに、補正処理として、NR処理及びエッジ強調処理を用いた場合を例に、説明を行う。
<CCU31の第2の構成例>
図10は、図1のCCU31の第2の構成例を示すブロック図である。
なお、図中、図2の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図10において、CCU31は、画像処理パラメータ決定部42、及び、画像処理部43を有する。
したがって、図10のCCU31は、画像処理パラメータ決定部42、及び、画像処理部43を有する点で、図2の場合と共通し、UI41が設けられていない点で、図2の場合と相違する。
但し、図10のCCU31では、画像処理パラメータ決定部42(図3)において、モニタサイズ取得部51が、モニタ37と通信を行うことで、モニタ37から、そのモニタ37のモニタサイズを取得する。
すなわち、図10では、モニタ37は、そのモニタ37のモニタサイズを、メタデータとして記憶している。モニタ37は、画像処理パラメータ決定部42のモニタサイズ取得部51との間で、有線通信又は無線通信を行うことで、メタデータとしてのモニタサイズを、モニタサイズ取得部51に送信する。
モニタサイズ取得部51は、モニタ37から、メタデータとして送信されてくるモニタサイズを受信することにより取得し、決定部53(図3)に供給する。
以上のように、モニタサイズ取得部51が、モニタ37と通信を行うことにより、モニタ37のモニタサイズを取得する場合には、例えば、術者等のユーザが、モニタサイズを入力する手間を省くことができる。
<CCU31の第3の構成例>
図11は、図1のCCU31の第3の構成例を示すブロック図である。
なお、図中、図2の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図11において、CCU31は、画像処理パラメータ決定部42、画像処理部43、及び、モニタサイズ推定部61を有する。
したがって、図11のCCU31は、画像処理パラメータ決定部42、及び、画像処理部43を有する点で、図2の場合と共通し、UI41に代えて、モニタサイズ推定部61を有する点で、図2の場合と相違する。
モニタサイズ推定部61には、モニタ37を撮影して得られるモニタ撮影画像(の画像データ)が供給される。
ここで、モニタ37の撮影は、撮影機能を有する任意の装置で行うことができる。図1の内視鏡手術システムは、撮影機能を有する内視鏡21を備えるので、撮影機能を有する装置を別途用意することなく(用意しても良いが)、内視鏡21によって、モニタ37の撮影を行うことができる。
術者等のユーザは、例えば、手術の開始前に、内視鏡21で、モニタ37を撮影する。内視鏡21でモニタ37を撮影することにより得られるモニタ撮影画像は、モニタサイズ推定部61に供給される。
なお、モニタ撮影画像は、内視鏡21以外のカメラ、すなわち、例えば、術場カメラ等の、手術室に設置されたカメラ等で撮影することができる。
モニタサイズ推定部61は、内視鏡21から供給されるモニタ撮影画像から、そのモニタ撮影画像に映るモニタ37のモニタサイズを推定し、画像処理パラメータ決定部42に供給する。
図12は、図11のモニタサイズ推定部61の第1の構成例を示すブロック図である。
図12において、モニタサイズ推定部61は、モニタ枠検出部71、及び、モニタサイズ変換部72を有する。
モニタ枠検出部71には、内視鏡21からモニタ撮影画像が供給される。
モニタ枠検出部71は、内視鏡21からのモニタ撮影画像に映るモニタ37の外周部分であるモニタ枠を検出する。さらに、モニタ枠検出部71は、モニタ枠のサイズ、すなわち、例えば、モニタ撮影画像に映るモニタ37の、略矩形のモニタ枠の横及び縦の画素数等を、モニタ37が映る画素の画素数として検出し、モニタサイズ変換部72に供給する。
モニタサイズ変換部72は、モニタから、あらかじめ決められた所定の距離だけ離れて、各モニタサイズのモニタを撮影したときのモニタ枠のサイズと、モニタサイズとを対応付けたモニタサイズテーブル(図示せず)を記憶している。
モニタサイズ変換部72は、モニタサイズテーブルを参照することにより、モニタ枠検出部71から供給されるモニタ枠のサイズを、そのモニタ枠のサイズに対応するモニタサイズに変換し、そのモニタサイズを、モニタ37のモニタサイズの推定結果として出力する。
図13は、図12のモニタサイズ推定部61の処理の例を説明する図である。
例えば、CCU31は、手術の開始前に、モニタ37から、あらかじめ決められた所定の距離だけ離れた位置で、内視鏡21により、モニタ37を撮影することを促すメッセージを、モニタ37等に表示させる。
術者等のユーザは、モニタ37に表示されたメッセージに従い、モニタ37から、あらかじめ決められた所定の距離だけ離れた位置で、内視鏡21により、モニタ37を撮影する。内視鏡21によるモニタ37の撮影により得られるモニタ撮影画像は、モニタサイズ推定部61に供給される。
モニタサイズ推定部61(図12)において、モニタ枠検出部71は、内視鏡21からのモニタ撮影画像を対象に、例えば、エッジ検出を行うことで、そのモニタ撮影画像に映るモニタ37のモニタ枠を検出する。さらに、モニタ枠検出部71は、モニタ枠のサイズとしての画素数を検出し、モニタサイズ変換部72に供給する。
モニタサイズ変換部72は、モニタサイズテーブルを参照することにより、モニタ枠検出部71からのモニタ枠のサイズを、モニタサイズに変換し、モニタ37のモニタサイズの推定結果として出力する。
図11のモニタサイズ推定部61の第1の構成例では、モニタサイズテーブルをあらかじめ作成すること、及び、ユーザによるモニタ37の撮影を、モニタ37から、あらかじめ決められた所定の距離だけ離れた位置から行ってもらうことが必要となる。
図14は、図11のモニタサイズ推定部61の第2の構成例を示すブロック図である。
なお、図中、図12の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図14において、モニタサイズ推定部61は、モニタ枠検出部71、UI81、及び、モニタサイズ変換部82を有する。
したがって、図14のモニタサイズ推定部61は、モニタ枠検出部71を有する点で、図12の場合と共通する。
但し、図14のモニタサイズ推定部61は、モニタサイズ変換部72に代えて、モニタサイズ変換部82が設けられている点、及び、UI81が新たに設けられている点で、図12の場合と相違する。
UI81は、例えば、術者等のユーザによって操作される。ユーザは、UI81を操作することにより、モニタ37を撮影するときのモニタ撮影距離を入力することができ、UI81は、ユーザによる操作により入力されたモニタ撮影距離を、モニタサイズ変換部82に供給する。
すなわち、図14では、図12の場合と同様に、術者等のユーザは、手術の開始前に、内視鏡21により、モニタ37を撮影する。
但し、図12の場合には、ユーザは、モニタ37の撮影を、モニタ37からあらかじめ決められた所定の距離だけ離れた位置で行う必要があったが、図14の場合には、ユーザは、モニタ37の撮影を、任意の位置で行うことができる。
但し、図14の場合には、ユーザは、モニタ37を撮影したときのモニタ撮影距離、すなわち、ユーザがモニタ37を撮影したときのユーザの位置(正確には、内視鏡21の位置)から、モニタ37までの距離を、UI81を操作することにより入力する。
モニタサイズ変換部82は、例えば、複数の距離それぞれについて、各距離だけ離れて、各モニタサイズのモニタを撮影したときのモニタ枠のサイズと、モニタサイズとを対応付けた距離/モニタサイズテーブル(図示せず)を記憶している。
モニタサイズ変換部82は、距離/モニタサイズテーブルを参照することにより、UI81から供給されるモニタ撮影距離と、モニタ枠検出部71から供給されるモニタ枠のサイズとを、そのモニタ撮影距離及びモニタ枠のサイズに対応するモニタサイズに変換し、そのモニタサイズを、モニタ37のモニタサイズの推定結果として出力する。
図14のモニタサイズ推定部61によれば、ユーザは、UI81を操作して、モニタ撮影距離を入力する必要があるが、任意のモニタ撮影距離で、モニタ37を撮影することができる。
図15は、図11のモニタサイズ推定部61の第3の構成例を示すブロック図である。
なお、図中、図14の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図15において、モニタサイズ推定部61は、モニタ枠検出部71、モニタサイズ変換部82、奥行き推定部91、及び、モニタ撮影距離推定部92を有する。
したがって、図15のモニタサイズ推定部61は、モニタ枠検出部71及びモニタサイズ変換部82を有する点で、図14の場合と共通する。
但し、図15のモニタサイズ推定部61は、UI81に代えて、奥行き推定部91、及び、モニタ撮影距離推定部92が設けられている点で、図14の場合と相違する。
ここで、図15では、内視鏡21が、多眼カメラとしての、例えば、ステレオカメラを有し、異なる2視点のL(Left)画像及びR(Right)画像からなるステレオ画像を、モニタ撮影画像として出力することとする。
奥行き推定部91には、内視鏡21から、ステレオ画像であるモニタ撮影画像が供給される。
奥行き推定部91は、ステレオ画像を構成するL画像及びR画像のうちの一方を基準画像とするとともに、他方を参照画像として、基準画像の各画素について、参照画像との視差を検出する。
さらに、奥行き推定部91は、基準画像の各画素の視差から、基準画像の各画素の奥行き(方向の距離)、すなわち、基準画像の各画素に映る被写体の奥行きを推定し(求め)、モニタ撮影距離推定部92に供給する。
ここで、図15では、モニタ枠検出部71は、内視鏡21からのモニタ撮影画像としてのステレオ画像から、モニタ枠のサイズを検出するが、そのモニタ枠の検出は、ステレオ画像を構成するL画像及びR画像のうちの基準画像を対象として行われる。
また、図15では、モニタ枠検出部71は、モニタ枠のサイズを検出するとともに、モニタ枠の座標、すなわち、モニタ枠(及びモニタ枠の内部)を構成する画素(の一部又は全部)の座標を、モニタ座標として検出し、モニタ撮影距離推定部92に供給する。
モニタ撮影距離推定部92は、奥行き推定部91からの基準画像の各画素の奥行きの中から、モニタ枠検出部71からのモニタ座標の位置の画素の奥行き、すなわち、モニタ枠(及びモニタ枠の内部)が映る画素の奥行きを検出する。
さらに、モニタ撮影距離推定部92は、モニタ枠が映る画素の奥行きから、モニタ撮影距離を推定し、モニタサイズ変換部82に供給する。
すなわち、モニタ撮影距離推定部92は、例えば、モニタ枠を構成する画素の奥行きのうちの任意の1画素の奥行き、又は、モニタ枠を構成する画素の奥行きの平均値、最頻値、最小値、若しくは、最大値等を、モニタ撮影距離として求め(推定し)、モニタサイズ変換部82に供給する。
モニタサイズ変換部82は、図14の場合と同様に、距離/モニタサイズテーブルを参照することにより、モニタ撮影距離推定部92から供給されるモニタ撮影距離と、モニタ枠検出部71から供給されるモニタ枠のサイズとを、そのモニタ撮影距離及びモニタ枠のサイズに対応するモニタサイズに変換し、そのモニタサイズを、モニタ37のモニタサイズの推定結果として出力する。
図15のモニタサイズ推定部61によれば、ユーザは、特に、モニタ撮影距離を入力することなく、任意のモニタ撮影距離で、モニタ37を撮影することができる。
なお、図15では、奥行き推定部91において、基準画像のすべての画素の奥行きを推定することとしたが、奥行き推定部91では、基準画像の画素のうちの、例えば、モニタ枠(及びモニタ枠の内部)が映る画素、及び、その画素の近傍の画素だけの奥行きを求めることができる。
すなわち、図15において、モニタ枠検出部71から、モニタ座標を、モニタ撮影距離推定部92ではなく、奥行き推定部91に供給し、奥行き推定部91において、基準画像の画素のうちの、モニタ枠が映る画素、及び、その画素の近傍の画素だけの奥行きを求め、モニタ撮影距離推定部92に供給することができる。
この場合、モニタ撮影距離推定部92では、モニタ枠検出部71から供給される、モニタ枠が映る画素、及び、その画素の近傍の画素の奥行きから、モニタ撮影距離が推定される。
図16は、図11のモニタサイズ推定部61の第4の構成例を示すブロック図である。
なお、図中、図15の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図16において、モニタサイズ推定部61は、モニタ枠検出部71、モニタサイズ変換部82、モニタ撮影距離推定部92、及び、奥行き推定部101を有する。
したがって、図16のモニタサイズ推定部61は、モニタ枠検出部71、モニタサイズ変換部82、及び、モニタ撮影距離推定部92を有する点で、図15の場合と共通する。
但し、図16のモニタサイズ推定部61は、奥行き推定部91に代えて、奥行き推定部101が設けられている点で、図15の場合と相違する。
ここで、上述の図15では、内視鏡21が、ステレオカメラを有し、ステレオ画像を、モニタ撮影画像として出力することとしたが、図16では、内視鏡21が、単眼カメラを有し、1視点の画像を、モニタ撮影画像として出力することとする。
但し、図16では、内視鏡21(のカメラヘッド等)が、例えば、ジャイロセンサ等の、内視鏡21が有する単眼カメラの移動量を検出する移動量検出機能を有し、その移動量検出機能によって検出された単眼カメラの移動量が、内視鏡移動量として、奥行き推定部101に供給されることとする。
奥行き推定部101には、上述のように、内視鏡21から、内視鏡移動量が供給される他、やはり、内視鏡21から、単眼カメラで撮影されたモニタ撮影画像としての1視点の画像が供給される。
ここで、図16では、ユーザは、図14及び図15の場合と同様に、任意のモニタ撮影距離で、モニタ37を撮影することができる。但し、図16では、ユーザには、異なる撮影位置から、異なるタイミングで、モニタ37の撮影を行ってもらう。
これにより、モニタ撮影画像としては、異なる撮影位置から、異なるタイミングで撮影された2視点の画像、すなわち、ステレオ画像を構成するL画像及びR画像に相当する画像を得ることができる。
奥行き推定部101には、以上のような2視点の画像が、モニタ撮影画像として、内視鏡21から供給される。
奥行き推定部101は、内視鏡21からの内視鏡移動量に基づいて、内視鏡21からのモニタ撮影画像としての2視点の画像を撮影したときの、内視鏡21が有する単眼カメラの移動量(ベクトル)を求める。
さらに、奥行き推定部101は、内視鏡21からのモニタ撮影画像としての2視点の画像のうちの一方を基準画像とするとともに、他方を参照画像として、基準画像の各画素について、参照画像との視差の検出を、単眼カメラの移動量を用いて行う。
そして、奥行き推定部101は、基準画像の各画素の視差から、基準画像の各画素の奥行き(基準画像の各画素に映る被写体の奥行き)を推定し、モニタ撮影距離推定部92に供給する。
ここで、図16において、モニタ枠検出部71でのモニタ枠のサイズ、及び、モニタ座標の検出は、図15の場合と同様に、基準画像を対象として行われる。
図17は、図16の奥行き推定部101での基準画像の各画素の奥行きの推定を説明する図である。
いま、時刻t=t0において、ユーザが、内視鏡21により、モニタ37を撮影し、その後、ユーザが移動して、時刻t=t0+△tにおいて、時刻t=t0のときとは異なる位置で、再び、ユーザが、内視鏡21により、モニタ37を撮影したとする。
いま、説明を簡単にするため、ユーザが、時刻t=t0と時刻t=t0+△tとでのモニタ37の撮影を、モニタ37の表示画面に平行な平面内を、水平方向に移動して行ったこととし、そのときの、内視鏡21が有する単眼カメラの移動量がvであったとする。
この場合、時刻t=t0に撮影された1視点の画像であるモニタ撮影画像と、時刻t=t0+△tに撮影された1視点の画像であるモニタ撮影画像とは、基線長(ステレオカメラを構成する2個のカメラの光学中心どうしの距離)が移動量vであるステレオカメラで撮影されたステレオ画像(を構成するL画像及びR画像)と等価な画像になる。
したがって、奥行き推定部101では、移動量vを用い、図15の奥行き推定部91と同様にして、視差、ひいては、奥行きを検出することができる。
図16のモニタサイズ推定部61によれば、内視鏡21が、ステレオカメラ等の多眼カメラではなく、単眼カメラを有する場合であっても、ユーザに、モニタ撮影距離を入力してもらうことなく、モニタ37のモニタサイズを推定することができる。
なお、モニタ撮影画像の画素に映る被写体の奥行き(ひいては、モニタ撮影距離)は、その他、例えば、モニタ37を撮影するカメラとしての、例えば、内視鏡21のフォーカスの情報を用いて検出(推定)することができる。
さらに、モニタ撮影画像の画素に映る被写体の奥行きは、例えば、ToF(Time of Flight)センサ等の距離センサを用いて検出することができる。例えば、ToFセンサによれば、発光素子から光が発せられ、その光が被写体で反射された反射光が、受光素子で受光される。そして、発光素子から光が発せられてから、受光素子で反射光が受光されるまでの時間に応じて、被写体までの距離が求められる。
ここで、モニタサイズ推定部61でのモニタサイズの推定にあたり、モニタ撮影画像に映るモニタ37の検出は、モニタ撮影画像を対象としたエッジ検出や、そのエッジ検出と、モニタ撮影画像の画素に映る被写体の奥行きとを用いて行うことができる。
また、モニタ撮影画像に映るモニタ37の検出は、モニタ枠の色を表す色情報を事前に登録しておき、その色情報と、モニタ撮影画像を対象としたエッジ検出とを用いて行うことができる。
さらに、モニタ37が斜め方向から撮影された場合に対処するため、エッジ検出の積算値(例えば、エッジ検出で得られる1次微分値や2次微分値等の積算値)のピーク領域の幅をもとに、角度(モニタ37を撮影したときの撮影角度)を推定し、その撮影角度を勘案して、モニタサイズを推定することができる。
また、内視鏡手術システムでは、各手術で使用するモニタとモニタサイズとを事前に登録しておくことができる。この場合、モニタサイズは、推定(検出)を行わずに、事前に登録されたモニタサイズから取得することができる。
<CCU31の第4の構成例>
図18は、図1のCCU31の第4の構成例を示すブロック図である。
なお、図中、図2の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図18において、CCU31は、UI41、及び、画像処理パラメータ決定部42を有する。
したがって、図18のCCU31は、UI41、及び、画像処理パラメータ決定部42を有する点で、図2の場合と共通し、画像処理部43が設けられていない点で、図2の場合と相違する。
但し、図18では、モニタ37が、画像処理部43、及び、画像表示部111を有している。
画像表示部111には、画像処理部43から画像処理後の術部画像が供給される。
画像表示部111は、モニタ37本来の表示機能を司るブロックであり、画像処理部43から供給される術部画像を表示する。
以上のように構成されるCCU31では、内視鏡21から供給される術部画像が、モニタ37の画像処理部43に供給される。
さらに、CCU31では、画像処理パラメータ決定部42で決定された画像処理パラメータが、モニタ37の画像処理部43に供給される。
モニタ37では、画像処理部43が、図2の場合と同様に、画像処理パラメータ決定部43からの画像処理パラメータを用いて、内視鏡21からCCU31を介して供給される術部画像の画像処理を行うことで、モニタ37のモニタサイズに応じた画像処理を、術部画像に行う。そして、画像処理部43は、画像処理後の術部画像を、画像表示部111に供給することで表示させる。
以上のように、画像処理部43は、CCU31ではなく、モニタ37に設けることができる。
なお、画像処理部43は、CCU31、又は、モニタ37に設ける他、CCU31及びモニタ37の両方に設けることができる。この場合、CCU31では、例えば、NR処理等の一部の画像処理を行い、モニタ37では、例えば、強調処理等の残りの画像処理を行うことができる。
また、図18では、CCU31において、画像処理パラメータ決定部42が、パラメータ記憶部52(図3)に記憶された複数の画像処理パラメータから、モニタ37のモニタサイズに応じて、画像処理部43の画像処理に用いる画像処理パラメータ(注目パラメータ)を決定し、モニタ37の画像処理部43に供給するが、その他、CCU31では、画像処理パラメータ決定部42のパラメータ記憶部52(図3)に記憶された複数の画像処理パラメータ(のテーブル)を、モニタ37に供給することができる。
モニタ37は、そのモニタ37自身のモニタサイズが分かっているので、CCU31から供給される(パラメータ記憶部52に記憶された)複数の画像処理パラメータの中から、モニタ37のモニタサイズに応じた画像処理パラメータを決定することができる。
したがって、この場合、CCU31は、ユーザがモニタサイズを入力するためのUI41を設けずに構成することができる。
また、図18では、CCU31に、ユーザがモニタサイズを入力するためのUI41を設けることとしたが、モニタサイズは、その他、例えば、図10で説明したように、モニタ37からCCU31に送信することや、図11で説明したように、モニタ37を撮影したモニタ撮影画像から推定することができる。
さらに、図18において、画像処理パラメータ決定部42は、CCU31ではなく、モニタ37に設けることができる。
<CCU31の第5の構成例>
図19は、図1のCCU31の第5の構成例を示すブロック図である。
なお、図中、図2の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図19において、CCU31は、UI41、画像処理パラメータ決定部42、及び、画像処理部43を有する。
したがって、図19のCCU31は、図2の場合と同様に構成されている。
但し、図19では、CCU31に対して、複数のモニタとしての、例えば、2台のモニタ37及び37Aが接続されている。
そのため、ユーザは、UI41を操作することにより、第1モニタとしてのモニタ37、及び、第2モニタとしてのモニタ37Aそれぞれのモニタサイズを入力し、UI41は、ユーザによる操作により入力されたモニタ37のモニタサイズ(以下、第1モニタサイズともいう)、及び、モニタ37Aのモニタサイズ(以下、第2モニタサイズともいう)を、画像処理パラメータ決定部42に供給する。
画像処理パラメータ決定部42は、UI41からの第1モニタサイズ及び第2モニタサイズを取得する。
そして、画像処理パラメータ決定部42は、UI41からの第1モニタサイズに応じて、画像処理部43での画像処理に用いる画像処理パラメータ(以下、第1モニタ用画像処理パラメータともいう)を決定し、画像処理部43に供給する。
さらに、画像処理パラメータ決定部42は、UI41からの第2モニタサイズに応じて、画像処理部43での画像処理に用いる画像処理パラメータ(以下、第2モニタ用画像処理パラメータともいう)を決定し、画像処理部43に供給する。
画像処理部43は、画像処理パラメータ決定部43からの第1モニタ用画像処理パラメータを用いて、内視鏡21からの術部画像の画像処理を行うことで、その画像処理後の術部画像を表示するモニタ37の第1モニタサイズに応じた画像処理を、術部画像に行う。そして、画像処理部43は、第1モニタ用画像処理パラメータを用いて行った画像処理後の術部画像を、第1モニタ用画像(の画像データ)として出力する。この第1モニタ用画像は、第1モニタとしてのモニタ37に供給されて表示される。
また、画像処理部43は、画像処理パラメータ決定部43からの第2モニタ用画像処理パラメータを用いて、内視鏡21からの術部画像の画像処理を行うことで、その画像処理後の術部画像を表示するモニタ37Aの第2モニタサイズに応じた画像処理を、術部画像に行う。そして、画像処理部43は、第2モニタ用画像処理パラメータを用いて行った画像処理後の術部画像を、第2モニタ用画像(の画像データ)として出力する。この第2モニタ用画像は、第2モニタとしてのモニタ37Aに供給されて表示される。
したがって、図19のCCU31によれば、第1モニタとしてのモニタ37では、そのモニタ37の第1モニタサイズに適切な画質の術部画像が表示される。さらに、第2モニタとしてのモニタ37Aでは、そのモニタ37Aの第2モニタサイズに適切な画質の術部画像が表示される。
その結果、2台のモニタ37及び37Aのように、複数のモニタそれぞれに術部画像が表示される場合において、モニタ37に表示される術部画像を視聴するユーザについても、モニタ37Aに表示される術部画像を視聴するユーザについても、術部画像を視聴することによる疲労の蓄積を、同程度に軽減することができる。
なお、図19では、CCU31に対して、2台のモニタ37及び37Aを接続することとしたが、CCU31に対しては、3台以上のモニタを接続することができる。
また、図19では、2台のモニタ37及び37Aに、同一(内容)の術部画像を表示することとしたが、2台のモニタ37及び37Aには、異なる術部画像を表示することができる。すなわち、2台のモニタ37及び37Aのうちの一方のモニタには、例えば、内視鏡21で撮影した術部画像を表示し、他方のモニタには、他の内視鏡(図示せず)で撮影した術部画像を表示することができる。
さらに、図19において、画像処理部43は、CCU31に設ける他、図18で説明した場合と同様に、モニタ37及び37Aのそれぞれに設けることや、CCU31並びにモニタ37及び37Aに設けることができる。
また、図19では、CCU31に、ユーザがモニタサイズを入力するためのUI41を設けることとしたが、モニタサイズは、その他、例えば、図10で説明したように、モニタ37からCCU31に送信することや、図11で説明したように、モニタ37を撮影したモニタ撮影画像から推定することができる。
<CCU31の第6の構成例>
図20は、図1のCCU31の第6の構成例を示すブロック図である。
なお、図中、図2の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図20において、CCU31は、UI41、画像処理方式決定部121、及び、画像処理部122を有する。
したがって、図20のCCU31は、UI41を有する点で、図2の場合と共通し、画像処理パラメータ決定部42、及び、画像処理部43に代えて、画像処理方式決定部121、及び、画像処理部122がそれぞれ設けられている点で、図2の場合と相違する。
画像処理方式決定部121は、UI41からのモニタサイズを取得する。画像処理方式決定部121は、UI41からのモニタサイズに応じて、画像処理部122での画像処理の画像処理方式を決定し、画像処理部122に供給する。
画像処理部122は、画像処理方式決定部121からの画像処理方式で、内視鏡21からの術部画像の画像処理を行うことで、その画像処理後の術部画像を表示するモニタ37のモニタサイズに応じた画像処理を、術部画像に行う。そして、画像処理部122は、画像処理後の術部画像を、モニタ37に供給することで表示させる。
以上のように、モニタ37のモニタサイズに応じた画像処理は、モニタサイズに応じた画像処理パラメータを用いた画像処理により行う他、モニタサイズに応じた画像処理方式での画像処理により行うことができる。
すなわち、術部画像に行う画像処理の強度は、画像処理方式は変えずに、画像処理パラメータを変えることで調整する他、画像処理方式を変えることで調整することができる。
以上のように、術部画像に行う画像処理の強度を、画像処理方式を変えることで調整する場合も、画像処理パラメータを変えることで調整する場合と同様に、モニタ37のモニタサイズに適切な画質の術部画像を提供することができる。
ここで、術部画像に行う画像処理である補正処理としては、図9で説明したように、NR処理や、エッジ強調処理、コントラスト調整処理、視差調整処理等がある。
NR処理の(画像)処理方式としては、例えば、バイラテラルフィルタを用いた処理方式や、ガウシアンフィルタを用いた処理方式、メディアンフィルタを用いた処理方式等がある。
エッジ強調処理の処理方式としては、例えば、アンシャープマスク等がある。
コントラスト調整処理の処理方式としては、トーンカーブ補正を用いる処理方式や、ヒストグラム平滑化を用いる処理方式等がある。
モニタサイズに応じて、術部画像に行う画像処理である補正処理の(画像)処理方式を変えることで、補正処理の強度を調整する場合には、補正処理の処理方式は、以下のように変えられる。
すなわち、NR処理の処理方式は、モニタサイズが大であるほど、NR処理の強度が大になり、モニタサイズが小であるほど、NR処理の強度が小になる処理方式に変えられる。
エッジ強調処理の処理方式は、モニタサイズが大であるほど、エッジ強調処理の強度が小になり、モニタサイズが小であるほど、エッジ強調処理の強度が大になる処理方式に変えられる。
コントラスト調整処理の処理方式は、モニタサイズが大であるほど、コントラスト調整処理の強度が小になり、モニタサイズが小であるほど、コントラスト調整処理の強度が大になる処理方式に変えられる。
視差調整処理の処理方式は、モニタサイズが大であるほど、視差調整処理の強度が小になり、モニタサイズが小であるほど、視差調整処理の強度が大になる処理方式に変えられる。
なお、図20では、CCU31に対して、1台のモニタ37が接続されているが、CCU31に対しては、図19の場合と同様に、複数台のモニタを接続することができる。
さらに、図20において、画像処理部122は、CCU31に設ける他、図18で説明した場合と同様に、モニタ37に設けることや、CCU31及びにモニタ37の両方に設けることができる。
また、図20では、CCU31に、ユーザがモニタサイズを入力するためのUI41を設けることとしたが、モニタサイズは、その他、例えば、図10で説明したように、モニタ37からCCU31に送信することや、図11で説明したように、モニタ37を撮影したモニタ撮影画像から推定することができる。
図21は、図20の画像処理方式決定部121の構成例を示すブロック図である。
図21において、画像処理パラメータ決定部121は、モニタサイズ取得部131、画像処理方式記憶部132、及び、決定部133を有する。
モニタサイズ取得部131は、例えば、図20のUI41から供給されるモニタサイズを取得し、決定部133に供給する。
画像処理方式記憶部132は、術部画像を表示するモニタ37等の各種のモニタの表示に関する情報と対応付けて、各モニタでの術部画像の表示に適切な補正処理(の情報)を記憶している。
すなわち、画像処理方式記憶部132は、図20の画像処理部122で行うことが可能な画像処理(補正処理)の複数の画像処理方式(を表す情報)を、複数のモニタサイズ(モニタの表示に関する情報)それぞれに対応付けて記憶している。
つまり、画像処理方式記憶部132は、複数のモニタサイズそれぞれについて、モニタサイズと、そのモニタサイズに適切な強度の画像処理が行われる画像処理方式とを対応付けて記憶している。
決定部133は、モニタサイズ取得部131から供給されるモニタサイズに応じて、画像処理方式記憶部132に記憶された複数の画像処理方式から、画像処理部122の画像処理の画像処理方式を決定し、画像処理部122に供給する。
<本技術を適用したコンピュータの説明>
次に、上述した画像処理パラメータ決定部42や、画像処理部43、モニタサイズ推定部61、画像処理方式決定部121、画像処理部122等の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図22は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク205やROM203に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体211に格納(記録)しておくことができる。このようなリムーバブル記録媒体211は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体211としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体211からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク205にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)202を内蔵しており、CPU202には、バス201を介して、入出力インタフェース210が接続されている。
CPU202は、入出力インタフェース210を介して、ユーザによって、入力部207が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)203に格納されているプログラムを実行する。あるいは、CPU202は、ハードディスク205に格納されたプログラムを、RAM(Random Access Memory)204にロードして実行する。
これにより、CPU202は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU202は、その処理結果を、必要に応じて、例えば、入出力インタフェース210を介して、出力部206から出力、あるいは、通信部208から送信、さらには、ハードディスク205に記録等させる。
なお、入力部207は、キーボードや、マウス、マイク等で構成される。また、出力部206は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、図1に示したような内視鏡下手術を行う内視鏡手術システムの他、例えば、電子顕微鏡(医療用顕微鏡)、その他の、術部画像を表示する任意の装置、さらには、任意の画像を表示する任意の装置に適用することができる。
さらに、術部画像に行う画像処理の強度は、画像処理パラメータと画像処理方式との両方を変えることで調整することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
<1>
術部が映った術部画像を表示する表示装置の表示に関する情報に基づいて、前記術部画像に対して補正処理を行うよう制御する制御部を備える
画像処理装置。
<2>
前記表示に関する情報とは、表示画面サイズ、表示解像度、表示装置の明るさである
<1>に記載の画像処理装置。
<3>
前記制御部は、前記表示に関する情報、および前記表示装置の使用状況に基づいて、前記術部画像に対して補正処理を行うよう制御する
<1>又は<2>に記載の画像処理装置。
<4>
前記使用状況とは、表示装置設置場所の明るさ、前記表示装置を閲覧する人の視聴距離、視聴時間である
<3>に記載の画像処理装置。
<5>
前記制御部は、前記表示に関する情報に基づいて、前記補正処理の強度を制御する
<1>ないし<4>のいずれかに記載の画像処理装置。
<6>
前記補正処理とは、ノイズ除去処理、エッジ強調処理、コントラスト調整処理、視差調整処理である
<1>ないし<5>のいずれかに記載の画像処理装置。
<7>
前記制御部は、前記表示に関する情報に基づいて、前記補正処理の処理方式を制御する
<1>ないし<6>のいずれかに記載の画像処理装置。
<8>
前記表示に関する情報と対応付けて、前記表示に適切な補正処理を記憶する記憶部を更に備え、
前記制御部は、前記記憶部に記憶された前記補正処理に基づき、前記術部画像に対して前記補正処理を行うよう制御する
<1>ないし<6>のいずれかに記載の画像処理装置。
<9>
前記制御部は、さらに、前記表示に関する情報を取得するよう制御する
<1>ないし<8>のいずれかに記載の画像処理装置。
<10>
前記制御部は、前記表示装置から前記表示に関する情報を取得する
<9>に記載の画像処理装置。
<11>
前記制御部は、
前記表示装置の表示画面を撮影した撮影画像から、前記表示画面サイズを推定し、
前記表示画面サイズに基づいて、前記術部画像に対して前記補正処理を行うよう制御する
<2>に記載の画像処理装置。
<12>
前記制御部は、前記撮影画像と前記撮影画像を撮影した時の撮影距離とに基づいて、前記表示画面サイズを推定する
<11>に記載の画像処理装置。
<13>
前記撮影画像は、多眼カメラで撮影された少なくとも2視点の画像であり、
前記制御部は、前記2視点の画像から、前記撮影距離を推定する
<12>に記載の画像処理装置。
<14>
前記制御部は、前記撮影画像のフォーカス情報から、前記撮影距離を推定する
<12>に記載の画像処理装置。
<15>
前記制御部は、前記術部画像を複数の表示装置に表示する場合には、前記複数の表示装置のそれぞれの前記表示に関する情報に基づいて、前記補正処理を行うよう制御する
<1>ないし<14>のいずれかに記載の画像処理装置。
<16>
前記制御部は、さらに、前記補正処理行った後の補正後術部画像を前記表示装置に表示するよう制御する
<1>ないし<15>のいずれかに記載の画像処理装置。
<17>
術部が映った術部画像を表示する表示装置の表示に関する情報に基づいて、前記術部画像に対して補正処理を行うよう制御する
ことを含む画像処理方法。
<18>
術部が映った術部画像を表示する表示装置の表示に関する情報に基づいて、前記術部画像に対して補正処理を行うよう制御する制御部
として、コンピュータを機能させるためのプログラム。
<19>
画像を撮影する内視鏡と、
前記内視鏡により撮影された、術部が映った術部画像を表示する表示装置の表示に関する情報に基づいて、前記術部画像に対して補正処理を行うよう制御する制御部と、
前記補正処理を行った後の補正後術部画像を表示する前記表示装置と
を備える手術システム。
<20>
前記制御部は、前記術部画像を複数の表示装置に表示する場合には、前記複数の表示装置のそれぞれの前記表示に関する情報に基づいて、前記補正処理を行うよう制御する
<19>に記載の手術システム。
<O1>
術部が映った術部画像を表示するモニタのモニタサイズに応じた強度の画像処理を、前記術部画像に行う画像処理部を備える
画像処理装置。
<O2>
前記画像処理部は、ノイズ除去処理及び強調処理のうちの一方又は両方を、前記画像処理として行う
<O1>に記載の画像処理装置。
<O3>
前記画像処理部は、
前記モニタサイズが大であるほど、強度が大の前記ノイズ除去処理を行い、
前記モニタサイズが小であるほど、強度が大の前記強調処理を行う
<O2>に記載の画像処理装置。
<O4>
前記モニタサイズを取得するモニタサイズ取得部をさらに備える
<O1>ないし<O3>のいずれかに記載の画像処理装置。
<O5>
前記モニタサイズ取得部は、ユーザがUI(User Interface)を操作することにより入力する前記モニタサイズを取得する
<O4>に記載の画像処理装置。
<O6>
前記モニタサイズ取得部は、前記モニタから送信されてくる前記モニタサイズを取得する
<O4>に記載の画像処理装置。
<O7>
前記モニタを撮影したモニタ撮影画像から、前記モニタサイズを推定するモニタサイズ推定部をさらに備える
<O1>ないし<O3>のいずれかに記載の画像処理装置。
<O8>
前記モニタサイズ推定部は、前記モニタ撮影画像の画素のうちの、前記モニタが映る画素の数に基づいて、前記モニタサイズを推定する
<O7>に記載の画像処理装置。
<O9>
前記モニタサイズ推定部は、前記モニタ撮影画像の画素のうちの、前記モニタが映る画素の数と、前記モニタを撮影したときの撮影距離とに基づいて、前記モニタサイズを推定する
<O7>に記載の画像処理装置。
<O10>
前記モニタ撮影画像は、多眼カメラで撮影された少なくとも2視点の画像であり、
前記モニタサイズ推定部は、前記2視点の画像から、前記撮影距離を推定する
<O9>に記載の画像処理装置。
<O11>
前記モニタ撮影画像は、異なる撮影位置から、異なるタイミングで撮影された2視点の画像であり、
前記モニタサイズ推定部は、前記2視点の画像から、前記撮影距離を推定する
<O9>に記載の画像処理装置。
<O12>
前記画像処理部は、複数のモニタサイズそれぞれに応じた強度の画像処理を行い、複数のモニタサイズそれぞれについて、画像処理後の前記術部画像を出力する
<O1>ないし<O11>のいずれかに記載の画像処理装置。
<O13>
前記画像処理部は、前記モニタサイズに応じて決定されるパラメータを用いて前記画像処理を行うことで、前記モニタサイズに応じた強度の画像処理を行う
<O1>ないし<O12>のいずれかに記載の画像処理装置。
<O14>
前記画像処理部は、前記モニタサイズに応じて決定される画像処理方式で前記画像処理を行うことで、前記モニタサイズに応じた強度の画像処理を行う
<O1>ないし<O12>のいずれかに記載の画像処理装置。
<O15>
術部が映った術部画像を表示するモニタのモニタサイズに応じた強度の画像処理を、前記術部画像に行う
画像処理方法。
<O16>
術部が映った術部画像を表示するモニタのモニタサイズに応じた強度の画像処理を、前記術部画像に行う画像処理部
として、コンピュータを機能させるためのプログラム。
<O17>
画像を撮影する内視鏡と、
前記内視鏡により撮影された、術部が映った術部画像を表示するモニタのモニタサイズに応じた強度の画像処理を、前記術部画像に行う画像処理部と、
前記画像処理部による画像処理後の前記術部画像を表示する前記モニタと
を備える手術システム。
<O18>
前記内視鏡により前記モニタを撮影したモニタ撮影画像から、前記モニタサイズを推定するモニタサイズ推定部をさらに備える
<O17>に記載の手術システム。
<O19>
前記内視鏡は、多眼カメラで画像を撮影し、
前記モニタサイズ推定部は、
前記多眼カメラで撮影された2視点のモニタ撮影画像から、前記モニタを撮影したときの撮影距離を推定し、
前記モニタ撮影画像の画素のうちの、前記モニタが映る画素の数と、前記モニタを撮影したときの撮影距離とに基づいて、前記モニタサイズを推定する
<O18>に記載の手術システム。
<O20>
前記内視鏡が有するカメラヘッドを制御するCCU(Camera Control Uni)をさらに備え、
前記画像処理部は、前記CCU、前記モニタ、又は、前記CCUと前記モニタとの両方に設けられる
<O17>ないし<O19>のいずれかに記載の手術システム。
11 患者ベッド, 12 患者, 12A 患部, 13ないし16 トロッカ, 21 内視鏡, 22 気腹針, 23 エネルギ処置具, 24 鉗子, 30 カート, 31 CCU, 31A カメラケーブル, 32 光源装置, 32A ライトガイドケーブル, 33 処置具用装置, 34 気腹装置, 35 レコーダ, 36 プリンタ, 37,37A モニタ, 38 フットスイッチ, 41 UI, 42 画像処理パラメータ決定部, 43 画像処理部, 51 モニタサイズ取得部, 52 パラメータ記憶部, 53 決定部, 61 モニタサイズ推定部, 71 モニタ枠検出部, 72 モニタサイズ変換部, 81 UI, 82 モニタサイズ変換部, 91 奥行き推定部, 92 モニタ撮影距離推定部, 101 奥行き推定部, 111 画像表示部, 121 画像処理方式決定部, 122 画像処理部, 131 モニタサイズ取得部, 132 画像処理方式記憶部, 133 決定部, 201 バス, 202 CPU, 203 ROM, 204 RAM, 205 ハードディスク, 206 出力部, 207 入力部, 208 通信部, 209 ドライブ, 210 入出力インタフェース, 211 リムーバブル記録媒体

Claims (18)

  1. 術部が映った術部画像を表示する表示装置の表示に関する情報および前記表示装置の使用状況に基づいて、前記術部画像に対して補正処理を行うよう制御する制御部を備え
    前記表示に関する情報は、表示画面サイズであり、
    前記制御部は、
    前記表示装置の表示画面を撮影した撮影画像から、前記表示画面サイズを推定し、
    前記表示画面サイズに基づいて、前記術部画像に対して前記補正処理を行うよう制御する
    画像処理装置。
  2. 前記表示に関する情報とは、前記表示画面サイズ、表示解像度、表示装置の明るさである
    請求項1に記載の画像処理装置。
  3. 前記使用状況とは、表示装置設置場所の明るさ、前記表示装置を閲覧する人の視聴距離、視聴時間である
    請求項1に記載の画像処理装置。
  4. 前記制御部は、前記表示に関する情報に基づいて、前記補正処理の強度を制御する
    請求項1に記載の画像処理装置。
  5. 前記補正処理とは、ノイズ除去処理、エッジ強調処理、コントラスト調整処理、視差調整処理である
    請求項1に記載の画像処理装置。
  6. 前記制御部は、前記表示に関する情報に基づいて、前記補正処理の処理方式を制御する
    請求項1に記載の画像処理装置。
  7. 前記表示に関する情報と対応付けて、前記表示に適切な前記補正処理を記憶する記憶部を更に備え、
    前記制御部は、前記記憶部に記憶された前記補正処理に基づき、前記術部画像に対して前記補正処理を行うよう制御する
    請求項1に記載の画像処理装置。
  8. 前記制御部は、さらに、前記表示に関する情報を取得するよう制御する
    請求項1に記載の画像処理装置。
  9. 前記制御部は、前記表示装置から前記表示に関する情報を取得する
    請求項8に記載の画像処理装置。
  10. 前記制御部は、前記撮影画像と前記撮影画像を撮影した時の撮影距離とに基づいて、前記表示画面サイズを推定する
    請求項に記載の画像処理装置。
  11. 前記撮影画像は、多眼カメラで撮影された少なくとも2視点の画像であり、
    前記制御部は、前記2視点の画像から、前記撮影距離を推定する
    請求項10に記載の画像処理装置。
  12. 前記制御部は、前記撮影画像のフォーカス情報から、前記撮影距離を推定する
    請求項10に記載の画像処理装置。
  13. 前記制御部は、前記術部画像を複数の表示装置に表示する場合には、前記複数の表示装置のそれぞれの前記表示に関する情報に基づいて、前記補正処理を行うよう制御する
    請求項1に記載の画像処理装置。
  14. 前記制御部は、さらに、前記補正処理を行った後の補正後術部画像を前記表示装置に表示するよう制御する
    請求項1に記載の画像処理装置。
  15. 画像処理装置の画像処理方法において、
    前記画像処理装置が、術部が映った術部画像を表示する表示装置の表示に関する情報および前記表示装置の使用状況に基づいて、前記術部画像に対して補正処理を行うように制御し、
    前記表示に関する情報は、表示画面サイズであり、
    前記制御は、
    前記表示装置の表示画面を撮影した撮影画像から、前記表示画面サイズを推定し、
    前記表示画面サイズに基づいて、前記術部画像に対して前記補正処理を行うように制御する
    画像処理方法。
  16. 術部が映った術部画像を表示する表示装置の表示に関する情報および前記表示装置の使用状況に基づいて、前記術部画像に対して補正処理を行うよう制御する制御部
    として、コンピュータを機能させるためのプログラムであり、
    前記表示に関する情報は、表示画面サイズであり、
    前記制御部が、
    前記表示装置の表示画面を撮影した撮影画像から、前記表示画面サイズを推定し、
    前記表示画面サイズに基づいて、前記術部画像に対して前記補正処理を行うように制御する
    プログラム。
  17. 画像を撮影する内視鏡と、
    前記内視鏡により撮影された、術部が映った術部画像を表示する表示装置の表示に関する情報および前記表示装置の使用状況に基づいて、前記術部画像に対して補正処理を行うよう制御する制御部と、
    前記補正処理を行った後の補正後術部画像を表示する前記表示装置と
    を備え
    前記表示に関する情報は、表示画面サイズであり、
    前記制御部は、
    前記表示装置の表示画面を撮影した撮影画像から、前記表示画面サイズを推定し、
    前記表示画面サイズに基づいて、前記術部画像に対して前記補正処理を行うよう制御する
    手術システム。
  18. 前記制御部は、前記術部画像を複数の表示装置に表示する場合には、前記複数の表示装置のそれぞれの前記表示に関する情報に基づいて、前記補正処理を行うよう制御する
    請求項17に記載の手術システム。
JP2017561581A 2016-01-13 2016-12-28 画像処理装置、画像処理方法、プログラム、及び、手術システム Active JP6764574B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016004504 2016-01-13
JP2016004504 2016-01-13
PCT/JP2016/089036 WO2017122541A1 (ja) 2016-01-13 2016-12-28 画像処理装置、画像処理方法、プログラム、及び、手術システム

Publications (2)

Publication Number Publication Date
JPWO2017122541A1 JPWO2017122541A1 (ja) 2018-11-01
JP6764574B2 true JP6764574B2 (ja) 2020-10-07

Family

ID=59311028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017561581A Active JP6764574B2 (ja) 2016-01-13 2016-12-28 画像処理装置、画像処理方法、プログラム、及び、手術システム

Country Status (3)

Country Link
US (1) US10614555B2 (ja)
JP (1) JP6764574B2 (ja)
WO (1) WO2017122541A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112017002826T5 (de) * 2016-06-06 2019-02-28 Olympus Corporation Endoskopvorrichtung
EP3544482A4 (en) 2016-11-28 2020-07-22 Adaptivendo LLC SEPARABLE DISPOSABLE SHAFT ENDOSCOPE
US11123150B2 (en) * 2017-03-07 2021-09-21 Sony Corporation Information processing apparatus, assistance system, and information processing method
EP3672505A4 (en) * 2017-08-21 2021-02-17 Relign Corporation ARTHROSCOPY DEVICES AND METHODS
CN108364618B (zh) * 2018-03-14 2021-01-01 京东方科技集团股份有限公司 移位寄存器单元及其驱动方法、栅极驱动电路、显示装置
WO2020054732A1 (ja) * 2018-09-13 2020-03-19 富士フイルム株式会社 プリンタ付きカメラ及びその表示制御方法
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
JP2022052417A (ja) * 2020-09-23 2022-04-04 株式会社Aiメディカルサービス 検査支援装置、検査支援方法および検査支援プログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4106843B2 (ja) * 2000-01-28 2008-06-25 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
JP5259032B2 (ja) * 2001-07-13 2013-08-07 オリンパス株式会社 画像処理装置
JP4182794B2 (ja) 2003-04-02 2008-11-19 コニカミノルタエムジー株式会社 医用画像表示方法及び医用画像表示システム
JP4086035B2 (ja) * 2004-12-09 2008-05-14 セイコーエプソン株式会社 自動画像補正回路
US7907166B2 (en) * 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
JP4886751B2 (ja) * 2008-09-25 2012-02-29 株式会社東芝 車載用表示システム及び表示方法
US8884735B2 (en) * 2008-11-17 2014-11-11 Roger Li-Chung Vision protection method and system thereof
JP5206466B2 (ja) 2009-02-13 2013-06-12 富士通株式会社 画像補正装置、画像補正プログラムおよび画像撮影装置
JP2010279457A (ja) * 2009-06-03 2010-12-16 Hoya Corp 電子内視鏡、電子内視鏡システムおよび色調整方法
JP2010279507A (ja) * 2009-06-03 2010-12-16 Hoya Corp 電子内視鏡システム
JP2011033707A (ja) * 2009-07-30 2011-02-17 Canon Inc 画像処理装置及びその制御方法
US8706184B2 (en) * 2009-10-07 2014-04-22 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying enhanced imaging data on a clinical image
US20110115766A1 (en) * 2009-11-16 2011-05-19 Sharp Laboratories Of America,Inc. Energy efficient display system
JP4763827B2 (ja) * 2009-11-26 2011-08-31 富士フイルム株式会社 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム
US9066658B2 (en) * 2010-03-23 2015-06-30 Stryker Corporation Method and system for video based image detection/identification analysis for fluid and visualization control
WO2012002106A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 立体画像表示装置、立体画像表示方法、立体画像表示プログラム及び記録媒体
US8684914B2 (en) * 2011-08-12 2014-04-01 Intuitive Surgical Operations, Inc. Image capture unit and an imaging pipeline with enhanced color performance in a surgical instrument and method
WO2013073028A1 (ja) * 2011-11-16 2013-05-23 株式会社 東芝 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
JP5988697B2 (ja) * 2012-05-23 2016-09-07 オリンパス株式会社 内視鏡システム及びプログラム
JP5904281B2 (ja) * 2012-08-10 2016-04-13 株式会社ニコン 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5784847B2 (ja) 2013-04-03 2015-09-24 オリンパス株式会社 3d映像を表示する内視鏡システム
WO2015061588A1 (en) * 2013-10-23 2015-04-30 The Trustees Of Dartmouth College Surgical vision augmentation system
WO2015100310A1 (en) * 2013-12-23 2015-07-02 Camplex, Inc. Surgical visualization systems
TWI564590B (zh) * 2015-04-02 2017-01-01 tai-guo Chen Image can strengthen the structure of the glasses

Also Published As

Publication number Publication date
WO2017122541A1 (ja) 2017-07-20
US10614555B2 (en) 2020-04-07
US20190096037A1 (en) 2019-03-28
JPWO2017122541A1 (ja) 2018-11-01

Similar Documents

Publication Publication Date Title
JP6764574B2 (ja) 画像処理装置、画像処理方法、プログラム、及び、手術システム
US10694933B2 (en) Image processing apparatus and image processing method for image display including determining position of superimposed zoomed image
WO2017145788A1 (ja) 画像処理装置、画像処理方法、プログラム、及び、手術システム
JP2015531271A (ja) 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置
US11025835B2 (en) Imaging device, endoscope apparatus, and method for operating imaging device
US9635343B2 (en) Stereoscopic endoscopic image processing apparatus
JP2021192313A (ja) 情報処理装置および方法、並びにプログラム
CN110168605B (zh) 用于动态范围压缩的视频信号处理装置、视频信号处理方法和计算机可读介质
JP5698068B2 (ja) 画像処理装置、画像表示システム、放射線画像撮影システム、画像処理プログラム、及び画像処理方法
JP2019512178A (ja) 光レベル適応フィルタ及び方法
US20190088019A1 (en) Calculation device for superimposing a laparoscopic image and an ultrasound image
US20210019921A1 (en) Image processing device, image processing method, and program
WO2016114155A1 (ja) 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
US20220217260A1 (en) Signal processing device, imaging device, and signal processing method
US11523729B2 (en) Surgical controlling device, control method, and surgical system
US20200388057A1 (en) Information processor, information processing method, and program
US11523065B2 (en) Imaging device and gain setting method
US10849482B2 (en) Endoscopic system, image processing apparatus, and image processing method
US20200128169A1 (en) Medical system and control unit
US20220370167A1 (en) Systems and methods for scene-adaptive image quality in surgical video
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2021230001A1 (ja) 情報処理装置及び情報処理方法
WO2020246181A1 (ja) 画像処理装置、画像処理方法、プログラム
WO2020195877A1 (ja) 医療システム、信号処理装置、及び、信号処理方法
TW201601118A (zh) 畫面重心追蹤系統及其方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200826

R151 Written notification of patent or utility model registration

Ref document number: 6764574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151