JP5963990B2 - 医療用システム、その画像処理設定方法、及び画像処理装置 - Google Patents

医療用システム、その画像処理設定方法、及び画像処理装置 Download PDF

Info

Publication number
JP5963990B2
JP5963990B2 JP2016501259A JP2016501259A JP5963990B2 JP 5963990 B2 JP5963990 B2 JP 5963990B2 JP 2016501259 A JP2016501259 A JP 2016501259A JP 2016501259 A JP2016501259 A JP 2016501259A JP 5963990 B2 JP5963990 B2 JP 5963990B2
Authority
JP
Japan
Prior art keywords
image processing
image
storage unit
reference sample
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016501259A
Other languages
English (en)
Other versions
JPWO2015194421A1 (ja
Inventor
雄吾 小泉
雄吾 小泉
恭子 本田
恭子 本田
舞 尾島
舞 尾島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP5963990B2 publication Critical patent/JP5963990B2/ja
Publication of JPWO2015194421A1 publication Critical patent/JPWO2015194421A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6052Matching two or more picture signal generators or two or more picture reproducers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Processing (AREA)

Description

本発明は、医療機関等で使用される医療用システムその画像処理設定方法、及び画像処理装置に関する。
従来、医療機関等で使用される医療用システムとして、例えば、病院で使用される内視鏡システムがある。内視鏡システムは、例えば、スコープ(電子内視鏡ともいう)、画像処理装置(ビデオプロセッサともいう)、及びモニターを含み、スコープにより撮像した画像を画像処理装置により画像処理してモニターに表示する。
内視鏡システムとしては、次のようなシステムが知られている。
例えば、蛍光体と光源とを組み合わせた照明光を用いる内視鏡システムにおいて、内視鏡と、内視鏡を取り付ける制御装置の光学特性にそれぞれ個体差があっても、常に同じ色調の観察画像に補正するようにしたものが知られている(特許文献1等参照)。また、例えば、色バランスの異常を容易にチェックすることができ、かつ、異常箇所の特定を容易に行うことを可能とする電子内視鏡用プロセッサ装置を含む電子内視鏡システムが知られている(特許文献2等参照)。
特開2011−87910号公報 特開2010−51633号公報
内視鏡システムの運用においては、一部の装置を、その装置に対して相対的に新世代の装置(いわゆる新型の装置)へ置換する場合がある。例えば、旧型の画像処理装置を新型の画像処理装置へ買い換える場合である。このような場合、ユーザ(医師や看護師等)は、買い換え後も買い換え前と同様の慣れ親しんだ色合いで画像の観察ができるように、旧型画像処理装置の画像処理設定のままで新型画像処理装置の利用ができることを望んでいる。しかしながら、従来において、それらの装置間で画像処理設定を同期させる手段はないため、ユーザは、旧型画像処理装置の画像処理設定を確認しながら新型画像処理装置の画像処理設定を行う必要があった。また、その設定値を仮に同じ値にしたとしても、それらの装置間の特性の違いにより、必ずしも同じ色合いになるとは限らず、設定値の調整が必要になる場合もあった。このように、画像処理装置の置換に伴うユーザの画像処理設定に係る負担は大きかった。
以上のような実情を踏まえ、本発明は、旧型画像処理装置を新型画像処理装置へ置換する場合に、その置換に伴うユーザの画像処理設定に係る負担を無くすと共に、置換後も置換前と同様の色合いで画像の観察を行うことができる、医療用システムその画像処理設定方法、及び画像処理装置を提供することを目的とする。
本発明の第1の態様は、第1の画像処理装置及び該第1の画像処理装置とは異なる第2の画像処理装置と、前記第1の画像処理装置又は前記第2の画像処理装置に接続される撮像装置と、を含む医療用システムであって、前記撮像装置による基準被写体の撮像により取得され、前記第1の画像処理装置により画像処理され画像の画像情報が記憶される第1の記憶部と、前記撮像装置による前記基準被写体の撮像により取得され、前記第2の画像処理装置により画像処理され画像の画像情報が記憶される第2の記憶部と、前記第1の記憶部に記憶された画像情報と前記第2の記憶部に記憶された画像情報とを比較する比較部と、前記比較部による比較の結果に基づいて、前記第2の記憶部に記憶される画像情報が、前記第1の記憶部に記憶された画像情報と等しく又は略等しくなるように、前記第2の画像処理装置の画像処理設定を変更する設定変更部と、を備える医療用システムを提供する。
本発明の第2の態様は、第1の態様において、前記第1の画像処理装置または前記第2の画像処理装置から出力される画像情報が入力され、当該画像情報が表す画像を表示する表示装置をさらに備え、前記第1の記憶部、前記第2の記憶部、前記比較部、及び前記設定変更部は、前記表示装置に含まれる、医療用システムを提供する。
本発明の第3の態様は、第1の態様において、前記第1の画像処理装置又は前記第2の画像処理装置に接続される外部記憶装置を更に含み、前記第1の記憶部は、前記外部記憶装置の第1の記憶領域であり、前記第2の記憶部は、前記外部記憶装置の第2の記憶領域であり、前記比較部、及び前記設定変更部は、前記第2の画像処理装置に含まれる、医療用システムを提供する。
本発明の第4の態様は、第1の態様において、前記第1の記憶部、前記第2の記憶部、前記比較部、及び前記設定変更部は、前記第2の画像処理装置に含まれる、医療用システムを提供する。
本発明の第5の態様は、第1の態様において、前記画像情報は、画像のRGB情報及び輝度情報の一方又は両方である、医療用システムを提供する。
本発明の第6の態様は、第1の画像処理装置又は前記第1の画像処理装置とは異なる第2の画像処理装置に接続される撮像装置と、を含む医療用システムの画像処理設定方法であって、基準被写体を前記撮像装置が撮像する第1の撮像ステップと、前記撮像装置により撮像された画像を前記第1の画像処理装置が画像処理する第1の画像処理ステップと、前記第1の画像処理装置により画像処理されて前記表示装置に入力される画像の画像情報を第1の記憶部に記憶する第1の記憶ステップと、前記基準被写体を前記撮像装置が撮像する第2の撮像ステップと、前記撮像装置により撮像された画像を前記第2の画像処理装置が画像処理する第2の画像処理ステップと、前記第2の画像処理装置により画像処理されて前記表示装置に入力される画像の画像情報を第2の記憶部に記憶する第2の記憶ステップと、前記第1の記憶部に記憶された画像情報と前記第2の記憶部に記憶された画像情報とを比較する比較ステップと、前記比較の結果に基づいて、前記第2の記憶部に記憶される画像情報が、前記第1の記憶部に記憶された画像情報と等しく又は略等しくなるように、前記第2の画像処理装置の画像処理設定を変更する変更ステップと、を含み、前記比較の結果が、前記第2の記憶部に記憶された画像情報と前記第1の記憶部に記憶された画像情報とが等しい又は略等しいという結果になるまで、前記第2の画像処理ステップ、前記第2の記憶ステップ、前記比較ステップ、及び前記変更ステップを繰り返す、医療用システムの画像処理設定方法を提供する。
本発明の第7の態様は、撮像装置による基準被写体像の撮像により取得された画像に対して画像処理を行う画像処理部と、前記撮像装置による前記基準被写体の撮像により取得され、前記画像処理部とは異なる他の画像処理部により画像処理された画像の画像情報が記憶される第1の記憶部と、前記画像処理部により画像処理された画像の画像情報が記憶される第2の記憶部と、前記第1の記憶部に記憶された画像情報と前記第2の記憶部に記憶された画像情報とを比較する比較部と、前記比較部による比較の結果に基づいて、前記第2の記憶部に記憶される画像情報が、前記第1の記憶部に記憶された画像情報と等しく又は略等しくなるように、前記画像処理部の画像処理設定を変更する設定変更部と、を備える画像処理装置を提供する。
本発明によれば、旧型画像処理装置を新型画像処理装置へ置換する場合に、その置換に伴うユーザの画像処理設定に係る負担を無くすと共に、置換後も置換前と同様の色合いで画像の観察を行うことができる。
第1の実施形態に係る、置換前の内視鏡システムの構成例を示す図である。 第1の実施形態に係る、置換後の内視鏡システムの構成例を示す第1の図である。 第1の実施形態に係る、置換後の内視鏡システムの構成例を示す第2の図である。 第1の実施形態に係る、置換後の内視鏡システムにおいて繰り返し行われる処理を示すフローチャートの一例である。 第2の実施形態に係る、置換前の内視鏡システムの構成例を示す図である。 第2の実施形態に係る、置換後の内視鏡システムの構成例を示す第1の図である。 第2の実施形態に係る、置換後の内視鏡システムの構成例を示す第2の図である。 第3の実施形態に係る、置換前の内視鏡システムの構成例を示す図である。 第3の実施形態に係る、置換後の内視鏡システムの構成例を示す第1の図である。 第3の実施形態に係る、置換後の内視鏡システムの構成例を示す第2の図である。 基準サンプル画像上の特定領域の一例を示す図である。
以下、図面を参照しながら、本発明の実施の形態について説明する。
<第1の実施形態>
本発明の第1の実施形態に係る医療用システムは、内視鏡システムである。
本実施形態に係る内視鏡システムは、ビデオプロセッサとして相対的に新旧の関係を有する新型ビデオプロセッサ及び旧型ビデオプロセッサと、旧型ビデオプロセッサ又は新型ビデオプロセッサに接続されるスコープ及びモニターとを含む。
本実施形態に係る内視鏡システムの運用では、スコープ及びモニターと共に使用されていた旧型ビデオプロセッサが、例えば買い換え等の理由により、新型ビデオプロセッサへ置換される。
図1は、旧型ビデオプロセッサが新型ビデオプロセッサへ置換される前の(以下、単に「置換前の」という)、本実施形態に係る内視鏡システムの構成例を示す図である。図2及び図3は、旧型ビデオプロセッサが新型ビデオプロセッサへ置換された後の(以下、単に「置換後の」という)、本実施形態に係る内視鏡システムの構成例を示す図である。ここでは、これらの図を用いて、本実施形態に係る内視鏡システムの構成例を説明すると共に、その動作についても併せて説明することにする。
図1に示したように、置換前の本実施形態に係る内視鏡システム100は、スコープ110、旧型ビデオプロセッサ120、及びモニター130を含む。なお、スコープ110、旧型ビデオプロセッサ120、及びモニター130は、撮像装置、旧型画像処理装置、及び表示装置の一例である。
スコープ110は、例えばCCD(Charge Coupled Device)等の撮像素子を含み、その撮像素子により被写体を撮像して原画像としての被写体画像を取得する。例えば、スコープ110は、観察対象とされる被写体を撮像して原画像としての観察画像を取得する。また、例えば、スコープ110は、基準サンプル被写体140を撮像して原画像としての基準サンプル画像を取得する。なお、基準サンプル被写体140は、基準被写体の一例であり、例えば、所定のカラーチャートである。
旧型ビデオプロセッサ120は、CPU(Central Processing Unit)121及び画像処理回路122を含む。
CPU121は、旧型ビデオプロセッサ120の全体動作を制御する。また、CPU121は、モニター130のCPU131との間で各種の通信を行う。
画像処理回路122は、スコープ110の撮像素子により取得された画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。設定されている画像処理パラメータは、予め初期値として設定されている画像処理パラメータ、又は、旧型ビデオプロセッサ120の図示しない操作部を介してユーザ(医師や看護師等)により設定された画像処理パラメータである。なお、画像処理パラメータを設定するとは、画像処理設定を行うということでもあり、画像処理パラメータを変更するとは、画像処理設定を変更するということでもある。
モニター130は、CPU131、画像表示回路132、画像処理回路133、及び不揮発性メモリ134を含む。
CPU131は、モニター130の全体動作を制御する。また、CPU131は、旧型ビデオプロセッサ120のCPU121との間で各種の通信を行う。
画像表示回路132は、旧型ビデオプロセッサ120の画像処理回路122により画像処理されてモニター130に入力された画像の映像信号に応じた画像を図示しない表示部に表示する。
画像処理回路133は、旧型ビデオプロセッサ120の画像処理回路122により画像処理されてモニター130に入力された基準サンプル画像の映像信号に基づいて、その基準サンプル画像の画像情報(RGB情報及び輝度情報)を取得する。
不揮発性メモリ134は、第1の記憶領域134aと後述の第2の記憶領域134bを含む。不揮発性メモリ134の第1の記憶領域134aには、画像処理回路133により取得された置換前の基準サンプル画像の画像情報が記憶される。なお、不揮発性メモリ134の第1の記憶領域134aは、第1の記憶部の一例である。
このような構成を有する置換前の内視鏡システム100は、次のような動作を行う。
例えば、内視鏡検査中においては、まず、スコープ110の撮像素子が、観察対象とされる被写体を撮像して原画像としての観察画像を取得する。続いて、旧型ビデオプロセッサ120の画像処理回路122が、その観察画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。なお、このときに設定されている画像処理パラメータは、例えば、適切な色合いの観察画像が得られるようにユーザにより設定された画像処理パラメータである。続いて、モニター130の画像表示回路132が、画像処理回路122による画像処理が行われてモニター130に入力された観察画像の映像信号に応じた画像を図示しない表示部に表示する。
また、例えば、旧型ビデオプロセッサ120を新型ビデオプロセッサ150へ置換する直前においては、次のような動作を行う。まず、スコープ110の撮像素子が、基準サンプル被写体140を撮像して原画像としての基準サンプル画像を取得する。続いて、旧型ビデオプロセッサ120の画像処理回路122が、その基準サンプル画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。なお、このときに設定されている画像処理パラメータは、内視鏡検査中に設定されていた画像処理パラメータのままである。続いて、モニター130の画像処理回路133が、画像処理回路122による画像処理が行われてモニター130に入力された基準サンプル画像の映像信号に基づいて、その基準サンプル画像の画像情報を取得する。そして、その基準サンプル画像(置換前の基準サンプル画像)の画像情報が不揮発性メモリ134の第1の記憶領域134aに記憶される(図1の「データA」参照)。
一方、図2及び図3に示したように、置換後の本実施形態に係る内視鏡システム100は、旧型ビデオプロセッサ120が新型ビデオプロセッサ150へ置換された構成を有する。なお、新型ビデオプロセッサ150は、新型画像処理装置の一例である。
新型ビデオプロセッサ150は、CPU151、メモリ152、及び画像処理回路153を含む。
CPU151は、新型ビデオプロセッサ150の全体動作を制御する。また、CPU151は、モニター130のCPU131との間で各種の通信を行う。例えば、CPU151は、CPU131からの画像処理パラメータの変更指示に応じて、画像処理回路153に設定されている画像処理パラメータを変更する。
メモリ152は、スコープ110の撮像素子により取得された基準サンプル画像が記憶される。
画像処理回路153は、スコープ110の撮像素子により取得された画像に対し、又は、メモリ152から読み出された基準サンプル画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。なお、設定されている画像処理パラメータは、予め初期値として設定されている画像処理パラメータ、又は、新型ビデオプロセッサ150の図示しない操作部を介してユーザにより設定された画像処理パラメータ、若しくは、モニター130のCPU131からの変更指示に応じてCPU151により変更された画像処理パラメータである。
なお、置換後の内視鏡システム100において、スコープ110は、基本的に、置換前と同様の処理を行うが、モニター130の各部は、更に、次のような処理を行う。
画像表示回路132は、新型ビデオプロセッサ150の画像処理回路153により画像処理されてモニター130に入力された画像の映像信号に応じた画像を図示しない表示部に表示する。
画像処理回路133は、新型ビデオプロセッサ150の画像処理回路153により画像処理されてモニター130に入力された基準サンプル画像の映像信号に基づいて、その基準サンプル画像の画像情報(RGB情報及び輝度情報)を取得する。
不揮発性メモリ134の第2の記憶領域134bには、画像処理回路133により取得された置換後の基準サンプル画像の画像情報が記憶される。なお、不揮発性メモリ134の第2の記憶領域134bは、第2の記憶部の一例である。
CPU131は、新型ビデオプロセッサ150のCPU151との間で各種の通信を行う。また、CPU131は、不揮発性メモリ134の第1の記憶領域134aに記憶された置換前の基準サンプル画像の画像情報と、不揮発性メモリ134の第2の記憶領域134bに記憶された置換後の基準サンプル画像の画像情報とを比較する。また、CPU131は、その比較の結果に基づいて、不揮発性メモリ134の第2の記憶領域134bに記憶される置換後の基準サンプル画像の画像情報が、不揮発性メモリ134の第1の記憶領域134aに記憶された置換前の基準サンプル画像の画像情報と等しく又は略等しくなるように、新型ビデオプロセッサ150のCPU151に、画像処理パラメータの変更指示を行う。なお、CPU131は、比較部の一例である。また、CPU131からの画像処理パラメータの変更指示に応じてCPU151が画像処理回路153の画像処理パラメータを変更することから、CPU131は、実質的に、画像処理回路153の画像処理パラメータを変更するものであって、設定変更部の一例でもある。
このような構成を有する置換後の内視鏡システム100は、次のような動作を行う。
例えば、旧型ビデオプロセッサ120を新型ビデオプロセッサ150へ置換した直後においては、まず、スコープ110の撮像素子が、基準サンプル被写体140を撮像して原画像としての基準サンプル画像を取得する。続いて、その基準サンプル画像が、新型ビデオプロセッサ150のメモリ152に記憶されると共に、新型ビデオプロセッサ150の画像処理回路153に入力される。基準サンプル画像が入力された画像処理回路153は、その基準サンプル画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。なお、このときに設定されている画像処理パラメータは、置換直後であるために、初期値として設定されている画像処理パラメータである。続いて、モニター130の画像処理回路133が、画像処理回路153による画像処理が行われてモニター130に入力された基準サンプル画像の映像信号に基づいて、その基準サンプル画像の画像情報を取得する。そして、その基準サンプル画像(置換後の基準サンプル画像)の画像情報が不揮発性メモリ134の第2の記憶領域134bに記憶される(図2の「データB」参照)。続いて、CPU131は、不揮発性メモリ134の第1の記憶領域134aに記憶された置換前の基準サンプル画像の画像情報と、不揮発性メモリ134の第2の記憶領域134bに記憶された置換後の基準サンプル画像の画像情報とを比較する。続いて、CPU131は、その比較の結果、両者が異なる(等しくなく略等しくもない)と判定した場合には、不揮発性メモリ134の第2の記憶領域134bに記憶される置換後の基準サンプル画像の画像情報が、不揮発性メモリ134の第1の記憶領域134aに記憶された置換前の基準サンプル画像の画像情報と等しく又は略等しくなるように、新型ビデオプロセッサ150のCPU151に、画像処理パラメータの変更指示を行う。なお、CPU131は、上述の比較の結果、両者が等しい又は略等しいと判定した場合には、そのような画像処理パラメータの変更指示を行わない。画像処理パラメータの変更指示を受けた新型ビデオプロセッサ150のCPU151は、その変更指示に応じて、画像処理回路153に設定されている画像処理パラメータを変更する。続いて、画像処理回路153は、メモリ152から読み出された基準サンプル画像に対し、設定されている変更後の画像処理パラメータ(図3の「変更パラメータ」参照)に基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。続いて、モニター130の画像処理回路133が、画像処理回路153による画像処理が行われてモニター130に入力された基準サンプル画像の映像信号に基づいて、その基準サンプル画像の画像情報を取得する。そして、その基準サンプル画像(置換後の基準サンプル画像)の画像情報が不揮発性メモリ134の第2の記憶領域134bに記憶(上書き)される(図3の「データC」参照)。以降は、不揮発性メモリ134の第2の記憶領域134bに記憶される置換後の基準サンプル画像の画像情報が、不揮発性メモリ134の第1の記憶領域134aに記憶された置換前の基準サンプル画像の画像情報と等しく又は略等しくなるまで、上述の、CPU131、CPU151、画像処理回路153、及び画像処理回路133による処理を繰り返す。
なお、このような繰り返し行われる処理は、例えば、図4に示すフローチャートによって表される。
図4に示したように、その繰り返し行われる処理では、まず、モニター130のCPU131が、不揮発性メモリ134の第1の記憶領域134aに記憶された置換前の基準サンプル画像の画像情報と、不揮発性メモリ134の第2の記憶領域134bに記憶された置換後の基準サンプル画像の画像情報とを比較する(S110)。
続いて、CPU131は、両者の対応する画素間の各々において、RGBの各色成分の強度の差分が閾値(例えば1%)以下であって且つ輝度の差分も閾値(例えば1%)以下であるか否かを判定する(S120)。なお、差分は、置換前の基準サンプル画像の画像情報に対する、置換後の基準サンプル画像の画像情報との差分である。閾値は、両者の画像情報が等しい又は略等しいかを判定可能な値とされ、モニター130の図示しない操作部を介してユーザにより自由に設定(変更)可能である。例えば、閾値を1%とした場合に、Rの色成分の強度の差分が1%以下とは、そのRの色成分の強度の差分が、置換前の基準サンプル画像の対応する画素のRの色成分の強度の1%以下ということである。
このS120の判定において、その判定結果がYesの場合には、この繰り返し処理が終了する。
一方、S120の判定結果がNoの場合には、その両者の対応する画素間の各々において、RGBの各色成分の強度の差分が閾値以下になって且つ輝度の差分も閾値以下になるように、CPU131は、新型ビデオプロセッサ150のCPU151に画像処理パラメータの変更指示を行う(S130)。例えば、両者の対応する画素間の一つにおいて、置換後の基準サンプル画像のRの色成分の強度が置換前の基準サンプル画像のRの色成分の強度よりも強い(又は弱い)場合には、置換後の基準サンプル画像の対応する画素のRの色成分の強度が現状よりも弱く(又は強く)なるように、画像処理パラメータの変更指示が行われる。あるいは、例えば、両者の対応する画素間の一つにおいて、置換後の基準サンプル画像の輝度が置換前の基準サンプル画像の輝度よりも強い(又は弱い)場合には、置換後の基準サンプル画像の対応する画素の輝度が現状よりも弱く(又は強く)なるように、画像処理パラメータの変更指示が行われる。
続いて、画像処理パラメータの変更指示を受けたCPU151は、その変更指示に従って、画像処理回路153に設定されている画像処理パラメータを変更する(S140)。
続いて、画像処理回路153は、メモリ152から読み出された基準サンプル画像に対し、設定されている変更後の画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う(S150)。
続いて、モニター130の画像処理回路133は、画像処理回路153による画像処理が行われてモニター130に入力された基準サンプル画像の映像信号に基づいて、その基準サンプル画像の画像情報を取得する(S160)。
続いて、その基準サンプル画像(置換後の基準サンプル画像)の画像情報が不揮発性メモリ134の第2の記憶領域134bに記憶(上書き)され(S170)、処理がS110へ戻る。
このような置換直後の内視鏡システム100の動作により、新型ビデオプロセッサ150の画像処理回路153には、置換前と同様の色合いの画像が得られる画像処理パラメータが自動的に設定されるようになる。従って、ユーザは、新型ビデオプロセッサ150の画像処理設定を行う必要が無い。
また、その後の内視鏡検査中においては、次のような動作を行う。まず、スコープ110の撮像素子が、観察対象とされる被写体を撮像して原画像としての観察画像を取得する。続いて、新型ビデオプロセッサ150の画像処理回路153が、その観察画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。なお、このときに設定されている画像処理パラメータは、上述の置換直後の内視鏡システム100の動作により画像処理回路153に設定された画像処理パラメータである。続いて、モニター130の画像表示回路132が、画像処理回路153による画像処理が行われてモニター130に入力された観察画像の映像信号に応じた画像を図示しない表示部に表示する。
このような、その後の内視鏡検査中の内視鏡システム100の動作により、ユーザは、置換後の内視鏡検査においても置換前と同様の色合いで画像の観察を行うことができる。
以上のように、本実施形態に係る内視鏡システム100によれば、ビデオプロセッサの置換に伴うユーザの画像処理設定に係る負担を無くすと共に、置換後も置換前と同様の色合いで画像の観察を行うことができる。
<第2の実施形態>
本発明の第2の実施形態に係る医療用システムは、内視鏡システムである。
本実施形態に係る内視鏡システムは、ビデオプロセッサとして相対的に新旧の関係を有する新型ビデオプロセッサ及び旧型ビデオプロセッサと、旧型ビデオプロセッサ又は新型ビデオプロセッサに接続される、スコープ、モニター、及び外部記憶装置とを含む。
本実施形態に係る内視鏡システムの運用では、スコープ、モニター、及び外部記憶装置と共に使用されていた旧型ビデオプロセッサが、例えば買い換え等の理由により、新型ビデオプロセッサへ置換される。
図5は、置換前の本実施形態に係る内視鏡システムの構成例を示す図である。図6及び図7は、置換後の本実施形態に係る内視鏡システムの構成例を示す図である。ここでは、これらの図を用いて、本実施形態に係る内視鏡システムの構成例を説明すると共に、その動作についても併せて説明することにする。
図5に示したように、置換前の本実施形態に係る内視鏡システム200は、スコープ110、旧型ビデオプロセッサ210、外部記憶装置220、及び図示しないモニターを含む。なお、旧型ビデオプロセッサ210及び図示しないモニターは、旧型画像処理装置及び表示装置の一例である。
スコープ110は、第1の実施形態で説明したとおりであるので、ここでは説明を省略する。
旧型ビデオプロセッサ210は、CPU211、画像処理回路212、及び画像処理回路213を含む。
CPU211は、旧型ビデオプロセッサ210の全体動作を制御すると共に、外部記憶装置220の動作も制御する。
画像処理回路212は、スコープ110の撮像素子により取得された画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。なお、設定されている画像処理パラメータは、予め初期値として設定されている画像処理パラメータ、又は、旧型ビデオプロセッサ210の図示しない操作部を介してユーザにより設定された画像処理パラメータである。
画像処理回路213は、画像処理回路212により画像処理されて図示しないモニターへ入力される基準サンプル画像の映像信号に基づいて、その基準サンプル画像の画像情報(RGB情報及び輝度情報)を取得する。なお、画像処理回路213は、第1の実施形態で説明したモニター130の画像処理回路133に対応する。
画像処理回路213により取得された置換前の基準サンプル画像の画像情報は、外部記憶装置220に含まれる第1の記憶領域220aに記憶される。なお、外部記憶装置220の第1の記憶領域220aは、第1の記憶部の一例であって、第1の実施形態で説明した不揮発性メモリ134の第1の記憶領域134aに対応する。
このような構成を有する置換前の内視鏡システム200は、次のような動作を行う。
例えば、内視鏡検査中においては、まず、スコープ110の撮像素子が、観察対象とされる被写体を撮像して原画像としての観察画像を取得する。続いて、旧型ビデオプロセッサ210の画像処理回路212が、その観察画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。なお、このときに設定されている画像処理パラメータは、例えば、適切な色合いの観察画像が得られるようにユーザにより設定された画像処理パラメータである。続いて、図示しないモニターが、画像処理回路212による画像処理が行われた観察画像の映像信号に応じた画像を表示する。
また、例えば、旧型ビデオプロセッサ210を新型ビデオプロセッサ230へ置換する直前においては、次のような動作を行う。まず、スコープ110の撮像素子が、基準サンプル被写体140を撮像して原画像としての基準サンプル画像を取得する。続いて、旧型ビデオプロセッサ210の画像処理回路212が、その基準サンプル画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。なお、このときに設定されている画像処理パラメータは、内視鏡検査中に設定されていた画像処理パラメータである。続いて、画像処理回路213が、画像処理回路212による画像処理が行われて図示しないモニターに入力される基準サンプル画像の映像信号に基づいて、その基準サンプル画像の画像情報を取得する。そして、その基準サンプル画像(置換前の基準サンプル画像)の画像情報が外部記憶装置220の第1の記憶領域220aに記憶される(図5の「データA」参照)。
一方、図6及び図7に示したように、置換後の本実施形態に係る内視鏡システム200は、旧型ビデオプロセッサ210が新型ビデオプロセッサ230へ置換された構成を有する。なお、新型ビデオプロセッサ230は、新型画像処理装置の一例である。
新型ビデオプロセッサ230は、CPU231、メモリ232、画像処理回路233、及び画像処理回路234を含む。
メモリ232は、スコープ110の撮像素子により取得された基準サンプル画像が記憶される。なお、メモリ232は、第1の実施形態で説明した新型ビデオプロセッサ150のメモリ152に対応する。
画像処理回路233は、スコープ110の撮像素子により取得された画像に対し、又は、メモリ232から読み出された基準サンプル画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。なお、設定されている画像処理パラメータは、予め初期値として設定されている画像処理パラメータ、又は、新型ビデオプロセッサ230の図示しない操作部を介してユーザにより設定された画像処理パラメータ、若しくは、CPU231により変更された画像処理パラメータである。なお、画像処理回路233は、第1の実施形態で説明した新型ビデオプロセッサ150の画像処理回路153に対応する。
画像処理回路234は、画像処理回路233により画像処理されて図示しないモニターに入力される基準サンプル画像の映像信号に基づいて、その基準サンプル画像の画像情報(RGB情報及び輝度情報)を取得する。なお、画像処理回路234は、旧型ビデオプロセッサ210の画像処理回路213と同じものであって、第1の実施形態で説明したモニター130の画像処理回路133に対応する。
画像処理回路234により取得された置換後の基準サンプル画像の画像情報は、外部記憶装置220に含まれる第2の記憶領域220bに記憶される。なお、外部記憶装置220の第2の記憶領域220bは、第2の記憶部の一例であって、第1の実施形態で説明した不揮発性メモリ134の第2の記憶領域134bに対応する。
CPU231は、新型ビデオプロセッサ230の全体動作を制御すると共に、外部記憶装置220の動作も制御する。また、CPU231は、外部記憶装置220の第1の記憶領域220aに記憶された置換前の基準サンプル画像の画像情報と、外部記憶装置220の第2の記憶領域220bに記憶された置換後の基準サンプル画像の画像情報とを比較する。また、CPU231は、その比較の結果に基づいて、外部記憶装置220の第2の記憶領域220bに記憶される置換後の基準サンプル画像の画像情報が、外部記憶装置220の第1の記憶領域220aに記憶された置換前の基準サンプル画像の画像情報と等しく又は略等しくなるように、画像処理回路233の画像処理パラメータを変更する。なお、CPU231は、比較部及び設定変更部の一例である。
このような構成を有する置換後の内視鏡システム200は、次のような動作を行う。
例えば、旧型ビデオプロセッサ210を新型ビデオプロセッサ230へ置換した直後においては、まず、スコープ110の撮像素子が、基準サンプル被写体140を撮像して原画像としての基準サンプル画像を取得する。続いて、その基準サンプル画像が、新型ビデオプロセッサ230のメモリ232に記憶されると共に、新型ビデオプロセッサ230の画像処理回路233に入力される。基準サンプル画像が入力された画像処理回路233は、その基準サンプル画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。なお、このときに設定されている画像処理パラメータは、置換直後であるために、初期値として設定されている画像処理パラメータである。続いて、画像処理回路234が、画像処理回路233による画像処理が行われて図示しないモニターに入力される基準サンプル画像の映像信号に基づいて、その基準サンプル画像の画像情報を取得する。そして、その基準サンプル画像(置換後の基準サンプル画像)の画像情報が外部記憶装置220の第2の記憶領域220bに記憶される(図6の「データB」参照)。続いて、CPU231は、外部記憶装置220の第1の記憶領域220aに記憶された置換前の基準サンプル画像の画像情報と、外部記憶装置220の第2の記憶領域220bに記憶された置換後の基準サンプル画像の画像情報とを比較する。続いて、CPU231は、その比較の結果、両者が異なる(等しくなく略等しくもない)と判定した場合には、外部記憶装置220の第2の記憶領域220bに記憶される置換後の基準サンプル画像の画像情報が、外部記憶装置220の第1の記憶領域220aに記憶された置換前の基準サンプル画像の画像情報と等しく又は略等しくなるように、画像処理回路233に設定されている画像処理パラメータを変更する。なお、CPU231は、上述の比較の結果、両者が等しい又は略等しいと判定した場合には、そのような画像処理パラメータの変更を行わない。CPU231により画像処理パラメータの変更が行われた場合、続いて、画像処理回路233は、メモリ232から読み出された基準サンプル画像に対し、設定されている変更後の画像処理パラメータ(図7の「変更パラメータ」参照)に基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。続いて、画像処理回路234が、画像処理回路233による画像処理が行われて図示しないモニターに入力される基準サンプル画像の映像信号に基づいて、その基準サンプル画像の画像情報を取得する。そして、その基準サンプル画像(置換後の基準サンプル画像)の画像情報が外部記憶装置220の第2の記憶領域220bに記憶(上書き)される(図7の「データC」参照)。以降は、外部記憶装置220の第2の記憶領域220bに記憶される置換後の基準サンプル画像の画像情報が、外部記憶装置220の第1の記憶領域220aに記憶された置換前の基準サンプル画像の画像情報と等しく又は略等しくなるまで、上述の、CPU231、画像処理回路233、及び画像処理回路234による処理を繰り返す。
なお、このような繰り返し行われる処理は、処理の主体、基準サンプル画像の記憶先、及び、置換前後の基準サンプル画像の画像情報の記憶先が異なることを除き、基本的に、図4に示したフローチャートによって同様に表される。より詳しくは、図4のS110乃至S140の処理の主体が、本実施形態では、新型ビデオプロセッサ230のCPU231になる。なお、この場合に、S120の判定に使用される閾値は、例えば、新型ビデオプロセッサ230の図示しない操作部を介してユーザにより自由に設定(変更)可能である。また、S150の処理の主体が、本実施形態では、新型ビデオプロセッサ230の画像処理回路233になる。また、S160の処理の主体が、本実施形態では、新型ビデオプロセッサ230の画像処理回路234になる。また、基準サンプル画像が、本実施形態では、新型ビデオプロセッサ230のメモリ232に記憶される。また、置換前及び置換後の基準サンプル画像の画像情報が、本実施形態では、外部記憶装置220の第1の記憶領域220a及び第2の記憶領域220bに記憶される。これ以外は、基本的に、図4に示したフローチャートによって同様に表される。よって、ここでは、その繰り返し行われる処理の詳細説明を省略する。
このような置換直後の内視鏡システム200の動作により、新型ビデオプロセッサ230の画像処理回路233には、置換前と同様の色合いの画像が得られる画像処理パラメータが自動的に設定されるようになる。従って、ユーザは、新型ビデオプロセッサ230の画像処理設定を行う必要が無い。
また、その後の内視鏡検査中においては、次のような動作を行う。まず、スコープ110の撮像素子が、観察対象とされる被写体を撮像して原画像としての観察画像を取得する。続いて、新型ビデオプロセッサ230の画像処理回路233が、その観察画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。なお、このときに設定されている画像処理パラメータは、上述の置換直後の内視鏡システム200の動作により画像処理回路233に設定された画像処理パラメータである。続いて、図示しないモニターが、画像処理回路233による画像処理が行われた観察画像の映像信号に応じた画像を表示する。
このような、その後の内視鏡検査中の内視鏡システム200の動作により、ユーザは、置換後の内視鏡検査においても置換前と同様の色合いで画像の観察を行うことができる。
以上のように、本実施形態に係る内視鏡システム200によれば、第1の実施形態と同様に、ビデオプロセッサの置換に伴うユーザの画像処理設定に係る負担を無くすと共に、置換後も置換前と同様の色合いで画像の観察を行うことができる。
<第3の実施形態>
本発明の第3の実施形態に係る医療用システムは、内視鏡システムである。
本実施形態に係る内視鏡システムは、第1の実施形態と同様に、ビデオプロセッサとして相対的に新旧の関係を有する新型ビデオプロセッサ及び旧型ビデオプロセッサと、旧型ビデオプロセッサ又は新型ビデオプロセッサに接続されるスコープ及びモニターとを含む。
本実施形態に係る内視鏡システムの運用では、第1の実施形態と同様に、スコープ及びモニターと共に使用されていた旧型ビデオプロセッサが、例えば買い換え等の理由により、新型ビデオプロセッサへ置換される。
図8は、置換前の本実施形態に係る内視鏡システムの構成例を示す図である。図9及び図10は、置換後の本実施形態に係る内視鏡システムの構成例を示す図である。ここでは、これらの図を用いて、本実施形態に係る内視鏡システムの構成例を説明すると共に、その動作についても併せて説明することにする。
図8に示したように、置換前の本実施形態に係る内視鏡システム300は、スコープ110、旧型ビデオプロセッサ310、及びモニター320を含む。なお、旧型ビデオプロセッサ310及びモニター320は、旧型画像処理装置及び表示装置の一例である。
スコープ110は、第1の実施形態で説明したとおりであるので、ここでは説明を省略する。
旧型ビデオプロセッサ310は、CPU311及び画像処理回路312を含む。
CPU311は、旧型ビデオプロセッサ310の全体動作を制御すると共に、モニター320の不揮発性メモリ323を制御する。
画像処理回路312は、スコープ110の撮像素子により取得された画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。設定されている画像処理パラメータは、予め初期値として設定されている画像処理パラメータ、又は、旧型ビデオプロセッサ310の図示しない操作部を介してユーザにより設定された画像処理パラメータである。なお、画像処理回路312は、第1の実施形態で説明した旧型ビデオプロセッサ120の画像処理回路122に対応する。
モニター320は、画像表示回路321、画像処理回路322、及び不揮発性メモリ323を含む。
画像表示回路321は、旧型ビデオプロセッサ310の画像処理回路312により画像処理されてモニター320に入力された画像の映像信号に応じた画像を図示しない表示部に表示する。なお、画像表示回路321は、第1の実施形態で説明したモニター130の画像表示回路132に対応する。
画像処理回路322は、旧型ビデオプロセッサ310の画像処理回路312により画像処理されてモニター320に入力された基準サンプル画像の映像信号に基づいて、その基準サンプル画像の画像情報(RGB情報及び輝度情報)を取得する。なお、画像処理回路322は、第1の実施形態で説明したモニター130の画像処理回路133に対応する。
不揮発性メモリ323は、第1の記憶領域323aを含む。この第1の記憶領域323aには、画像処理回路322により取得された置換前の基準サンプル画像の画像情報が記憶される。
このような構成を有する置換前の内視鏡システム300は、次のような動作を行う。
例えば、内視鏡検査中においては、まず、スコープ110の撮像素子が、観察対象とされる被写体を撮像して原画像としての観察画像を取得する。続いて、旧型ビデオプロセッサ310の画像処理回路312が、その観察画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。なお、このときに設定されている画像処理パラメータは、例えば、適切な色合いの観察画像が得られるようにユーザにより設定された画像処理パラメータである。続いて、モニター320の画像表示回路321が、画像処理回路312による画像処理が行われてモニター320に入力された観察画像の映像信号に応じた画像を図示しない表示部に表示する。
また、例えば、旧型ビデオプロセッサ310を新型ビデオプロセッサ330へ置換する直前においては、次のような動作を行う。まず、スコープ110の撮像素子が、基準サンプル被写体140を撮像して原画像としての基準サンプル画像を取得する。続いて、旧型ビデオプロセッサ310の画像処理回路312が、その基準サンプル画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。なお、このときに設定されている画像処理パラメータは、内視鏡検査中に設定されていた画像処理パラメータである。続いて、モニター320の画像処理回路322が、画像処理回路312による画像処理が行われてモニター320に入力された基準サンプル画像の映像信号に基づいて、その基準サンプル画像の画像情報を取得する。そして、その基準サンプル画像(置換前の基準サンプル画像)の画像情報が不揮発性メモリ323の第1の記憶領域323aに記憶される(図8の「データA」参照)。
一方、図9及び図10に示したように、置換後の本実施形態に係る内視鏡システム300は、旧型ビデオプロセッサ310が新型ビデオプロセッサ330へ置換された構成を有する。なお、新型ビデオプロセッサ330は、新型画像処理装置の一例である。
新型ビデオプロセッサ330は、CPU331、メモリ332、画像処理回路333、画像処理回路334、及びメモリ335を含む。
メモリ332は、スコープ110の撮像素子により取得された基準サンプル画像が記憶される。なお、メモリ332は、第1の実施形態で説明した新型ビデオプロセッサ150のメモリ152に対応する。
画像処理回路333は、スコープ110の撮像素子により取得された画像に対し、又は、メモリ332から読み出された基準サンプル画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。なお、設定されている画像処理パラメータは、予め初期値として設定されている画像処理パラメータ、又は、新型ビデオプロセッサ330の図示しない操作部を介してユーザにより設定された画像処理パラメータ、若しくは、CPU331により変更された画像処理パラメータである。なお、画像処理回路333は、第1の実施形態で説明した新型ビデオプロセッサ150の画像処理回路153に対応する。
画像処理回路334は、画像処理回路333により画像処理されてモニター320に入力される基準サンプル画像の映像信号に基づいて、その基準サンプル画像の画像情報(RGB情報及び輝度情報)を取得する。なお、画像処理回路334は、モニター320の画像処理回路322と同じものであって、第1の実施形態で説明したモニター130の画像処理回路133に対応する。
メモリ335は、第1の記憶領域335a及び第2の記憶領域335bを含む。メモリ335の第1の記憶領域335aには、モニター320の不揮発性メモリ323の第1の記憶領域323aに記憶されていた置換前の基準サンプル画像の画像情報が記憶される。また、メモリ335の第2の記憶領域335bには、画像処理回路334により取得された置換後の基準サンプル画像の画像情報が記憶される。なお、メモリ335の第1の記憶領域335aは、第1の記憶部の一例であり、第1の実施形態で説明した不揮発性メモリ134の第1の記憶領域134aに対応する。また、メモリ335の第2の記憶領域335bは、第2の記憶部の一例であり、第1の実施形態で説明した不揮発性メモリ134の第2の記憶領域134bに対応する。
CPU331は、新型ビデオプロセッサ330の全体動作を制御すると共に、モニター320の不揮発性メモリ323を制御する。また、CPU331は、その不揮発性メモリ323の第1の記憶領域323aに記憶されている置換前の基準サンプル画像の画像情報を読み出し、メモリ335の第1の記憶領域335aに記憶する。また、CPU331は、メモリ335の第1の記憶領域335aに記憶された置換前の基準サンプル画像の画像情報と、メモリ335の第2の記憶領域335bに記憶された置換後の基準サンプル画像の画像情報とを比較する。また、CPU331は、その比較の結果に基づいて、メモリ335の第2の記憶領域335bに記憶される置換後の基準サンプル画像の画像情報が、メモリ335の第1の記憶領域335aに記憶された置換前の基準サンプル画像の画像情報と等しく又は略等しくなるように、画像処理回路333に設定されている画像処理パラメータを変更する。なお、CPU331は、比較部及び設定変更部の一例である。
なお、置換後の内視鏡システム300において、スコープ110は、基本的に、置換前と同様の処理を行うが、モニター320の画像表示回路321は、更に、次のような処理を行う。
画像表示回路321は、新型ビデオプロセッサ330の画像処理回路333により画像処理されてモニター320に入力された画像の映像信号に応じた画像を図示しない表示部に表示する。
このような構成を有する置換後の内視鏡システム300は、次のような動作を行う。
例えば、旧型ビデオプロセッサ310を新型ビデオプロセッサ330へ置換した直後においては、まず、新型ビデオプロセッサ330のCPU331が、モニター320の不揮発性メモリ323の第1の記憶領域323aに記憶されている置換前の基準サンプル画像の画像情報を読み出し、メモリ335の第1の記憶領域335aに記憶する(図9の「データA」参照)。続いて、スコープ110の撮像素子が、基準サンプル被写体140を撮像して原画像としての基準サンプル画像を取得する。続いて、その基準サンプル画像が、新型ビデオプロセッサ330のメモリ332に記憶されると共に、新型ビデオプロセッサ330の画像処理回路333に入力される。基準サンプル画像が入力された画像処理回路333は、その基準サンプル画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。なお、このときに設定されている画像処理パラメータは、置換直後であるために、初期値として設定されている画像処理パラメータである。続いて、画像処理回路334が、画像処理回路333による画像処理が行われてモニター320に入力される基準サンプル画像の映像信号に基づいて、その基準サンプル画像の画像情報を取得する。そして、その基準サンプル画像(置換後の基準サンプル画像)の画像情報がメモリ335の第2の記憶領域335bに記憶される(図9の「データB」参照)。続いて、CPU331は、メモリ335の第1の記憶領域335aに記憶された置換前の基準サンプル画像の画像情報と、メモリ335の第2の記憶領域335bに記憶された置換後の基準サンプル画像の画像情報とを比較する。続いて、CPU331は、その比較の結果、両者が異なる(等しくなく略等しくもない)と判定した場合には、メモリ335の第2の記憶領域335bに記憶される置換後の基準サンプル画像の画像情報が、メモリ335の第1の記憶領域335aに記憶された置換前の基準サンプル画像の画像情報と等しく又は略等しくなるように、画像処理回路333に設定されている画像処理パラメータを変更する。なお、CPU331は、上述の比較の結果、両者が等しい又は略等しいと判定した場合には、そのような画像処理パラメータの変更を行わない。CPU331により画像処理パラメータの変更が行われた場合、続いて、画像処理回路333は、メモリ332から読み出された基準サンプル画像に対し、設定されている変更後の画像処理パラメータ(図10の「変更パラメータ」参照)に基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。続いて、画像処理回路334が、画像処理回路333による画像処理が行われてモニター320に入力される基準サンプル画像の映像信号に基づいて、その基準サンプル画像の画像情報を取得する。そして、その基準サンプル画像(置換後の基準サンプル画像)の画像情報がメモリ335の第2の記憶領域335bに記憶(上書き)される(図10の「データC」参照)。以降は、メモリ335の第2の記憶領域335bに記憶される置換後の基準サンプル画像の画像情報が、メモリ335の第1の記憶領域335aに記憶された置換前の基準サンプル画像の画像情報と等しく又は略等しくなるまで、上述の、CPU331、画像処理回路333、及び画像処理回路334による処理を繰り返す。
なお、このような繰り返し行われる処理は、処理の主体、基準サンプル画像の記憶先、及び、置換前後の基準サンプル画像の画像情報の記憶先が異なることを除き、基本的に、図4に示したフローチャートによって同様に表される。より詳しくは、図4のS110乃至S140の処理の主体が、本実施形態では、新型ビデオプロセッサ330のCPU331になる。なお、この場合に、S120の判定に使用される閾値は、例えば、新型ビデオプロセッサ330の図示しない操作部を介してユーザにより自由に設定(変更)可能である。また、S150の処理の主体が、本実施形態では、新型ビデオプロセッサ330の画像処理回路333になる。また、S160の処理の主体が、本実施形態では、新型ビデオプロセッサ330の画像処理回路334になる。また、基準サンプル画像が、本実施形態では、新型ビデオプロセッサ330のメモリ332に記憶される。また、置換前及び置換後の基準サンプル画像の画像情報が、本実施形態では、新型ビデオプロセッサ330のメモリ335の第1の記憶領域335a及び第2の記憶領域335bに記憶される。これ以外は、基本的に、図4に示したフローチャートによって同様に表される。よって、ここでは、その繰り返し行われる処理の詳細説明を省略する。
このような置換直後の内視鏡システム300の動作により、新型ビデオプロセッサ330の画像処理回路333には、置換前と同様の色合いの画像が得られる画像処理パラメータが自動的に設定されるようになる。従って、ユーザは、新型ビデオプロセッサ330の画像処理設定を行う必要が無い。
また、その後の内視鏡検査中においては、次のような動作を行う。まず、スコープ110の撮像素子が、観察対象とされる被写体を撮像して原画像としての観察画像を取得する。続いて、新型ビデオプロセッサ330の画像処理回路333が、その観察画像に対し、設定されている画像処理パラメータに基づいて、色調調整処理や明るさ調整処理等の画像処理を行う。なお、このときに設定されている画像処理パラメータは、上述の置換直後の内視鏡システム300の動作により画像処理回路333に設定された画像処理パラメータである。続いて、モニター320の画像表示回路321が、画像処理回路333による画像処理が行われてモニター320に入力された観察画像の映像信号に応じた画像を図示しない表示部に表示する。
このような、その後の内視鏡検査中の内視鏡システム300の動作により、ユーザは、置換後の内視鏡検査においても置換前と同様の色合いで画像の観察を行うことができる。
以上のように、本実施形態に係る内視鏡システム300によれば、第1の実施形態と同様に、ビデオプロセッサの置換に伴うユーザの画像処理設定に係る負担を無くすと共に、置換後も置換前と同様の色合いで画像の観察を行うことができる。
なお、以上に説明した第1乃至第3の実施形態に係る医療用システムにおいては、各種の変形が可能である。
例えば、第1の実施形態に係る内視鏡システム100において、モニター130の画像処理回路133により取得される基準サンプル画像の画像情報を、図11に例示する基準サンプル画像400上の特定領域410の画像情報とするように、基準サンプル画像上の一部の領域の画像情報としてもよい。この場合、その一部の領域は、例えば、基準サンプル画像上の特定の位置の画素(例えば1行目1列目の画素)を基準に決定されてもよいし、基準サンプル被写体140に記されたマークに対応する、基準サンプル画像上のマーク領域を基準に決定されてもよい。同様に、第2の実施形態に係る内視鏡システム200において、旧型ビデオプロセッサ210の画像処理回路213及び新型ビデオプロセッサ230の画像処理回路234により取得される基準サンプル画像の画像情報も、基準サンプル画像上の一部の領域の画像情報としてもよい。同様に、第3の実施形態に係る内視鏡システム300において、モニター320の画像処理回路322及び新型ビデオプロセッサ330の画像処理回路334により取得される基準サンプル画像の画像情報も、基準サンプル画像上の一部の領域の画像情報としてもよい。
また、例えば、第1の実施形態に係る内視鏡システム100において、モニター130の画像処理回路133は、画像情報として、RGB情報及び輝度情報の両方を取得するものであったが、これを例えば、RGB情報及び輝度情報の一方のみを取得するようにしてもよい。同様に、第2の実施形態に係る内視鏡システム200における、旧型ビデオプロセッサ210の画像処理回路213及び新型ビデオプロセッサ230の画像処理回路234においても、RGB情報及び輝度情報の一方のみを取得するようにしてもよい。同様に、第3の実施形態に係る内視鏡システム300における、モニター320の画像処理回路322と新型ビデオプロセッサ330の画像処理回路334においても、RGB情報及び輝度情報の一方のみを取得するようにしてもよい。但し、このような変形を行う場合には、それに応じて、図4のS120では、RGBの各色成分の強度の差分が閾値以下であるか否かの判定が行われるか、又は、輝度の差分が閾値以下であるか否かの判定が行われる。また、図4のS130及びS140では、RGBの各色成分の強度の差分が閾値以下になるように画像処理パラメータの変更が行われるか、又は、輝度の差分が閾値以下になるように画像処理パラメータの変更が行われる。
また、例えば、第1の実施形態に係る内視鏡システム100において、旧型ビデオプロセッサ120又は新型ビデオプロセッサ150が院内LAN(Local Area Network)等のネットワークに接続される構成としてもよい。同様に、第2の実施形態に係る内視鏡システム200においても、旧型ビデオプロセッサ210又は新型ビデオプロセッサ230が院内LAN等のネットワークに接続される構成としてもよい。同様に、第3の実施形態に係る内視鏡システム300においても、旧型ビデオプロセッサ310又は新型ビデオプロセッサ330が院内LAN等のネットワークに接続される構成としてもよい。
また、例えば、第1乃至第3の各実施形態に係る内視鏡システムに含まれる各CPUにより実行されるプログラムは、当該CPUを含む装置に含まれるROM(Read Only Memory)に記憶されており、それが当該CPUを含む装置に含まれるRAM(Random Access Memory)に一時的に格納されて当該CPUにより実行されるようにしてもよい。または、当該CPUを含む装置がネットワークに接続され、そのプログラムが、ネットワークに接続された外部装置から当該CPUを含む装置に含まれるRAMに一時的に格納されて当該CPUにより実行されるようにしてもよい。あるいは、当該CPUを含む装置が媒体読取装置を含み、そのプログラムが、媒体読取装置にセットされた可搬型記録媒体から当該CPUを含む装置に含まれるRAMに一時的に格納されて当該CPUにより実行されるようにしてもよい。この場合、可搬型記録媒体として、例えば、CD−ROM(Compact Disc Read Only Memory)、フレキシブルディスク、光ディスク、光磁気ディスク、DVD(Digital Versatile Disc)、USBメモリなど様々な形式の記録媒体を使用することができる。
また、第1乃至第3の各実施形態では、本発明を内視鏡システムに適用した例を説明したが、撮像装置、画像処理装置、及び表示装置を含むシステム、又は、更に外部記憶装置を含むシステムであって、撮像装置により撮像した画像を画像処理装置により画像処理してモニターに表示するものであれば、内視鏡システム以外の医療用システムに適用することも可能である。
以上、上述した実施形態は、発明の理解を容易にするために本発明の具体例を示したものであり、本発明は上述の実施形態に限定されるものではない。本発明は、特許請求の範囲に規定された本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。
100 内視鏡システム
110 スコープ
120 旧型ビデオプロセッサ
121 CPU
122 画像処理回路
130 モニター
131 CPU
132 画像表示回路
133 画像処理回路
134 不揮発性メモリ
134a 第1の記憶領域
134b 第2の記憶領域
140 基準サンプル被写体
150 新型ビデオプロセッサ
151 CPU
152 メモリ
153 画像処理回路
200 内視鏡システム
210 旧型ビデオプロセッサ
211 CPU
212、213 画像処理回路
220 外部記憶装置
220a 第1の記憶領域
220b 第2の記憶領域
230 新型ビデオプロセッサ
231 CPU
232 メモリ
233、234 画像処理回路
300 内視鏡システム
310 旧型ビデオプロセッサ
311 CPU
312 画像処理回路
320 モニター
321 画像表示回路
322 画像処理回路
323 不揮発性メモリ
323a 第1の記憶領域
330 新型ビデオプロセッサ
331 CPU
332 メモリ
333、334 画像処理回路
335 メモリ
335a 第1の記憶領域
335b 第2の記憶領域
400 基準サンプル画像
410 特定領域

Claims (7)

  1. 第1の画像処理装置及び該第1の画像処理装置とは異なる第2の画像処理装置と、前記第1の画像処理装置又は前記第2の画像処理装置に接続される撮像装置と、を含む医療用システムであって、
    前記撮像装置による基準被写体の撮像により取得され、前記第1の画像処理装置により画像処理された画像の画像情報が記憶される第1の記憶部と、
    前記撮像装置による前記基準被写体の撮像により取得され、前記第2の画像処理装置により画像処理された画像の画像情報が記憶される第2の記憶部と、
    前記第1の記憶部に記憶された画像情報と前記第2の記憶部に記憶された画像情報とを比較する比較部と、
    前記比較部による比較の結果に基づいて、前記第2の記憶部に記憶される画像情報が、前記第1の記憶部に記憶された画像情報と等しく又は略等しくなるように、前記第2の画像処理装置の画像処理設定を変更する設定変更部と、
    を備えることを特徴とする医療用システム。
  2. 前記第1の画像処理装置または前記第2の画像処理装置から出力される画像情報が入力され、当該画像情報が表す画像を表示する表示装置をさらに備え、
    前記第1の記憶部、前記第2の記憶部、前記比較部、及び前記設定変更部は、前記表示装置に含まれる、
    ことを特徴とする請求項1記載の医療用システム。
  3. 前記第1の画像処理装置又は前記第2の画像処理装置に接続される外部記憶装置を更に含み、
    前記第1の記憶部は、前記外部記憶装置の第1の記憶領域であり、
    前記第2の記憶部は、前記外部記憶装置の第2の記憶領域であり、
    前記比較部、及び前記設定変更部は、前記第2の画像処理装置に含まれる、
    ことを特徴とする請求項1記載の医療用システム。
  4. 前記第1の記憶部、前記第2の記憶部、前記比較部、及び前記設定変更部は、前記第2の画像処理装置に含まれる、
    ことを特徴とする請求項1記載の医療用システム。
  5. 前記画像情報は、画像のRGB情報及び輝度情報の一方又は両方である、
    ことを特徴とする請求項1に記載の医療用システム。
  6. 第1の画像処理装置又は前記第1の画像処理装置とは異なる第2の画像処理装置に接続される撮像装置と、を含む医療用システムの画像処理設定方法であって、
    基準被写体を前記撮像装置が撮像する第1の撮像ステップと、
    前記撮像装置により撮像された画像を前記第1の画像処理装置が画像処理する第1の画像処理ステップと、
    前記第1の画像処理装置により画像処理されて前記表示装置に入力される画像の画像情報を第1の記憶部に記憶する第1の記憶ステップと、
    前記基準被写体を前記撮像装置が撮像する第2の撮像ステップと、
    前記撮像装置により撮像された画像を前記第2の画像処理装置が画像処理する第2の画像処理ステップと、
    前記第2の画像処理装置により画像処理されて前記表示装置に入力される画像の画像情報を第2の記憶部に記憶する第2の記憶ステップと、
    前記第1の記憶部に記憶された画像情報と前記第2の記憶部に記憶された画像情報とを比較する比較ステップと、
    前記比較の結果に基づいて、前記第2の記憶部に記憶される画像情報が、前記第1の記憶部に記憶された画像情報と等しく又は略等しくなるように、前記第2の画像処理装置の画像処理設定を変更する変更ステップと、
    を含み、前記比較の結果が、前記第2の記憶部に記憶された画像情報と前記第1の記憶部に記憶された画像情報とが等しい又は略等しいという結果になるまで、前記第2の画像処理ステップ、前記第2の記憶ステップ、前記比較ステップ、及び前記変更ステップを繰り返す、
    ことを特徴とする医療用システムの画像処理設定方法。
  7. 撮像装置による基準被写体像の撮像により取得された画像に対して画像処理を行う画像処理部と、
    前記撮像装置による前記基準被写体の撮像により取得され、前記画像処理部とは異なる他の画像処理部により画像処理された画像の画像情報が記憶される第1の記憶部と、
    前記画像処理部により画像処理された画像の画像情報が記憶される第2の記憶部と、
    前記第1の記憶部に記憶された画像情報と前記第2の記憶部に記憶された画像情報とを比較する比較部と、
    前記比較部による比較の結果に基づいて、前記第2の記憶部に記憶される画像情報が、前記第1の記憶部に記憶された画像情報と等しく又は略等しくなるように、前記画像処理部の画像処理設定を変更する設定変更部と、
    を備えることを特徴とする画像処理装置。
JP2016501259A 2014-06-16 2015-06-09 医療用システム、その画像処理設定方法、及び画像処理装置 Active JP5963990B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014123535 2014-06-16
JP2014123535 2014-06-16
PCT/JP2015/066623 WO2015194421A1 (ja) 2014-06-16 2015-06-09 医療用システム及びその画像処理設定方法

Publications (2)

Publication Number Publication Date
JP5963990B2 true JP5963990B2 (ja) 2016-08-03
JPWO2015194421A1 JPWO2015194421A1 (ja) 2017-04-20

Family

ID=54935408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016501259A Active JP5963990B2 (ja) 2014-06-16 2015-06-09 医療用システム、その画像処理設定方法、及び画像処理装置

Country Status (5)

Country Link
US (1) US9826209B2 (ja)
EP (1) EP3155956A4 (ja)
JP (1) JP5963990B2 (ja)
CN (1) CN106102555B (ja)
WO (1) WO2015194421A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6468356B2 (ja) * 2015-06-25 2019-02-13 富士通株式会社 プログラム生成装置、プログラム生成方法および生成プログラム
WO2017126425A1 (ja) * 2016-01-18 2017-07-27 オリンパス株式会社 医療用サーバシステム
CN109310298B (zh) 2016-06-27 2021-07-13 奥林巴斯株式会社 内窥镜系统
CN110913749B (zh) * 2017-07-03 2022-06-24 富士胶片株式会社 医疗图像处理装置、内窥镜装置、诊断支持装置、医疗业务支持装置及报告书制作支持装置
JP7091974B2 (ja) * 2018-09-26 2022-06-28 オムロン株式会社 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
CN109222854A (zh) * 2018-11-19 2019-01-18 苏州新光维医疗科技有限公司 内窥镜摄像系统及其图像信号传输方法
CN113974542A (zh) * 2021-10-29 2022-01-28 上海瑞烁信息科技有限公司 一种一次性内窥镜使用管理系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028709A (ja) * 1999-07-12 2001-01-30 Fuji Photo Optical Co Ltd 電子内視鏡装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261821A (ja) * 1999-03-09 2000-09-22 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2001028747A (ja) * 1999-07-12 2001-01-30 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP4360724B2 (ja) * 2000-01-11 2009-11-11 Hoya株式会社 電子内視鏡用信号切換装置
US7561753B2 (en) * 2004-01-09 2009-07-14 The Boeing Company System and method for comparing images with different contrast levels
JP5127636B2 (ja) 2008-08-29 2013-01-23 富士フイルム株式会社 電子内視鏡用プロセッサ装置
JP2010145474A (ja) * 2008-12-16 2010-07-01 Olympus Corp 内視鏡装置
JP5544219B2 (ja) 2009-09-24 2014-07-09 富士フイルム株式会社 内視鏡システム
JP5800549B2 (ja) * 2011-03-31 2015-10-28 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5265055B2 (ja) * 2011-05-27 2013-08-14 オリンパスメディカルシステムズ株式会社 医療装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028709A (ja) * 1999-07-12 2001-01-30 Fuji Photo Optical Co Ltd 電子内視鏡装置

Also Published As

Publication number Publication date
CN106102555B (zh) 2018-01-19
EP3155956A4 (en) 2018-03-07
EP3155956A1 (en) 2017-04-19
US9826209B2 (en) 2017-11-21
US20170006271A1 (en) 2017-01-05
CN106102555A (zh) 2016-11-09
JPWO2015194421A1 (ja) 2017-04-20
WO2015194421A1 (ja) 2015-12-23

Similar Documents

Publication Publication Date Title
JP5963990B2 (ja) 医療用システム、その画像処理設定方法、及び画像処理装置
JP6104493B1 (ja) 撮像システム
US10575720B2 (en) Endoscope system
JP7272670B2 (ja) カメラ装置、画像処理方法およびカメラシステム
CN107113405B (zh) 图像处理装置、图像处理装置的工作方法、记录介质和内窥镜装置
JP6020950B1 (ja) 内視鏡システム、および内視鏡システムの作動方法、並びにプログラム
JP6109456B1 (ja) 画像処理装置および撮像システム
JP6378846B2 (ja) 画像処理装置
US20170046836A1 (en) Real-time endoscopic image enhancement
JP6600362B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JPWO2020178962A1 (ja) 内視鏡システム、画像処理装置、総処理時間検出方法および処理装置
JPWO2015025697A1 (ja) 内視鏡システム
JP6430880B2 (ja) 内視鏡システム、及び、内視鏡システムの作動方法
JP2010220755A (ja) 内視鏡用プロセッサ装置、およびその駆動方法
JP6346501B2 (ja) 内視鏡装置
JP6242552B1 (ja) 画像処理装置
JP2006115963A (ja) 電子内視鏡装置
US20200037865A1 (en) Image processing device, image processing system, and image processing method
JP2018007960A (ja) 内視鏡装置
JP2005027161A (ja) 画像処理装置及び画像処理方法
JP6559531B2 (ja) 信号処理装置及び信号処理方法
WO2024190373A1 (ja) 画像処理装置、画像処理方法、プログラム、および画像処理システム
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
JP2009111489A (ja) 撮像装置
JP2020130884A (ja) 医療用画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160628

R151 Written notification of patent or utility model registration

Ref document number: 5963990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250