JP7007139B2 - 内視鏡装置、内視鏡システム及び検査方法 - Google Patents

内視鏡装置、内視鏡システム及び検査方法 Download PDF

Info

Publication number
JP7007139B2
JP7007139B2 JP2017180448A JP2017180448A JP7007139B2 JP 7007139 B2 JP7007139 B2 JP 7007139B2 JP 2017180448 A JP2017180448 A JP 2017180448A JP 2017180448 A JP2017180448 A JP 2017180448A JP 7007139 B2 JP7007139 B2 JP 7007139B2
Authority
JP
Japan
Prior art keywords
image
inspection
scratch
folder
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017180448A
Other languages
English (en)
Other versions
JP2019056764A (ja
Inventor
修 光永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2017180448A priority Critical patent/JP7007139B2/ja
Priority to US16/130,270 priority patent/US10888216B2/en
Publication of JP2019056764A publication Critical patent/JP2019056764A/ja
Application granted granted Critical
Publication of JP7007139B2 publication Critical patent/JP7007139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Description

本発明は、内視鏡装置、内視鏡システム及び検査方法に関する。
従来より、内視鏡装置は、工業分野及び医療分野において広く利用されている。内視鏡装置は、先端部に撮像ユニットが設けられた挿入部を有し、検査者であるユーザは、挿入部の先端部を被写体に接近させ、挿入部の先端部の撮像ユニットにより撮像された画像をモニタに表示させ、かつ必要に応じて記憶装置に画像を記録させることができる。例えば、ユーザは、本体に、USBメモリなどの記憶装置を接続して、その記憶装置に内視鏡画像を記録することができる。
例えば、特許文献1においては、各タービン翼毎に過去の画像を記録する技術が開示されている。
更に、内視鏡装置は、検査によって得た検査画像の記録に際して、例えば傷の種類や、ランク等の検査結果を画像ファイルに付与することもできるようになっている。これらの検査画像と検査結果の情報を用いることで、検査レポートの作成を効果的に行うことも可能である。
特開2008-225012号公報
ところで、検査箇所についての傷の種類とランクを決定する作業は、検査者個人の判断による。この検査結果は個人毎にバラツキが生じやすい。判断基準は、マニュアル等で規定されており、検査結果の検査者毎のバラツキを低減するためには、検査者がマニュアルを都度参照するか又は記憶しておく必要があり、検査者の負担が大きいという問題があった。
本発明は、各検査者における判断基準のバラツキを抑制して、評価基準のぶれが少ない安定した判断による整合性に優れた検査結果を得ることができる内視鏡装置、内視鏡システム及び検査方法を提供することを目的とする。
本発明の一態様の内視鏡装置は、撮像部によって取得された検査画像に対する評価判定の判定結果を受け付ける操作部と、前記判定結果の情報に基づいて、データ蓄積部に保存されている判定支援画像を検索して抽出する制御部と、抽出された前記判定支援画像を前記検査画像と共に表示部に表示させる表示制御部とを具備し、前記判定支援画像は、検査対象物の傷の種類及び傷のランクの情報が付与された過去の検査画像又は傷の種類及び傷のランクの基準として作成されたリファレンス画像であり、前記表示制御部は、前記撮像部が前記検査画像を取得した機材と同一機材について過去に取得された検査画像、前記機材と同じタイプの機材について過去に取得された検査画像、前記リファレンス画像の優先順で前記判定支援画像を表示する。
本発明の一態様の内視鏡システムは、前記内視鏡装置と、前記内視鏡装置とネットワークを介して接続されたサーバと、を含み、前記データ蓄積部は、前記サーバに設けられている。
本発明の一態様の検査方法は、操作部によって、撮像部によって取得された検査画像に対する評価判定の判定結果を受け付け、制御部によって、前記判定結果の情報に基づいて、データ蓄積部に保存されている判定支援画像を検索して抽出し、表示制御部によって、抽出された前記判定支援画像を前記検査画像と共に表示部に表示させる検査方法において、前記判定支援画像は、検査対象物の傷の種類及び傷のランクの情報が付与された過去の検査画像又は傷の種類及び傷のランクの基準として作成されたリファレンス画像であり、前記表示制御部は、前記撮像部が前記検査画像を取得した機材と同一機材について過去に取得された検査画像、前記機材と同じタイプの機材について過去に取得された検査画像、前記リファレンス画像の優先順で前記判定支援画像を表示する。
本発明によれば、各検査者における判断基準のバラツキを抑制して、評価基準のぶれが少ない安定した判断による整合性に優れた検査結果を得ることができるという効果を有する。
本発明の第1の実施の形態に係る内視鏡装置を示す外観構成図。 内視鏡装置1の本体部2の内部の回路構成を説明するためのブロック図。 階層構造のフォルダの例を説明するための説明図。 第1の実施の形態の動作を説明するためのフローチャート。 検査フォルダの指定操作時の画面表示の例を示す説明図。 傷の種類の選択時の画面表示の例を示す説明図。 傷のランクの選択時の画面表示の例を示す説明図。 静止画と判定支援画像との画面表示の例を示す説明図。 変形例を示すフローチャート。 変形例を示すフローチャート。 代表画像の表示例を示す説明図。 第2の実施の形態を示すブロック図。 第2の実施の形態の動作を説明するためのフローチャート。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る内視鏡装置を示す外観構成図である。
本実施の形態は、内視鏡検査に際して、損傷等の異常についての評価判定に際して評価基準を想起させるための画像(以下、判定支援画像という)を表示させる。このような判定支援画像としては、過去の検査において取得された内視鏡画像(検査画像)である過去画像や評価基準として予め作成されるリファレンス画像等が考えられる。本実施の形態においては、過去画像等の判定支援画像を記録保持するとともに、傷の種類及びランク等を考慮して判定支援画像を検索して表示を行うことで、各検査者の検査における評価判定のバラツキを低減して、評価基準に適合する評価を容易にするものである。
なお、以下の説明では、過去の検査において取得された内視鏡画像(検査画像)である過去画像を記録保持するとともに、傷の種類及びランク等を考慮して検索した過去画像の表示を行う例について説明するが、過去画像に代えてリファレンス画像を検索して表示するようになっていてもよい。なお、リファレンス画像とは、傷の長さ、幅や深さ等が記載された参考画像やスケッチ画像をいう。
先ず、図1に基づき、内視鏡装置1の構成について説明する。
図1に示すように、内視鏡装置1は、メインユニットである本体部2と、本体部2に接続されるスコープユニット3とを含んで構成される。本体部2は、内視鏡画像(検査画像)、操作メニュー等が表示される表示装置としての液晶パネル(以下、LCDと略す)4を有する。LCD4は、内視鏡画像を表示する表示部である。後述するように、LCD4にタッチパネル(図2)が設けられてもよい。スコープユニット3は、操作部5と、接続ケーブルであるユニバーサルケーブル6により、本体部2と接続され、可撓性の挿入チューブからなる挿入部7を有する。スコープユニット3は、本体部2に着脱可能となっている。挿入部7の先端部8には、後述する撮像ユニット(図2)が内蔵されている。撮像ユニットは、撮像素子、例えばCCDセンサやCMOSセンサ等、と、撮像素子の撮像面側に配置されたレンズ等の撮像光学系から構成される。先端部8の基端側には、湾曲部9が設けられている。先端部8には、光学アダプタ10が取り付け可能になっている。操作部5には、フリーズボタン、記録指示ボタン(以下、RECボタン)、上下左右(U/D/L/R)方向ジョイスティック、湾曲用ジョイスティック、等の各種操作ボタンが、設けられている。
ユーザは、操作部5の各種操作ボタンを操作して、被写体の撮像、静止画記録等を行うことができる。さらに、ユーザは、後述する内視鏡画像の記録先フォルダを変更する場合には、操作部5に設けられたジョイスティック5aを、上下左右のいずれかの方向に傾倒させる操作をすることによって、記録先フォルダの選択をすることができる。またLCD4にタッチパネルが設けられている構成の場合、ユーザは、タッチパネルを操作して、内視鏡装置1の種々の操作を指示することもできる。すなわち、タッチパネルは、内視鏡装置1の動作内容を指示する操作部を構成する。
撮像して得られた内視鏡画像の画像データは、検査対象の検査データであり、記録媒体であるメモリカード11に記録される。メモリカード11は、本体部2に対して着脱可能となっている。データ蓄積部としてのメモリカード11には、検査画像だけでなく、過去画像やリファレンス画像等も記録されるようになっていてもよい。
なお、本実施の形態では、画像データは、本体部2に対して着脱可能な記録媒体としてメモリカード11に記録されるが、本体部2に内蔵された図示しないフラッシュメモリ等の記録媒体に記録されるようにしてもよい。
また、画像データの記録をメモリカード11に代えて本体部2の外部の機器において行ってもよい。例えば、外部機器として記録媒体を備えたファイルサーバを採用し、本体部2にサーバとの通信を行うためのインタフェースを設けて、検査画像、過去画像、リファレンス画像等をファイルサーバに記録するようになっていてもよい。
ユーザは、検査対象の検査部位に、挿入部7の先端部8を近付けて、その検査部位を撮影して内視鏡画像を得、この内視鏡画像をLCD4に表示させることができる。さらに、後述するように、ユーザは、検査時に内視鏡画像を記録するメモリカード11内のフォルダを確認しながら、かつ必要であれば、操作部5のジョイスティック5aを操作して、内視鏡画像の記録先フォルダを変更することができる。
更に、ユーザは、検査画像毎に、傷の種類及びランクを評価し、評価判定の結果を検査画像に対応付けて記録させることもできるようになっている。この場合において、本実施の形態においては、本体部2は、ユーザの評価判定の判定結果に基づいて検索した過去画像をLCD4の表示画面上に表示させることで、評価判定のバラツキを低減させ、評価基準に適合した評価を容易にするための支援を行うようになっている。
(回路構成)
図2は、内視鏡装置1の本体部2の内部の回路構成を説明するためのブロック図である。
本体部2は、中央処理装置(以下、CPUという)21と、ROM22と、RAM23とを含み、互いにバス24を介して接続されている。さらに、バス24には、複数の各種インタフェース(以下、I/Fという)25~30が接続されている。I/F25は、スコープ3の撮像ユニット41への駆動信号の送信と、撮像ユニット41からの撮像信号の受信を行うための駆動及び受信回路である。I/F26は、照明部としてのLED42へ駆動信号を送信するための駆動回路である。
I/F27は、操作部5からの各種操作信号を受信するための回路である。操作部5からの各種操作信号には、ジョイスティック5aの操作信号が含まれる。LCD4にタッチパネル32が設けられている構成の場合、I/F28は、操作部としてのタッチパネル32への駆動信号及びタッチパネル32からの操作信号を受信するための回路として設けられる。I/F29は、LCD4への画像信号を供給するための回路である。表示制御部としてのCPU21は、LCD4の表示を制御する。
I/F30は、メモリカード11への画像信号の書き込みとメモリカード11からの画像信号の読み出しを行うための回路である。I/F30は、本体部2に設けられたコネクタ33を介して、メモリカード11に接続されている。メモリカード11は、コネクタ33に着脱可能に装着される。
各I/Fは、CPU21の制御の下で、動作する。内視鏡装置1が起動されると、CPU21は、各種駆動信号をI/F25を介して撮像ユニット41へ出力し、撮像ユニット41は、撮像信号をCPU21へ出力する。CPU21が、LED42の駆動指示信号をI/F26へ出力し、LED42はI/F26の出力により駆動されて、被写体を照明し、その結果、LCD4にライブ画像が表示される。
操作部5は、I/F27を介して、CPU21に接続されている。操作部5は、操作部5に対するユーザによる操作を受け付け、ユーザ操作に基づく各種操作信号をCPU21へ供給する。ユーザが、後述するようなフリーズボタンを押すと、CPU21は、撮像ユニット41からの撮像信号に基づいて静止画を生成し、さらにユーザがRECボタンを押すと、その静止画の画像データは、メモリカード11に記録される。フリーズによる静止画は、LCD4に表示されるので、ユーザは、静止画を確認することができ、その静止画を記録する場合は、RECボタンを押す。
(フォルダ及びファイル名)
メモリカード11内には、CPU21等によって、ユーザ操作に基づく任意のフォルダが作成される。例えば、ユーザは、図示しないパーソナルコンピュータを用いて、メモリカード11内に、階層構造を有する複数のフォルダを、内視鏡検査の前に作成してもよい。例えば、ユーザは、メモリカード11内の「root」フォルダの下に、所望のフォルダ名で階層構造を有するフォルダを複数作成することができる。そして、後述するように、ユーザは、スコープ3の撮像ユニット41で撮像して得られた内視鏡画像を、メモリカード11内の所望のフォルダに記録することができる。
例えば、メモリカード11内に作成するフォルダの階層構造と、フォルダ名及び各フォルダ内に格納する内視鏡画像のファイル名とを、検査対象の検査物、検査部位等に応じて適宜設定することによって、ファイル名及びフォルダ名から、いずれの検査部位の検査画像であるかを容易に判断できる。
図3はこのような階層構造のフォルダの例を説明するための説明図である。なお、図3は、階層構造のフォルダを説明するために、各フォルダとそのフォルダに含まれるファイルを模式的に表現したもので、ここでは、フォルダが2つの階層すなわち2つのレベルを有する例を示している。
図3に示すように、メモリカード11内には「root」フォルダが作成されており、この「root」の下に、「DCIM」のフォルダがあり、「DCIM」のフォルダの下に、「IV70001」という下位フォルダがある。
また、「root」の下には、「ENGINE1_SN001」のフォルダが作成され、「ENGINE1_SN001」のフォルダの下に、「HPC_STAGE1_ZONE1_1」と「HPC_STAGE1_ZONE1_2」と「HPC_STAGE1_ZONE2_1」という3つの下位フォルダが作成されている。
さらに、「root」の下には、「ENGINE2_SN002」のフォルダも作成され、「ENGINE2_SN002」のフォルダの下に、「HPC_STAGE1_ZONE1_1」と「HPC_STAGE1_ZONE1_3」という2つの下位フォルダが作成されている。
フォルダ中の「ENGINE1_SN001」と「ENGINE2_SN002」における「ENGINE1」と「ENGINE2」は、例えば、エンジン名称であり、「SN001」と「SN002」は、シリアル番号などであり、「ENGINE1_SN001」と「ENGINE2_SN002」は、それぞれ検査部位を示す。
ユーザは、メモリカード11内に、「root」の下に、任意の名前でフォルダを予め作成しておく。ユーザはこのフォルダの作成作業を、パーソナルコンピュータ等の外部装置で行なってもよいし、内視鏡装置1にハードウェアキーボードを接続し、ハードウェアキーボードを操作して行ってもよい。またユーザは、LCD4に表示された設定画面及びGUIとして構成されるソフトウェアキーボードを操作してフォルダの作成作業を行ってもよい。さらにまた、LCD4にタッチパネル32が設けられている構成の場合、ユーザはLCD4に表示された設定画面を用いて、タッチパネル32等を操作してフォルダの作成作業を行ってもよい。後述するように、ユーザは、このように予め作成した複数のフォルダの中から任意のフォルダを、内視鏡画像の記録先フォルダとして選択して、その選択したフォルダに、取得された内視鏡画像を記録することができる。
なお、本実施の形態では、フォルダの階層は2つであるが、フォルダの階層は、3つ以上あってもよく、さらに、図3において点線で示すように、同階層のフォルダ数も、3つ以上あってもよい。また必ずしもフォルダの階層は2つ以上である必要はなく、「root」の下に1階層のみのフォルダ構造であってもよい。
本実施の形態においては、各検査部位に対する内視鏡検査によって、検査画像が取得されると共に、各検査画像毎に、傷の種類及び傷の程度であるランクが評価判定され、検査画像の画像ファイルに異常の検査結果として傷の種類及びランクの情報が付与されるようになっている。
図3の例は、既に評価判定されて検査結果が付与された検査画像の画像ファイルが格納されている例を示している。図3の例では、「HPC_STAGE1_ZONE1_1」と「HPC_STAGE1_ZONE1_2」と「HPC_STAGE1_ZONE2_1」の3つフォルダに、検査画像の画像ファイルがJPEG形式で複数登録されていることを示している。
各フォルダに含まれるファイル名は、上位と下位の階層のフォルダ名に、ファイルマークと連番が追加された構成である。ファイルマークは、記録されるファイル名に付加される、識別記号として機能する所定のマークであり、例えば、傷のランクを示すものである。すなわち、ファイル名は、「上位フォルダ名_下位フォルダ名_ファイルマーク_連番.jpg」となっている。
例えば、上位フォルダの「ENGINE1_SN001」のフォルダ名と下位フォルダの「HPC_STAGE1_ZONE1」のフォルダ名を、記号「_」(アンダーバー)で接続して、さらにファイルマーク「A」と連番「001」を付加して、「ENGINE1_SN001_HPC_STAGE1_ZONE1_1_A_001.jpg」というファイル名が生成されている。
図3の例は、4種類のファイルマーク、「A」、「B」、「C」、「D」が付加されていることを示しており、「A」は「問題無し(Accept)」、「B」は「要交換(Reject)」、「C」は「要補修(Repair)」、「D」は「要再検査(Re-Inspect)」の各ランクを示している。また、ファイルマークとして、「X」(マーク無し(No Mark))が設定されていてもよい。なお、図3の例では、ファイルマークは単一の文字であるが、複数の文字、「ACCEPT」、「REPAIR」等の文字列でもよい。
また、検査時に評価判定される傷としては、欠け、へこみ、はがれ等の表面欠陥、クラック、腐食等の種類がある。本実施の形態においては、傷の種類の情報も各検査画像の画像ファイルに付与される。例えば、傷の種類の情報については、画像ファイル中のEXIF領域に保存されるようになっていてもよい。
CPU21は、撮像ユニット41の駆動、撮像ユニット41による撮像画像のLCD4の表示画面上での表示、内視鏡画像(検査画像)を記録する検査フォルダの指定、傷の種類及びランク付けのための処理を行う。更に、CPU21は、傷の種類及びランクの指定が行われると、ROM22内の検索プログラム領域22aに記録されている検索プログラムを実行して、ユーザが指定した傷の種類及びランクに一致する情報が付与された過去画像を検索して判定支援画像として表示する判定支援画像表示処理を実施するようになっている。この判定支援画像表示処理によって表示された判定支援画像を参照することで、各検査者は評価基準に適合する評価を行ったか否かを容易に判断することができる。
また、評価判定時において傷の位置が特定しやすいように、判定支援画像には傷位置を囲む円や傷位置を示す矢印等の記号や、傷に関するテキスト文や、傷を特定する手書きでのマーク等を付与しておいてもよい。例えばこれらの情報を判定支援画像の画像上でなく、EXIF領域に記録しておいてもよい。この場合には、これらの情報を判定支援画像の表示時に重畳表示することもでき、また非表示とすることもできる。
また、CPU21は、判定支援画像の表示方法を適宜設定することができる。
次に、このように構成された実施の形態の動作について図4から図8を参照して説明する。図4は第1の実施の形態の動作を説明するためのフローチャートである。図5は検査フォルダの指定操作時の画面表示の例を示す説明図である。図6は傷の種類の選択時の画面表示の例を示す説明図であり、図7は傷のランクの選択時の画面表示の例を示す説明図である。図8は静止画と判定支援画像との画面表示の例を示す説明図である。
本体部2に電源が投入されて撮像ユニット41による撮影が可能になると、CPU21は、撮像ユニット41によって撮影された内視鏡画像をライブ画像としてLCD4の表示画面上に表示させる。そして、CPU21は、操作部5によって内視鏡画像(検査画像)を記録する検査フォルダの指定操作を受け付け、ユーザ操作に基づいて検査フォルダを指定する(ステップS1)。
図5は検査フォルダの指定時における画面表示及び画面遷移の例を示している。ユーザは、画面に表示された検査対象(図5では、タービンブレード)のライブ画像を見ながら、検査を行う。LCD4の表示画面4aには、そのライブ画像と、画像の記録先フォルダ(検査フォルダ)名が表示される。電源ON後は、「root」の下の「DCIM」フォルダが記録先フォルダとして、予め設定されている。そのため、画面51に示すように、電源ON直後は、記録先フォルダとして、「DCIM¥」が、表示画面4a上に表示される。
なお、図5の画面51では、表示画面4aの左上に、記録先フォルダが「DCIM」のフォルダであることを示す情報「DCIM¥」が表示され、他の画面52等においても、表示画面4aの左上に、記録先フォルダ名を含む情報が表示されているが、その情報の位置は、画面の左上でなくてもよく、例えば、右上でもよい。
さらになお、図5の場合、記録先フォルダを示す情報として、画面51,52,53では、記録先フォルダのフォルダ名にマーク「¥」を付加しているが、マーク「¥」はなくてもよい。
さらに、図5の場合、記録先フォルダを示す情報は記録先フォルダのフォルダ名を含む情報であるが、ユーザが記録先フォルダを認識して判別できればよいので、記録先フォルダを示す情報は、記録先フォルダのフォルダ名を含まなくてもよい。
ユーザは、予め作成した所望のフォルダに静止画を記録したい場合は、ジョイスティック5aを操作することによって、そのフォルダを選択することができる。ジョイスティック5aを、上(U)、下(D)、左(L)及び右(R)のいずれかの方向に傾倒させると、その方向に応じて、階層構造の複数のフォルダの中から、フォルダが選択され、記録先フォルダとして設定される。
図5は、図3に示す2つの階層レベルを有し、各階層の下に2つのフォルダが作成されているフォルダ群の中から、記録先フォルダを選択する場合の画面遷移を表す。各階層内における記録先フォルダの表示の順番は、フォルダの作成日時、フォルダ名のアルファベット順等の所定の順番で行われるように予め設定されている。
図5に示すように、画面51の状態から、ジョイスティック5aを下に傾倒する(すなわちD方向に傾倒する)と、同階層の次のフォルダ(図3では、「DCIM」のフォルダの下のフォルダ)である「ENGINE1_SN001」のフォルダが、記録先フォルダとして選択され、画面は、画面51から画面52に遷移する。
画面52の状態で、ジョイスティック5aを上に傾倒する(すなわちU方向に傾倒する)と、同階層の前のフォルダ(図3では、「ENGINE1_SN001」のフォルダの上のフォルダ)である「DCIM」のフォルダが、記録先フォルダとして選択され、画面は、画面52から画面51に遷移する。
画面52の状態から、ジョイスティック5aを下に傾倒する(すなわちD方向に傾倒する)と、同階層の次のフォルダである「ENGINE2_SN002」のフォルダが、記録先フォルダとして選択され、画面は、画面52から画面53に遷移する。
画面53の状態から、ジョイスティック5aを下に傾倒する(すなわちD方向に傾倒する)と、同階層の最初のフォルダである「DCIM」のフォルダが、記録先フォルダとして選択され、画面は、画面53から画面51に遷移する。
また、画面52の状態で、ジョイスティック5aを右に傾倒する(すなわちR方向に傾倒する)と、下位階層の最初のフォルダ(図3では、一番上のフォルダ)である「HPC_STAGE1_ZONE1_1」のフォルダが、記録先フォルダとして選択され、画面は、画面52から画面54に遷移する。
さらにまた、画面54の状態で、ジョイスティック5aを左に傾倒する(すなわちL方向に傾倒する)と、上位階層のフォルダである「ENGINE1_SN001」のフォルダが、記録先フォルダとして選択され、画面は、画面54から画面52に遷移する。
画面54の状態から、ジョイスティック5aを下に傾倒する(すなわちD方向に傾倒する)と、同階層の次のフォルダである「HPC_STAGE1_ZONE1_2」のフォルダが、記録先フォルダとして選択され、画面は、画面54から画面55に遷移する。
画面55の状態で、ジョイスティック5aを上に傾倒する(すなわちU方向に傾倒する)と、同階層の前のフォルダである「HPC_STAGE1_ZONE1_1」のフォルダが、記録先フォルダとして選択され、画面は、画面55から画面54に遷移する。
画面55の状態から、ジョイスティック5aを下に傾倒する(すなわちD方向に傾倒する)と、同階層の次のフォルダである「HPC_STAGE1_ZONE2_1」のフォルダが、記録先フォルダとして選択され、画面は、画面55から画面56に遷移する。
また、画面56の状態で、ジョイスティック5aを上に傾倒する(すなわちU方向に傾倒する)と、同階層の前のフォルダである「HPC_STAGE1_ZONE1_2」のフォルダが、記録先フォルダとして選択され、画面は、画面56から画面55に遷移する。
また、画面54の状態で、ジョイスティック5aを上に傾倒する(すなわちU方向に傾倒する)と、同階層の最後のフォルダである「HPC_STAGE1_ZONE2_1」のフォルダが、記録先フォルダとして選択され、画面は、画面54から画面56に遷移する。
また、画面56の状態で、ジョイスティック5aを下に傾倒する(すなわちD方向に傾倒する)と、同階層の最初のフォルダである「HPC_STAGE1_ZONE1_1」のフォルダが、記録先フォルダとして選択され、画面は、画面56から画面54に遷移する。
さらにまた、画面55あるいは画面56の状態で、ジョイスティック5aを左に傾倒する(すなわちL方向に傾倒する)と、上位階層のフォルダである「ENGINE1_SN001」のフォルダが、記録先フォルダとして選択され、画面は、画面55あるいは画面56から画面52に遷移する。
「ENGINE2_SN002」のフォルダと、下位の2つフォルダ「HPC_STAGE1_ZONE1_1」、「HPC_STAGE1_ZONE1_3」の間の画面遷移も、図5に示すように、画面53,57,58間で、画面52,54-56の画面遷移と同様に遷移する。
従って、ユーザは、ライブ画像を見ながら、記録先フォルダを確認でき、かつ変更を容易に行うことができる。なお、ジョイスティック5aは、記録先フォルダの変更あるいは選択のための専用のジョイスティックであるが、湾曲動作に使用するジョイスティックを、モード切替の下で、記録先フォルダ選択のための操作器として用いるようにしてもよい。
なお、図5の場合、画面55,56又は58から、それぞれ画面52又は53に遷移した後に、画面52又は53の状態で、ジョイスティック5aを右に傾倒する(すなわちR方向に傾倒する)と、下位階層の最初のフォルダである「HPC_STAGE1_ZONE1_1」のフォルダが、記録先フォルダとして選択されるように、画面は、画面52又は53から画面54又は57に遷移するが、画面55,56又は58からそれぞれ画面52又は53に遷移した後に、画面52又は53の状態で、ジョイスティック5aが右に傾倒された(すなわちR方向に傾倒された)場合は、図5において点線DL1で示すように、画面55,56又は58が表示されるようにしてもよい。そのためには、遷移画面のフォルダデータをRAM23に記憶しておき、遷移してきた前のフォルダを表示するように、CPU21は、画面表示を制御する。
なお、図5の場合は、デフォルトで「DCIM」のフォルダが記録先フォルダとして選択又は設定されているが、デフォルトで、「DCIM」のフォルダ以外の最上位階層のフォルダの中の所定のフォルダ、例えば第1のフォルダとしての「ENGINE1_SN001」のフォルダ、を選択するようにしてもよい。
さらになお、最上位の階層において、同階層のフォルダに移動するときに、「DCIM」以外のフォルダ間のみで、選択されるようにしてもよい。図5において、点線DL2で示すように、画面53の状態で、ジョイスティック5aを下に傾倒する(すなわちD方向に傾倒する)と、画面52に遷移し、画面52の状態で、ジョイスティック5aを上に傾倒する(すなわちU方向に傾倒する)と、画面53に遷移するようにしてもよい。
本実施の形態では現在選択中の階層のフォルダ名のみが画面に表示されているが、例えば下位の階層のフォルダ名を表示するとき、そのフォルダの上位の階層のフォルダ名を合わせて表示するようにしてもよい。このとき、例えば画面54におけるフォルダ名は、「ENGINE1_SN001¥HPC_STAGE1_ZONE1_1」となる。
ユーザは、検査フォルダを指定すると、検査部位に挿入部7の先端部8を移動させて、フリーズボタンを押下操作する。これにより、撮像ユニット41は検査部位の静止画を取得して、I/F25を介してCPU21に供給する。CPU21は、取得された静止画をRAM23に記憶させると共に、I/F29を介してLCD4に与えて、静止画(検査画像)を表示させる(ステップS2)。
本実施の形態においては、CPU21は、ステップS3において、検査画像を表示したLCD4の表示画面4a上に、傷の種類の選択のための表示を表示させる。
図6はこの場合の表示例を示しており、表示画面4a上には、検査画像61が表示されると共に、傷の種類の選択表示62が表示されている。なお、図6では検査画像61中のブレードにはクラック61aが発生していることを示している。また、図6では、傷の種類として、クラック、へこみ、はがれ、欠け、腐食の5種類を指定可能な例を示しているが、これに限定されるものではない。
検査者は検査画像61中のクラック61aについて、傷の種類を評価判定して、判定結果を指示する。例えば、検査者は、操作部5のジョイスティック5aをL方向又はR方向に傾倒させることで、傷が、クラック、へこみ、はがれ、腐食のいずれの種類であるかを選択して図示しない決定ボタンの操作によって、傷の種類を指定してもよい。図6では、実線は選択されている種類を示し、破線は選択されていない種類を示している。
CPU21は、ユーザによる傷の種類の指定操作が終了すると、指定された傷の種類の情報をRAM23に記憶させ、次のステップS4において、検査画像を表示したLCD4の表示画面4a上に、傷のランクの選択のための表示を表示させる。
図7はこの場合の表示例を示しており、表示画面4a上には、検査画像61が表示されると共に、ファイルマークとして指定する傷のランクの選択表示63が表示されている。図6では、傷のランクとして、上述したA,B,C,D,Xの5種類を指定可能な例を示しているが、これに限定されるものではない。
検査者は検査画像61中のクラック61aについて、傷のランクを評価判定して、判定結果を指示する。例えば、検査者は、操作部5のジョイスティック5aをL方向又はR方向に傾倒させることで、傷が、A,B,C,D,Xのいずれのランクであるかを選択して図示しない決定ボタンの操作によって、傷のランクを指定してもよい。図7では、実線は選択されているランクを示し、破線は選択されていないランクを示している。
CPU21は、ユーザによる傷のランクの指定操作が終了すると、指定された傷のランク(ファイルマーク)の情報をRAM23に記憶させて、次のステップS5に移行する。ユーザによる検査対象物の傷等の異常について評価判定の判定結果は、この段階では確定しない。本実施の形態においては、検査者毎の評価判定のバラツキを抑制するために、ユーザが自分の判定結果が正しいか否かを比較的容易に判断できるように、ユーザの判定結果に基づいて判定支援画像を表示させる。ユーザは、検査画像と判定支援画像とを見比べることで、比較的容易に評価判定の正誤を判断できる。
即ち、CPU21は、ユーザが指定した傷の種類及び傷のランクを検索キーとして、過去画像の検索を行う。例えば、CPU21は、現在指定されている検査フォルダ中において、検査者が指定した傷の種類及びランクが付与された画像ファイルを検索して、検索結果の画像(判定支援画像)を得る。上述したように、傷のランクはファイル名によって簡単に検索することができる。また、傷の種類は、画像ファイル中のEXIF領域に記録されており、各画像ファイルを解析することで、検索することができる。
なお、EXIF領域の解析には比較的長い時間が必要であるので、各画像ファイルと傷の種類との対応関係を示すインデックスファイルを事前に生成してメモリカード11の所定の領域に記憶させておき、このインデックスファイルに対する検索処理によって、指定された傷の種類と同一の傷の種類の情報が付与された画像ファイルを検索するようになっていてもよい。また、傷の種類の情報はEXIF領域に記録されるものと説明したが、傷の種類の情報をファイル名に含めるようにしてもよく、この場合には、傷の種類およびランクを検索キーにしてファイル名の検索を行うことで、簡単に判定支援画像を得ることができる。
なお、CPU21は、判定支援画像を現在指定されている検査フォルダ中から検索するものと説明したが、同一階層の他の検査フォルダ内から検索してもよく、あるいは上位階層の他の検査フォルダ内から検索してもよい。
CPU21は、検査者が指定した傷の種類及び傷のランクを検索キーとした検索では判定支援画像が検索できなかった場合には、処理をステップS5からステップS11に移行して、検査者によって指定された傷の種類及びランクを確定してその情報を静止画の画像ファイルに付与して、メモリカード11に記憶する。
CPU21は、検索の結果、該当する画像ファイルが存在した場合には、ステップS6において、LCD4の表示画面4a上に判定支援画像を表示する。
図8はこの場合の表示例を示しており、表示画面4a上に検査画像64と過去画像から抽出された判定支援画像65とが表示される。なお、現在の検査画像64は、図6及び図7の検査画像61に対応するものであり、クラック64aはクラック61aに対応する。判定支援画像65には、ブレードに生じたクラック65aの画像部分が含まれる。
更に、CPU21は、表示画面4aの下端に、検査者の評価判定の判断が正しかったか否かを指示するための判定指示表示66を表示する。図8の例では、判定指示表示66として、別の判定支援画像を表示させるための「別画像」、検査者の評価判定の判断が正しかったことを示す「OK」及び検査者の現在の評価判定を採用せず評価判定を再度実施することを示す「NG」の3種類の指示表示が表示されている。図8では、実線は選択されている指示表示を示し、破線は選択されていない指示表示を示している。
検査者は、現在検査画像64のクラック64aの状態と抽出された判定支援画像65のクラック65aの状態を比較することで、傷の種類及びランクについての自己の評価判定が正しかったか否かを判断する。検査者は、他の判定支援画像を見たい場合には、指示表示66の「別画像」を選択して実行させる。
CPU21は、ステップS7において、ユーザの操作があったか否かを判定している。ユーザ操作があった場合には、CPU21は、ステップS8において判定支援画像の変更操作であるかを判定し、ステップS9において自己の評価判定の正誤の指示操作であるかを判定する。ユーザが「別画像」の指示操作を行うと、CPU21は、ステップS8からステップS10に移行して、別の判定支援画像があるか否かを判定する。別の判定支援画像が存在する場合には、CPU21はステップS6に処理を戻して、別の判定支援画像を表示させる。なお、別の判定支援画像が存在しない場合には、CPU21はステップS7に処理を戻して、ユーザ操作の待機状態となる。
ユーザが図8の「NO」の指示操作を行うと、CPU21は、ステップS9からステップS3に処理を戻す。即ち、CPU21は、ステップS3,S4において、ユーザに再度傷の種類及びランクを選択させる。CPU21は、ユーザが指定した傷の種類及びランクに対応した過去画像を再度抽出して表示させ、評価判定が正しかったか否かをユーザが判断するための支援を行う。
ユーザが図8の「OK」の指示操作やRECボタンの押下操作を行うと、CPU21は、ステップS9からステップS11に処理を移行して、検査者が指定した傷の種類及びランク(判定結果)を確定して検査結果とする。CPU21は、撮像ユニット41からの検査画像(静止画)の画像ファイルに確定した傷とランクの情報を付加してメモリカード11に記録する。こうして、検査者は、現在取得している検査画像と同一の傷の種類及びランクの過去画像とを比較することによって、評価基準に適合した検査を比較的容易に行うことができる。
なお、図6から図8ではユーザの選択操作等のためのボタン表示を表示画面4aの下端に表示させる例を示したが、これらの表示はポップアップウィンドウやプルダウンメニューなどの各種表示方法によって表示してもよい。
また、図6から図8の選択及び指示操作は、操作部5だけでなくタッチパネル32を用いて行うこともできる。例えば、ジョイスティック5aに代えて、所謂、十字キー、上下左右キー等でもよい。さらに、LCD4の表示画面4a上にソフトウエアで生成された十字キー、上下左右キー等を表示させてタッチパネル32による操作によって、選択及び指定操作を行ってもよい。
なお、上述した説明では、判定支援画像の表示方法として、検査画像を左側、判定支援画像を右側に表示する例について説明したが、以下の各表示及びその組み合わせによる表示を採用してもよい。
検査画像と判定支援画像のいずれかの画像を拡大(ズーム)したりスクロール表示にて見る位置を切り替える。
検査画像と判定支援画像の一方の画像を全面表示し、他方の画像を一方の画像上に透過することなく子画面表示する。
検査画像と判定支援画像の一方の画像表示領域を拡大し、他方の画像を縮小して表示する。
検査画像と判定支援画像とで画像表示位置の左右、上下を切り替えて表示する。
検査画像と判定支援画像の画像を回転させて表示する。
検査画像と判定支援画像の一方の画像上に、他方の画像を透過させて重ねて表示する。
このように本実施の形態においては、撮影されて取得された検査画像に対して検査者が指定した傷の種類及びランクに対応する過去画像を表示させており、検査者が検査の評価基準に適合した評価判定を行うことを支援することができる。
(変形例)
図9は変形例を示すフローチャートである。図9において図4と同一の手順には同一符号を付して説明を省略する。上述した実施の形態においては、判定支援画像として過去画像を検索して表示する例について説明した。本変形例は、判定支援画像として過去画像だけでなくリファレンス画像も表示すると共に、表示順に優先順位を付けた例を示している。
図4はステップS5によって、傷の種類及びランクに一致する判定支援画像の有無を判定したが、本変形例の図9ではステップS15~S17によって判定を行う。ステップS15において、CPU21は同一機材について傷の種類及びランクに一致する過去の検査画像が存在するか否かを判定する。CPU21は、ステップS5において同一機材について同一部位の判定支援画像が存在する場合には、当該判定支援画像をLCD4の表示画面4a上に表示する(ステップS6)。
同一機材についての同一部位の判定支援画像が存在しない場合には、CPU21は次のステップS16において、検査する機材と同じタイプの機材について傷の種類及びランクに一致する同一部位の過去の検査画像が存在するか否かを判定し、存在する場合には当該判定支援画像を表示画面4a上に表示する。
同一タイプ機材についての同一部位の判定支援画像が存在しない場合には、CPU21は、次のステップS17において、傷の種類及びランクに一致する同一部位のリファレンス画像が存在するか否かを判定し、存在する場合には当該判定支援画像を表示画面4a上に表示する。CPU21はステップS17において同一部材のリファレンス画像が存在しないと判定した場合には、処理をステップS11に移行する。
なお、図9の例では同一部位の過去画像、またはリファレンス画像が存在する場合にのみ判定支援画像として表示する例を説明したが、異なる部位についての過去画像、またはリファレンス画像が存在する場合においてもこの画像を判定支援画像として表示するようにしてもよい。
他の作用は図4と同様である。
なお、判定支援画像としていずれの種類の画像を表示されているかを明確にするために、判定支援画像上に、「同一機材」、「同タイプ機材」、「リファレンス」等の文字表示を表示させるようにしてもよい。このような表示によって検査者が判定支援画像として表示している画像の種類を誤認識することを防ぐことができる。
このように本変形例では、判定支援画像として、同一機材の判定支援画像、同タイプ機材の判定支援画像、リファレンス画像の順で選択して表示する。同一機材の同一部位の過去画像は、検査時に検査画像と見比べた場合には、評価判定が極めてやりやすいと考えられ、検査基準として用いる画像として極めて有効である。一方、必ずしも同一機材の同一部位の過去画像が存在するとは限らないので、同一機材でなくても同一タイプ機材の過去画像を判定支援画像として採用し、更に、リファレンス画像も利用することで、検査の評価基準として用いる画像がなくて評価基準が曖昧になることを防止することができる。
(変形例)
図10は変形例を示すフローチャートである。図10において図4と同一の手順には同一符号を付して説明を省略する。上述した実施の形態においては、ステップS3においてユーザによる傷の種類の指定を受け付けた。本変形例は、傷の種類の指定の間違いを防止するために、傷の種類の選択を支援する代表画像を表示させるものである。
図10はステップS3に代えてステップS21~S23によって、傷の種類の指定を可能にするものである。CPU21は、ステップS2において、検査部位の静止画を取得して表示すると、ステップS21において、例えば傷の種類の選択のための選択表示を表示させて、ユーザによる傷の種類の選択操作を受け付ける。ユーザが傷の種類を指定すると、CPU21は、メモリカード11に記録されている傷の種類についての代表画像を読み出して、LCD4の表示画面4a上に表示させる(ステップS22)。
図11は代表画像の表示例を示す説明図である。図11においては、表示画面4aの左側に現在の検査画像64が表示され、右側に代表画像71が表示される。表示画面4aの下端には、傷の種類を選択するための選択表示72が表示されている。選択表示72では、傷の種類として、クラック、へこみ、はがれ、欠け、腐食の5種類を指定可能な例を示している。図11では実線によってユーザが選択していることを示し、破線はユーザが選択していないことを示している。図11の例ではユーザが傷の種類として「欠け」を選択した例を示しており、「欠け」の代表画像71が表示されている。代表画像71は、傷の位置を明確にするために傷を囲む円表示73が表示されている。
ユーザは、検査画像と代表画像とを比較することで、傷の種類についての自分の指定が正しかったか否かの判断が容易となる。図11の例では、検査画像64のクラック64aと円表示73において囲った「欠け」とは傷の種類が異なることが明確であり、ユーザは自分の傷の指定が間違っていたことを容易に判断することができる。
ユーザは検査画像の傷と代表画像の傷とを参照することで、自分の傷の指定が間違っていたものと判断すると、傷の選択の指定のやり直しのための操作を行う。CPU21は、ユーザが自分の判断が正しかったか否かについてのユーザ操作を受け付けており、ステップS23において、指定が間違っていたことを示すユーザ操作があったものと判定すると、処理をステップS21に戻して、傷の種類に対するユーザの指定操作を受け付ける。CPU21は、ユーザが自分の判断が正しかったことを示すユーザ操作があったものと判定すると、処理をステップS23からステップS4に移行して、傷の種類についてユーザによって指定された傷の種類を確定し、次に傷のランクの指定操作を受け付ける。
他の作用は図4と同様である。
このように本変形例では、傷の代表画像を表示させていることから、ユーザが傷の種類の選択を間違うことを防止することができる。
なお、上述した説明では、代表画像の表示方法として、検査画像を左側、代表画像を右側に表示する例について説明したが、検査画像と判定支援画像との表示の場合と同様に、上述した各種表示及びその組み合わせを採用してもよい。
(第2の実施の形態)
図12は第2の実施の形態を示すブロック図である。図12において図2と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は、画像データの記録先として、外部機器であるサーバ上の記録媒体を採用する例を示しており、検査画像、過去画像及びリファレンス画像の全部又は一部をサーバ上の記録媒体に記憶させるものである。なお、サーバ側に検査画像、過去画像及びリファレンス画像の全てを記録させる場合には、本体部2に装着するメモリカードや本体部2に内蔵する図示しないメモリは省略してもよい。
サーバからの画像の転送には、本体部2内のバス24を介した画像転送よりも低速の無線伝送路等が採用される。このため、過去画像の読み出しに比較的長時間を要し、画像転送時間によって検査時間が長時間となることがある。そこで、本実施の形態においては、必要と考えられる過去画像を推定して、サーバから本体部2に事前に転送しておくことで、検査時間の短縮を図るものである。
本体部2には、バス24に接続されたI/F75を介して無線通信部76が接続されている。無線通信部76は、外部機器との間で無線による通信が可能である。I/F75は、CPU21からのデータを無線通信部76に供給すると共に、無線通信部76の受信データをCPU21に供給するようになっている。
サーバ80は、CPU81を備えており、CPU81はサーバ80内の各部を制御する。サーバ80は無線通信部82を備えており、無線通信部82は本体部2の無線通信部76との間で無線通信を行って、データの授受を行う。CPU81は無線通信部82が受信したデータをハードディスクやメモリ媒体等により構成されるデータ蓄積部84に与えて記憶させると共に、データ蓄積部84から読み出したデータを無線通信部82を介して本体部2の無線通信部76に送信させることができるようになっている。
CPU81は、本体部2のCPU21から検査画像の記録先である検査フォルダについての指示が発生すると、当該指示に基づいてデータ蓄積部84を制御する。これにより、データ蓄積部84に、所定の検査フォルダを作成することができると共に、検査画像の記録先のフォルダをユーザ操作に基づいて切換えることもできるようになっている。
CPU81は、本体部2から検査画像が送信されると、この検査画像をデータ蓄積部84に与えて、ユーザにより指定された検査フォルダに記録する。また、CPU81は、本体部2から判定支援画像や代表画像等の転送要求が発生した場合には、これらの画像の抽出のための情報を画像抽出部83に与えて、これらの画像の抽出を指示する。画像抽出部83は、CPU81に制御されて、データ蓄積部84から画像を抽出して、CPU81に与える。CPU81は、抽出された画像を無線通信部82を介して本体部2に転送するようになっている。
更に、本実施の形態においては、CPU81は、無線通信部82,76を介して受信されたデータに基づいて、データ蓄積部84から読み出すべきデータを予測し、画像抽出部83によってデータ蓄積部84から予測したデータを抽出させて、本体部2に転送するようになっている。
例えば、CPU81は、本体部2のCPU21から検査画像の記録先である検査フォルダが指定されると、当該検査フォルダに格納されている過去画像のうち傷が生じていることを示すランクの情報(ファイルマーク)が付加させている画像ファイルの読み出しを画像抽出部83に指示する。画像抽出部83によって指定された画像ファイルが抽出されると、CPU81は、抽出された画像ファイルを無線通信部82,76を介して本体部2に転送する。この場合には、本体部2のCPU21は、転送された画像ファイルを例えばRAM23に格納しておくようになっている。これにより、CPU21は、検査画像と過去画像とを表示する場合には、RAM23に記憶されている過去画像を読み出して表示に用いればよく、サーバ80からの画像読み出しに要する時間により検査時間が増大することを抑制することができる。
次に、このように構成された実施の形態の動作について図13を参照して説明する。図13は第2の実施の形態の動作を説明するためのフローチャートである。図13において図4と同一の手順には同一符号を付して説明を省略する。
図13のステップS1において、ユーザが検査フォルダを指定すると、CPU21は、指定された検査フォルダの情報を無線通信部76を介してサーバ80に送信する。CPU81は、無線通信部82を介して検査フォルダの情報が与えられると、以後、本体部2から送信される検査画像を指定された検査フォルダに記録するように設定する。
更に、本実施の形態においては、CPU81は、CPU21が判定支援画像の検索を行う前に、画像抽出部83を制御して、指定された検査フォルダに格納されている過去画像のうち、傷等が生じている検査対象の画像を抽出させる。画像抽出部83は、例えば、ファイル名に含まれるファイルマークによって、抽出する画像を検索する。CPU81は、画像抽出部83によって抽出された画像を無線通信部82を介して本体部2に転送する(ステップS31)。本体部2のCPU21は、転送された過去画像を例えばRAM23に記憶させる。
ユーザは、ライブ画像を見ながら検査部位に到達したか否かを確認しながら、挿入部7の先端部8を移動させて検査部位を探す。挿入部7が検査部位の撮影位置に到達すると、ユーザは、撮影部位を決定して撮影のためのフリーズボタンの押下操作を行う。ユーザの検査フォルダの指定操作から検査部位の撮影操作を行うまでの期間は比較的長く、CPU21は、この間に過去画像の多くを本体部2に転送することができる。
ステップS3,S4において、ユーザが傷の種類及びランクを指定すると、CPU21はこの傷の種類及びランクを検索キーとして、RAM23に格納されている過去画像から傷の種類及びランクが一致する画像を判定支援画像として抽出して、LCD4の表示画面4a上に表示する。サーバ30のデータ蓄積部84内の検査フォルダに記録されている過去画像のうち判定支援画像として表示される可能性のある画像については事前にRAM23に転送されており、ユーザによる傷の種類とランクの指定から比較的短時間に、判定支援画像を表示画面4a上に表示することができる。
CPU21は、ステップS11において画像ファイルを記録する処理を行う。この場合には、CPU21は、記録すべき情報を無線通信部76を介してサーバ80に転送する。サーバ80のCPU81は、検査画像の画像ファイルをデータ蓄積部84に与えて対応する検査フォルダに記録させる。
CPU21は、ステップS11において画像ファイルを記録する処理が終了すると、次のステップS32において検査終了の指示が行われたか否かを判定する。検査終了が指示された場合には処理を終了し、指示されていない場合にはステップS33において、検査部位に対応する検査フォルダの指定が変更されたか否かを判定する。検査フォルダが変更されていない場合には処理をステップS2に戻して、次の検査画像(静止画)について、同様の処理を繰り返す。検査フォルダが変更された場合には、CPU21は、処理をステップS34に移行して、サーバ80から転送されたRAM23に格納された検査画像(静止画)を消去し、ユーザによって新たに指定された検査フォルダの情報をサーバ80のCPU81に転送する。
他の作用は図4と同様である。
このように本実施の形態においては、画像ファイル等のデータを本体部から外部機器に転送して記録する。この場合において、例えば検査フォルダが指定されると、外部機器の指定された検査フォルダに格納されている過去画像のうち、傷等の異常を有する検査対象の過去画像を抽出して、事前に本体部に転送する。これにより、本体部は、判定支援画像の表示を比較的短時間に行うことができ、検査時間を短縮することができる。
本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウエアやソフトウエア・ルーチンに1対1には対応しない。上記各実施の形態では、各機能を有する仮想的回路ブロック(部)を想定して実施の形態を説明した。また、本実施の形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施の形態における各手順の各ステップの全てあるいは一部をハードウエアにより実現してもよい。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
1…内視鏡装置、2…本体部、3…スコープユニット、4…LCD、5…操作部、6…ユニバーサルケーブル、7…挿入部、8…先端部、9…湾曲部、10…光学アダプタ、11…メモリカード。

Claims (15)

  1. 撮像部によって取得された検査画像に対する評価判定の判定結果を受け付ける操作部と、
    前記判定結果の情報に基づいて、データ蓄積部に保存されている判定支援画像を検索して抽出する制御部と、
    抽出された前記判定支援画像を前記検査画像と共に表示部に表示させる表示制御部とを具備し
    前記判定支援画像は、検査対象物の傷の種類及び傷のランクの情報が付与された過去の検査画像又は傷の種類及び傷のランクの基準として作成されたリファレンス画像であり、
    前記表示制御部は、前記撮像部が前記検査画像を取得した機材と同一機材について過去に取得された検査画像、前記機材と同じタイプの機材について過去に取得された検査画像、前記リファレンス画像の優先順で前記判定支援画像を表示する
    ことを特徴とする内視鏡装置。
  2. 前記制御部は、前記撮像部が検査画像を取得した検査部位の情報及び前記判定結果の情報に基づいて前記判定支援画像を検索して抽出することを特徴とする請求項1に記載の内視鏡装置。
  3. 前記操作部は、前記評価判定の判定結果の修正を受け付け、
    前記制御部は、修正された前記判定結果に基づいて、前記判定支援画像を再検索して抽出し、
    前記表示制御部は、再検索されて抽出された前記判定支援画像を表示に用いることを特徴とする請求項1に記載の内視鏡装置。
  4. 前記操作部は、前記評価判定の判定結果の確定操作を受け付け、
    前記制御部は、確定された前記判定結果の情報を前記検査画像に付与して記録させることを特徴とする請求項3に記載の内視鏡装置。
  5. 前記操作部は、前記判定支援画像の切換え操作を受け付け、
    前記表示制御部は、前記判定支援画像の切換え操作に応じて、表示する前記判定支援画像を切換えることを特徴とする請求項1に記載の内視鏡装置。
  6. 前記判定結果は、検査対象物の傷の種類及び傷のランクを示すものであることを特徴とする請求項1に記載の内視鏡装置。
  7. 前記操作部は、前記検査画像を記録する検査フォルダの指定を受け付け、
    前記制御部は、前記判定結果の情報が付与された検査画像を指定された検査フォルダに格納させることを特徴とする請求項4に記載の内視鏡装置。
  8. 前記表示制御部は、表示する前記判定支援画像が、前記同一機材についてのものか前記同じタイプの機材についてのものか前記リファレンス画像であるかを示す表示を行うことを特徴とする請求項に記載の内視鏡装置。
  9. 前記データ蓄積部に保存されている判定支援画像には、異常箇所の位置を示すマークが付与されており、
    前記表示制御部は、前記判定支援画像の表示に際して、前記マークを表示又は非表示に設定することを特徴とする請求項1に記載の内視鏡装置。
  10. 前記表示制御部は、検査対象物の傷の種類の評価判定に際して、傷の種類毎に作成された複数の代表画像のうち評価判定された傷の種類に応じた代表画像を前記表示部に表示させることを特徴とする請求項6に記載の内視鏡装置。
  11. 請求項1に記載の内視鏡装置と、
    前記内視鏡装置とネットワークを介して接続されたサーバと、を含み、
    前記データ蓄積部は、前記サーバに設けられていることを特徴とする内視鏡システム。
  12. 前記内視鏡装置は、メモリを具備し、
    前記サーバは、前記判定結果の情報に基づく前記判定支援画像の検索及び抽出処理の前に、前記データ蓄積部に保存されている前記判定支援画像を前記内視鏡装置に転送して前記メモリに記憶させることを特徴とする請求項11に記載の内視鏡システム。
  13. 前記制御部は、前記サーバから転送されて前記メモリに記憶された前記判定支援画像に対して検索及び抽出処理を行うことを特徴とする請求項12に記載の内視鏡システム。
  14. 前記制御部は、前記メモリに前記判定支援画像を記憶させる場合には以前に記憶されていた前記判定支援画像を消去することを特徴とする請求項12に記載の内視鏡システム。
  15. 操作部によって、撮像部によって取得された検査画像に対する評価判定の判定結果を受け付け、
    制御部によって、前記判定結果の情報に基づいて、データ蓄積部に保存されている判定支援画像を検索して抽出し、
    表示制御部によって、抽出された前記判定支援画像を前記検査画像と共に表示部に表示させる検査方法において、
    前記判定支援画像は、検査対象物の傷の種類及び傷のランクの情報が付与された過去の検査画像又は傷の種類及び傷のランクの基準として作成されたリファレンス画像であり、
    前記表示制御部は、前記撮像部が前記検査画像を取得した機材と同一機材について過去に取得された検査画像、前記機材と同じタイプの機材について過去に取得された検査画像、前記リファレンス画像の優先順で前記判定支援画像を表示する
    ことを特徴とする検査方法。
JP2017180448A 2017-09-20 2017-09-20 内視鏡装置、内視鏡システム及び検査方法 Active JP7007139B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017180448A JP7007139B2 (ja) 2017-09-20 2017-09-20 内視鏡装置、内視鏡システム及び検査方法
US16/130,270 US10888216B2 (en) 2017-09-20 2018-09-13 Endoscope device, endoscope system and inspection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017180448A JP7007139B2 (ja) 2017-09-20 2017-09-20 内視鏡装置、内視鏡システム及び検査方法

Publications (2)

Publication Number Publication Date
JP2019056764A JP2019056764A (ja) 2019-04-11
JP7007139B2 true JP7007139B2 (ja) 2022-01-24

Family

ID=65719066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017180448A Active JP7007139B2 (ja) 2017-09-20 2017-09-20 内視鏡装置、内視鏡システム及び検査方法

Country Status (2)

Country Link
US (1) US10888216B2 (ja)
JP (1) JP7007139B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
JP7135568B2 (ja) 2018-08-13 2022-09-13 コニカミノルタ株式会社 画像検査装置、画像形成装置、及びプログラム
US11715558B2 (en) * 2019-06-25 2023-08-01 Bh2 Innovations Inc. Systems and methods for detecting defects in medical devices
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
US20220235669A1 (en) * 2021-01-28 2022-07-28 Baker Hughes Holdings Llc Turbine engine imaging
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle
JP2023039392A (ja) * 2021-09-08 2023-03-20 株式会社エビデント 検査支援方法、検査支援装置、検査支援システム、およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1820698A (zh) 2005-02-14 2006-08-23 奥林巴斯株式会社 内窥镜装置
JP2006337235A (ja) 2005-06-03 2006-12-14 Toppan Printing Co Ltd 目視検査支援システムおよび目視検査支援装置
JP2009169244A (ja) 2008-01-18 2009-07-30 Olympus Corp 画像記録装置、内視鏡検査システム、検査方法及びプログラム
US20120221569A1 (en) 2011-02-24 2012-08-30 Saichi Sato Endoscope inspection report creating apparatus, creating method of endoscope inspection report and storage medium
JP2014002320A (ja) 2012-06-20 2014-01-09 Olympus Corp 内視鏡装置、内視鏡画像記録用フォルダ生成方法及びプログラム
JP2016211955A (ja) 2015-05-08 2016-12-15 古河電気工業株式会社 橋梁点検支援装置、橋梁点検支援方法、橋梁点検支援システム、およびプログラム
JP2016209460A (ja) 2015-05-13 2016-12-15 オリンパス株式会社 内視鏡システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489811B2 (en) * 2004-10-08 2009-02-10 Siemens Energy, Inc. Method of visually inspecting turbine blades and optical inspection system therefor
JP4966056B2 (ja) 2007-03-12 2012-07-04 株式会社東芝 タービン内部構造物の検査装置及びこの装置を用いた検査方法
DE102011103003A1 (de) * 2011-05-24 2012-11-29 Lufthansa Technik Ag Verfahren und Vorrichtung zur Rissprüfung eines Flugzeug- oder Gasturbinen-Bauteils
DE102011114541A1 (de) * 2011-09-30 2013-04-04 Lufthansa Technik Ag Endoskopiesystem und korrespondierendesVerfahren zur Untersuchung von Gasturbinen
JP6242105B2 (ja) * 2013-07-30 2017-12-06 オリンパス株式会社 ブレード検査装置及びブレード検査方法
JP6420492B2 (ja) * 2015-09-28 2018-11-07 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
US11583349B2 (en) * 2017-06-28 2023-02-21 Intuitive Surgical Operations, Inc. Systems and methods for projecting an endoscopic image to a three-dimensional volume

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1820698A (zh) 2005-02-14 2006-08-23 奥林巴斯株式会社 内窥镜装置
JP2006337235A (ja) 2005-06-03 2006-12-14 Toppan Printing Co Ltd 目視検査支援システムおよび目視検査支援装置
JP2009169244A (ja) 2008-01-18 2009-07-30 Olympus Corp 画像記録装置、内視鏡検査システム、検査方法及びプログラム
US20120221569A1 (en) 2011-02-24 2012-08-30 Saichi Sato Endoscope inspection report creating apparatus, creating method of endoscope inspection report and storage medium
JP2014002320A (ja) 2012-06-20 2014-01-09 Olympus Corp 内視鏡装置、内視鏡画像記録用フォルダ生成方法及びプログラム
JP2016211955A (ja) 2015-05-08 2016-12-15 古河電気工業株式会社 橋梁点検支援装置、橋梁点検支援方法、橋梁点検支援システム、およびプログラム
JP2016209460A (ja) 2015-05-13 2016-12-15 オリンパス株式会社 内視鏡システム

Also Published As

Publication number Publication date
US10888216B2 (en) 2021-01-12
JP2019056764A (ja) 2019-04-11
US20190082943A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
JP7007139B2 (ja) 内視鏡装置、内視鏡システム及び検査方法
US10832812B2 (en) Endoscope inspection report creating apparatus, creating method of endoscope inspection report and storage medium
JP6000679B2 (ja) 内視鏡装置、内視鏡画像記録用フォルダ生成方法及びプログラム
US20160179305A1 (en) Inspection image display apparatus, inspection image display method and storage medium
JP4759638B2 (ja) リアルタイムなカメラ辞書
US20110066979A1 (en) Nondestructive testing apparatus
JP4128275B2 (ja) 翻訳機能付カメラ
US9047395B2 (en) Endoscope apparatus and method for storing endoscopic image
US8432439B2 (en) Endoscope apparatus and method of inputting character string
JP4561465B2 (ja) 画像編集装置
JP6635680B2 (ja) 内視鏡装置及び内視鏡装置の設定方法
US20110216207A1 (en) Display control apparatus, method thereof and storage medium
JP6242075B2 (ja) 内視鏡装置及び内視鏡画像記録用フォルダの表示方法
CN103514343B (zh) 内窥镜检查报告生成装置和内窥镜检查报告生成方法
CN104655636B (zh) 热像分析装置、配置装置和热像分析方法、配置方法
JP4468525B2 (ja) 内視鏡システム
JP2018007082A (ja) 画像再生装置およびその制御方法およびプログラム
JP2022136108A (ja) 支援装置、表示方法、及び、コンピュータプログラム
JP6917688B2 (ja) 帳票読取装置、帳票読取方法、プログラム、および帳票読取システム
JP2001120499A (ja) 内視鏡画像表示装置
CN111614853A (zh) 信息处理装置、信息处理方法及计算机可读记录介质
JP6232237B2 (ja) 採点支援プログラム及び採点支援方法
JP2010191907A (ja) 文字入力装置および文字入力方法
JPH08272932A (ja) 画像ファイル装置
JP5445648B2 (ja) 画像表示装置、画像表示方法、およびそのプログラム。

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200722

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220106

R151 Written notification of patent or utility model registration

Ref document number: 7007139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350