JP6064084B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP6064084B2
JP6064084B2 JP2016509227A JP2016509227A JP6064084B2 JP 6064084 B2 JP6064084 B2 JP 6064084B2 JP 2016509227 A JP2016509227 A JP 2016509227A JP 2016509227 A JP2016509227 A JP 2016509227A JP 6064084 B2 JP6064084 B2 JP 6064084B2
Authority
JP
Japan
Prior art keywords
image signal
region
interest
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016509227A
Other languages
English (en)
Other versions
JPWO2016017695A1 (ja
Inventor
智樹 岩崎
智樹 岩崎
鈴木　達彦
達彦 鈴木
橋本　進
進 橋本
祐二 久津間
祐二 久津間
敏裕 濱田
敏裕 濱田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP6064084B2 publication Critical patent/JP6064084B2/ja
Publication of JPWO2016017695A1 publication Critical patent/JPWO2016017695A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、被写体が映る映像部分と余白部分とを有する画像信号を処理する画像処理装置に関する。
医療分野においては、被検体内を撮像する内視鏡と、Ｘ線による診断あるいは超音波による診断を行う診断装置とを組み合わせて、Ｘ線画像または超音波画像と、内視鏡画像とを併用して診断する場合がある。近年、Ｘ線画像または超音波画像を映すモニタと、内視鏡画像用モニタとの二つのモニタを見比べながら診断する医師等の操作者の負担を軽減するために、内視鏡プロセッサにＸ線画像または超音波画像を入力し、内視鏡画像画面と、Ｘ線画像または超音波画像が表示される画面との二つの画面を親子画面として、一つのモニタに同時表示させる方法が提案されている（たとえば、特許文献１参照）。
特開２０００−３０８６４３号公報
ところで、内視鏡プロセッサに外部から入力されるＸ線画像または超音波画像は、出力先のＸ線装置や超音波診断装置によって、画像全体の大きさに対して、操作者が関心を持つ被写体が映る映像部分が占める大きさが異なり、画像上の病変部等が観察しにくくなる。このため、操作者は、診断を適切に行うために、ポインティングデバイス等を操作して、Ｘ線画像または超音波画像における映像部分の領域を指定するとともに、指定した領域をＸ線画像または超音波画像から切り出して、映像部分の大きさを設定するという煩雑な処理を行う必要があった。
本発明は、上記に鑑みてなされたものであって、入力された画像信号から、被写体が映る映像部分に対応する関心領域を表した画像を取得するまでの操作者の操作負担を軽減する画像処理装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、被写体が映る映像部分と、前記映像部分の周囲に設けられる余白部分とを有する第１の画像信号を処理する画像処理装置であって、前記第１の画像信号における前記余白部分を検出する余白検出部と、前記余白検出部によって検出された余白部分をもとに、前記第１の画像信号における前記映像部分に対応する初期の関心領域を設定する関心領域設定部と、前記関心領域設定部が設定した前記初期の関心領域を表す関心領域画像信号を生成する関心領域画像生成部と、を備えたことを特徴とする。
また、本発明にかかる画像処理装置は、前記関心領域画像生成部は、前記第１の画像信号から、前記関心領域設定部によって設定された前記初期の関心領域を切り出す切り出し部と、前記切り出し部が前記第１の画像信号から切り出した前記初期の関心領域を、前記第１の画像信号の表示対象に対応させて拡大あるいは縮小した画像を、前記関心領域画像信号として生成する拡大縮小部と、を備えたことを特徴とする。
また、本発明にかかる画像処理装置は、前記関心領域画像信号と、前記第１の画像信号とは異なる種別の第２の画像信号とを並べて合成した合成画像信号を生成し、出力する合成部を備えたことを特徴とする。
また、本発明にかかる画像処理装置は、前記関心領域画像生成部は、前記関心領域設定部によって設定された前記初期の関心領域を囲む枠を前記第１の画像信号に重ねて表した画像信号を、前記関心領域画像信号として生成し、出力することを特徴とする。
また、本発明にかかる画像処理装置は、前記枠の大きさの変更を受け付け、変更後の前記枠が囲む領域を、前記第１の画像信号の表示対象に表示させる関心領域として指示する関心領域指示情報の入力を受け付ける関心領域指示入力部と、前記第１の画像信号から、前記関心領域指示入力部から入力された前記関心領域指示情報をもとに前記関心領域を切り出す切り出し部と、前記切り出し部が切り出した前記関心領域の拡大または縮小を指示する拡大縮小指示情報の入力を受け付ける拡大縮小指示入力部と、前記拡大縮小指示入力部から入力された前記拡大縮小指示情報をもとに、前記切り出し部が切り出した前記関心領域を拡大あるいは縮小した画像信号を生成する拡大縮小部と、を備えたことを特徴とする。
また、本発明にかかる画像処理装置は、前記拡大縮小部によって生成された画像信号と、前記第１の画像信号とは異なる種別の第２の画像信号とを並べて合成した合成画像信号を生成し、出力する合成部をさらに備えたことを特徴とする。
また、本発明にかかる画像処理装置は、前記第１の画像信号は、Ｘ線画像信号または超音波画像信号であって、前記第２の画像信号は、内視鏡画像信号であることを特徴とする。
また、本発明にかかる画像処理装置は、前記第１の画像信号は、Ｘ線画像信号または超音波画像信号であることを特徴とする。
本発明によれば、被写体が映る映像部分と該映像部分の周囲に設けられる余白部分とを有する第１の画像信号における余白部分を検出する余白検出部と、余白検出部によって検出された余白部分をもとに、映像部分に対応する初期の関心領域を設定する関心領域設定部と、関心領域設定部が設定した初期の関心領域を表す関心領域画像信号を生成する関心領域画像生成部と、を備え、映像部分に対応した関心領域を表した画像を自動的に生成するため、入力された画像信号から、関心領域を表した画像を取得するまでの操作者の操作負担を軽減することができる。
図１は、本発明の実施の形態１にかかる処理装置の構成を模式的に示すブロック図である。 図２は、図１に示す処理装置が、Ｘ線画像信号と内視鏡画像信号とに対応する画像を表示装置に表示させるまでの処理手順を示すフローチャートである。 図３は、図１に示す処理装置に入力されるＸ線画像信号の一例を示す図である。 図４は、図２に示す余白検出処理を説明するための図である。 図５は、図２に示すステップＳ３〜ステップＳ５を説明する図である。 図６は、図１に示す合成部が生成した合成画像信号の一例を示す図である。 図７は、従来技術にかかる処理装置が生成した合成画像信号の一例を示す図である。 図８は、図１に示す合成部が生成した合成画像信号の他の例を示す図である。 図９は、実施の形態２にかかる処理装置の構成を模式的に示すブロック図である。 図１０は、図９に示す処理装置が、初期の関心領域を表す関心領域提示画像を表示装置に表示させるまでの処理手順を示すフローチャートである。 図１１は、関心領域画像信号に対応する画像の一例を示す図である。 図１２は、図９に示す処理装置が、Ｘ線画像信号と内視鏡画像信号との合成画面像を表示装置に表示させるまでの処理手順を示すフローチャートである。 図１３は、図１２に示すステップＳ２２〜ステップＳ２４を説明するための図である。 図１４は、図９に示す合成部が生成した合成画像信号の一例を示す図である。 図１５は、Ｘ線画像信号における関心領域を設定するために表示装置に表示される画像の一例を示す図である。
以下の説明では、本発明を実施するための形態（以下、「実施の形態」という）として、内視鏡画像とＸ線画像とを表示装置に表示させる処理装置について説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。
（実施の形態１）
図１は、本発明の実施の形態１にかかる処理装置の構成を模式的に示すブロック図である。
図１に示すように、本実施の形態１にかかる処理装置１は、被検体内に導入され、被検体の体内を撮像して内視鏡画像信号を生成する撮像部２１を備えた内視鏡２（スコープ）と、照明光Ｌを生成してライトガイドケーブル２２を介して内視鏡２の先端に供給する光源装置３と、液晶または有機ＥＬ（Electro Luminescence）を用いた表示ディスプレイ等を用いて構成される表示装置４と、Ｘ線画像信号を生成するＸ線装置５と、に接続し、内視鏡２から入力された内視鏡画像信号に所定の画像処理を施すとともに、Ｘ線装置５から入力されたＸ線画像信号についても所定の画像処理を施し、画像処理後の内視鏡画像信号およびＸ線画像信号を並べて合成した合成画像信号に対応する画像を、表示装置４に表示させる。処理装置１は、Ｘ線画像信号に対応する画像が表示される画面と、内視鏡画像信号が表示される画面との二つの画面を親子画面として表した合成画像信号を、表示装置４の表示画面に表示させる。処理装置１は、内視鏡２、光源装置３および表示装置４の動作についても制御を行う。
処理装置１は、入力部１１と、制御部１２と、画像処理部１３と、表示制御部１４と、出力部１５と、記憶部１６と、を備える。
入力部１１は、マウス、キーボードおよびタッチパネル等の操作デバイスを用いて実現され、各種指示情報の入力を受け付ける。具体的には、入力部１１は、内視鏡２およびＸ線装置５が検査を行っている被検体の情報（たとえばＩＤ、生年月日、名前等）、内視鏡２の識別情報（たとえばＩＤや検査対応項目）、Ｘ線装置５の識別番号、および、検査内容等の各種指示情報の入力を受け付ける。
制御部１２は、ＣＰＵ等を用いて実現される。制御部１２は、処理装置１の各部の処理動作を制御する。制御部１２は、処理装置１の各構成に対する指示情報やデータの転送等を行うことによって、処理装置１の動作を制御する。制御部１２は、各ケーブルを介して撮像部２１、光源装置３の各構成部位および表示装置４に接続されており、撮像部２１、光源装置３および表示装置４の動作についても制御を行う。
画像処理部１３は、制御部１２の制御のもと、撮像部２１によって生成された内視鏡画像信号およびＸ線装置５から入力されたＸ線画像信号に対し、所定の信号処理を行う。画像処理部１３は、余白検出部１３ａと、関心領域切り出し部１３ｂ（関心領域設定部および切り出し部）と、拡大縮小部１３ｃと、内視鏡画像処理部１３ｄと、合成部１３ｅとを備える。Ｘ線画像信号は、操作者が関心を持つ被写体が写る映像部分と、映像部分の周囲に設けられる余白部分とを有する画像信号である。余白部分は、輝度または色が均一な均一領域である。
余白検出部１３ａは、Ｘ線画像信号における輝度または色の変化を検出することによって、Ｘ線画像信号における余白部分を検出する。
関心領域切り出し部１３ｂは、余白検出部１３ａによって検出されたＸ線画像信号の余白部分をもとに、Ｘ線画像信号における映像部分に対応した初期の関心領域を設定するとともに、該設定した初期の関心領域をＸ線画像信号から切り出す。
拡大縮小部１３ｃは、関心領域切り出し部１３ｂがＸ線画像信号から切り出した初期の関心領域を、Ｘ線画像信号の表示対象である表示装置５のＸ線画像表示画面の大きさに対応させて、拡大あるいは縮小した画像信号を、初期の関心領域を表す関心領域画像信号として生成する。
内視鏡画像処理部１３ｄは、内視鏡２から入力された内視鏡画像信号に対し、オプティカルブラック減算処理、ゲイン調整処理、画像信号の同時化処理、ガンマ補正処理、ホワイトバランス（ＷＢ）調整処理、カラーマトリクス演算処理、色再現処理およびエッジ強調処理等を含む各種画像処理を行う。
合成部１３ｅは、拡大縮小部１３ｃによって生成された関心領域画像信号と、内視鏡画像処理部１３ｄにおいて処理が施された内視鏡画像信号とを並べて合成した合成画像信号を生成し、出力する。
表示制御部１４は、合成部１３ｅが出力した合成画像信号から、表示装置４に表示させるための表示用画像信号を生成し、生成した表示用画像信号を、デジタル信号からアナログ信号に変換後、変換したアナログ信号の画像信号をハイビジョン方式等のフォーマットに変更して、表示装置４へ出力する。なお、表示制御部１４の機能の一部が、表示装置４に備わる場合もある。
出力部１５は、スピーカーやプリンタ等を用いて実現され、制御部１２の制御にしたがい、内視鏡画像信号およびＸ線画像信号の表示処理に関する情報を出力する。
記憶部１６は、揮発性メモリや不揮発性メモリを用いて実現され、処理装置１、内視鏡２および光源装置３を動作させるための各種プログラムを記憶する。記憶部１６は、処理装置１の処理中の情報を一時的に記憶する。記憶部１６は、処理装置１の外部から装着されるメモリカード等を用いて構成されてもよい。
図２は、処理装置１が、Ｘ線画像信号と内視鏡画像信号とに対応する画像を表示装置４に表示させるまでの処理手順を示すフローチャートである。図２に示すように、まず、処理装置１においては、画像処理部１３が、Ｘ線装置５から入力されたＸ線画像信号を取得するＸ線画像取得処理を行う（ステップＳ１）。
図３は、処理装置１に入力されるＸ線画像信号の一例を示す図である。図３に示すように、Ｘ線装置５から入力されるＸ線画像信号Ｇｘは、被写体が映る映像部分Ｓｇを有するとともに、映像部分Ｓｇの周囲に、輝度または色が均一な均一領域である余白部分Ｓｂを有する。
画像処理部１３においては、余白検出部１３ａがＸ線画像信号Ｇｘの余白部分を検出する余白検出処理を行う（ステップＳ２）。
たとえば、余白検出部１３ａは、Ｘ線画像信号Ｇｘの外周部から、段階的に所定の領域の色変化を検出することによって、余白部分を検出する。図４は、余白検出部１３ａによる余白検出処理を説明するための図である。図４に示すように、Ｘ線画像信号Ｇｘが表示される画面の表示領域の形状と相似である枠Ｆ１〜Ｆ４が複数設定されており、余白検出部１３ａは、この枠Ｆ１〜Ｆ４の外側の領域Ｓｆ１〜Ｓｆ４の色または輝度が均一である否かを、領域Ｓｆ１〜Ｓｆ４ごとに検出していく。余白検出部１３ａは、各領域Ｓｆ１〜Ｓｆ４の画素信号をもとに、判断対象の領域Ｓｆ１〜Ｓｆ４において色または輝度が均一であると判断した場合には、判断対象の領域Ｓｆ１〜Ｓｆ４は、余白部分であると検出する。一方、余白検出部１３ａは、判断対象の領域Ｓｆ１〜Ｓｆ４において色または輝度が不均一と判断した場合には、判断対象の領域Ｓｆ１〜Ｓｆ４に映像部分が含まれると判断し、領域Ｓｆ１〜Ｓｆ４に対応する枠Ｆ１〜Ｆ４よりも一つ外側にある枠の外側部分が余白部分であると判断して、余白検出処理を終了する。図４の例では、枠Ｆ１の外側の領域Ｓｆ１、枠Ｆ２の外側であって枠Ｆ１の内側の領域Ｓｆ２、ならびに、枠Ｆ３の外側であって枠Ｆ２の内側の領域Ｓｆ３については、色または輝度が均一である。一方、枠Ｆ４の外側であって枠Ｆ３の内側の領域Ｓｆ４については、色または輝度が不均一である。このため、余白検出部１３ａは、領域Ｓｆ４は余白部分ではなく、映像部分に対応する領域であると判断し、枠Ｆ３よりも外側の領域が余白部分であると検出する。
また、余白検出部１３ａは、Ｘ線画像信号Ｇｘに対して、上から順に水平ラインを走査し、水平方向の輝度データ、色データを画素ごとに取得し、輝度データ、色データの変化の有無をもとに、余白部分を検出してもよい。たとえば、余白検出部１３ａは、Ｘ線画像信号Ｇｘの水平ライン１〜５０までは、いずれの画素についても輝度または色の変化が認められず均一である場合には、水平ライン１〜５０に対応する領域は余白部分であると判断する。余白検出部１３ａは、水平ライン５１において、１〜３０，２５１〜３００画素までは色または輝度の変化がなく均一であり、３１〜２５０画素で輝度または色の変化がある場合には、水平ライン５１の３１〜２５０画素に対応する領域は、映像部分であると判断する。このように、余白検出部１３ａは、水平ラインごとに、各画素の輝度および色の走査を繰り返し、輝度または色が均一である部分を余白部分として検出する。
続いて、画像処理部１３においては、関心領域切り出し部１３ｂが、余白検出部１３ａによって検出された余白部分をもとに、Ｘ線画像信号Ｇｘにおける映像部分に対応する初期の関心領域を設定する関心領域設定処理を行い（ステップＳ３）、Ｘ線画像信号Ｇｘから、関心領域設定処理において設定した初期の関心領域を切り出す関心領域切り出し処理を行う（ステップＳ４）。続いて、拡大縮小部１３ｃは、関心領域切り出し部１３ｂが関心領域切り出し処理においてＸ線画像信号Ｇｘから切り出した初期の関心領域を、Ｘ線画像信号Ｇｘの表示対象の大きさに対応させて、拡大あるいは縮小する拡大縮小処理を行い（ステップＳ５）、拡大または縮小後のＸ線画像信号を、初期の関心領域を表す関心領域画像信号として生成する。拡大縮小部１３ｃは、生成した関心領域画像信号を合成部１３ｅに出力する。
図５は、図２に示すステップＳ３〜ステップＳ５を説明する図である。図４のように、余白検出部１３ａが、Ｘ線画像信号Ｇｘの余白部分Ｓｂが、枠Ｆ３よりも外側の領域であると検出した場合、関心領域切り出し部１３ｂは、図５の（１）のように、この枠Ｆ３で囲まれた領域を、映像部分Ｓｇを含む初期の関心領域として設定する。続いて、関心領域切り出し部１３ｂは、矢印Ｙ１に示すように、この設定した領域を、枠Ｆ３とともにＸ線画像信号Ｇｘから切り出す。続いて、拡大縮小部１３ｃは、関心領域切り出し部１３ｂが切り出した領域の画像信号Ｇｃ（図５の（２）参照）を、Ｘ線画像信号Ｇｘが表示される画面（親画面Ｆｘ）の表示領域の大きさに対応させて、矢印Ｙ２のように、拡大する。この結果、図５の（３）に示すように、画像全体に占める余白部分Ｓｂｍの比率が小さくなり、映像部分Ｓｇｍが元の大きさよりも大きく表されたＸ線画像信号Ｇｍが生成される。なお、枠Ｆ３も親画面Ｆｘと同じ大きさの枠Ｆ３ｘに拡大される。拡大縮小部１３ｃは、このＸ線画像信号Ｇｍを、初期の関心領域を表す関心領域画像信号として、合成部１３ｅに出力する。
画像処理部１３は、ステップＳ１において取得したＸ線画像信号Ｇｘの撮像タイミングに対応して内視鏡２によって撮像された内視鏡画像信号を取得する内視鏡画像取得処理を行い（ステップＳ６）、内視鏡画像処理部１３ｄにおいて、この取得した内視鏡画像信号に所定の画像処理を施した後、合成部１３ｅに出力する。なお、ステップＳ１〜ステップＳ５と、ステップＳ６とは、順不同であってもよく、並列であってもよい。
合成部１３ｅは、拡大縮小部１３ｃによって生成された関心領域画像信号と、内視鏡画像処理部１３ｄにおいて処理が施された内視鏡画像信号とを並べて合成した合成画像信号を生成し、出力する合成処理を行う（ステップＳ７）。
図６は、合成部１３ｅが生成した合成画像信号の一例を示す図である。図６に示すように、合成部１３ｅは、拡大縮小部１３ｃから出力された関心領域画像信号であるＸ線画像信号Ｇｍを、右側の親画面Ｆｘ内に配置させ、内視鏡画像処理部１３ｄから出力された内視鏡画像信号Ｇｓを、左側の子画面Ｆｓ内に配置した親子画面像Ｇｄを生成し、表示制御部１４に出力する。表示制御部１４は、合成部１３ｅが生成した親子画面像Ｇｄを表示用画像信号に変換して表示装置４に表示させる合成画像表示処理を行う（ステップＳ８）。合成部１３ｅが合成する一方のＸ線画像信号Ｇｍは、入力された元のＸ線画像信号Ｇｘと比較し、映像部分Ｓｇｍに対応する初期の関心領域が大きく表示されたものであり、画像全体に占める余白部分Ｓｂｍの比率が小さいものであるため、親画面Ｆｘには、映像部分Ｓｇｍが大きく映しだされたＸ線画像が表示されることとなる。図５および図６の例では、拡大縮小部１３ｃは、画像信号Ｇｃを拡大した場合について説明したが、もちろん、拡大するだけに限らない。拡大縮小部１３ｃは、画像信号Ｇｃが親画面Ｆｘよりも大きい場合には、親画面Ｆｘに画像信号Ｇｃ全体が入るように画像信号Ｇｃを親画面Ｆｘの大きさに合わせて縮小して、操作者がＸ線画像の映像部分全体を確認できるようにしてもよい。
ここで、従来では、 外部のＸ線装置から入力されるＸ線画像信号Ｇｘを、そのままの状態で内視鏡画像信号Ｇｓと並べて合成していたため、図７に示す親子画面像Ｇｄｐのように、画像全体に占める映像部分Ｓｇの比率が小さいまま表示されてしまい、操作者は、病変部等を観察しにくかった。
これに対し、本実施の形態１では、合成部１３ｅが合成するＸ線画像信号Ｇｍは、入力された元のＸ線画像信号Ｇｘと比較し、画像全体に占める映像部分Ｓｇｍに対応する領域の比率が大きいため、親画面Ｆｘには映像部分Ｓｇｍが大きく映しだされる。もちろん、拡大縮小部１３ｃは、表示装置４における親画面Ｆｘの大きさに合わせて画像信号Ｇｃを縮小させることもできるため、表示装置４では、初期の関心領域の全てが親画面Ｆｘ内に収まるように自動的に表示される。
このように、実施の形態１では、入力されたＸ線画像信号Ｇｘから、操作者が関心を持つ映像部分に対応する初期の関心領域を適切に表した画像を自動的に表示する。したがって、実施の形態１によれば、この初期の関心領域を確認するまでの操作者による操作負担を格段に軽減できるとともに、操作者によるＸ線画像における映像部分全体の観察を適切に支援できる。
なお、合成部１３ｅは、図６に示す親子画面像Ｇｄに限らず、Ｘ線画像信号Ｇｍを親子画面の子画面Ｆｓ内に配置させ、内視鏡画像信号Ｇｓを親子画面の親画面Ｆｘ内に配置した親子画面像を生成してもよい。また、合成部１３ｅは、図８に示すように、ほぼ同じ大きさの画面Ｆｓａ，Ｆｘａに、それぞれＸ線画像信号Ｇｍａおよび内視鏡画像信号Ｇｓを配置した画面像Ｇｄａを生成してもよい。
（実施の形態２）
次に、実施の形態２について説明する。図９は、実施の形態２にかかる処理装置の構成を模式的に示すブロック図である。
図９に示すように、実施の形態２にかかる処理装置２０１は、処理装置１と比して、入力部１１、制御部１２および画像処理部１３に代えて、入力部２１１、制御部１２と同様の機能を有する制御部２１２、画像処理部２１３を備える。
入力部２１１は、入力部１１と同様の機能を有するとともに、関心領域指示入力部２１１ａおよび拡大縮小指示入力部２１１ｂを備える。関心領域指示入力部２１１ａは、操作者の指示にしたがって、表示用の関心領域を指示する関心領域指示情報の入力を受け付ける。拡大縮小指示入力部２１１ｂは、操作者の指示にしたがって、後述する関心領域切り出し部２１３ｃが切り出した表示用の関心領域の拡大または縮小を指示する拡大縮小指示情報の入力を受け付ける。
画像処理部２１３は、余白検出部１３ａ、関心領域提示画像生成部２１３ｂ（関心領域画像生成部）、関心領域切り出し部２１３ｃ（切り出し部）、拡大縮小部２１３ｄ、内視鏡画像処理部１３ｄ、および、合成部１３ｅを備える。
関心領域提示画像生成部２１３ｂは、余白検出部１３ａによって検出された余白部分をもとに、Ｘ線画像信号Ｇｘにおける映像部分に対応する初期の関心領域を設定するとともに、該設定した初期の関心領域を囲む枠を、Ｘ線画像信号Ｇｘに重ねて表した関心領域提示画像信号（関心領域画像信号）を生成し、出力する。表示制御部１４は、関心領域提示画像生成部２１３ｂが出力した関心領域提示画像信号に対応する画像を表示装置４に表示させる。操作者は、画像における枠の領域を確認することによって、映像部分に対応する初期の関心領域を把握することができる。操作者は、さらに、入力デバイスを操作して、枠の大きさを所望の大きさに変更し、変更後の枠が囲む領域を、表示装置４の表示画面に表示させる領域（表示用の関心領域）として指示する。関心領域指示入力部２１１ａは、枠の大きさの変更を受け付け、変更後の枠が囲む領域を表示用の関心領域として指示する関心領域指示情報を、制御部２１２を介して、画像処理部２１３に入力する。
関心領域切り出し部２１３ｃは、関心領域指示入力部２１１ａから入力された関心領域指示情報をもとに、Ｘ線画像信号Ｇｘから表示用の関心領域を切り出す。表示制御部１４は、関心領域切り出し部２１３ｃが切り出した表示用の関心領域に対応する画像を表示装置４に表示させる。操作者は、入力デバイスを操作して、自身が指示した関心領域を、所望の大きさに拡大または縮小するように指示する。この操作者の操作によって、拡大縮小指示入力部２１１ｂは、表示用の関心領域に対する拡大または縮小を指示する拡大縮小指示情報の入力を受け付け、制御部２１２を介して、画像処理部２１３に拡大縮小指示情報を入力する。拡大縮小部２１３ｄは、拡大縮小指示入力部２１１ｂから入力された拡大縮小指示情報をもとに、関心領域切り出し部２１３ｃが切り出した表示用の関心領域を拡大あるいは縮小したＸ線画像信号を生成して、合成部１３ｅに出力する。合成部１３ｅは、拡大縮小部２１３ｄによって生成されたＸ線画像信号と、内視鏡画像処理部１３ｄにおいて処理が施された内視鏡画像信号Ｇｓとを並べて合成した合成画像信号を生成し、出力する。
図１０は、処理装置２０１が、初期の関心領域を表す関心領域提示画像を表示装置４に表示させるまでの処理手順を示すフローチャートである。図１０に示すステップＳ１１およびステップＳ１２は、図２に示すステップＳ１およびステップＳ２である。
関心領域提示画像生成部２１３ｂは、余白検出部処理によって検出された余白部分をもとに、Ｘ線画像信号Ｇｘにおける映像部分に対応する初期の関心領域を設定する関心領域設定処理を行う（ステップＳ１３）。関心領域提示画像生成部２１３ｂは、関心領域設定処理において設定した初期の関心領域を囲む枠を、Ｘ線画像信号Ｇｘに重ねて表した画像を、関心領域提示画像信号として生成する関心領域提示画像生成処理を行う（ステップＳ１４）。
図１１は、関心領域提示画像信号に対応する画像の一例を示す図である。図１１に示すように、関心領域提示画像生成部２１３ｂは、余白検出部１３ａの検出結果をもとに、枠Ｗｘで囲まれる領域を初期の関心領域として設定し、この枠ＷｘをＸ線画像信号Ｇｘに重ねて表した画像信号Ｇｗを関心領域提示画像信号として生成する。表示制御部１４は、関心領域提示画像生成部２１３ｂが生成した関心領域提示画像信号に対応する画像を表示装置４に表示させる関心領域提示画像表示処理を行う（ステップＳ１５）。この結果、図１１に示す画像信号Ｇｗに対応する画像が、表示装置４の表示画面に表示される。
図１２は、処理装置２０１が、Ｘ線画像信号Ｇｘと内視鏡画像信号Ｇｓとの合成画像信号を表示装置４に表示させるまでの処理手順を示すフローチャートである。前述した図１０のステップＳ１５において、関心領域提示画像信号である画像信号Ｇｗに対応する画像が、表示装置４の表示画面に表示されるため、操作者は、入力デバイスを操作して、初期の関心領域を囲む枠Ｗｘの大きさを変更し、変更後の枠が囲む領域を、表示用の関心領域として指示する。この結果、関心領域指示入力部２１１ａから、表示用の関心領域を指示する関心領域指示情報が、制御部２１２を介して、画像処理部２１３に入力される（ステップＳ２１）。
続いて、関心領域切り出し部２１３ｃは、関心領域指示情報をもとに、Ｘ線画像信号Ｇｘから、表示用の関心領域を切り出す関心領域切り出し処理を行う（ステップＳ２２）。この場合、図１３の（１）に示すように、表示制御部１４は、関心領域切り出し部２１３ｃが切り出した表示用の関心領域に対応する画像信号Ｇｆを表示画面の右側領域に表示させるとともに、各種の拡大縮小倍率を選択できるアイコン画像を表示画面の左側領域Ｒａに表示させる。操作者は、入力デバイスを操作して、画像信号Ｇｆに対する所望の倍率を選択する。
この結果、拡大縮小指示入力部２１１ｂから、画像信号Ｇｆに対する拡大または縮小を指示する拡大縮小指示情報が、制御部２１２を介して、画像処理部２１３に入力される（ステップＳ２３）。拡大縮小部２１３ｄは、拡大縮小指示情報をもとに、関心領域切り出し部２１３ｃが切り出した表示用の関心領域を拡大あるいは縮小したＸ線画像信号を生成して、合成部１３ｅに出力する（ステップＳ２４）。たとえば、図１３の（２）のように、１．２倍の拡大処理を指示するアイコン画像Ａｍが操作者に選択された場合には、拡大縮小部２１３ｄは、切り出した画像信号Ｇｆを１．２倍に拡大したＸ線画像信号Ｇｎを生成する。なお、拡大倍率または縮小倍率の選択用アイコンは、図１３の（１）、図１３の（２）で示す例に限らず、移動可能に各倍率が表示されるスクロールバーを表示させて、任意の倍率を選択できるようにしてもよい。
ステップＳ２５は、図２に示すステップＳ６である。続いて、合成部１３ｅは、拡大縮小部２１３ｄによって生成されたＸ線画像信号と、内視鏡画像処理部１３ｄにおいて処理が施された内視鏡画像信号Ｇｓとを並べて合成した合成画像信号を生成する合成処理を行う（ステップＳ２６）。ステップＳ２７は、図２に示すステップＳ８である。これによって、たとえば図１４に示すように、拡大縮小部２１３ｃから出力されたＸ線画像信号Ｇｎを親画面Ｆｘ内に配置させ、内視鏡画像処理部１３ｄから出力された内視鏡画像信号Ｇｓを子画面Ｆｓ内に配置した親子画面像Ｇｅが、表示装置４の表示画面に表示される。
この実施の形態２では、初期の関心領域を囲む枠ＷｘをＸ線画像信号Ｇｘに重ねて表した画像信号Ｇｗを生成して提示するため、操作者は、入力デバイスの操作を行わずとも、いずれの領域が映像部分に相当するかを表した画像を取得することができる。操作者は、この画像信号Ｇｗを確認するだけで、映像部分に対応する初期の関心領域を把握することができる。さらに、実施の形態２では、操作者は、提示された初期の関心領域の大きさを、所望の大きさに調整し、より観察に適した領域を表示用の関心領域として設定できる。さらに、操作者は、表示用の関心領域として切り出した画像信号を、自身が所望する倍率に設定することもできる。このため、実施の形態２によれば、Ｘ線画像信号Ｇｘの映像部分が、操作者が所望する領域および大きさで表された画像を生成できるため、操作者によるＸ線画像に対する観察を適切に支援できる。
なお、実施の形態２では、余白検出部１３ａの検出結果をもとに、初期の関心領域を囲む枠ＷｘをＸ線画像信号Ｇｘに重ねて表した画像信号Ｇｗを生成して表示させる場合を例に説明したが、もちろん、これに限らない。たとえば、図１５に示すように、常に一定の領域を囲む枠ＷｐをＸ線画像信号Ｇｘに重ねて表示した画像信号Ｇｐを生成してもよい。この場合も、処理装置２０１では、図１２のステップＳ２１〜ステップＳ２７に示す処理を行うことによって、Ｘ線画像信号Ｇｘの表示用の関心領域の範囲および大きさを調整後、Ｘ線画像信号および内視鏡画像信号を合成した画面像を表示装置に表示させる。すなわち、操作者は、入力デバイスを操作して画面上のカーソルＣを操作することによって、所望の位置および範囲に枠Ｗｐの位置および範囲を変更して表示用の関心領域を設定し、該設定した関心領域を所望の倍率で拡大または縮小することができる。
本実施の形態１，２では、処理装置１，２０１に入力される内視鏡画像以外の画像として、Ｘ線装置５から入力されるＸ線画像信号Ｇｘを例に説明したが、もちろん、Ｘ線画像信号に限らず、超音波診断装置から入力される超音波画像であってもよい。また、実施の形態１，２では、上記図２または図１０、図１２に示す各処理を行う画像処理部１３，２１３および表示制御部１４は、もちろん内視鏡システムの処理装置１，２０１に限らず、内視鏡画像信号と、Ｘ線画像信号または超音波画像信号とが入力される装置であれば、いずれの装置に設けてもよい。
また、本実施の形態１，２にかかる処理装置１，２０１で実行される各処理に対する実行プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよく、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
１ 処理装置
２ 内視鏡
３ 光源装置
４ 表示装置
５ Ｘ線装置
１１，２１１ 入力部
１２，２１２ 制御部
１３，２１３ 画像処理部
１３ａ 余白検出部
１３ｂ，２１３ｃ 関心領域切り出し部
１３ｃ，２１３ｄ 拡大縮小部
１３ｄ 内視鏡画像処理部
１３ｅ 合成部
１４ 表示制御部
１５ 出力部
１６ 記憶部
２１１ａ 関心領域指示入力部
２１１ｂ 拡大縮小指示入力部
２１３ｂ 関心領域提示画像生成部

Claims (12)

  1. 複数の画素信号から構成され、被写体が映る映像部分と、前記映像部分の周囲に設けられる余白部分とを有する第１の画像信号を処理する画像処理装置であって、
    前記複数の画素信号に基づいて、前記第１の画像信号における色または輝度が均一の部分を前記余白部分として検出する余白検出部と、
    前記余白検出部によって検出された前記余白部分をもとに、前記第１の画像信号における前記映像部分に対応する初期の関心領域を設定する関心領域設定部と、
    前記関心領域設定部が設定した前記初期の関心領域を表す関心領域画像信号を生成する関心領域画像生成部と、
    を備え、
    前記余白検出部は、前記第１の画像信号が表す画面の表示領域内において、互いに大きさが異なる相似形状の複数の枠を外周から段階的に設定し、該枠の外側の領域に属する画素信号の色または輝度が均一であるか否かに基づいて前記余白部分を検出することを特徴とする画像処理装置。
  2. 前記余白検出部は、前記複数の枠のうち、最外周に設けられた枠の外側に属する領域から前記余白部分の検出を行い、画素信号の色または輝度が不均一であることが検出されるまで余白検出対象枠を段階的に縮小させながら前記余白部分の検出を繰り返し行うことを特徴とする請求項１に記載の画像処理装置。
  3. 前記余白検出部は、画素信号の色または輝度が不均一であることを検出した際に用いた枠よりも一段階広い枠の外側に属する領域を、前記余白部分として検出することを特徴とする請求項２に記載の画像処理装置。
  4. 前記余白検出部は、前記複数の画素信号を、前記第１の画像信号が表す画面の水平ラインごとに走査し、該水平ラインにおける色または輝度が均一である部分を前記余白部分として検出することを特徴とする請求項１に記載の画像処理装置。
  5. 前記関心領域画像生成部は、
    前記第１の画像信号から、前記関心領域設定部によって設定された前記初期の関心領域を切り出す切り出し部と、
    前記切り出し部が前記第１の画像信号から切り出した前記初期の関心領域を、前記第１の画像信号の表示対象に対応させて拡大あるいは縮小した画像を、前記関心領域画像信号として生成する拡大縮小部と、
    を備えたことを特徴とする請求項１に記載の画像処理装置。
  6. 前記関心領域画像信号と、前記第１の画像信号とは異なる種別の第２の画像信号とを並べて合成した合成画像信号を生成し、出力する合成部を備えたことを特徴とする請求項１に記載の画像処理装置。
  7. 前記第１の画像信号は、Ｘ線画像信号または超音波画像信号であって、
    前記第２の画像信号は、内視鏡画像信号であることを特徴とする請求項６に記載の画像処理装置。
  8. 前記関心領域画像生成部は、前記関心領域設定部によって設定された前記初期の関心領域を囲む枠を前記第１の画像信号に重ねて表した画像信号を、前記関心領域画像信号として生成し、出力することを特徴とする請求項１に記載の画像処理装置。
  9. 前記関心領域設定部によって設定された前記初期の関心領域を囲む枠の大きさの変更を受け付け、変更後の前記関心領域の枠が囲む領域を、前記第１の画像信号の表示対象に表示させる関心領域として指示する関心領域指示情報の入力を受け付ける関心領域指示入力部と、
    前記第１の画像信号から、前記関心領域指示入力部から入力された前記関心領域指示情報をもとに前記関心領域を切り出す切り出し部と、
    前記切り出し部が切り出した前記関心領域の拡大または縮小を指示する拡大縮小指示情報の入力を受け付ける拡大縮小指示入力部と、
    前記拡大縮小指示入力部から入力された前記拡大縮小指示情報をもとに、前記切り出し部が切り出した前記関心領域を拡大あるいは縮小した画像信号を生成する拡大縮小部と、
    を備えたことを特徴とする請求項８に記載の画像処理装置。
  10. 前記拡大縮小部によって生成された画像信号と、前記第１の画像信号とは異なる種別の第２の画像信号とを並べて合成した合成画像信号を生成し、出力する合成部をさらに備えたことを特徴とする請求項９に記載の画像処理装置。
  11. 前記第１の画像信号は、Ｘ線画像信号または超音波画像信号であって、
    前記第２の画像信号は、内視鏡画像信号であることを特徴とする請求項１０に記載の画像処理装置。
  12. 前記第１の画像信号は、Ｘ線画像信号または超音波画像信号であることを特徴とする請求項１に記載の画像処理装置。
JP2016509227A 2014-07-30 2015-07-29 画像処理装置 Active JP6064084B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014154914 2014-07-30
JP2014154914 2014-07-30
PCT/JP2015/071511 WO2016017695A1 (ja) 2014-07-30 2015-07-29 画像処理装置

Publications (2)

Publication Number Publication Date
JP6064084B2 true JP6064084B2 (ja) 2017-01-18
JPWO2016017695A1 JPWO2016017695A1 (ja) 2017-04-27

Family

ID=55217593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016509227A Active JP6064084B2 (ja) 2014-07-30 2015-07-29 画像処理装置

Country Status (5)

Country Link
US (1) US10210610B2 (ja)
EP (1) EP3175773A4 (ja)
JP (1) JP6064084B2 (ja)
CN (1) CN106413516B (ja)
WO (1) WO2016017695A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6724173B2 (ja) * 2017-02-01 2020-07-15 富士フイルム株式会社 内視鏡システム及びその作動方法
CN110831487B (zh) * 2017-07-14 2022-06-10 富士胶片株式会社 医疗图像处理装置、内窥镜系统、诊断支持装置及医疗服务支持装置
NL2019493B1 (en) * 2017-09-06 2019-03-14 De Raadt Beheer B V Imaging device
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
JP7374224B2 (ja) * 2021-01-14 2023-11-06 コ，ジファン 内視鏡を用いた大腸検査ガイド装置
CN115439317A (zh) * 2021-06-03 2022-12-06 上海西门子医疗器械有限公司 用于x射线医疗设备的图像放大方法、系统和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5970384A (ja) * 1982-10-15 1984-04-20 Olympus Optical Co Ltd 内視鏡撮影装置
JP2004343155A (ja) * 2003-05-12 2004-12-02 Olympus Corp 映像信号処理装置
JP2008043604A (ja) * 2006-08-18 2008-02-28 Olympus Medical Systems Corp 内視鏡装置
WO2012140985A1 (ja) * 2011-04-11 2012-10-18 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 データ送信装置、著作権表示付加方法およびプログラム

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03290774A (ja) * 1990-04-06 1991-12-20 Fuji Facom Corp 文書画像の文章領域抽出装置
JPH04210041A (ja) * 1990-12-07 1992-07-31 Fuji Photo Optical Co Ltd 内視鏡画像撮影装置
US5268967A (en) * 1992-06-29 1993-12-07 Eastman Kodak Company Method for automatic foreground and background detection in digital radiographic images
US5889881A (en) * 1992-10-14 1999-03-30 Oncometrics Imaging Corp. Method and apparatus for automatically detecting malignancy-associated changes
US5548664A (en) * 1994-06-29 1996-08-20 Wang Laboratories, Inc. Automatic determination of blank pages and binary images' bounding boxes
JPH0965119A (ja) * 1995-06-14 1997-03-07 Minolta Co Ltd 画像処理装置
US5978519A (en) * 1996-08-06 1999-11-02 Xerox Corporation Automatic image cropping
US5995661A (en) * 1997-10-08 1999-11-30 Hewlett-Packard Company Image boundary detection for a scanned image
JP2000308643A (ja) 1999-04-28 2000-11-07 Olympus Optical Co Ltd 超音波診断装置
US6545743B1 (en) * 2000-05-22 2003-04-08 Eastman Kodak Company Producing an image of a portion of a photographic image onto a receiver using a digital image of the photographic image
US7212668B1 (en) * 2000-08-18 2007-05-01 Eastman Kodak Company Digital image processing system and method for emphasizing a main subject of an image
AU2002303150A1 (en) * 2001-03-26 2002-10-08 Cellomics, Inc. Methods for determining the organization of a cellular component of interest
US6751364B2 (en) * 2001-10-15 2004-06-15 Tyson Fresh Meats, Inc. Image analysis systems for grading of meat, predicting quality of meat and/or predicting meat yield of an animal carcass
WO2004103151A2 (en) * 2003-05-16 2004-12-02 Marc Shapiro Data entry system for an endoscopic examination
US7171058B2 (en) * 2003-07-31 2007-01-30 Eastman Kodak Company Method and computer program product for producing an image of a desired aspect ratio
CN1875381A (zh) * 2003-11-03 2006-12-06 布拉科成像S.P.A.公司 显示腔组织的系统和方法——腔观察器
US20060242669A1 (en) * 2005-04-20 2006-10-26 Jupiter Systems Display node for use in an audiovisual signal routing and distribution system
DE102005022550A1 (de) * 2005-05-17 2006-11-23 Siemens Ag Verfahren zur Nachbearbeitung wenigstens einer im Rahmen einer Untersuchung erstellten Filmaufnahme
JP2007102061A (ja) * 2005-10-07 2007-04-19 Olympus Corp 画像撮影装置
GB2431793B (en) * 2005-10-31 2011-04-27 Sony Uk Ltd Image processing
JP4754939B2 (ja) * 2005-11-01 2011-08-24 オリンパス株式会社 画像処理装置
JP2007274070A (ja) * 2006-03-30 2007-10-18 Pioneer Electronic Corp 映像信号処理装置、映像機器、及び、映像信号処理方法
US20080019574A1 (en) * 2006-07-20 2008-01-24 Anthony Scalise Machine-controlled image cropping with default
JP4848481B2 (ja) * 2006-09-04 2011-12-28 国立大学法人静岡大学 撮像装置
JP4388939B2 (ja) * 2006-09-25 2009-12-24 富士フイルム株式会社 画像再生装置ならびにその制御方法およびその制御プログラム
US8086007B2 (en) * 2007-10-18 2011-12-27 Siemens Aktiengesellschaft Method and system for human vision model guided medical image quality assessment
TWI353561B (en) * 2007-12-21 2011-12-01 Ind Tech Res Inst 3d image detecting, editing and rebuilding system
US9196080B2 (en) * 2008-02-05 2015-11-24 Disney Enterprises, Inc. Medial axis decomposition of 2D objects to synthesize binocular depth
US8471898B2 (en) * 2008-02-05 2013-06-25 Disney Enterprises, Inc. Medial axis decomposition of 2D objects to synthesize binocular depth
US8009921B2 (en) * 2008-02-19 2011-08-30 Xerox Corporation Context dependent intelligent thumbnail images
US8107678B2 (en) * 2008-03-24 2012-01-31 International Business Machines Corporation Detection of abandoned and removed objects in a video stream
US8284249B2 (en) * 2008-03-25 2012-10-09 International Business Machines Corporation Real time processing of video frames for triggering an alert
US8380008B2 (en) * 2008-05-02 2013-02-19 Apple Inc. Automatic image cropping
JP5129648B2 (ja) * 2008-05-13 2013-01-30 株式会社Ｐｆｕ 画像読取装置およびマーク検出方法
EP2366170B1 (en) * 2008-11-17 2013-01-02 Dolby Laboratories Licensing Corporation Media fingerprints that reliably correspond to media content with projection of moment invariants
JP2010147925A (ja) * 2008-12-19 2010-07-01 Sanyo Electric Co Ltd 撮像装置
JP5202283B2 (ja) * 2008-12-20 2013-06-05 三洋電機株式会社 撮像装置及び電子機器
JP4538075B1 (ja) * 2009-02-27 2010-09-08 株式会社東芝 クロスカラードット妨害低減回路、クロスカラードット妨害低減機能を持つ映像装置、およびクロスカラードット妨害低減方法
US9087125B2 (en) * 2009-08-10 2015-07-21 Pixel Forensics, Inc. Robust video retrieval utilizing video data
JP2011139296A (ja) * 2009-12-28 2011-07-14 Sony Corp 映像信号処理装置及び映像信号処理方法
US8964013B2 (en) * 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
US8401339B1 (en) * 2010-01-06 2013-03-19 Marseille Networks, Inc. Apparatus for partitioning and processing a digital image using two or more defined regions
JP2012084125A (ja) * 2010-09-14 2012-04-26 Sanyo Electric Co Ltd 画像表示装置
US9013489B2 (en) * 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
JP5488548B2 (ja) * 2011-08-04 2014-05-14 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9025836B2 (en) * 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
JP6157138B2 (ja) * 2012-03-30 2017-07-05 キヤノン株式会社 画像処理装置
US9071842B2 (en) * 2012-04-19 2015-06-30 Vixs Systems Inc. Detection of video feature based on variance metric
JP5605956B2 (ja) * 2012-05-31 2014-10-15 京セラドキュメントソリューションズ株式会社 画像読取装置および画像形成装置
JP2014038229A (ja) * 2012-08-17 2014-02-27 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
JP6230291B2 (ja) * 2013-06-21 2017-11-15 オリンパス株式会社 内視鏡用の画像処理装置、内視鏡システムおよび内視鏡用の画像処理方法
US9454798B2 (en) * 2013-08-23 2016-09-27 Adobe Systems Incorporated Systems and methods of automatic image sizing
US20150135137A1 (en) * 2013-11-12 2015-05-14 Microsoft Corporation User Experience for Processing and Cropping Images
US9342881B1 (en) * 2013-12-31 2016-05-17 Given Imaging Ltd. System and method for automatic detection of in vivo polyps in video sequences
KR101918081B1 (ko) * 2014-04-17 2018-11-13 에이치피프린팅코리아 유한회사 화상형성장치 및 화상형성방법
US9864925B2 (en) * 2016-02-15 2018-01-09 Ebay Inc. Digital image presentation
US10482640B2 (en) * 2016-04-07 2019-11-19 Casio Computer Co., Ltd. Image processing apparatus for clipping a part of an image and displaying same
US9881207B1 (en) * 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5970384A (ja) * 1982-10-15 1984-04-20 Olympus Optical Co Ltd 内視鏡撮影装置
JP2004343155A (ja) * 2003-05-12 2004-12-02 Olympus Corp 映像信号処理装置
JP2008043604A (ja) * 2006-08-18 2008-02-28 Olympus Medical Systems Corp 内視鏡装置
WO2012140985A1 (ja) * 2011-04-11 2012-10-18 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 データ送信装置、著作権表示付加方法およびプログラム

Also Published As

Publication number Publication date
JPWO2016017695A1 (ja) 2017-04-27
EP3175773A4 (en) 2018-10-10
US20170084031A1 (en) 2017-03-23
CN106413516B (zh) 2018-01-23
CN106413516A (zh) 2017-02-15
EP3175773A1 (en) 2017-06-07
US10210610B2 (en) 2019-02-19
WO2016017695A1 (ja) 2016-02-04

Similar Documents

Publication Publication Date Title
JP6064084B2 (ja) 画像処理装置
EP1700560B1 (en) Endoscope apparatus
EP3357407A1 (en) Endoscope image processing device
JP2006268120A (ja) 医用画像表示装置
US9795277B2 (en) Monitor apparatus
JP2017227775A (ja) 表示装置、およびその制御方法
JP5974205B1 (ja) 画像処理装置、画像処理装置の作動方法
JP2010091723A (ja) ビデオ信号処理システム及びその方法
JP2011110281A (ja) 電子内視鏡装置
US20150279030A1 (en) Image Processing Apparatus, Image Processing Method, And Non-Transitory Storage Medium Storing Program
JP5728814B2 (ja) 画像表示装置および画像処理方法
JP2017199974A (ja) 撮像装置、表示装置及び画像処理装置
US10058238B2 (en) Video output apparatus
JP5789369B2 (ja) Ｘ線画像表示装置
JP5322570B2 (ja) 医用画像処理装置
JP2006234718A (ja) Ｘ線検査装置
JP2018182550A (ja) 画像処理装置
JP2012048392A (ja) 画像処理装置および方法
JP2006003425A (ja) 画像表示装置及び画像表示システム
JP4858532B2 (ja) 投射型表示装置及びその画像表示方法
JP5283890B2 (ja) 画像表示装置及びその制御方法
JP5024476B2 (ja) 投射型表示装置、投射型表示装置の画像表示方法
JP2018125746A (ja) 画像出力装置、その制御方法およびプログラム
JP2016146879A (ja) 信号処理装置
JP2010039125A (ja) 画像表示装置及びその画像表示方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161219

R151 Written notification of patent or utility model registration

Ref document number: 6064084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250