JPWO2016189622A1 - 画像処理装置、医用観察システムおよび画像処理プログラム - Google Patents

画像処理装置、医用観察システムおよび画像処理プログラム Download PDF

Info

Publication number
JPWO2016189622A1
JPWO2016189622A1 JP2017520096A JP2017520096A JPWO2016189622A1 JP WO2016189622 A1 JPWO2016189622 A1 JP WO2016189622A1 JP 2017520096 A JP2017520096 A JP 2017520096A JP 2017520096 A JP2017520096 A JP 2017520096A JP WO2016189622 A1 JPWO2016189622 A1 JP WO2016189622A1
Authority
JP
Japan
Prior art keywords
image
color
hue
pixel
color component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017520096A
Other languages
English (en)
Other versions
JP6557724B2 (ja
Inventor
元裕 三田村
元裕 三田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2016189622A1 publication Critical patent/JPWO2016189622A1/ja
Application granted granted Critical
Publication of JP6557724B2 publication Critical patent/JP6557724B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6075Corrections to the hue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本発明の画像処理装置(1)は、カラーの原画像から各画素の色相情報および明度情報をそれぞれ取得する色相取得部(12)および明度取得部(13)と、複数の色相範囲のうち、各画素の色相情報が属する色相範囲と対応付けられた色成分を当該画素の変換先色成分として選択する色成分選択部(14)と、各画素の色成分のうち色成分選択部(14)によって選択された変換先色成分に明度取得部(13)によって取得された明度情報に基づく階調値を付与した色変換画像を生成する色変換画像生成部(15)とを備える。

Description

本発明は、画像処理装置、医用観察システムおよび画像処理プログラムに関するものである。
従来、内視鏡画像内の被写体の識別性を高めるために、内視鏡画像の各画素の色情報をRGB形式からHSV形式に変換し、得られた色相値、彩度値および明度値に基づいて色情報をコード化する内視鏡の補助診断装置が知られている(例えば、特許文献1参照。)。
特開2013−094562号公報
しかしながら、色情報をコード化することによって内視鏡画像内の被写体の形態情報が失われるので、コード化された画像からは被写体の形態を観察することができないという問題がある。
本発明は、上述した事情に鑑みてなされたものであって、原画像に含まれる被写体の形態情報を維持しつつ、被写体の高い識別性を確保した画像を提供することができる画像処理装置、医用観察システムおよび画像処理プログラムを提供することを目的とする。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の第1の態様は、外部装置から受信されたカラーの原画像から各画素の色相情報を取得する色相取得部と、前記原画像から各画素の明度情報を取得する明度取得部と、前記色相情報に基づいて前記原画像の各画素の変換先色成分を予め設定された複数の色成分の中から選択する色成分選択部と、前記原画像の各画素の前記明度情報を前記色成分選択部によって選択された変換先色成分に割り当てることによって色変換画像を生成する色変換画像生成部とを備え、前記色成分選択部は、色相を色相閾値によって区分した複数の色相範囲のうち、前記各画素の色相情報が属する色相範囲と対応付けられた前記変換先色成分を選択し、前記色変換画像生成部が、前記明度取得部によって取得された明度情報に基づく階調値を色変換画像における前記選択された変換先色成分に対応する各画素に付与することで、前記色変換画像を生成する画像処理装置である。
本発明の第1の態様によれば、外部から原画像が入力されると、原画像の各画素の色相情報が色相取得部によって取得され、取得された色相に基づいて各画素の変換先色成分が色成分選択部によって選択され、選択された変換先色成分に応じた色相に各画素の色相が色変換画像生成部によって変換される。これにより、フルカラーの原画像から、変換先色成分のみを使用した色変換画像が生成される。
この場合に、原画像内に含まれる複数種類の被写体が同系色であったとしても、色相は被写体間に差がある。したがって、一の被写体に対応する画素の色相情報と他の被写体に対応する画素の色相情報とは別々の色相範囲に属し、複数種類の被写体は色変換画像において別々の変換先色成分で表示される。これにより、色変換画像において被写体の高い識別性を確保することができる。
さらに、原画像内の被写体の形態情報は、原画像の各画素の色を構成する3要素、すなわち色相、彩度および明度のうち、主に明度に含まれる。したがって、色変換画像の各画素の階調値を、明度取得部によって取得された原画像の各画素の明度情報に基づく値とすることによって、原画像に含まれる被写体の形態情報を維持した色変換画像を生成することができる。
上記第1の態様においては、前記原画像から各画素の彩度情報を取得する彩度取得部を備え、前記色成分選択部は、前記彩度取得部によって取得された前記彩度情報が分布する範囲を所定の彩度閾値によって区分した複数の彩度範囲のうち、前記各画素の彩度情報が属する彩度範囲と対応付けられた変換先色成分を選択してもよい。
このようにすることで、色相が類似していて色相のみに基づく分離が困難な被写体同士を彩度の違いに基づいて区別し、色変換画像において別々の色相で表示することができる。
上記第1の態様においては、前記原画像と前記色変換画像とを重畳して重畳画像を生成する重畳画像生成部を備えていてもよい。
このようにすることで、被写体のさらに明確な形態情報を含む重畳画像を生成することができる。
上記第1の態様においては、前記重畳画像生成部が、前記原画像に対する重みが前記色変換画像に対する重みよりも大きくなるように、前記原画像および前記色変換画像の各々に重みを付して重畳してもよい。
このようにすることで、色変換画像を原画像に重畳することによる重畳画像内の被写体の色の変化を抑制することができる。
本発明の第2の態様は、生体をカラー撮影して生体画像を取得する観察装置と、該観察装置から前記生体画像を前記原画像として受信する上記いずれかに記載の画像処理装置とを備える医用観察システムである。
本発明の第2の態様によれば、観察装置によって取得された生体画像から画像処理装置において色変換画像が生成される。この場合に、生体画像内には、赤系統の色を有する複数種類の組織および臓器が含まれる。色変換画像においては、このような同系色の複数種類の組織および臓器が別々の色相で表示されるので、生体画像においては識別が困難な複数種類の組織および臓器を、色変換画像においては容易に識別することができる。さらに、色変換画像を用いて被写体の形態も観察することができる。
本発明の第3の態様は、カラーの原画像から各画素の色相情報を取得する色相取得工程と、前記原画像から各画素の明度情報を取得する明度取得工程と、前記色相情報に基づいて前記原画像の各画素の変換先色成分を予め設定された複数の色成分の中から選択する色成分選択工程と、前記原画像の各画素の前記明度情報を前記色成分選択部によって選択された変換先色成分に割り当てることによって色変換画像を生成する色変換画像生成工程とをコンピュータに実行させ、前記色成分選択工程において、色相を色相閾値によって区分した複数の色相範囲のうち、前記各画素の色相情報が属する色相範囲と対応付けられた前記変換先色成分を選択し、前記色変換画像生成において、前記明度取得工程によって取得された明度情報に基づく階調値を色変換画像における前記選択された変換先色成分に対応する各画素に付与することで、前記色変換画像を生成する画像処理プログラムである。
本発明によれば、原画像に含まれる被写体の形態情報を維持しつつ、被写体の高い識別性を確保した画像を提供することができるという効果を奏する。
本発明の第1の実施形態に係る医用観察システムの全体構成図である。 図1の医用観察システムにおける画像処理装置の機能を示すブロック図である。 色相、彩度および明度からなる色空間を説明する図である。 色相−彩度平面における生体画像の色の分布の一例を示す図である。 生体画像の一例を示す図である。 図5の生体画像から生成される色変換画像の一例である。 図1の画像処理装置による処理を示すフローチャートである。 本発明の第2の実施形態に係る医用観察システムにおける画像処理装置の機能を示すブロック図である。 生体画像の他の例を示す図である。 図9の生体画像から生成される色変換画像の一例である。 色相−彩度平面における生体画像の色の分布の他の例を示す図である。 図8の画像処理装置による処理を示すフローチャートである。 本発明の第3の実施形態に係る医用観察システムにおける画像処理装置の機能を示すブロック図である。
(第1の実施形態)
以下に、本発明の第1の実施形態に係る画像処理装置1およびこれを備える医用観察システム100について図1から図7を参照して説明する。
本実施形態に係る医用観察システム100は、図1に示されるように、照明光を出力する光源2と、生体内に挿入され生体内を観察する内視鏡(外部装置、観察装置)3と、該内視鏡3によって取得された生体画像を処理する画像処置装置1と、該画像処置装置1から出力された画像を表示する表示部4とを備えている。
内視鏡3は、その先端3aに設けられた照明レンズ31および対物レンズ32と、撮像素子33とを備えている。照明レンズ31は、光源2からライトガイド34を介して供給された照明光を、先端3a前方へ向かって射出する。対物レンズ32は、先端3aと対向する生体組織Sから入射した光を、対物レンズ32の基端側に配置された撮像素子33の撮像面に結像する。
撮像素子33は、例えば、カラーCCDまたはカラーCMOSであり、撮像素子33によって取得されるRGBフルカラーの生体画像の各画素は、RGB形式の色情報を有する。すなわち、生体画像の各画素は、Rチャネル、Gチャネル、Bチャネルを有し、各チャネルは所定の階調数(例えば、256階調)を有する。撮像素子33は、取得した生体画像を画像処理装置1へ送信する。
画像処理装置1は、図2に示されるように、撮像素子33から生体画像(原画像)を受信する受信部11と、生体画像から各画素の色相情報を取得する色相取得部12と、生体画像から各画素の明度情報を取得する明度取得部13と、生体画像の各画素の変換先色成分を2つの色成分の中から選択する色成分選択部14と、生体画像の各画素の色相を変換先色成分に変換して色変換画像を生成する色変換画像生成部15と、色変換画像を表示部4へ送信する送信部16とを備えている。
画像処理装置1は、例えば、汎用のコンピュータであり、中央演算処理装置(CPU)と、RAMのような主記憶装置と、補助記憶装置とを備えている。補助記憶装置は、コンピュータ読み取り可能な非一時的な記憶媒体であり、画像処理プログラムを記憶している。CPUが、補助記憶装置から主記憶装置に画像処理プログラムを呼び出して該画像処理プログラムを実行することによって、色相取得部12、明度取得部13、色成分選択部14および色変換画像生成部15の機能が実現されるようになっている。あるいは、画像処理装置1は、各部12,13,14,15による後述の処理をそれぞれ実行する専用のハードウェア(ASIC)を備えていてもよい。
色相取得部12は、受信部11によって受信された生体画像の各画素の色情報をRGB形式から色相、彩度、明度の円筒座標系からなる色空間座標に変換し、各画素の色相値を得る。色相取得部12は、得られた全画素の色相値を色成分選択部14に送信する。
明度取得部13は、受信部11によって受信された生体画像の各画素の色情報をRGB形式から上述の色相・彩度・明度形式の色空間座標に変換し、各画素の明度値を得る。明度取得部13は、得られた全画素の明度値を色変換画像生成部15に送信する。
図3は、色相・彩度・明度形式の色空間を表す円柱空間である。この色空間において、各画素の色は、色相値と明度値と彩度値とからなり、1つの画素の色は色空間内の1つの点の位置として表される。色相値は、円柱空間の中心軸回りの角度に対応し、0以上360未満の値を取り得る。明度値は、円柱空間の中心軸方向の高さに対応し、0以上1以下の値を取り得る。彩度値は、円柱空間の中心軸からの半径方向の距離に対応し、0以上の値を取り得る。
ここで、生体画像の色空間における色相−彩度平面について考える。生体画像内に撮影された組織および臓器(以下、これらをまとめて単に「臓器」という。)はいずれも赤系統の色を有する。したがって、図4に示されるように、色相取得部11によって取得された色相値は、赤系統の一部範囲に限って分布する。ただし、色相は臓器毎に異なる。例えば、脂肪組織は黄色を帯びた赤色を有し、肝臓は紫色を帯びた赤色を有する。したがって、図5に示されるように、生体画像P内に2種類の臓器A,Bが含まれている場合、臓器Aに対応する画素の色相値と、臓器Bに対応する画素の色相値とは、色相−彩度平面において互いに異なる領域に分布する。
色成分選択部14は、色相値に対する所定の色相閾値Tθを有している。色相閾値Tθは、色相−彩度平面内における、臓器Aに対応する画素の色相値が分布する領域と臓器Bに対応する画素の色相値が分布する領域との境界に相当する値である。したがって、生体画像Pの色相値が分布する範囲は、色相閾値Tθによって、臓器Aに対応する画素の色相値が分布する第1の色相範囲と臓器Bに対応する画素の色相値が分布する第2の色相範囲とに区分される。色相閾値Tθは、例えば、予め取得した生体画像Pを用いて、臓器A,Bに対応する画素の色相値の分布領域の境界値を測定することによって決定される。
なお、本実施形態においては、被写体が赤系統の色を有する生体組織であり、色相値が赤系統の領域に限って分布する場合を想定しているため、単一の色相閾値Tθによって、全画素の色相値を第1の色相範囲および第2の色相範囲のいずれかに確実に分類することができる。ただし、被写体が様々な色相を有し、色相値が広範囲に分布するような場合には、各色相範囲の下限値および上限値の両方が明確に定義されるように、複数の色相閾値を設定してもよい。
色成分選択部14は、第1の色相範囲の変換先色成分として緑(G)を記憶し、第2の色相範囲の変換先色成分として青(B)を記憶している。色成分選択部14は、色相抽出部12から受信した各画素の色相値が第1の色相範囲および第2の色相範囲のいずれに属するかを判定し、色相値が第1の色相範囲に属する画素の変換先色成分としてGを選択し、色相値が第2の色相範囲に属する画素の変換先色成分としてBを選択する。
色変換画像は、GおよびBの2つの色相を用いて表現される2色画像である。色変換画像の各画素は、所定の階調数(例えば、256階調)を各々有するGチャネルおよびBチャネルを有する。色変換画像生成部15は、明度取得部13から各画素の明度値を受信し、受信した明度値を色変換画像の所定の階調数における値に変換する。これにより、色変換画像の各画素の階調値として、原画像における明度値に基づく値が得られる。
次に、色変換画像生成部15は、得られた階調値を、色変換画像の各画素のGチャネルおよびBチャネルのうち、色成分選択部14によって選択された色成分のチャネルの階調値に設定する。例えば、生体画像Pにおいて第1の色相範囲に属する色相値を有する画素の明度値は、色変換画像内の同一位置の画素のGチャネルの階調値に変換される。これにより、色変換画像生成部15は、図6に示されるように、臓器Aの領域が緑色で表示され、臓器Bの領域が青色で表示された色変換画像Qを生成する。図6において、ハッチングの向きの違いは色相の違いを表している。生成された色変換画像Qは送信部16から表示部4に送信され、表示部4に表示される。
次に、このように構成された画像処理装置1および医用観察システム100の作用について説明する。
本実施形態に係る医用観察システム100を用いて生体内を観察するには、生体内に内視鏡3を挿入して先端3aを生体組織Sに対向配置し、先端3aの照明レンズ31から生体組織Sに照明光を照射する。生体組織Sの表面において反射された照明光は、対物レンズ32によって撮像素子33の撮像面に結像され、撮像素子33によって生体画像Pが取得される。取得された生体画像Pは、内視鏡3から画像処理装置1に送信される。
図7は、画像処理装置1が実行する処理を示している。
受信部11を介して画像処理装置1内に生体画像Pが入力されると、生体画像Pの各画素の色情報がRGB形式から色相・彩度・明度形式の色空間座標に変換され、色相値が色相取得部12によって取得され(色相取得工程S1)、明度値が明度取得部13によって取得される(明度取得工程S2)。次に、色成分選択部14において、生体画像Pの各画素の変換先色成分をGおよびBのいずれとするかが、その画素の色相値に基づいて選択される(色成分選択工程S3)。次に、色変換画像生成部15において、生体画像Pの各画素の明度値を、色成分選択部14によって選択された色成分と同一の色成分のチャネルの階調値とした色変換画像Qが生成される(色変換画像生成工程S4)。
この場合に、生体内に存在する複数種類の臓器は同系色を有している。したがって、通常のカラーの生体画像Pでは複数種類の臓器を見分けることが難しい。ただし、臓器の色相はそれぞれ異なるので、色相値に基づいて複数種類の臓器を明確に区別することができる。本実施形態によれば、生体画像Pから取得した各画素の色相値に基づいて、各画素が複数種類の臓器のうちのいずれに対応しているかを判定し、各画素の色相を臓器の種類毎に対応付けられた色相に変換する。これにより、臓器が種類毎に別々の色相で表示された色変換画像Qが得られる。したがって、観察者は、色変換画像Qにおいて複数種類の臓器を容易に識別して観察することができるという利点がある。
さらに、生体画像Pの各画素の色情報をRGB形式から色相・彩度・明度形式の色空間座標に変換した際に、生体画像Pに含まれる生体組織Sの形態情報は、色相、彩度および明度の内、主に明度に残る。したがって、色変換画像Qの各画素の階調値を生体画像Pにおける明度値に基づく値とすることによって、生体画像P内の生体組織Sの形態情報を色変換画像Qに維持することができ、色変換画像Qを用いて生体組織Sの形態も観察することができるという利点がある。
(第2の実施形態)
次に、本発明の第2の実施形態に係る画像処理装置10およびこれを備える医用観察システムについて図8から図12を参照して説明する。なお、本実施形態においては、第1の実施形態と構成を共通とする箇所には同一の符号を付して説明を省略する。
本実施形態に係る医用観察システムは、図2の画像処理装置1に代えて図8の画像処理装置10を備えている。
画像処理装置10は、生体画像Pから各画素の彩度値を取得する彩度取得部17をさらに備えている。彩度取得部17は、受信部11によって受信された生体画像Pの各画素の色情報をRGB形式から色相・彩度・明度形式の色空間座標に変換し、各画素の彩度値を得る。彩度取得部17は、得られた全画素の彩度値を色成分選択部14に送信する。
図9に示されるように、生体画像P内に臓器A,Bに加えて血液も含まれている場合、色相−彩度平面において、図11に示されるように、臓器A,Bに対応する画素の色相値は、彩度の低い側に偏って分布するのに対し、血液に対応する画素の色相値は、彩度の高い側に偏って分布する。これは、臓器A,Bの赤色に比べて血液の赤色が鮮やかであるためである。
色成分選択部14は、彩度値に対する所定の彩度閾値Trをさらに有している。彩度閾値Trは、色相−彩度平面内における、血液に対応する画素の色相値が分布する領域と臓器A,Bに対応する画素の彩度値が分布する領域との境界に相当する値である。したがって、生体画像Pの彩度値が分布する範囲は、彩度閾値Trによって、血液に対応する画素の彩度値が分布する第1の彩度範囲と臓器A,Bに対応する画素の彩度値が分布する第2の彩度範囲とに区分される。彩度閾値Trは、例えば、予め取得した生体画像Pを用いて、血液および臓器A,Bに対応する画素の彩度値の分布領域の境界値を測定することによって決定される。
色成分選択部14は、第1の彩度範囲の変換先色成分として赤(R)を記憶している。色成分選択部14は、まず、色相抽出部12から受信した各画素の彩度値が第1の彩度範囲および第2の彩度範囲のいずれに属するかを判定し、彩度値が第1の彩度範囲に属する画素の変換先色成分として赤(R)を選択する。次に、色成分選択部14は、彩度値が第2の彩度範囲に属する画素のうち、色相値が第1の色相範囲に属する画素の変換先色成分としてGを選択し、色相値が第2の色相範囲に属する画素の変換先色成分としてBを選択する。
本実施形態において、色変換画像Qは、G、BおよびRの3つの色相を用いて表現される3色画像である。色変換画像の各画素は、所定の階調数(例えば、256階調)を各々有するGチャネル、BチャネルおよびRチャネルを有する。色変換画像生成部15は、第1の実施形態と同様にして、色変換画像の各画素の階調値を原画像における明度値から得る。
次に、色変換画像生成部15は、得られた階調値を、色変換画像の各画素のGチャネル、BチャネルおよびRチャネルのうち、色成分選択部14によって選択された色成分のチャネルの階調値に設定する。これにより、色変換画像生成部15は、図10に示されるように、臓器Aの領域が緑色で表示され、臓器Bの領域が青色で表示され、血液の領域が赤色で表示された色変換画像Qを生成する。図10において、ハッチングの向きの違いは色相の違いを表している。生成された色変換画像Qは送信部16から表示部4に送信され、表示部4に表示される。
図12は、画像処理装置10が実行する処理を示している。
このように構成された画像処理装置10および医用観察システムによれば、受信部11を介して画像処理装置10内に生体画像Pが入力されると、生体画像Pの各画素の色情報がRGB形式から色相・彩度・明度形式の色空間座標に変換され、色相値が色相取得部12によって取得され(色相取得工程S1)、明度値が明度取得部13によって取得され(明度取得工程S2)、彩度値が彩度取得部17によって取得される(彩度取得工程S5)。次に、色成分選択部14において、生体画像Pの各画素の変換先色成分をG、BおよびRのいずれとするかが彩度値および色相値に基づいて選択される(色成分選択工程S3’)。次に、色変換画像生成部15において、生体画像Pの各画素の明度値を、色成分選択部14によって選択された色成分のチャネルの階調値とした色変換画像Qが生成される(色変換画像生成工程S4’)。
このように、血液は臓器A,Bに比べて鮮やかな赤色を有しているので、彩度値に基づいて血液と臓器A,Bとを明確に区別することができる。本実施形態によれば、生体画像Pから取得した各画素の彩度値に基づいて、各画素が臓器A,Bおよび血液のいずれに対応しているかを判定し、血液に対応する画素の色相を、臓器A,Bに対応する画素とは異なる色相に変換する。これにより、血液と臓器A,Bとが別々の色相で表示された色変換画像Qが得られる。したがって、観察者は、色変換画像Qにおいて複数種類の臓器のみならず血液も容易に識別して観察することができるという利点がある。
(第3の実施形態)
次に、本発明の第3の実施形態に係る画像処理装置20およびこれを備える医用観察システムについて図13を参照して説明する。なお、本実施形態においては、第1の実施形態と構成を共通とする箇所には同一の符号を付して説明を省略する。
本実施形態に係る医用観察システムは、図2の画像処理装置1に代えて図13の画像処理装置20を備えている。
画像処理装置20は、受信部11によって受信された生体画像Pと、色変換画像生成部15によって生成された色変換画像Qとを重畳して重畳画像を生成する重畳画像生成部18をさらに備えている。具体的には、重畳画像生成部18は、生体画像Pの各画素のRチャネルの階調値と色変換画像Qの各画素のRチャネルの階調値とを加算し、得られた和を重畳画像の各画素のRチャネルの階調値とする。同様にして、重畳画像生成部18は、重畳画像の各画素のGチャネルおよびBチャネルの階調値を算出する。
本実施形態においては、重畳画像生成部18によって生成された重畳画像が送信部16から表示部4に送信され、表示部4に表示される。
このように構成された画像処理装置20および医用観察システムによれば、表示部4には、生体画像Pと色変換画像Qとが重畳された重畳画像が表示される。したがって、重畳画像を用いて生体組織Sのより詳細な形態も観察することができるという利点がある。本実施形態のその他の効果は、第1および第2の実施形態と同一であるので説明を省略する。
本実施形態においては、重畳画像生成部18が、生体画像Pに対する重みα(0<α<1)と、色変換画像Qに対する重みβ(0<β<1)とを有し、生体画像Pおよび色変換画像Qの各々に重みα,βを付して重畳してもよい。ここで、重みαは重みβよりも大きく設定される。
具体的には、重畳画像生成部18は、生体画像Pの各画素のRチャネルの階調値に重みαを乗算し、色変換画像Qの各画素のRチャネルの階調値に重みβを乗算し、得られた2つの積の和を重畳画像の各画素のRチャネルの階調値とする。同様にして、重畳画像生成部18は、重畳画像の各画素のGチャネルおよびBチャネルの階調値を算出する。
重畳画像において、臓器Aは本来の色よりも全体的に緑色を帯びた色で表示され、臓器Bは本来の色よりも全体的に青色を帯びた色で表示され、血液は、本来の色よりもさらに鮮やかな赤で表示される。そこで、重畳画像における生体画像P由来の階調値と色変換画像Q由来の階調値との割合を重みα,βによって適切に調整することで、変換先色成分による臓器A,Bおよび血液の識別性を維持しつつ、重畳画像における臓器A,Bや血液の色が過度に変換先色成分に偏ってしまうことを防止し、重畳画像において、臓器A,Bおよび血液を本来の色により近い色で表現することができるという利点がある。
また、本実施形態においては、彩度取得部17を備え、色変換画像生成部15が色変換画像Qとして3色画像を生成する構成について説明したが、これに代えて、彩度取得部17を省略し、色変換画像生成部15が第1の実施形態において説明した2色画像を色変換画像Qとして生成してもよい。
また、第1から第3の実施形態においては、色変換画像Qにおいて、臓器A,Bに対応する画素にGまたはBを割り当て、血液に対応する画素にRを割り当てることとしたが、色変換画像Qにおける色成分の割り当ては適宜変更することができる。
また、色変換画像Qの変換先色成分は、R、G、Bのいずれか1つに限定されるものではなく、2以上であってもよい。例えば、臓器Aに対応する画素の階調値を、R、G、Bの3つのチャネルの内の2以上に所定の割合で分配することによって、色変換画像Qにおいて臓器Aが、3原色(R、G、B)以外の中間色で表示されるようにしてもよい。また、4種類以上の臓器を観察する場合には、色変換画像が、4以上の色相を用いて表現される多色画像であってもよい。
また、第1から第3の実施形態においては、内視鏡3を備える医用観察システム100について説明したが、カラーの生体画像Pを取得することさえできれば内視鏡以外の他の種類の観察装置を用いてもよい。
1,10,20 画像処理装置
2 光源
3 内視鏡(外部装置、観察装置)
4 表示部
12 色相取得部
13 明度取得部
14 色成分選択部
15 色変換画像生成部
17 彩度取得部
18 重畳画像生成部
100 医用観察システム
S1,S1’ 色相取得工程
S2,S2’ 明度取得工程
S3,S3’ 色成分選択工程
S4,S4’ 色変換画像生成工程
S5 彩度取得工程

Claims (6)

  1. 外部装置から受信されたカラーの原画像から各画素の色相情報を取得する色相取得部と、
    前記原画像から各画素の明度情報を取得する明度取得部と、
    前記色相情報に基づいて前記原画像の各画素の変換先色成分を予め設定された複数の色成分の中から選択する色成分選択部と、
    前記原画像の各画素の前記明度情報を前記色成分選択部によって選択された変換先色成分に割り当てることによって色変換画像を生成する色変換画像生成部とを備え、
    前記色成分選択部は、色相を色相閾値によって区分した複数の色相範囲のうち、前記各画素の色相情報が属する色相範囲と対応付けられた前記変換先色成分を選択し、
    前記色変換画像生成部が、前記明度取得部によって取得された明度情報に基づく階調値を色変換画像における前記選択された変換先色成分に対応する各画素に付与することで、前記色変換画像を生成する画像処理装置。
  2. 前記原画像から各画素の彩度情報を取得する彩度取得部を備え、
    前記色成分選択部は、前記彩度取得部によって取得された前記彩度情報が分布する範囲を所定の彩度閾値によって区分した複数の彩度範囲のうち、前記各画素の彩度情報が属する彩度範囲と対応付けられた変換先色成分を選択する請求項1に記載の画像処理装置。
  3. 前記原画像と前記色変換画像とを重畳して重畳画像を生成する重畳画像生成部を備える請求項1または請求項2に記載の画像処理装置。
  4. 前記重畳画像生成部が、前記原画像に対する重みが前記色変換画像に対する重みよりも大きくなるように、前記原画像および前記色変換画像の各々に重みを付して重畳する請求項3に記載の画像処理装置。
  5. 生体をカラー撮影して生体画像を取得する観察装置と、
    該観察装置から前記生体画像を前記原画像として受信する請求項1から請求項4のいずれかに記載の画像処理装置とを備える医用観察システム。
  6. カラーの原画像から各画素の色相情報を取得する色相取得工程と、
    前記原画像から各画素の明度情報を取得する明度取得工程と、
    前記色相情報に基づいて前記原画像の各画素の変換先色成分を予め設定された複数の色成分の中から選択する色成分選択工程と、
    前記原画像の各画素の前記明度情報を前記色成分選択部によって選択された変換先色成分に割り当てることによって色変換画像を生成する色変換画像生成工程とをコンピュータに実行させ、
    前記色成分選択工程において、色相を色相閾値によって区分した複数の色相範囲のうち、前記各画素の色相情報が属する色相範囲と対応付けられた前記変換先色成分を選択し、
    前記色変換画像生成において、前記明度取得工程によって取得された明度情報に基づく階調値を色変換画像における前記選択された変換先色成分に対応する各画素に付与することで、前記色変換画像を生成する画像処理プログラム。
JP2017520096A 2015-05-25 2015-05-25 画像処理装置、医用観察システムおよび画像処理プログラム Active JP6557724B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/064920 WO2016189622A1 (ja) 2015-05-25 2015-05-25 画像処理装置、医用観察システムおよび画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2016189622A1 true JPWO2016189622A1 (ja) 2018-03-15
JP6557724B2 JP6557724B2 (ja) 2019-08-07

Family

ID=57393912

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017520096A Active JP6557724B2 (ja) 2015-05-25 2015-05-25 画像処理装置、医用観察システムおよび画像処理プログラム

Country Status (4)

Country Link
US (1) US10412271B2 (ja)
JP (1) JP6557724B2 (ja)
DE (1) DE112015006491T5 (ja)
WO (1) WO2016189622A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019134799B3 (de) * 2019-12-17 2021-03-25 Schölly Fiberoptic GmbH Bildaufnahmeverfahren unter Verwendung einer Farbtransformation sowie zugehöriges medizinisches Bildaufnahmesystem

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62266030A (ja) * 1986-05-14 1987-11-18 株式会社東芝 内視鏡装置
JP2003126015A (ja) * 2001-10-22 2003-05-07 Olympus Optical Co Ltd 内視鏡装置
JP2010187756A (ja) * 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2013094562A (ja) * 2011-11-04 2013-05-20 Hoya Corp 内視鏡の補助診断装置
JP2014018332A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
JP2014018333A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
JP2016158682A (ja) * 2015-02-27 2016-09-05 Hoya株式会社 画像処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4819077A (en) 1986-05-14 1989-04-04 Kabushiki Kaisha Toshiba Color image processing system
US7172553B2 (en) 2001-05-16 2007-02-06 Olympus Corporation Endoscope system using normal light and fluorescence
JP6533358B2 (ja) * 2013-08-06 2019-06-19 三菱電機エンジニアリング株式会社 撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62266030A (ja) * 1986-05-14 1987-11-18 株式会社東芝 内視鏡装置
JP2003126015A (ja) * 2001-10-22 2003-05-07 Olympus Optical Co Ltd 内視鏡装置
JP2010187756A (ja) * 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2013094562A (ja) * 2011-11-04 2013-05-20 Hoya Corp 内視鏡の補助診断装置
JP2014018332A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
JP2014018333A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
JP2016158682A (ja) * 2015-02-27 2016-09-05 Hoya株式会社 画像処理装置

Also Published As

Publication number Publication date
DE112015006491T5 (de) 2018-01-18
US20180069988A1 (en) 2018-03-08
WO2016189622A1 (ja) 2016-12-01
JP6557724B2 (ja) 2019-08-07
US10412271B2 (en) 2019-09-10

Similar Documents

Publication Publication Date Title
US11399123B2 (en) Image transformation and display for fluorescent and visible imaging
JP6420230B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US10521901B2 (en) Image processing apparatus
US10231600B2 (en) Image processing apparatus
CN105266750B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
US11116384B2 (en) Endoscope system capable of image alignment, processor device, and method for operating endoscope system
WO2016175084A1 (ja) 画像処理装置、方法及びプログラム
US9854996B2 (en) Medical image processing device, method for operating the same, and endoscope system
WO2017183324A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6196598B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2017164393A (ja) 内視鏡システム及びその作動方法
EP3318175A1 (en) Image processing apparatus and imaging system
WO2018079205A1 (ja) プロセッサ装置及び内視鏡システム
WO2017077772A1 (ja) プロセッサ装置、内視鏡システム、及び画像処理方法
JP2011234844A (ja) 制御装置、内視鏡装置及びプログラム
US20110164127A1 (en) Method and endoscope for improving endoscope images
JP6557724B2 (ja) 画像処理装置、医用観察システムおよび画像処理プログラム
JP6408400B2 (ja) 内視鏡システム、内視鏡プロセッサ装置、及び、内視鏡システムの作動方法
JP2008093225A (ja) 内視鏡システム及び内視鏡システムにおける画像処理方法
JP4606838B2 (ja) 電子内視鏡装置
CN107833256B (zh) 用于数字图像的伪着色的方法以及装置
WO2017149742A1 (ja) 内視鏡用画像処理装置
WO2017212768A1 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
JP6153913B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
US20180063380A1 (en) Image processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190712

R151 Written notification of patent or utility model registration

Ref document number: 6557724

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250