JP5389380B2 - 信号処理システム及び信号処理プログラム - Google Patents

信号処理システム及び信号処理プログラム Download PDF

Info

Publication number
JP5389380B2
JP5389380B2 JP2008139930A JP2008139930A JP5389380B2 JP 5389380 B2 JP5389380 B2 JP 5389380B2 JP 2008139930 A JP2008139930 A JP 2008139930A JP 2008139930 A JP2008139930 A JP 2008139930A JP 5389380 B2 JP5389380 B2 JP 5389380B2
Authority
JP
Japan
Prior art keywords
unit
subject
dedicated
coefficient
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008139930A
Other languages
English (en)
Other versions
JP2009285084A (ja
JP2009285084A5 (ja
Inventor
建夫 鶴岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2008139930A priority Critical patent/JP5389380B2/ja
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to EP09754665.9A priority patent/EP2286713B1/en
Priority to CN200980119299.XA priority patent/CN102046062B/zh
Priority to EP15176086.5A priority patent/EP2949261A1/en
Priority to PCT/JP2009/059551 priority patent/WO2009145157A1/ja
Publication of JP2009285084A publication Critical patent/JP2009285084A/ja
Priority to US12/953,740 priority patent/US8805061B2/en
Publication of JP2009285084A5 publication Critical patent/JP2009285084A5/ja
Application granted granted Critical
Publication of JP5389380B2 publication Critical patent/JP5389380B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • G01J3/524Calibration of colorimeters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device

Description

本発明は、被写体の識別を行う信号処理システム及びコンピュータにそのような信号処理システムの手順を実行させる信号処理プログラムに関する。
特許文献1には、広帯域光を観察光として用いて、信号処理にて特定の狭帯域の映像信号を算出する例が開示されている。これにより、ノイズの少ない高品位な狭帯域の映像信号が得られ、血管などの特定の分光特性を有する被写体を識別して、表示モニタに表示出力することで、その識別対象被写体の観察が容易となる。
特開2003−93336号公報
上記特許文献1に開示されている技術では、広帯域の通常光を用いるため照度が高く、ノイズの少ない高品位な映像信号が得られる。しかしながら、得られた映像信号から信号処理により狭帯域の信号を生成する過程で最小自乗法に基づく近似を行うため、負の感度特性という本来はあり得ない結果が発生するなど、信号処理に起因する誤差が生じてしまう。このため、識別対象の被写体の識別結果の信頼性が低いという課題がある。
本発明は、上記の点に鑑みてなされたもので、高い信頼性を持って識別対象の被写体を識別することを可能とする信号処理システム及び信号処理プログラムを提供することを目的とする。
本発明の信号処理システムの一態様は、
分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく専用基底ベクトルを取得する基底ベクトル取得部と、
上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性を取得するシステム分光特性取得部と、
上記カラー撮像系による被写体の撮像により得た映像信号、上記専用基底ベクトル、及び上記撮像システムの分光特性に基づき、上記専用基底ベクトルに関する重み係数を算出する算出部と、
上記算出部で算出した上記専用基底ベクトルに関する重み係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部と、
複数の識別対象となる被写体の中から一つの被写体を選択する識別対象選択部と、
を有し、
上記基底ベクトル取得部は、上記識別対象選択部によって選択された一つの被写体の分光特性に基づく専用基底ベクトルを取得する
また、本発明の信号処理システムの別の態様は、
分光特性が既知である識別対象となる被写体の上記既知の分光特性、上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性、及び上記カラー撮像系による被写体の撮像時に使用する照明光の分光特性に基づき算出された、上記被写体の既知の分光特性と映像信号との間の相関性を示す導出係数を取得する導出係数取得部と、
上記映像信号及び上記導出係数に基づき、上記識別対象となる被写体の分光特性と上記映像信号との間の相関係数を算出する相関係数算出部と、
上記相関係数算出部によって算出した上記相関係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部と、
を有する。
また、本発明の信号処理プログラムの一態様は、
カラー撮像系による分光特性が既知である識別対象となる被写体を含む被写体の撮像によって得た映像信号を取得するステップと、
上記識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを取得するステップと、
上記カラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含む撮像システムの分光特性を取得するステップと、
上記取得した映像信号、上記取得した専用基底ベクトル、及び上記取得した撮像システムの分光特性に基づき、上記専用基底ベクトルに関する重み係数を算出するステップと、
上記算出した専用基底ベクトルに関する重み係数に基づき、上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出するステップと、
複数の識別対象となる被写体の中から一つの被写体を選択するステップと、
を、コンピュータに発揮させる信号処理プログラムであって、
上記専用基底ベクトルを取得するステップは、上記選択された一つの被写体の分光特性に基づく専用基底ベクトルを取得する
また、本発明の信号処理プログラムの別の態様は、
カラー撮像系による分光特性が既知である識別対象となる被写体を含む被写体の撮像によって得た映像信号を取得するステップと、
上記識別対象となる被写体の既知の分光特性、上記カラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光の分光特性に基づき算出された、上記被写体の既知の分光特性と上記映像信号との間の相関性を示す導出係数を取得するステップと、
上記取得した映像信号及び上記取得した導出係数に基づき、上記識別対象となる被写体の分光特性と上記映像信号との間の相関係数を算出するステップと、
上記算出した上記相関係数に基づき、上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出するステップと、
をコンピュータに発揮させる。
これらの態様によれば、例えば、識別対象となる被写体を含む被写体を撮像して得た映像信号から上記識別対象の被写体を識別する際に、例えば、その識別対象の被写体の既知である分光特性に基づいて算出されている専用基底ベクトルもしくは導出係数を用いることで、上記識別対象の被写体の存在に比例した値をとる重み係数もしくは相関係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行うことなく、高い信頼性を持って識別対象被写体を識別することが可能な信号処理システム及び信号処理プログラムを提供することができる。
本発明によれば、高い信頼性を持って識別対象被写体を識別することを可能とする信号処理システム及び信号処理プログラムを提供することができる。
以下、本発明を実施するための最良の形態を図面を参照して説明する。
[第1実施形態]
(構成)
図1は、本発明の第1実施形態に係る信号処理システムを適用した内視鏡の構成を示す図である。なお、図中、太い実線の矢印は映像信号の方向を示し、細い実線の矢印は制御信号の方向を示し、破線の矢印はその他の信号の方向を示している(他の図においても同様である)。
被検体の体内に挿入される内視鏡の先端部には、撮像レンズ系100及びCCD101と照明レンズ系102が配され、例えば内視鏡後端側に配された照明光源103からの照明光が光ファイバ104を経由して導かれ、上記照明レンズ系102を介して図示しない被写体に対して照射されるようになっている。こうして照明された被写体を上記CCD101により撮像し、この撮像によって得られた映像信号は、増幅部(図では、Gainと記す。)105にて増幅された後、A/D106にてデジタル信号へ変換される。
A/D106からのデジタル映像信号は、バッファ107を介して補間部108へ転送される。また、バッファ107は、WB部109及び測光評価部110へも接続されている。WB部109は上記増幅部105へ、測光評価部110は上記照明光源103及び上記増幅部105へ接続されている。補間部108は、信号処理部111と算出部112へ接続されている。信号処理部111は、切り換え部113へ接続されている。
基底ベクトルROM114及びシステム分光特性ROM115は、上記算出部112へ接続されている。算出部112は、正規化部116を介して上記切り換え部113へ接続されている。切り換え部113は、液晶ディスプレイなどの出力部117へ接続されている。
マイクロコンピュータなどの制御部118は、上記の増幅部105、A/D106、補間部108、WB部109、測光評価部110、信号処理部111、算出部112、切り換え部113、正規化部116及び出力部117と双方向に接続されている。また、電源スイッチ,シャッタボタン,及び撮像時の各種モードの切り替えなどの設定を行うためのインターフェースを備えた外部I/F部119も、この制御部118に双方向に接続されている。
(作用)
図1において、信号の流れを説明する。
外部I/F部119を介して後述する識別対象となる被写体,カラー撮像系,照明光などの撮像条件を設定した後、シャッタボタンを押すことで撮像モードに入る。
この撮像モードでは、撮像レンズ系100,CCD101を介して撮像された映像信号はアナログ信号として所定時間間隔で連続的に出力される。以後、連続的に出力される複数の映像信号を単に映像信号、1枚の映像信号をフレーム信号と表記する。また、本実施形態においては、上記所定時間間隔として1/30秒(以後は、1フレーム時間と表記する。)を想定する。
さらに、上記CCD101としてはBayer型原色フィルタを前面に配置した単板CCDを想定する。図2(a)は、このBayer型原色フィルタ120の構成を示す図である。Bayer型は2×2画素を基本単位とし、該基本単位には赤(R)色フィルタ121R,青(B)色フィルタ121Bが1画素ずつ、緑(G)色フィルタ121Gが2画素配置される。
上記アナログ信号は、増幅部105にて所定量増幅され、A/D106にてデジタル信号へ変換されて、バッファ107へ転送される。このバッファ107は、1フレームの信号を記録可能なものであり、撮像が進むにともない古いフレーム信号から順次上書きされることになる。このバッファ107内のフレーム信号は、制御部118の制御に基づき、所定時間間隔で、間欠的にWB部109及び測光評価部110へ転送される。
WB部109では、中間レベル等、所定レベルの信号を色フィルタ121R,121G,121Bに対応する色信号ごとに積算することで、ホワイトバランス係数を算出する。そして、その算出したホワイトバランス係数を上記増幅部105へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランス調整を行わせる。また、測光評価部110では、適正露光となるように上記照明光源103の光量や上記増幅部105の増幅率などを制御する。
一方、補間部108は、制御部118の制御に基づき、上記バッファ107から単板状態のフレーム信号を読み込み、公知の補間処理にて三板のフレーム信号を生成する。生成された三板のフレーム信号は、順次フレーム信号単位で、信号処理部111及び算出部112へ転送される。以降の信号処理部111、算出部112及び正規化部116は、制御部118の制御に基づき1フレーム信号単位で同期して処理がなされる。
信号処理部111は、制御部118の制御に基づき、補間部108から転送されるフレーム信号に対して公知の階調処理及び強調処理を行い、処理後のフレーム信号を切り換え部113へ転送する。
一方、基底ベクトルROM114は、複数の識別対象となる被写体それぞれの既知の分光特性に基づく専用基底ベクトルを記憶しており、システム分光特性ROM115は、複数のカラー撮像系それぞれに関する分光特性と撮像時に使用する複数の照明光それぞれに関する分光特性とを記憶している。なお、本実施形態においては、カラー撮像系に関する分光特性とは、撮像レンズ系100の分光透過率特性を加味したCCD101の分光感度特性を意味し、照明光に関する分光特性とは、転送用の光ファイバ104及び照明レンズ系102の分光透過率特性を加味した照明光源103の分光輝度特性を意味する。
算出部112は、上記外部I/F部119を介して設定された上記撮像条件に応じた制御部118の制御に基づき、上記基底ベクトルROM114から識別対象となる一つの被写体の既知の分光特性に基づく専用基底ベクトルと、上記識別対象となる一つの被写体以外の被写体である識別対象外被写体の既知の分光特性に基づく専用基底ベクトルと、上記システム分光特性ROM115から上記一つの識別対象となる被写体を含む被写体の撮像に供する一つのカラー撮像系に関する分光特性とそのカラー撮像系による被写体の撮像時に使用する一つの照明光に関する分光特性とを含んだ撮像システムの分光特性を読み込む。その後、詳細は後述するようにして、上記補間部108から転送されるフレーム信号に対して、上記読み出した専用基底ベクトル、カラー撮像系に関する分光特性及び照明光に関する分光特性を用いて、識別対象の被写体の専用基底ベクトルに関する重み係数を算出する。その算出された専用基底ベクトルの重み係数は、後述するように上記識別対象の被写体の存在に比例した値をとるものであり、正規化部116へ転送される。正規化部116は、制御部118の制御に基づき、上記算出部112から転送される重み係数に関して映像信号の信号レベルと合致するよう正規化処理を行う。即ち、上記算出部112で算出される重み係数は「0」〜「1」の値をとるので、それを、例えば信号レベルが8ビットならば「0」〜「255」の値に正規化する。そして、正規化処理後の重み係数をフレーム信号として、上記切り換え部113へ転送する。
切り換え部113は、制御部118の制御に基づき、上記信号処理部111から転送される通常のフレーム信号及び上記正規化部116から転送される識別対象の存在に関するフレーム信号のいずれか一方を選択し、例えば表示モニタである出力部117へ転送して表示を行う。なお、正規化部116からのフレーム信号は、白黒の信号として出力されることになる。また、出力部117は、表示モニタに限定されるものではなく、ハードディスクやメモリカードなどの記録媒体にフレーム信号を順次記録保存する形態も可能である。
図3は、上記算出部112の構成の一例を示す図であり、該算出部112は、データ選択部200、積算部201、バッファ202、逆行列算出部203、バッファ204、係数選択部205及び乗加算部206からなる。上記基底ベクトルROM114及び上記システム分光特性ROM115は、データ選択部200へ接続している。データ選択部200は、積算部201、バッファ202、逆行列算出部203及びバッファ204を介して、係数選択部205へ接続している。係数選択部205及び上記補間部108は、乗加算部206へ接続している。乗加算部206は、上記正規化部116へ接続している。上記制御部118は、データ選択部200、積算部201、逆行列算出部203、係数選択部205、乗加算部206と双方向に接続されている。
データ選択部200は、上記外部I/F部119を介して設定された上記撮像条件における識別対象となる被写体の情報を上記制御部118から受け取り、その情報に基づき上記基底ベクトルROM114から識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを含む複数の専用基底ベクトルを読み込む。本実施形態においては、CCD101として3つの色フィルタ121R,121G,121BからなるBayer型を想定しているため、専用基底ベクトルの総数は3となり、その内の一つとして、上記設定された識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを使用する。
図4は、専用基底ベクトルの一例を示すもので、ここでは、三種の専用基底ベクトル(O1(λ),O2(λ),O3(λ))を示している。なお、λは例えば波長380〜780nmの可視域を意味する。図4おいて、専用基底ベクトル(O1(λ))と(O2(λ))は、内視鏡における診断で重要となる血管部位に多く含まれるオキシヘモグロビンとデオキシヘモグロビンの分光反射率特性に基づくものであり、専用基底ベクトル(O3(λ))は、蛍光観察での主要被写体となるコラーゲンの自家蛍光の分光輝度特性に基づくものである。
オキシヘモグロビンは動脈に多く含まれ、デオキシヘモグロビンは静脈に多く含まれる。そこで、動脈の観察を行う場合には、識別対象となる被写体としてオキシヘモグロビンが上記外部I/F部119を介して指定され、少なくともオキシヘモグロビンの専用基底ベクトル(O1(λ))を含む3つの専用基底ベクトルがデータ選択部200によって読み込まれる。他の2つの専用基底ベクトルは、識別対象外被写体の専用基底ベクトルであり、例えば上記デオキシヘモグロビンの専用基底ベクトル(O2(λ))及びコラーゲンの専用基底ベクトル(O3(λ))であっても良いし、基底ベクトルROM114に記憶されているその他の専用基底ベクトルであっても構わない。
以下、識別対象となる被写体としてオキシヘモグロビンが指定されたものと想定して説明していく。
上記データ選択部200は、更に、外部I/F部119を介して設定された上記撮像条件におけるカラー撮像系,照明光の情報を制御部118から受け取り、上記情報に基づきシステム分光特性ROM115から被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性を読み込む。
図5(a)は、上記被写体の撮像時に使用する照明光に関する分光特性として、光源の分光輝度特性(I(λ))を示す図であり、ここでは一例としてのキセノン光源の特性を示している。また、図5(b)は、上記カラー撮像系に関する分光特性として、R,G,B3つの色フィルタ121R,121G,121Bからなるカラー撮像系の分光感度特性(SR(λ),SG(λ),SB(λ))を示す図である。
上記データ選択部200は、読み込んだ上記専用基底ベクトル(O1(λ),O2(λ),O3(λ))、光源の分光輝度特性(I(λ))及びカラー撮像系の分光感度特性(SR(λ),SG(λ),SB(λ))を、積算部201へ転送する。
積算部201は、制御部118の制御に基づき、以下の(1)式に示される3×3サイズの撮像システムに関するシステム行列Mを算出する。
Figure 0005389380
この積算部201によって算出された上記システム行列Mは、バッファ202へ転送され、そこに保存される。逆行列算出部203は、制御部118の制御に基づき、このバッファ202から上記システム行列Mを読み込み、該システム行列Mの逆行列M−1を算出する。算出された逆行列M−1は、バッファ204へ転送され、そこに保存される。
上記システム行列Mの逆行列M−1とR,G,Bからなるフレーム信号を使用することで、以下の(2)式により、各画素単位で専用基底ベクトル(O1(λ),O2(λ),O3(λ))に関する重み係数(w1,w2,w3)を求めることができる。なお、以下の(2)式において、i,jはフレーム信号のx,y方向の座標を、mはシステム行列Mの逆行列M−1の各要素、即ち、逆行列M−1の係数を意味する。
Figure 0005389380
本実施形態では、内視鏡における診断で重要となる血管部位に多く含まれるオキシヘモグロビンを識別対象と仮定しているため、識別対象となる被写体の専用基底ベクトル(O1(λ))に関係する重み係数(w1ij)を求めれば良い。このために必要となるシステム行列Mの逆行列M−1の係数は、要素m11,m12,m13の3つとなる。
そこで、係数選択部205は、制御部118の制御に基づき、上記バッファ204から上記システム行列Mの逆行列M−1の要素m11,m12,m13を選択し、これを乗加算部206へ転送する。乗加算部206は、制御部118の制御に基づき、上記係数選択部205からシステム行列Mの逆行列M−1の要素m11,m12,m13が転送された後、補間部108からフレーム信号をR,G,Bからなる画素単位で読み込み、以下の(3)式に基づき、識別対象被写体の専用基底ベクトル(O1(λ))に関係する重み係数(w1ij)を求める。
Figure 0005389380
上記重み係数(w1ij)は識別対象被写体の専用基底ベクトル(O1(λ))への寄与度となるため、本実施形態においてはオキシヘモグロビンの存在に比例した値をとることになる。即ち、オキシヘモグロビンが存在する場合には高い値を、存在しない場合は低い値をとる。よって、この重み係数(w1ij)を映像信号化することで、オキシヘモグロビンの識別が可能となる。
そこで、上記乗加算部206によって算出された重み係数(w1ij)は、順次、正規化部116へ転送されて上述したように正規化処理が行われ、正規化処理後の重み係数が、上記分光特性が既知の被写体の識別結果である出力信号として、上記切り換え部113を介して、例えば表示モニタである出力部117へ転送されて表示されることとなる。
なお、以上の説明では、識別対象をオキシヘモグロビンとしたが、それに限定されないことは勿論である。例えば、外部I/F部119を介して、識別対象となる被写体を必要に応じてデオキシヘモグロビンに切り換えても良い。
さらに、オキシヘモグロビンとデオキシヘモグロビンの両者の重み係数(w1ij,w2ij)を求める構成も可能である。この場合、乗加算部206を複数設けても良いし、一つの乗加算部206と算出した重み係数を保存するバッファとの組み合わせで構成しても良い。また、2つの重み係数の算出結果の出力方法に関しても、外部I/F部119を介して選択して表示する構成、両者を合成して表示する構成、両者を疑似カラー化して独立に表示する構成など自由に設定できる。
以上のように、本第1実施形態によれば、分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく専用基底ベクトルと上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とから、上記識別対象の被写体の存在に比例した値をとる専用基底ベクトルに関する重み係数を算出し、この重み係数に基づき上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する。このように、本第1実施形態では、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを用いることで、上記識別対象の被写体の存在に比例した値をとる重み係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行う必要が無く、よって、信号処理に起因する誤差の発生が少なく、信頼性の高い識別が可能となる。
また、広帯域の通常の照明光を使用するため、ノイズによる影響を抑制でき、安定性のある識別が可能となる。
さらに、専用基底ベクトルに関する重み係数から直接出力信号を算出するため、処理の高速化と低コスト化が可能となる。
また、識別対象以外の領域に対しても基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度を向上することができる。
さらに、識別対象,カラー撮像系または照明光を選択できるため、システムとしての適用性が向上し、多様な用途での利用が可能となる。
また、正規化処理のみで出力信号を求めるため、処理の高速化と低コスト化が可能となる。
なお、動画像を処理する場合を説明したが、外部I/F部119の不図示シャッタボタンの操作に応じて静止画像を撮像し、その撮像した静止画像に対して同様の処理を行うことも可能なことは勿論である。
[変形例1]
なお、上記第1実施形態では、基底ベクトルとして、図4に示すような専用基底ベクトルを使用したが、このような構成に限定される必要はない。
例えば、図6(a)に示されるように、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトル(O1(λ))と、任意の被写体の分光特性の推定に用いる汎用基底ベクトル(O2(λ),O3(λ))と、を用いる構成も可能である。同図において、専用基底ベクトルは太線で、汎用基底ベクトルは細線で記載している。この図6(a)は、汎用基底ベクトル(O2(λ),O3(λ))として、マンセル色票などの分光反射率特性を主成分分析して、寄与率の高い上位2つの基底ベクトルを選択して基底ベクトルROM114に記憶してあるものを使用した場合を示している。一方、専用基底ベクトル(O1(λ))としては、上記第1実施形態で説明したように、基底ベクトルROM114に記憶された複数の専用基底ベクトルから外部I/F部119を介した設定により、識別対象となる被写体、例えば内視鏡における診断で重要となる血管部位に多く含まれるオキシヘモグロビンを選択している。汎用基底ベクトル(O2(λ),O3(λ))は、必要に応じて識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に対しても、基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理に使用することが可能となる。
図6(b)は、専用基底ベクトル(O1(λ))としてデオキシヘモグロビンを用いる場合の三種の基底ベクトルを示す図である。なお、同図において、専用基底ベクトルは太線で、汎用基底ベクトルは細線で記載している。
このように、基底ベクトルとして、全て被写体の既知の分光特性に基づく専用基底ベクトルを使用する必要はなく、少なくとも識別対象となる被写体の専用基底ベクトルを用い、他は任意の被写体の分光特性の推定に用いる汎用基底ベクトルを用いても、上記第1実施形態と同様の効果を奏することができる。
[変形例2]
また、上記第1実施形態では、撮像系にR,G,B3つの色フィルタ121R,121G,121BからなるBayer型原色フィルタ120を前面に配置した単板CCDを想定したが、このような構成に限定される必要はない。例えば、4つの原色フィルタからなる撮像系や色差線順次型補色フィルタや二板,三板CCDにも適用可能である。
図2(b)は、R,Gr,Gb,Bの4つの色フィルタ121R,121Gr,121Gb,121Bからなる原色フィルタ122の一例を示す図である。
また、図2(c)は、色差線順次型補色フィルタ123の構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy)色フィルタ121Cy,マゼンタ(Mg)色フィルタ121Mg,イエロー(Ye)色フィルタ121Ye,緑(G)色フィルタ121Gが1画素ずつ配置される。ただし、Mg色フィルタ121MgとG色フィルタ121Gの位置はラインごとに反転している。
図7は、上記色差線順次方式におけるCy,Mg,Ye,Gの4色フィルタ121Cy,121Mg,121Ye,121Gからなるカラー撮像系の分光感度特性(SCy(λ),SMg(λ),SYe(λ),SG(λ))を示す図である。Bayer型原色フィルタ120または色差線順次型補色フィルタ123を前面に配置した単板撮像素子を用いる構成は、従来の撮像系との親和性が高く、多くの撮像システムへの適用が可能となる。
また、上記カラー撮像系に関する分光特性及び被写体の撮像時に使用する照明光に関する分光特性は、複数の特性をシステム分光特性ROM115に記録しておき、外部I/F部119を介して、実際の撮像に使用される特性を選択する構成も可能である。
図2(b)及び図2(c)に示される4色フィルタ122,123の場合、専用基底ベクトルと汎用基底ベクトルの総数は4となる。4色フィルタの場合、上記(1)式に示されるシステム行列M及び上記(2)式に示されるシステム行列Mの逆行列M−1は4×4サイズとなる。また、上記(3)式の右辺も第4項が追加された形態となる。
図8(a)及び図8(b)は、総数4となる専用基底ベクトル及び汎用基底ベクトルの一例を示す。図8(a)は、一種の専用基底ベクトル(O1(λ))と三種の汎用基底ベクトル(O2(λ),O3(λ),O4(λ))とからなる。同図において、専用基底ベクトルは太線で、汎用基底ベクトルは細線で記載している。汎用基底ベクトルは、マンセル色票などの分光反射率特性を主成分分析して、寄与率の高い上位3つの基底ベクトルを選択することで基底ベクトルROM114に記憶される。専用基底ベクトルは、図4に示すオキシヘモグロビンの場合を示している。一方、図8(b)は、二種の専用基底ベクトル(O1(λ),O2(λ))と二種の汎用基底ベクトル(O3(λ),O4(λ))からなる。同図において、専用基底ベクトルは太線で、汎用基底ベクトルは細線で記載している。二種の専用基底ベクトルは、図4に示すオキシヘモグロビンとデオキシヘモグロビンの場合である。
なお、基底ベクトルとして、全て被写体の既知の分光特性に基づく専用基底ベクトルを用いることができることは上述した通りである。また、動画像及び静止画像の何れにも適用可能なことは勿論である。
[変形例3]
また、上記第1実施形態では、映像信号の出力として信号処理部111から転送される通常のフレーム信号または正規化部116から転送される識別対象の存在に関するフレーム信号のいずれか一方を、切り換え部113によって選択し出力する構成となっていたが、このような構成に限定される必要はない。
図9は、図1に示す構成から正規化部116を省略し、切り換え部113を強調部124へ置換した形態となっている。基本構成は図1と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。
信号処理部111及び算出部112は、強調部124へ接続されている。強調部124は、出力部117へ接続されている。制御部118は、強調部124と双方向に接続されている。強調部124へは、信号処理部111から通常のフレーム信号が、算出部112から識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルに関する重み係数が転送される。
このような構成において、強調部124は、制御部118の制御に基づき、信号処理部111から転送されるフレーム信号に対して算出部112から転送される重み係数に基づき強調処理を行う。上記強調処理としては、公知のエッジ強調や彩度強調処理が想定され、これらの強調量は重み係数に比例する形態で実施される。強調処理後のフレーム信号は出力部117へ転送される。
これにより、オキシヘモグロビンなどの識別対象の被写体の存在領域のみが強調され、認識能を向上することが可能となる。また、識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても、通常の処理がなされた映像信号が出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
なお、少なくとも識別対象となる被写体の専用基底ベクトルを用いれば、他は任意の被写体の分光特性の推定に用いる汎用基底ベクトルを用いても良いことは上述した通りである。更に、基底ベクトルの総数についても、上記変形例2で説明したように、三種に限定するものではなく、カラー撮像系からの映像信号を通すフィルタの種類の数に合致する数とすれば良い。また、動画像及び静止画像の何れにも適用可能なことは勿論である。
[変形例4]
図10は、図1に示す構成において、切り換え部113を合成部125へ置換した形態となっている。基本構成は図1と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。
信号処理部111及び正規化部116は、合成部125へ接続されている。合成部125は、出力部117へ接続されている。制御部118は、合成部125と双方向に接続されている。合成部125へは、信号処理部111から転送される通常のフレーム信号が、正規化部116から識別対象の存在に関するフレーム信号が転送される。
このような構成において、合成部125は、制御部118の制御に基づき、信号処理部111から転送されるフレーム信号に対して正規化部116から転送される識別対象の存在に関するフレーム信号を合成処理する。上記合成処理としては、公知のスーパーインポーズなどの処理が想定される。合成処理後のフレーム信号は、出力部117へ転送される。
これにより、識別対象の被写体の存在領域に関して高精度な出力信号が得られると共に、識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても通常の処理がなされた映像信号が出力されることになり、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
また、上記合成部125は、画面の一部にウィンドウを表示して、信号処理部111からのフレーム信号又は正規化部116からのフレーム信号を子画面として表示する公知のピクチャ・イン・ピクチャなどの合成処理を行うものとしても良い。この場合、外部I/F部119を介した指示により、何れを親画面とし何れを子画面とするか選択できるようにすることが好ましい。
なお、本変形例においても、全て専用基底ベクトルを用いても良いし、少なくとも識別対象となる被写体の専用基底ベクトルを用い、他は汎用基底ベクトルを用いても良い。更に、基底ベクトルの総数についても三種に限定するものではないことは上述した通りである。また、動画像及び静止画像の何れにも適用可能なことは勿論である。
[変形例5]
図11は、図1に示す構成から、切り換え部113を省略し、上記出力部117とは別の第2出力部126を追加した形態となっている。基本構成は図1と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。
信号処理部111は、出力部117へ接続されている。正規化部116は、第2出力部126へ接続されている。制御部118は、第2出力部126と双方向に接続されている。信号処理部111は、制御部118の制御に基づき、通常のフレーム信号を出力部117へ転送する。出力部117においては、通常のフレーム信号が表示される。正規化部116は、制御部118の制御に基づき、識別対象の存在に関するフレーム信号を第2出力部126へ転送する。第2出力部126においては、識別対象の存在に関するフレーム信号が表示される。
これにより、識別対象の存在に関して高精度な出力信号が得られると共に、通常の処理がなされた映像信号も独立に出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
なお、本変形例においても、全て専用基底ベクトルを用いても良いし、少なくとも識別対象となる被写体の専用基底ベクトルを用い、他は汎用基底ベクトルを用いても良い。更に、基底ベクトルの総数についても三種に限定するものではないことは上述した通りである。また、動画像及び静止画像の何れにも適用可能なことは勿論である。
[変形例6]
また、上記第1実施形態では、信号処理システムは、撮像レンズ系100,CCD101,照明レンズ系102,照明光源103,光ファイバ104,増幅部105,A/D106,WB部109及び測光評価部110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。
例えば、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらに識別対象となる被写体,カラー撮像系,照明光などの撮像条件に関する付随情報をヘッダ部に記録して、ハードディスクやメモリカードなどの記録媒体に保存したものを読み出したり、無線又は有線ネットワークを介して送信されてくる映像信号を受信したりして、処理をすることも可能である。
図12は、図1に示す構成から撮像レンズ系100,CCD101,照明レンズ系102,照明光源103,光ファイバ104,増幅部105,A/D106,WB部109及び測光評価部110を省略し、入力部127,ヘッダ情報解析部128を追加した形態となっている。基本構成は図1と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。
入力部127は、バッファ107及びヘッダ情報解析部128へ接続している。制御部118は、入力部127,ヘッダ情報解析部128と双方向に接続している。マウス,キーボードなどの外部I/F部119を介して再生操作を開始することで、ハードディスクやメモリカードなどの記録媒体に保存された信号及びヘッダ情報、あるいは、ネットワークを介して受信した信号及びヘッダ情報が入力部127から読み込まれる。なお、映像信号は所定の時間間隔、本変形例では1フレーム時間間隔で1枚ずつ順次読み込まれる。入力部127からの信号はバッファ107へ、ヘッダ情報はヘッダ情報解析部128へ転送される。ヘッダ情報解析部128は、ヘッダ情報から撮像時の情報を抽出して制御部118へ転送する。以後の処理は、図1と同等である。
なお、本変形例においても、全て専用基底ベクトルを用いても良いし、少なくとも識別対象となる被写体の専用基底ベクトルを用い、他は汎用基底ベクトルを用いても良い。更に、基底ベクトルの総数についても三種に限定するものではなく、取得した映像信号を通すフィルタの種類の数に合わせれば良い。また、動画像及び静止画像の何れにも適用可能なことは勿論である。
[変形例7]
さらに、上記第1実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD101からの映像信号を未処理のままのRawデータ形態として、制御部118から、識別対象となる被写体やカラー撮像系,照明光などの撮像条件をヘッダ情報として出力し、それら映像信号とヘッダ情報を図示しないコンピュータに入力して、ソフトウェアにて処理する構成も可能である。
図13(a)は、不図示コンピュータによる信号処理のソフトウェア処理に関するフローチャートを示す図である。
即ち、コンピュータはまず、映像信号と、識別対象や被写体及びカラー撮像系,照明光などの撮像条件に関するヘッダ情報を入力する(ステップS101)。なお、本変形例において3色の色フィルタ121R,121G,121BからなるBayer型単板CCDからの映像信号を処理することを想定する。また、ここでは、上記変形例1のように専用基底ベクトル(O1(λ))と汎用基底ベクトル(O2(λ),O3(λ))とを用いる場合を例に説明する。
上記ステップS101に続けて、複数の専用基底ベクトル及び複数の汎用基底ベクトルを入力し(ステップS102)、また、複数の光源の分光輝度特性及び複数のカラー撮像系の分光感度特性を入力する(ステップS103)。ここで、上記複数の基底ベクトル及び複数の分光特性は、コンピュータが備える記録媒体や着脱自在な記録媒体から読み出したり、ネットワークを介して読み込むことで入力する。
そして、詳細は後述するような算出処理により、専用基底ベクトル(O1(λ))に関する重み係数算出に使用されるシステム行列Mの逆行列M−1の所定の係数、つまり要素m11,m12,m13を算出する(ステップS104)。その後、上記入力された映像信号から順次フレーム信号を抽出し(ステップS105)、公知の補間処理にて三板のフレーム信号を生成する(ステップS106)。そして、そのフレーム信号に対して、公知の階調処理や強調処理といった信号処理を行う(ステップS107)。
また、上記ステップS107の信号処理と並行して、上記(3)式に示されるように専用基底ベクトル(O1(λ))に関する重み係数(w1ij)を算出し(ステップS108)、その算出した重み係数(w1ij)を正規化することで識別対象の存在に関するフレーム信号を生成する(ステップS109)。
そして、上記ステップS107からの通常のフレーム信号または上記ステップS109からの識別対象の被写体の存在に関するフレーム信号のどちらかを切り換えて(ステップS110)、フレーム信号を当該コンピュータに接続された図示しない表示モニタ等に出力する(ステップS111)。その後、全てのフレーム信号が完了したかを判断し(ステップS112)、完了していない場合は上記ステップS105に戻り、また、完了した場合は終了する。
図13(b)は、上記ステップS104における算出処理に関するフローチャートを示す図である。
まず、上記ステップS102で入力された複数の専用基底ベクトル及び複数の汎用基底ベクトルと、上記ステップS103で入力された複数の光源の分光輝度特性及び複数のカラー撮像系の分光感度特性の中から、上記ステップS101で入力したヘッダ情報中の識別対象となる被写体やカラー撮像系,照明光などの撮像条件に基づき、専用基底ベクトル、汎用基底ベクトル、光源の分光輝度特性及びカラー撮像系の分光感度特性を選択する(ステップS201)。例えば、図6(a)に示すような専用基底ベクトル(O1(λ))及び汎用基底ベクトル(O2(λ),O3(λ))、図5(a)に示すような光源の分光輝度特性、図5(b)に示すようなカラー撮像系の分光感度特性を選択する。
その後、上記(1)式に示されるシステム行列Mを算出し(ステップS202)、更に、そのシステム行列Mの逆行列M−1を算出する(ステップS203)。そして、専用基底ベクトル(O1(λ))の重み係数(w1ij)を算出するに要する逆行列M−1の要素m11,m12,m13を上記所定の係数として選択し(ステップS204)、選択された逆行列M−1の要素m11,m12,m13を出力する(ステップS205)。
なお、ここでは上記変形例1に対応する処理をソフトウェアで実施する場合を例に説明したが、上記第1実施形態及び変形例2乃至6のような処理に関しても、同様にソフトウェアで実施することが可能なことは言うまでもない。
また、動画像及び静止画像の何れにも適用可能なことは勿論である。静止画像の場合には、上記ステップS112の判断を省略して、処理を終了することとなる。
[第2実施形態]
次に、本発明の第2実施形態を説明する。
(構成)
図14は、本発明の第2実施形態に係る信号処理システムを適用した内視鏡の構成を示す図である。本実施形態は、図1に示す第1実施形態の構成に、撮像系ROM129、照明系ROM130、第2算出部131、第2正規化部132及び疑似カラー部133が追加された構成になっている。基本構成は上記第1実施形態と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。
本実施形態においては、内視鏡本体に内蔵された撮像系ROM129及び照明本体に内蔵された照明系ROM130は、制御部118へ接続されている。補間部108は、信号処理部111,算出部112,第2算出部131へ接続されている。基底ベクトルROM114及びシステム分光特性ROM115は、算出部112及び第2算出部131へ接続されている。第2算出部131は、第2正規化部132へ接続されている。正規化部116及び第2正規化部132は、疑似カラー部133へ接続されている。疑似カラー部133は、切り換え部113へ接続されている。制御部118は、第2算出部131,第2正規化部132,疑似カラー部133と双方向に接続されている。
(作用)
本実施形態に係る信号処理システムの作用も、基本的に上記第1実施形態と同等であり、異なる部分のみ説明する。
図14において、信号の流れを説明する。制御部118は、外部I/F部119を介して識別対象となる被写体を、撮像系ROM129からの情報に基づきカラー撮像系を、照明系ROM130からの情報に基づき照明光などの撮像条件を、それぞれ設定する。ここで、複数のカラー撮像系及び複数の照明光の中から一つのカラー撮像系及び一つの照明光を選択する際に、撮像系及び照明系にROMとして当該撮像系及び照明系を特定するための情報を記憶させておくことで、使用者が外部I/F部119を介して選択操作する必要が無くなる。更には、撮像系ROM129及び照明系ROM130に、上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性を記憶させておけば、システム分光特性ROM115を省略したり、システム分光特性ROM115に記憶されていない新規な撮像系や照明系にも対処可能となる。
上記第1実施形態と同様に、補間部108は、制御部118の制御に基づき、バッファ107から単板状態のフレーム信号を読み込み、公知の補間処理にて三板のフレーム信号を生成する。生成された三板のフレーム信号は、順次フレーム信号単位で、信号処理部111、算出部112及び第2算出部131へ転送される。以降の信号処理部111,算出部112,正規化部116,第2算出部131,第2正規化部132及び疑似カラー部133では、制御部118の制御に基づき1フレーム信号単位で同期して処理がなされる。
信号処理部111は、制御部118の制御に基づき、補間部108から転送されるフレーム信号に対して公知の階調処理及び強調処理を行い、処理後のフレーム信号を切り換え部113へ転送する。
また、算出部112は、上記第1実施形態と同様に、識別対象となる被写体、例えば図6(a)に示されるオキシヘモグロビンに基づく専用基底ベクトルに関する重み係数を算出し、正規化部116へ転送する。正規化部116は、制御部118の制御に基づき、算出部112から転送される重み係数に関して映像信号の信号レベルと合致するよう正規化処理を行い、処理後の重み係数を識別対象の存在に関するフレーム信号として疑似カラー部133へ転送する。
同様に、第2算出部131は、制御部118の制御に基づき、基底ベクトルROM114から図6(a)に示される識別対象となる被写体の既知の分光特性に基づく専用基底ベクトル及び任意の被写体の分光特性の推定に用いる汎用基底ベクトルを、システム分光特性ROM115から図5(a)に示されるカラー撮像系による被写体の撮像時に使用する照明光に関する分光特性と図5(b)に示されるカラー撮像系に関する分光特性とを含んだ撮像システムの分光特性を、それぞれ読み込む。その後、補間部108から転送されるフレーム信号に対して、専用基底ベクトル、汎用基底ベクトル、カラー撮像系に関する分光特性及び照明光に関する分光特性を用いて、汎用基底ベクトルに関する重み係数を算出する。算出された汎用基底ベクトルの重み係数は、第2正規化部132へ転送される。第2正規化部132は、制御部118の制御に基づき、第2正規化部132から転送される重み係数に関して映像信号の信号レベルと合致するよう正規化処理を行い、処理後の重み係数を識別対象存在しない領域、つまり識別対象以外の被写体の存在領域に関するフレーム信号として疑似カラー部133へ転送する。
疑似カラー部133は、制御部118の制御に基づき、正規化部116から転送されるフレーム信号及び第2正規化部132から転送されるフレーム信号から疑似カラー化処理を行う。上記疑似カラー化処理としては、正規化部116から転送される識別対象の存在に関するフレーム信号をR信号へ、第2正規化部132から転送される識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関するフレーム信号をG,B信号へ割り当てることで実施される。疑似カラー化処理されたフレーム信号は、切り換え部113へ転送される。
切り換え部113は、制御部118の制御に基づき、信号処理部111から転送される通常のフレーム信号及び疑似カラー部133から転送される疑似カラー化処理されたフレーム信号のいずれか一方を選択し、例えば表示モニタである出力部117へ転送して表示を行う。なお、出力部117は、表示モニタに限定されるものではなく、ハードディスクやメモリカードなどの記録媒体にフレーム信号を順次記録保存する形態も可能である。
図15は、上記第2算出部131の構成の一例を示す図であり、該第2算出部131は、データ選択部210、積算部211、バッファ212、逆行列算出部213、バッファ214、係数選択部215及び乗加算部216からなる。上記基底ベクトルROM114及び上記システム分光特性ROM115は、データ選択部210へ接続している。データ選択部210は、積算部211、バッファ212、逆行列算出部213及びバッファ214を介して、係数選択部215へ接続している。係数選択部215及び補間部108は、乗加算部216へ接続している。乗加算部216は、上記第2正規化部132へ接続している。上記制御部118は、データ選択部210、積算部211、逆行列算出部213、係数選択部215、乗加算部216と双方向に接続されている。
データ選択部210は、上記外部I/F部119を介して設定された識別対象となる被写体の情報を上記制御部118から受け取り、その情報に基づき上記基底ベクトルROM114から図6(a)に示される識別対象となる被写体の分光特性に基づく専用基底ベクトル(O1(λ))及び任意の被写体の分光特性の推定に用いる汎用基底ベクトル(O2(λ),O3(λ))を読み込む。さらに、データ選択部210は、撮像系ROM129からの情報に基づき設定されたカラー撮像系及び照明系ROM130からの情報に基づき設定された照明光の情報を制御部118から受け取る。そして、上記情報に基づきシステム分光特性ROM115から図5(a)に示される光源の分光輝度特性(I(λ))及び図5(b)に示されるカラー撮像系に関する分光特性(SR(λ),SG(λ),SB(λ))を読み込む。上記専用基底ベクトル(O1(λ))、汎用基底ベクトル(O2(λ),O3(λ))、光源の分光輝度特性(I(λ))及びカラー撮像系の分光感度特性(SR(λ),SG(λ),SB(λ))は、積算部211へ転送される。
積算部211は、制御部118の制御に基づき、上記(1)式に示される3×3サイズの撮像システムに関するシステム行列Mを算出する。算出されたシステム行列Mは、バッファ212へ転送され、保存される。逆行列算出部213は、制御部118の制御に基づき、上記バッファ212から上記システム行列Mを読み込み、この逆行列M−1を算出する。算出された逆行列M−1は、バッファ214へ転送され、保存される。
上記システム行列Mの逆行列M−1とR,G,Bからなるフレーム信号を使用することで、上記(2)式に示されるように、各画素単位で専用基底ベクトル(O1(λ))及び汎用基底ベクトル(O2(λ),O3(λ))に関する重み係数(w1,w2,w3)を求めることができる。本第2算出部131においては、汎用基底ベクトル(O2(λ),O3(λ))に関する重み係数(w2,w3)を求めることを想定している。このため、上記(2)式に示されるシステム行列の逆行列M−1において必要となる係数は、要素m21,m22,m23,m31,m32,m33の6つとなる。
そこで、係数選択部215は、制御部118の制御に基づき、上記バッファ214から上記システム行列Mの逆行列M−1の要素m21,m22,m23,m31,m32,m33を選択し、これを乗加算部216へ転送する。乗加算部216は、制御部118の制御に基づき、上記係数選択部205からシステム行列Mの逆行列M−1の要素m21,m22,m23,m31,m32,m33が転送された後、補間部108からフレーム信号をR,G,Bからなる画素単位で読み込み、以下の(4)式及び上記(5)式に基づき、汎用基底ベクトル(O2(λ),O3(λ))に関係する重み係数(w2ij,w3ij)を求める。
Figure 0005389380
上記重み係数(w2ij,w3ij)は、第2正規化部132へ転送される。
なお、上記第2算出部131の構成は、上記第1実施形態に示される算出部112と基本的に同等である。このため、両者を統合して、1つの算出部によって専用基底ベクトル及び汎用基底ベクトルに関する全ての重み係数を算出する構成も可能である。
また、第2算出部131においても、算出部112と同様に、汎用正規化ベクトルではなくて、分光特性が既知の被写体の専用基底ベクトルを、識別対象となる被写体の専用基底ベクトルと共に用いても良い。
以上のように、本第2実施形態によれば、分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく専用基底ベクトルと、識別対象ではない識別対象外被写体の既知の分光特性に基づく専用基底ベクトル又は任意の被写体の分光特性の推定に用いる汎用基底ベクトルと、上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と、上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とから、上記識別対象の被写体の存在に比例した値をとる上記識別対象の被写体の専用基底ベクトルに関する重み係数と、識別対象外被写体の専用基底ベクトル又は汎用基底ベクトルに関する重み係数とを算出し、両者の重み係数に基づき出力信号を算出する。
従って、上記第1実施形態と同様の効果を奏することができる。
また、識別対象以外の領域に対しても、識別対象外被写体の既知の分光特性に基づく専用基底ベクトルに関する重み係数又は汎用基底ベクトルに関する重み係数を正規化することで得られた信号と合わせて疑似カラー表示を行うため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
なお、上記第1実施形態と同様に、4つの原色フィルタ122又は色差線順次型補色フィルタ123からなる撮像系や、二板,三板CCDにも適用可能である。この場合、図6(b),図8(a),図8(b)に示した専用基底ベクトル及び汎用基底ベクトルや、全て専用基底ベクトルを使用することも可能である。また、動画像及び静止画像の何れにも適用可能なことは勿論である。
[変形例1]
また、上記第2実施形態では、映像信号の出力として信号処理部111から転送される通常のフレーム信号または疑似カラー部133から転送される疑似カラー化処理されたフレーム信号のいずれか一方を選択し出力する構成となっていたが、このような構成に限定される必要はない。
例えば、図16に示されるように、汎用基底ベクトル(O2(λ),O3(λ))に関係する重み係数(w2ij,w3ij)から各画素単位で被写体の分光特性(Oij(λ))を推定し、推定された分光特性(Oij(λ))を専用基底ベクトル(O1(λ))に関する重み係数(w1ij)にて修正し、修正された分光特性(O’ij(λ))からカラー映像信号を生成する構成も可能である。
図16は、図14に示す構成から正規化部116及び第2正規化部132を省略し、分光特性推定部134、補正部135及び変換部136を追加した形態となっている。基本構成は図14と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。
第2算出部131は、分光特性推定部134へ接続されている。算出部112及び分光特性推定部134は、補正部135へ接続されている。補正部135は、変換部136を介して切り換え部113へ接続されている。システム分光特性ROM115は、算出部112、第2算出部131及び変換部136へ接続されている。制御部118は、分光特性推定部134、補正部135及び変換部136と双方向に接続されている。
第2算出部131で算出された汎用基底ベクトル(O2(λ),O3(λ))に関係する重み係数(w2ij,w3ij)及び汎用基底ベクトル(O2(λ),O3(λ))は、分光特性推定部134へ転送される。分光特性推定部134は、制御部118の制御に基づき、以下の(6)式により、画素単位で被写体の分光特性(Oij(λ))を推定する。
Figure 0005389380
上記(6)式に基づき可視域全体で算出された被写体の分光特性Oij(λ)は、補正部135へ転送される。
一方、算出部112は、上述したように、専用基底ベクトル(O1(λ))に関する重み係数(w1ij)を算出し、専用基底ベクトル(O1(λ))と共に補正部135へ転送する。
補正部135は、制御部118の制御に基づき、分光特性推定部134から転送された被写体の分光特性(Oij(λ))を、算出部112から転送された重み係数(w1ij)に基づき補正する。重み係数(w1ij)は、識別対象の被写体、例えばオキシヘモグロビンの存在に比例した値となっている。このため、重み係数(w1ij)が大きい血管など領域においては、上記(6)式に示される汎用基底ベクトルより算出された分光特性を識別対象自体の分光特性に置き換えることで分光特性の精度を向上することができる。補正部135は、被写体の分光特性(Oij(λ))と識別対象自体の分光特性とを、以下の(7)式のように重み係数(w1ij)に基づき混合することで、補正された分光特性(O’ij(λ))を求める。なおここで、専用基底ベクトル(O1(λ))は、図4に示されるように識別対象自体の分光特性に基づくものであるため、識別対象の分光特性として流用することができる。また、以下の(7)式において、重み係数(w1ij)は、「0」〜「1」までの値を取り得ることを前提としている。
Figure 0005389380
補正部135は、上記(7)式に基づき補正した分光特性(O’ij(λ))及び上記算出部112から転送された重み係数(w1ij)を、変換部136へ転送する。
変換部136は、制御部118の制御に基づき、システム分光特性ROM115から図5(b)に示されるようなカラー撮像系に関する分光特性(SR(λ),SG(λ),SB(λ))を読み込む。この後、上記補正部135から転送された上記補正された分光特性(O’ij(λ))に基づき、以下の(8)式により、Rij,Gij,Bijの三信号を算出する。
Figure 0005389380
上記(8)式におけるkは、Rij,Gij,Bijの三信号を映像信号の信号レベル(例えば、信号レベルが8ビットならば「0」〜「255」)と合致するための補正係数を意味する。また、gain()は、強調処理用のゲインを生成する関数であり、例えば図17に示される特性をしている。
変換部136は、上記(8)式に基づき算出したRij,Gij,Bijの三信号をフレーム信号として切り換え部113へ転送する。この変換部136により生成されるフレーム信号は、識別対象の存在に比例してRが強調された信号となっており、識別性が向上している。また、識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても同等な処理により生成されるため、識別対象との統一性、連続性に優れ視認性の良い映像信号が得られる。
なお、本変形例においても、第1及び第2算出部112,131は、全て専用基底ベクトルを用いても良いし、少なくとも識別対象となる被写体の専用基底ベクトルを用い、他は汎用基底ベクトルを用いても良い。更に、基底ベクトルの総数についても三種に限定するものではないことは上述した通りである。また、第1及び第2算出部112,131を一つの算出部に統合しても構わない。また、動画像及び静止画像の何れにも適用可能なことは勿論である。
[変形例2]
さらに、上記第2実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD101からの映像信号を未処理のままのRawデータ形態として、制御部118から、識別対象となる被写体やカラー撮像系,照明光などの撮像条件をヘッダ情報として出力し、それら映像信号とヘッダ情報を図示しないコンピュータに入力して、ソフトウェアにて処理する構成も可能である。
図18(a)は、不図示コンピュータによる信号処理のソフトウェア処理に関するフローチャートを示す図である。なお、図13(a)に示す上記第1実施形態における信号処理のフローチャートと同一な処理ステップに関しては、同一な参照符号を割り当てている。
即ち、コンピュータはまず、映像信号と、識別対象や被写体及びカラー撮像系,照明光などの撮像条件に関するヘッダ情報を入力する(ステップS101)。なお、本変形例において3色の色フィルタ121R,121G,121BからなるBayer型単板CCDからの映像信号を処理することを想定する。
次に、複数の専用基底ベクトル及び複数の汎用基底ベクトルを入力し(ステップS102)、また、複数の光源の分光輝度特性及び複数のカラー撮像系の分光感度特性を入力する(ステップS103)。ここで、上記複数の基底ベクトル及び複数の分光特性は、コンピュータが備える記録媒体や着脱自在な記録媒体から読み出したり、ネットワークを介して読み込むことで入力する。
そして、図13(b)にて説明したような算出処理により、専用基底ベクトル(O1(λ))に関する重み係数算出に使用されるシステム行列Mの逆行列M−1の所定の係数、つまり要素m11,m12,m13を算出する(ステップS104)。また、詳細は後述するような第2算出処理により、汎用基底ベクトル(O2(λ),O3(λ))に関する重み係数算出に使用されるシステム行列Mの逆行列M−1の係数、つまり要素m21,m22,m23,m31,m32,m33を算出する(ステップS113)。
その後、上記入力された映像信号から順次フレーム信号を抽出し(ステップS105)、公知の補間処理にて三板のフレーム信号を生成する(ステップS106)。そして、そのフレーム信号に対して、公知の階調処理や強調処理といった信号処理を行う(ステップS107)。
また、上記ステップS107の信号処理と並行して、上記(3)式に示されるように専用基底ベクトル(O1(λ))に関する重み係数(w1ij)を算出し(ステップS108)、その算出した重み係数(w1ij)を正規化することで識別対象の存在に関するフレーム信号を生成する(ステップS109)。更に、上記(4)式及び上記(5)式に示されるように汎用基底ベクトル(O2(λ),O3(λ))に関する重み係数(w2ij,w3ij)を算出する(ステップS114)、その算出した重み係数(w2ij,w3ij)を正規化することで識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関するフレーム信号を生成する(ステップS115)。そして、上記ステップS109で生成した識別対象の存在に関するフレーム信号及び上記ステップS115で生成した識別対象以外の被写体の存在領域に関するフレーム信号から疑似カラー化処理を行う(ステップS116)。
そして、上記ステップS107からの通常のフレーム信号または上記ステップS116からの疑似カラー化処理されたフレーム信号のどちらかを切り換えて(ステップS110)、フレーム信号を当該コンピュータに接続された図示しない表示モニタ等に出力する(ステップS111)。その後、全てのフレーム信号が完了したかを判断し(ステップS112)、完了していない場合は上記ステップS105に戻り、また、完了した場合は終了する。
図18(b)は、上記ステップS113における第2算出処理に関するフローチャートを示す図である。
まず、上記ステップS102で入力された複数の専用基底ベクトル及び複数の汎用基底ベクトルと、上記ステップS103で入力された複数の光源の分光輝度特性及び複数のカラー撮像系の分光感度特性の中から、上記ステップS101で入力したヘッダ情報中の識別対象となる被写体やカラー撮像系,照明光などの撮像条件に基づき、専用基底ベクトル、汎用基底ベクトル、光源の分光輝度特性及びカラー撮像系の分光感度特性を選択する(ステップS211)。例えば、図6(a)に示すような専用基底ベクトル(O1(λ))及び汎用基底ベクトル(O2(λ),O3(λ))、図5(a)に示すような光源の分光輝度特性、図5(b)に示すようなカラー撮像系の分光感度特性を選択する。
その後、上記(1)式に示されるシステム行列Mを算出し(ステップS212)、更に、そのシステム行列Mの逆行列M−1を算出する(ステップS213)。そして、汎用基底ベクトル(O2(λ),O3(λ))の重み係数(w2ij,w3ij)を算出するに要する逆行列M−1の要素m21,m22,m23,m31,m32,m33を上記所定の係数として選択し(ステップS214)、選択された逆行列M−1の要素m21,m22,m23,m31,m32,m33を出力する(ステップS215)。
なお、ここでは上記第2実施形態に対応する処理をソフトウェアで実施する場合を例に説明したが、上記変形例1のような処理に関しても、同様にソフトウェアで実施することが可能なことは言うまでもない。
また、第2算出処理において、一種の専用基底ベクトルと二種の汎用基底ベクトルを利用する場合を例に説明したが、三種とも専用基底ベクトルを使用しても良いし、二種の専用基底ベクトルと一種の汎用基底ベクトルを使用しても良い。更に、三種に限定しないことも上述した通りである。算出処理においても、同様に少なくとも識別対象となる被写体の専用基底ベクトルを用いれば、他は専用基底ベクトルでも汎用基底ベクトルでも構わない。
また、上記算出処理と上記第2算出処理とは基本的に同等であるので、両者を統合して、1つの算出処理により専用基底ベクトル及び汎用基底ベクトルに関する全ての重み係数を算出するようにしても良いことは勿論である。また、動画像及び静止画像の何れにも適用可能なことは勿論である。
[第3実施形態]
次に、本発明の第3実施形態を説明する。
(構成)
図19は、本発明の第3実施形態に係る信号処理システムを適用した顕微鏡の構成を示す図である。本実施形態は、図1に示す第1実施形態の構成から、算出部112、基底ベクトルROM114及びシステム分光特性ROM115を省略し、相関係数算出部137及び導出係数ROM138が追加された構成になっている。基本構成は上記第1実施形態と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。
本実施形態においては、顕微鏡の撮像レンズ系100,CCD101を介して撮像された映像信号は、増幅部105にて増幅され、A/D106にてデジタル信号へ変換される。顕微鏡の対物ステージには、照明レンズ系102を介して照明光源103からの照明光が導かれている。補間部108は、信号処理部111及び相関係数算出部137へ接続されている。導出係数ROM138は、相関係数算出部137へ接続されている。相関係数算出部137は、正規化部116へ接続されている。制御部118は、相関係数算出部137と双方向に接続されている。
(作用)
本実施形態に係る信号処理システムの作用も、基本的に上記第1実施形態と同等であり、異なる部分のみ説明する。
図19において、信号の流れを説明する。外部I/F部119を介して後述する識別対象となる被写体などの撮像条件を設定した後、外部I/F部119における図示しないシャッタボタンを半押しにすることで、プリ撮像モードに入る。撮像レンズ系100,CCD101を介して撮像された映像信号はアナログ信号として出力される。上記アナログ信号は増幅部105にて所定量増幅され、A/D106にてデジタル信号へ変換されてバッファ107へ転送される。バッファ107内の映像信号は、制御部118の制御に基づき、WB部109及び測光評価部110へ転送される。上記第1実施形態と同様に、WB部109にてホワイトバランス処理が、測光評価部110にて露光制御が行われる。
次に、外部I/F部119におけるシャッタボタンを全押しにすることにより本撮像が行われ、映像信号はプリ撮像と同様にバッファ107へ転送される。バッファ107内の映像信号は、補間部108へ転送される。補間部108は、制御部118の制御に基づき、バッファ107から単板状態の映像信号を読み込み、公知の補間処理にて三板の映像信号を生成する。生成された三板の映像信号は、信号処理部111及び相関係数算出部137へ転送される。
信号処理部111は、制御部118の制御に基づき、補間部108から転送される映像信号に対して公知の階調処理及び強調処理を行い、処理後の映像信号を切り換え部113へ転送する。
一方、導出係数ROM138には、識別対象となる被写体毎に、当該被写体の既知の分光特性、被写体の撮像に供するカラー撮像系に関する分光特性と被写体の撮像時に使用する照明光に関する分光特性に基づいて、識別対象となる被写体の分光特性と映像信号との間の相関性を導出する導出係数が予め算出されて、記憶されている。相関係数算出部137は、外部I/F部119を介して設定された上記撮像条件における識別対象となる被写体の選択に応じた制御部118の制御に基づき、導出係数ROM138から上記導出係数を選択的に読み込む。その後、補間部108から転送される映像信号に対して、上記読み込んだ導出係数を用いて、識別対象となる被写体の分光特性と映像信号間の相関係数を算出する。この相関係数算出部137によって算出された相関係数は、上記識別対象の被写体の存在に比例した値をとるものであり、正規化部116へ転送され、映像信号の信号レベル(例えば、信号レベルが8ビットならば「0」〜「255」)と合致するよう正規化処理がなされる。正規化処理後の相関係数は、映像信号として、切り換え部113へ転送される。
切り換え部113は、制御部118の制御に基づき、信号処理部111から転送される通常の映像信号及び正規化部116から転送される識別対象の存在に関する映像信号のいずれか一方を選択し、例えば表示モニタである出力部117へ転送して表示を行う。なお、正規化部116からの映像信号は白黒の信号として出力されることになる。また、出力部117は、表示モニタに限定されるものではなく、ハードディスクやメモリカードなどの記録媒体に映像信号を記録保存する形態も可能である。
図20は、上記相関係数算出部137の構成の一例を示す図であり、該相関係数算出部137は、係数選択部227と乗加算部226からなる。ここで、上記導出係数ROM138は、係数選択部227を介して乗加算部226へ接続している。上記補間部108は、乗加算部226へ接続している。乗加算部226は、上記正規化部116へ接続している。上記制御部118は、係数選択部227及び乗加算部226と双方向に接続されている。
係数選択部227は、上記外部I/F部119を介して設定された上記撮像条件における識別対象となる被写体の情報を制御部118から受け取り、上記情報に基づき導出係数ROM138から識別対象となる被写体の分光特性と映像信号との間の相関性を導出する導出係数を読み込む。導出係数ROM138には、上記(2)式に示されるシステム行列Mの逆行列M−1の各要素が導出係数として記録されている。これは、顕微鏡では、被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とが固定されているということを前提としている。この場合は、上記(1)式及び上記(2)式に示す算出の過程を省略することができ、最終的に得られるシステム行列Mの逆行列M−1を記録しておけば良い。
なお、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルに関しては予め想定される種類を用意し、複数のシステム行列の逆行列M−1を記録しているものとする。ここでは、上記第1実施形態と同様にm11,m12,m13が導出係数として読み込まれるものとする。上記導出係数は、乗加算部226へ転送される。
乗加算部226は、制御部118の制御に基づき、係数選択部227から導出係数を、上記補間部108から映像信号を画素単位で読み込む。この後、上記(3)式に基づき、重み係数を求める。上記重み係数は、識別対象となる被写体の既知の分光特性と映像信号との間の相関関係を表す相関係数となる。この相関係数は、順次、上記正規化部116へ転送される。
以上のように、本第3実施形態によれば、分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく導出係数から、上記識別対象の被写体の存在に比例した値をとる上記識別対象となる被写体の既知の分光特性と映像信号との間の相関係数を求め、その相関係数に基づき上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する。このように、本第3実施形態では、識別対象となる被写体の既知の分光特性に基づく導出係数を用いることで、上記識別対象の被写体の存在に比例した値をとる相関係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行う必要が無く、よって、信号処理に起因する誤差の発生が少なく、信頼性の高い識別が可能となる。
また、広帯域の通常の照明光を使用するため、ノイズによる影響を抑制でき、安定性のある識別が可能となる。さらに、導出係数からの相関係数の算出は容易であり、且つ相関係数から直接出力信号を算出するため、処理の高速化と低コスト化が可能となる。
また、正規化処理のみで出力信号を求めるため、処理の高速化と低コスト化が可能となる。
なお、上記第3実施形態の説明では、顕微鏡による静止画像処理を行う構成となっていたが、このような構成に限定される必要はない。カラー撮像系に関する分光特性及び被写体の撮像時に使用する照明光に関する分光特性が固定されるのであれば、上述した第1及び第2実施形態のような内視鏡などの動画像処理へも適用することが可能である。
さらに、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、識別対象となる被写体などの撮像条件に関する付随情報をヘッダ部に記録した記録媒体から、映像信号及び付随情報を取得して処理をすることも可能である。また、上述した第1実施形態の変形例2で説明したように、4つの原色フィルタ122又は色差線順次型補色フィルタ123からなる撮像系や、二板,三板CCDにも適用可能である。
[変形例1]
また、上記第3実施形態では、映像信号の出力として信号処理部111から転送される通常の映像信号または正規化部116から転送される識別対象の存在に関する映像信号のいずれか一方を、切り換え部113によって選択し出力する構成となっていたが、このような構成に限定される必要はない。
図21は、図19に示す構成から正規化部116を省略し、切り換え部113を強調部124へ置換した形態となっている。基本構成は図19と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。
信号処理部111及び相関係数算出部137は、強調部124へ接続されている。強調部124は、出力部117へ接続されている。制御部118は、強調部124と双方向に接続されている。強調部124へは、信号処理部111から通常の映像信号が、相関係数算出部137から識別対象となる被写体の既知の分光特性と映像信号との間の相関係数が転送される。
このような構成において、強調部124は、制御部118の制御に基づき、信号処理部111から転送される映像信号に対して相関係数算出部137から転送される相関係数に基づき強調処理を行う。上記強調処理としては、公知のエッジ強調や彩度強調処理が想定され、これらの強調量は相関係数に比例する形態で実施される。強調処理後の映像信号は出力部117へ転送される。
これにより、オキシヘモグロビンなどの識別対象の被写体の存在領域のみが強調され、認識能を向上することが可能となる。また、識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても、通常の処理がなされた映像信号が出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
[変形例2]
図22は、図19に示す構成において、切り換え部113を合成部125へ置換した形態となっている。基本構成は図19と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。
信号処理部111及び正規化部116は、合成部125へ接続されている。合成部125は、出力部117へ接続されている。制御部118は、合成部125と双方向に接続されている。合成部125へは、信号処理部111から転送される通常の映像信号が、正規化部116から識別対象の存在に関する映像信号が転送される。
このような構成において、合成部125は、制御部118の制御に基づき、信号処理部111から転送される映像信号に対して正規化部116から転送される識別対象の存在に関する映像信号を合成処理する。上記合成処理としては、公知のスーパーインポーズなどの処理が想定される。合成処理後の映像信号は、出力部117へ転送される。
これにより、識別対象の被写体の存在領域に関して高精度な出力信号が得られると共に、識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても通常の処理がなされた映像信号が出力されることになり、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
また、上記合成部125は、画面の一部にウィンドウを表示して、信号処理部111からの映像信号又は正規化部116からの映像信号を子画面子画面として表示する公知のピクチャ・イン・ピクチャなどの合成処理を行うものとしても良い。この場合、外部I/F部119を介した指示により、何れを親画面とし何れを子画面とするか選択できるようにすることが好ましい。
[変形例3]
図23は、図19に示す構成から、切り換え部113を省略し、第2出力部126を追加した形態となっている。基本構成は図19と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。
信号処理部111は、出力部117へ接続されている。正規化部116は、第2出力部126へ接続されている。制御部118は、第2出力部126と双方向に接続されている。信号処理部111は、制御部118の制御に基づき、通常の映像信号を出力部117へ転送する。出力部117においては、通常の映像信号が表示される。正規化部116は、制御部118の制御に基づき、識別対象の存在に関する映像信号を第2出力部126へ転送する。第2出力部126においては、識別対象の存在に関する映像信号が表示される。
これにより、識別対象の存在に関して高精度な出力信号が得られると共に、通常の処理がなされた映像信号も独立に出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
[変形例4]
さらに、上記第3実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD101からの映像信号を未処理のままのRawデータ形態として、制御部118から、識別対象となる被写体などの撮像条件をヘッダ情報として出力し、それら映像信号とヘッダ情報を図示しないコンピュータに入力して、ソフトウェアにて処理する構成も可能である。
図24(a)は、不図示コンピュータによる信号処理のソフトウェア処理に関するフローチャートを示す図である。なお、図13(a)に示す上記第1実施形態における信号処理のフローチャートと同一な処理ステップに関しては、同一な参照符号を割り当てている。
即ち、コンピュータはまず、映像信号と、識別対象となる被写体などの撮像条件に関するヘッダ情報を入力すると共に(ステップS101)、複数の導出係数を入力する(ステップS117)。ここで、上記導出係数は、コンピュータが備える記録媒体や着脱自在な記録媒体から読み出したり、ネットワークを介して読み込むことで入力する。
そして、上記入力された映像信号から公知の補間処理にて三板の映像信号を生成し(ステップS106)、その映像信号に対して、公知の階調処理や強調処理といった信号処理を行う(ステップS107)。
また、上記ステップS107の信号処理と並行して、詳細は後述するような相関係数算出処理をにより、入力した導出係数に基づき識別対象となる被写体の既知の分光特性と映像信号との間の相関係数を算出す(ステップS118)。そして、その相関係数を正規化することで、識別対象の存在に関する映像信号を生成する(ステップS109)。
そして、上記ステップS107からの通常の映像信号または上記ステップS109からの識別対象の被写体の存在に関する映像信号のどちらかを切り換えて(ステップS110)、映像信号を当該コンピュータに接続された図示しない表示モニタ等に出力して(ステップS111)、終了する。
なお、顕微鏡の場合は、動画像ではなく静止画像を扱うため、図13(a)や図18(a)のような、全てのフレーム信号が完了したかの判断は不要である。
図24(b)は、上記ステップS118における相関係数算出処理に関するフローチャートを示す図である。
まず、上記ステップS117で入力された複数の導出係数の中から、上記ステップS101で入力したヘッダ情報中の識別対象となる被写体情報に基づき、導出係数を選択する(ステップS226)。そして、上記(3)式に示されるように導出係数に基づき相関係数を算出して(ステップS227)、その算出された相関係数を出力する(ステップS228)。
なお、ここでは上記第3実施形態に対応する処理をソフトウェアで実施する場合を例に説明したが、上記変形例1乃至4のような処理に関しても、同様にソフトウェアで実施することが可能なことは言うまでもない。
以上、実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
(付記)
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
(1) 分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく専用基底ベクトルを取得する基底ベクトル取得部と、
上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性を取得するシステム分光特性取得部と、
上記カラー撮像系による被写体の撮像により得た映像信号、上記専用基底ベクトル、及び上記撮像システムの分光特性に基づき、上記専用基底ベクトルに関する重み係数を算出する算出部と、
上記算出部で算出した上記専用基底ベクトルに関する重み係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部と、
を有することを特徴とする信号処理システム。
(対応する実施形態)
この(1)に記載の信号処理システムに関する実施形態は、第1実施形態とその変形例及び第2実施形態とその変形例が対応する。それらの実施形態及び変形例において、一例として、基底ベクトルROM114、データ選択部200、データ選択部210が上記基底ベクトル取得部に、システム分光特性ROM115、撮像系ROM129、照明系ROM130、データ選択部200、データ選択部210が上記システム分光特性取得部に、算出部112、第2算出部131が上記算出部に、切り換え部113、正規化部116、出力部117、強調部124、合成部125、第2出力部126、第2正規化部132、疑似カラー部133、分光特性推定部134、補正部135、変換部136が上記出力信号算出部に、それぞれ対応する。
(作用効果)
この(1)に記載の信号処理システムは、例えば識別対象となる被写体を含む被写体を撮像して得た映像信号から上記識別対象の被写体を識別する際に、その識別対象の被写体の既知である分光特性に基づいて算出されている専用基底ベクトルと、上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性とを取得し、それら取得した専用基底ベクトル及び撮像システムの分光特性から、上記識別対象の被写体の存在に比例した値をとる上記専用基底ベクトルに関する重み係数を算出し、その重み係数に基づき上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出する。なお、取得とは、記録媒体から読み出すことやネットワークを介して読み込むことなどを意味する。
従って、この(1)に記載の信号処理システムによれば、識別対象となる被写体の既知である分光特性に基づく専用基底ベクトルを用いることで、上記識別対象の被写体の存在に比例した値をとる重み係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行うことなく、よって、信号処理に起因する誤差の発生が少なく、信頼性の高い識別対象被写体の識別が可能となる。また、広帯域の通常の照明光を使用するため、ノイズによる影響を抑制でき、安定性のある識別が可能となる。さらに、専用基底ベクトルに関する重み係数から直接出力信号を算出するため、処理の高速化と低コスト化が可能となる。
(2) 上記基底ベクトル取得部は、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに加えて、分光特性が既知であるが識別対象外である識別対象外被写体の上記既知の分光特性に基づく専用基底ベクトルをさらに取得することを特徴とする(1)に記載の信号処理システム。
(対応する実施形態)
この(2)に記載の信号処理システムに関する実施形態は、第1実施形態とその変形例2乃至7及び第2実施形態とその変形例が対応する。
(作用効果)
この(2)に記載の信号処理システムは、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルと分光特性が既知であるが識別対象外である識別対象外被写体の上記既知の分光特性に基づく専用基底ベクトルとを用いる。
従って、この(2)に記載の信号処理システムによれば、識別対象以外の領域に対して専用基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度が向上する。
(3) 上記基底ベクトル取得部は、上記専用基底ベクトルと共に、任意の被写体の分光特性の推定に用いる汎用基底ベクトルをさらに取得することを特徴とする(1)に記載の信号処理システム。
(対応する実施形態)
この(3)に記載の信号処理システムに関する実施形態は、第1実施形態の変形例及び第2実施形態とその変形例が対応する。
(作用効果)
この(3)に記載の信号処理システムは、識別対象となる被写体の分光特性に基づく専用基底ベクトルと任意の被写体の分光特性の推定に用いる汎用基底ベクトルとを用いる。
従って、この(3)に記載の信号処理システムによれば、識別対象以外の領域に対して汎用基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度が向上する。
(4) 複数の識別対象となる被写体の中から一つの被写体を選択する識別対象選択部をさらに有し、
上記基底ベクトル取得部は、上記識別対象選択部によって選択された一つの被写体の分光特性に基づく専用基底ベクトルを取得することを特徴とする(1)に記載の信号処理システム。
(対応する実施形態)
この(4)に記載の信号処理システムに関する実施形態は、第1実施形態とその変形例及び第2実施形態とその変形例が対応する。それらの実施形態及び変形例において、一例として、外部I/F部119が上記識別対象選択部に対応する。
(作用効果)
この(4)に記載の信号処理システムは、識別対象となる被写体の選択を受け付け、その選択に応じて、複数の専用基底ベクトルから識別対象となる被写体の専用基底ベクトルを選択する。
従って、この(4)に記載の信号処理システムによれば、識別対象の被写体を選択できるため、システムとしての適用性が向上し、多様な用途での利用が可能となる。
(5) 複数のカラー撮像系及び複数の照明光の中から一つのカラー撮像系及び一つの照明光を選択するカラー撮像系選択部をさらに有し、
上記システム分光特性取得部は、上記カラー撮像系選択部によって選択された一つのカラー撮像系に関する分光特性と一つの照明光に関する分光特性とを上記撮像システムの分光特性として取得することを特徴とする(1)に記載の信号処理システム。
(対応する実施形態)
この(5)に記載の信号処理システムに関する実施形態は、第1実施形態とその変形例及び第2実施形態とその変形例が対応する。それらの実施形態及び変形例において、一例として、外部I/F部119が上記カラー撮像系選択部に対応する。
(作用効果)
この(5)に記載の信号処理システムは、カラー撮像系及び照明光の選択を受け付け、その選択に応じて、複数のカラー撮像系に関する分光特性及び複数の照明光に関する分光特性から使用する分光特性をそれぞれ選択する。
従って、この(5)に記載の信号処理システムによれば、カラー撮像系及び照明光を選択できるため、システムとしての適用性が向上し、多様な用途での利用が可能となる。
(6) 上記算出部は、
上記基底ベクトル取得部によって取得した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトル及び上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルと、上記システム分光特性取得部によって取得した上記撮像システムの分光特性とに基づき、上記撮像システムに関するシステム行列を算出する行列算出部と、
上記行列算出部で算出した上記システム行列の逆行列を算出する逆行列算出部と、
上記逆行列算出部で算出した上記逆行列の係数から、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関係する係数を選択する係数選択部と、
上記係数選択部で選択された上記係数及び上記カラー撮像系からの上記映像信号に基づき、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数を算出する乗加算部と、
を有することを特徴とする(2)に記載の信号処理システム。
(対応する実施形態)
この(6)に記載の信号処理システムに関する実施形態は、第1実施形態とその変形例2乃至7及び第2実施形態とその変形例が対応する。それらの実施形態及び変形例において、一例として、データ選択部200、積算部201が上記行列算出部に、逆行列算出部203が上記逆行列算出部に、係数選択部205が上記係数選択部に、乗加算部206が上記乗加算部に、それぞれ対応する。
(作用効果)
この(6)に記載の信号処理システムは、識別対象となる被写体の専用基底ベクトル及び撮像システムの分光特性に基づくシステム行列の逆行列を算出し、この逆行列から識別対象被写体の専用基底ベクトルに関係する係数を選択し、選択された係数及び映像信号に基づき識別対象被写体の専用基底ベクトルに関する重み係数を算出する。
従って、この(6)に記載の信号処理システムによれば、識別対象となる被写体の既知の分光特性及び撮像システムの分光特性に基づく信号処理にて専用基底ベクトル、即ち識別対象に関する重み係数を算出するため、信号処理に起因する誤差の発生が少なく信頼性の高い識別が可能となる。また、システム行列に識別対象外被写体の専用基底ベクトルを含む構成のため、必要に応じて識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても、識別対象外被写体の専用基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度が向上する。
(7) 上記算出部は、
上記基底ベクトル取得部によって取得した上記汎用基底ベクトル及び上記専用基底ベクトル、及び上記システム分光特性取得部によって取得した上記撮像システムの分光特性に基づき、上記撮像システムに関するシステム行列を算出する行列算出部と、
上記行列算出部で算出した上記システム行列の逆行列を算出する逆行列算出部と、
上記逆行列算出部で算出した上記逆行列の係数から上記専用基底ベクトルに関係する係数を選択する係数選択部と、
上記係数選択部で選択された上記係数及び上記カラー撮像系からの上記映像信号に基づき、上記専用基底ベクトルに関する重み係数を算出する乗加算部と、
を有することを特徴とする(3)に記載の信号処理システム。
(対応する実施形態)
この(7)に記載の信号処理システムに関する実施形態は、第1実施形態の変形例及び第2実施形態とその変形例が対応する。それらの実施形態及び変形例において、一例として、データ選択部200、積算部201が上記行列算出部に、逆行列算出部203が上記逆行列算出部に、係数選択部205が上記係数選択部に、乗加算部206が上記乗加算部に、それぞれ対応する。
(作用効果)
この(7)に記載の信号処理システムは、汎用基底ベクトル及び専用基底ベクトル及び撮像システムの分光特性に基づくシステム行列の逆行列を算出し、この逆行列から専用基底ベクトルに関係する係数を選択し、選択された係数及び映像信号に基づき専用基底ベクトルに関する重み係数を算出する。
従って、この(7)に記載の信号処理システムによれば、識別対象となる被写体の既知の分光特性及び撮像システムの分光特性に基づく信号処理にて専用基底ベクトル、即ち識別対象に関する重み係数を算出するため、信号処理に起因する誤差の発生が少なく信頼性の高い識別が可能となる。また、システム行列に汎用基底ベクトルを含む構成のため、必要に応じて識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても、汎用基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度が向上する。
(8) 上記出力信号算出部は、
上記算出部で算出した上記専用基底ベクトルに関する重み係数を正規化する正規化部と、
上記正規化部によって正規化された上記専用基底ベクトルに関する重み係数を上記出力信号として出力する出力部と、
を有することを特徴とする(1)に記載の信号処理システム。
(対応する実施形態)
この(8)に記載の信号処理システムに関する実施形態は、第1実施形態とその変形例1、2、4乃至7及び第2実施形態とその変形例2が対応する。それらの実施形態及び変形例において、一例として、正規化部116が上記正規化部に、切り換え部113、出力部117が上記出力部に、それぞれ対応する。
(作用効果)
この(8)に記載の信号処理システムは、専用基底ベクトルに関する重み係数を正規化し、出力信号として出力する。
従って、この(8)に記載の信号処理システムによれば、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルに関する重み係数を正規化することで出力信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。また、正規化処理のみで出力信号を求めるため、処理の高速化と低コスト化が可能となる。
(9) 上記出力信号算出部は、
上記算出部で算出した上記専用基底ベクトルに関する重み係数に基づき、上記映像信号の強調処理を行う強調部と、
上記強調部によって強調処理された上記映像信号を上記出力信号として出力する出力部と、
を有することを特徴とする(1)に記載の信号処理システム。
(対応する実施形態)
この(9)に記載の信号処理システムに関する実施形態は、第1実施形態の変形例3が対応する。その変形例において、一例として、強調部124が上記強調部に、出力部117が上記出力部に、それぞれ対応する。
(作用効果)
この(9)に記載の信号処理システムは、専用基底ベクトルに関する重み係数に基づき通常の処理がなされた映像信号を強調処理し、出力信号として出力する。
従って、この(9)に記載の信号処理システムによれば、識別対象となる被写体の分光特性に基づく専用基底ベクトルに関する重み係数から強調処理を行うため、識別対象の存在領域のみが強調され認識能を向上することが可能となる。また、識別対象である被写体の存在しない領域、つまり識別対象外被写体の存在領域に関しても通常の処理がなされた映像信号が出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
(10) 上記出力信号算出部は、
上記算出部で算出した上記専用基底ベクトルに関する重み係数を正規化する正規化部と、
上記正規化部によって正規化された上記専用基底ベクトルに関する重み係数を、上記映像信号に合成する合成部と、
上記合成部によって上記正規化された上記専用基底ベクトルに関する重み係数が合成された上記映像信号を上記出力信号として出力する出力部と、
を有することを特徴とする(1)に記載の信号処理システム。
(対応する実施形態)
この(10)に記載の信号処理システムに関する実施形態は、第1実施形態の変形例4が対応する。その変形例において、一例として、正規化部116が上記正規化部に、合成部125が上記合成部に、出力部117が上記出力部に、それぞれ対応する。
(作用効果)
この(10)に記載の信号処理システムは、専用基底ベクトルに関する重み係数を正規化し、通常の処理がなされた映像信号間とで合成処理し、出力信号として出力する。なお、合成処理としては、例えば、公知のスーパーインポーズやピクチャ・イン・ピクチャなどの処理を含む。
従って、この(10)に記載の信号処理システムによれば、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルに関する重み係数を正規化することで識別対象に関する映像信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。また、通常の処理がなされた映像信号間で合成処理を行うため、識別対象である被写体の存在しない領域、つまり識別対象外被写体の存在領域に関しても通常の処理がなされた映像信号が出力されることになり、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
(11) 上記出力信号算出部は、
上記算出部で算出した上記専用基底ベクトルに関する重み係数を正規化する正規化部と、
上記正規化部によって正規化された上記専用基底ベクトルに関する重み係数及び上記映像信号の両者を、それぞれ、上記出力信号として出力する出力部と、
を有することを特徴とする(1)に記載の信号処理システム。
(対応する実施形態)
この(11)に記載の信号処理システムに関する実施形態は、第1実施形態の変形例5が対応する。その変形例において、一例として、正規化部116が上記正規化部に、出力部117、第2出力部126が上記出力部に、それぞれ対応する。
(作用効果)
この(11)に記載の信号処理システムは、専用基底ベクトルに関する重み係数を正規化して出力信号とすると共に、通常の処理がなされた映像信号もまた出力信号として独立に出力する。
従って、この(11)に記載の信号処理システムによれば、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルに関する重み係数を正規化することで識別対象に関する映像信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。また、通常の処理がなされた映像信号も独立に出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
(12) 上記算出部は、上記カラー撮像系からの上記映像信号、上記基底ベクトル取得部によって取得した上記汎用基底ベクトル及び上記専用基底ベクトル、及び上記システム分光特性取得部によって取得した上記撮像システムの分光特性に基づき、上記汎用基底ベクトルに関する重み係数をさらに算出し、
上記出力信号算出部は、上記算出部で算出した上記専用基底ベクトルに関する重み係数及び上記汎用基底ベクトルに関する重み係数に基づき、上記出力信号を算出することを特徴とする(3)に記載の信号処理システム。
(対応する実施形態)
この(12)に記載の信号処理システムに関する実施形態は、第2実施形態とその変形例が対応する。
(作用効果)
この(12)に記載の信号処理システムは、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトル及び任意の被写体の分光特性の推定に用いる汎用基底ベクトルと被写体の撮像に供するカラー撮像系に関する分光特性及び被写体の撮像時に使用する照明光に関する分光特性とから、専用基底ベクトルに関する重み係数及び汎用基底ベクトルに関する重み係数を算出し、両者の重み係数に基づき出力信号を算出する。
従って、この(12)に記載の信号処理システムによれば、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを用いるため、信号処理に起因する誤差の発生が少なく信頼性の高い識別が可能となる。また、識別対象以外の領域に対しても汎用基底ベクトルを用いた信号処理を適用することが可能となり、出力信号を算出する処理における自由度が向上する。
(13) 上記出力信号算出部は、
上記算出部で算出した上記専用基底ベクトルに関する重み係数及び上記汎用基底ベクトルに関する重み係数を正規化する正規化部と、
上記正規化部によってそれぞれ正規化された上記専用基底ベクトルに関する重み係数及び上記汎用基底ベクトルに関する重み係数から、上記出力信号としての擬似カラー信号を算出する疑似カラー信号算出部と、
を有することを特徴とする(12)に記載の信号処理システム。
(対応する実施形態)
この(13)に記載の信号処理システムに関する実施形態は、第2実施形態が対応する。その実施形態において、一例として、正規化部116、第2正規化部132が上記正規化部に、切り換え部113、出力部117、疑似カラー部133が上記疑似カラー信号算出部に、それぞれ対応する。
(作用効果)
この(13)に記載の信号処理システムは、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルに関する重み係数と、任意の被写体の分光特性の推定に用いる汎用基底ベクトルに関する重み係数とを算出し、両者の重み係数から疑似カラー信号を算出して出力信号とする。
従って、この(13)に記載の信号処理システムによれば、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルに関する重み係数を正規化することで識別対象に関する映像信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。また、識別対象以外の領域に対しても汎用基底ベクトルに関する重み係数を正規化することで得られた信号と合わせて疑似カラー表示を行うため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
(14) 上記出力信号算出部は、
上記算出部で算出した上記汎用基底ベクトルに関する重み係数に基づき、被写体の分光特性を推定する分光特性推定部と、
上記算出部で算出した上記専用基底ベクトルに関する重み係数に基づき、上記分光特性推定部によって推定された上記分光特性を補正する補正部と、
上記補正部によって補正された上記分光特性に基づき、上記出力信号を算出する変換部と、
を有することを特徴とする(12)に記載の信号処理システム。
(対応する実施形態)
この(14)に記載の信号処理システムに関する実施形態は、第2実施形態の変形例1が対応する。その変形例において、一例として、分光特性推定部134が上記分光特性推定部に、切り換え部113、出力部117、変換部136が上記補正部に、それぞれ対応する。
(作用効果)
この(14)に記載の信号処理システムは、任意の被写体の分光特性の推定に用いる汎用基底ベクトルから画面全体の被写体の分光特性を推定し、識別対象となる被写体に関してのみ専用基底ベクトルに関する重み係数にて補正を行い、補正された分光特性から出力信号を算出する。
従って、この(14)に記載の信号処理システムによれば、汎用基底ベクトル及び専用基底ベクトルから画面全体の被写体の分光特性を求め出力信号を算出するため、識別対象とそれ以外の領域での連続性が保たれ、視認性の良い出力信号が得られる。また、識別対象は専用基底ベクトルにて補正を行うため、分光特性の推定誤差を抑制でき高精度な識別が可能となる。
(15) 上記算出部は、
上記基底ベクトル取得部によって取得した上記汎用基底ベクトル及び上記専用基底ベクトル、及び上記システム分光特性取得部によって取得した上記撮像システムの分光特性に基づき、上記撮像システムに関するシステム行列を算出する行列算出部と、
上記行列算出部で算出した上記システム行列の逆行列を算出する逆行列算出部と、
上記逆行列算出部で算出した上記逆行列の係数から上記汎用基底ベクトルに関係する係数を選択する係数選択部と、
上記係数選択部で選択された上記係数、及び上記映像信号に基づき、上記汎用基底ベクトルに関する重み係数を算出する乗加算部と、
を有することを特徴とする(12)に記載の信号処理システム。
(対応する実施形態)
この(15)に記載の信号処理システムに関する実施形態は、第2実施形態とその変形例が対応する。それらの実施形態及び変形例において、一例として、データ選択部210、積算部211が上記行列算出部に、逆行列算出部213が上記逆行列算出部に、係数選択部215が上記係数選択部に、乗加算部216が上記乗加算部に、それぞれ対応する。
(作用効果)
この(15)に記載の信号処理システムは、汎用基底ベクトル及び専用基底ベクトルと撮像システムの分光特性とに基づくシステム行列の逆行列を算出し、この逆行列から汎用基底ベクトルに関係する係数を選択し、選択された係数及び映像信号に基づき汎用基底ベクトルに関する重み係数を算出する。
従って、この(15)に記載の信号処理システムによれば、識別対象である被写体の存在しない領域、つまり識別対象外被写体の存在領域に関して汎用基底ベクトルに関する重み係数を算出するため、画面全体に関する信号処理が行われ、識別対象との統一性、連続性の確保が容易となる。
(16) 上記算出部は、上記映像信号、上記基底ベクトル取得部によって取得した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトル及び上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルと、上記システム分光特性取得部によって取得した上記撮像システムの分光特性とに基づき、上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数をさらに算出し、
上記出力信号算出部は、上記算出部で算出した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数と、上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数とに基づき、上記出力信号を算出することを特徴とする(2)に記載の信号処理システム。
(対応する実施形態)
この(16)に記載の信号処理システムに関する実施形態は、第2実施形態とその変形例が対応する。
(作用効果)
この(16)に記載の信号処理システムは、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトル及び識別対象外の被写体の既知の分光特性に基づく専用基底ベクトルと被写体の撮像に供するカラー撮像系に関する分光特性及び被写体の撮像時に使用する照明光に関する分光特性とから、識別対象被写体の専用基底ベクトルに関する重み係数及び識別対象外被写体の専用基底ベクトルに関する重み係数を算出し、両者の重み係数に基づき出力信号を算出する。
従って、この(16)に記載の信号処理システムによれば、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを用いるため、信号処理に起因する誤差の発生が少なく信頼性の高い識別が可能となる。また、識別対象以外の領域に対しても識別対象外被写体の専用基底ベクトルを用いた信号処理を適用することが可能となり、出力信号を算出する処理における自由度が向上する。
(17) 上記出力信号算出部は、
上記算出部で算出した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数、及び、上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数を正規化する正規化部と、
上記正規化部によってそれぞれ正規化された、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数及び上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数から、上記出力信号としての擬似カラー信号を算出する疑似カラー信号算出部と、
を有することを特徴とする(16)に記載の信号処理システム。
(対応する実施形態)
この(17)に記載の信号処理システムに関する実施形態は、第2実施形態が対応する。その実施形態において、一例として、正規化部116、第2正規化部132が上記正規化部に、切り換え部113、出力部117、疑似カラー部133が上記疑似カラー信号算出部に、それぞれ対応する。
(作用効果)
この(17)に記載の信号処理システムは、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルに関する重み係数と、識別対象外の被写体の既知の分光特性に基づく専用基底ベクトルに関する重み係数とを算出し、両者の重み係数から疑似カラー信号を算出して出力信号とする。
従って、この(17)に記載の信号処理システムによれば、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルに関する重み係数を正規化することで識別対象に関する映像信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。また、識別対象以外の領域に対しても、識別対象外被写体の専用基底ベクトルに関する重み係数を正規化することで得られた信号と合わせて疑似カラー表示を行うため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
(18) 上記出力信号算出部は、
上記算出部で算出した上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数に基づき、被写体の分光特性を推定する分光特性推定部と、
上記算出部で算出した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数に基づき、上記分光特性推定部によって推定された上記分光特性を補正する補正部と、
上記補正部によって補正された上記分光特性に基づき、上記出力信号を算出する変換部と、
を有することを特徴とする(16)に記載の信号処理システム。
(対応する実施形態)
この(18)に記載の信号処理システムに関する実施形態は、第2実施形態の変形例1が対応する。その変形例において、一例として、分光特性推定部134が上記分光特性推定部に、切り換え部113、出力部117、変換部136が上記補正部に、それぞれ対応する。
(作用効果)
この(18)に記載の信号処理システムは、識別対象外の被写体の既知の分光特性に基づく専用基底ベクトルから画面全体の被写体の分光特性を推定し、識別対象となる被写体に関してのみ識別対象被写体の専用基底ベクトルに関する重み係数にて補正を行い、補正された分光特性から出力信号を算出する。
従って、この(18)に記載の信号処理システムによれば、識別対象被写体及び識別対象外被写体の専用基底ベクトルから画面全体の被写体の分光特性を求め出力信号を算出するため、識別対象とそれ以外の領域での連続性が保たれ、視認性の良い出力信号が得られる。また、識別対象は識別対象被写体の専用基底ベクトルにて補正を行うため、分光特性の推定誤差を抑制でき高精度な識別が可能となる。
(19) 上記算出部は、
上記基底ベクトル取得部によって取得した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトル及び上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルと、上記システム分光特性取得部によって取得した上記撮像システムの分光特性とに基づき、上記撮像システムに関するシステム行列を算出する行列算出部と、
上記行列算出部で算出した上記システム行列の逆行列を算出する逆行列算出部と、
上記逆行列算出部で算出した上記逆行列の係数から上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関係する係数を選択する係数選択部と、
上記係数選択部で選択された上記係数及び上記カラー撮像系からの上記映像信号に基づき、上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数を算出する乗加算部と、
を有することを特徴とする(16)に記載の信号処理システム。
(対応する実施形態)
この(19)に記載の信号処理システムに関する実施形態は、第2実施形態とその変形例が対応する。それらの実施形態及び変形例において、一例として、データ選択部210、積算部211が上記行列算出部に、逆行列算出部213が上記逆行列算出部に、係数選択部215が上記係数選択部に、乗加算部216が上記乗加算部に、それぞれ対応する。
(作用効果)
この(19)に記載の信号処理システムは、識別対象被写体及び識別対象外被写体の専用基底ベクトルと撮像システムの分光特性とに基づくシステム行列の逆行列を算出し、この逆行列から識別対象外被写体の専用基底ベクトルに関係する係数を選択し、選択された係数及び映像信号に基づき識別対象外被写体の専用基底ベクトルに関する重み係数を算出する。
従って、この(19)に記載の信号処理システムによれば、識別対象である被写体の存在しない領域、つまり識別対象外被写体の存在領域に関して識別対象外被写体の専用基底ベクトルに関する重み係数を算出するため、画面全体に関する信号処理が行われ、識別対象との統一性、連続性の確保が容易となる。
(20) 分光特性が既知である識別対象となる被写体の上記既知の分光特性、上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性、及び上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性に基づき算出された、上記被写体の既知の分光特性と上記映像信号との間の相関性を示す導出係数を取得する導出係数取得部と、
上記映像信号及び上記導出係数に基づき、上記識別対象となる被写体の分光特性と上記映像信号との間の相関係数を算出する相関係数算出部と、
上記相関係数算出部によって算出した上記相関係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部と、
を有することを特徴とする信号処理システム。
(対応する実施形態)
この(20)に記載の信号処理システムに関する実施形態は、第3実施形態とその変形例が対応する。その実施形態及び変形例において、一例として、導出係数ROM138が上記導出係数取得部に、相関係数算出部137が上記相関係数算出部に、切り換え部113、正規化部116、出力部117、強調部124、合成部125、第2出力部126が上記出力信号算出部に、それぞれ対応する。
(作用効果)
この(20)に記載の信号処理システムは、例えば識別対象となる被写体を含む被写体を撮像して得た映像信号から上記識別対象の被写体を識別する際に、その識別対象の被写体の既知である分光特性と映像信号間の相関性を導出する導出係数から、上記識別対象の被写体の存在に比例した値をとる相関係数を算出し、その相関係数に基づき上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出する。
従って、この(20)に記載の信号処理システムによれば、識別対象となる被写体の既知である分光特性に基づく導出係数を用いることで、上記識別対象の被写体の存在に比例した値をとる相関係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行うことなく、よって、信号処理に起因する誤差の発生が少なく信頼性の高い識別が可能となる。また、広帯域の通常の照明光を使用するため、ノイズによる影響を抑制でき、安定性のある識別が可能となる。さらに、導出係数からの相関係数の算出は容易であり、且つ相関係数から直接出力信号を算出するため、処理の高速化と低コスト化が可能となる。
(21) 上記出力信号算出部は、
上記相関係数算出部によって算出した上記相関係数を正規化する正規化部と、
上記正規化部によって正規化された上記相関係数を上記出力信号として出力する出力部と、
を有することを特徴とする(20)に記載の信号処理システム。
(対応する実施形態)
この(21)に記載の信号処理システムに関する実施形態は、第3実施形態とその変形例1、3、4が対応する。その実施形態及び変形例において、一例として、正規化部116が上記正規化部に、切り換え部113、出力部117が上記出力部に、それぞれ対応する。
(作用効果)
この(21)に記載の信号処理システムは、導出係数に関する相関係数を正規化し、出力信号として出力する。
従って、この(21)に記載の信号処理システムによれば、導出係数に関する相関係数を正規化することで出力信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。また、正規化処理のみで出力信号を求めるため、処理の高速化と低コスト化が可能となる。
(22) 上記出力信号算出部は、
上記相関係数算出部によって算出した上記相関係数に基づき、上記映像信号の強調処理を行う強調部と、
上記強調部によって強調処理された上記映像信号を上記出力信号として出力する出力部と、
を有することを特徴とする(20)に記載の信号処理システム。
(対応する実施形態)
この(22)に記載の信号処理システムに関する実施形態は、第3実施形態の変形例1が対応する。その変形例において、一例として、強調部124が上記強調部に、出力部117が上記出力部に、それぞれ対応する。
(作用効果)
この(22)に記載の信号処理システムは、導出係数に関する相関係数に基づき通常の処理がなされた映像信号を強調処理し、出力信号として出力する。
従って、この(22)に記載の信号処理システムによれば、導出係数に関する相関係数から強調処理を行うため、識別対象の存在領域のみが強調され認識能を向上することが可能となる。また、識別対象である被写体の存在しない領域、つまり識別対象外被写体の存在領域に関しても通常の処理がなされた映像信号が出力されるため、映像信号全体の認識がしやすくなり、使用者に対する操作性が向上する。
(23) 上記出力信号算出部は、
上記相関係数算出部によって算出した上記相関係数を正規化する正規化部と、
上記正規化部によって正規化された上記相関係数を、上記映像信号に合成する合成部と、
上記合成部によって上記正規化された上記相関係数が合成された上記映像信号を上記出力信号として出力する出力部と、
を有することを特徴とする(20)に記載の信号処理システム。
(対応する実施形態)
この(23)に記載の信号処理システムに関する実施形態は、第3実施形態の変形例2が対応する。その変形例において、一例として、正規化部116が上記正規化部に、合成部125が上記合成部に、出力部117が上記出力部に、それぞれ対応する。
(作用効果)
この(23)に記載の信号処理システムは、導出係数に関する相関係数を正規化し、通常の処理がなされた映像信号間とで合成処理し、出力信号として出力する。なお、合成処理としては、例えば、公知のスーパーインポーズやピクチャ・イン・ピクチャなどの処理を含む。
従って、この(23)に記載の信号処理システムによれば、導出係数に関する相関係数を正規化することで識別対象に関する映像信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。また、通常の処理がなされた映像信号間で合成処理を行うため、識別対象である被写体の存在しない領域、つまり識別対象外被写体の存在領域に関しても通常の処理がなされた映像信号が出力されることになり、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
(24) 上記出力信号算出部は、
上記相関係数算出部によって算出した上記相関係数を正規化する正規化部と、
上記正規化部によって正規化された上記相関係数、及び上記映像信号の両者を、それぞれ、上記出力信号として出力する出力部と、
を有することを特徴とする(20)に記載の信号処理システム。
(対応する実施形態)
この(24)に記載の信号処理システムに関する実施形態は、第3実施形態の変形例3が対応する。その変形例において、一例として、正規化部116が上記正規化部に、出力部117、第2出力部126が上記出力部に、それぞれ対応する。
(作用効果)
この(24)に記載の信号処理システムは、導出係数に関する相関係数を正規化して出力信号とすると共に、通常の処理がなされた映像信号もまた出力信号として独立に出力する。
従って、この(24)に記載の信号処理システムによれば、導出係数に関する相関係数を正規化することで識別対象に関する映像信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。また、通常の処理がなされた映像信号も独立に出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
(25) 上記映像信号は、赤,緑,青の3バンドの映像信号、またはシアン,マゼンタ,イエロー,緑の4バンドの映像信号であることを特徴とする(1)または(20)に記載の信号処理システム。
(対応する実施形態)
この(25)に記載の信号処理システムに関する実施形態は、第1実施形態の変形例2乃至7、第2実施形態とその変形例、第3実施形態とその変形例が対応する。
(作用効果)
この(25)に記載の信号処理システムは、Bayer型原色フィルタまたは色差線順次型補色フィルタを前面に配置した単板撮像素子によって撮像されたカラー映像信号に基づき識別対象の被写体を識別する。
従って、この(25)に記載の信号処理システムによれば、多くの撮像システムへの適用が可能となる。
(26) カラー撮像系による分光特性が既知である識別対象となる被写体を含む被写体の撮像によって得た映像信号を取得するステップと、
上記識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを取得するステップと、
上記カラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含む撮像システムの分光特性を取得するステップと、
上記取得した映像信号、上記取得した専用基底ベクトル、及び上記取得した撮像システムの分光特性に基づき、上記専用基底ベクトルに関する重み係数を算出するステップと、
上記算出した専用基底ベクトルに関する重み係数に基づき、上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出するステップと、
をコンピュータに発揮させることを特徴とする信号処理プログラム。
(対応する実施形態)
この(26)に記載の信号処理プログラムに関する実施形態は、第1実施形態の変形例7及び第2実施形態の変形例2が対応する。
(作用効果)
この(26)に記載の信号処理プログラムは、コンピュータに、例えば識別対象となる被写体を含む被写体を撮像して得た映像信号から上記識別対象の被写体を識別する際に、その識別対象の被写体の既知である分光特性に基づいて算出されている専用基底ベクトルと、上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含む撮像システムの分光特性とを取得させ、それら取得した専用基底ベクトル及び撮像システムの分光特性から、上記識別対象の被写体の存在に比例した値をとる上記専用基底ベクトルに関する重み係数を算出させ、その重み係数に基づき上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出させる。なお、取得とは、記録媒体から読み出すことやネットワークを介して読み込むことなどを意味する。
従って、この(26)に記載の信号処理プログラムによれば、識別対象となる被写体の既知である分光特性に基づく専用基底ベクトルを用いることで、上記識別対象の被写体の存在に比例した値をとる重み係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行うことなく、よって、信号処理に起因する誤差の発生が少なく、信頼性の高い識別対象被写体の識別が可能となる。また、広帯域の通常の照明光を使用するため、ノイズによる影響を抑制でき、安定性のある識別が可能となる。さらに、専用基底ベクトルに関する重み係数から直接出力信号を算出するため、処理の高速化と低コスト化が可能となる。
(27) 上記専用基底ベクトルを取得するステップは、さらに、分光特性が既知であるが識別対象外である識別対象外被写体の上記既知の分光特性に基づく専用基底ベクトルも取得することを特徴とする(26)に記載の信号処理プログラム。
(対応する実施形態)
この(27)に記載の信号処理プログラムに関する実施形態は、第1実施形態の変形例7及び第2実施形態の変形例2が対応する。
(作用効果)
この(27)に記載の信号処理プログラムは、コンピュータに、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルと分光特性が既知であるが識別対象外である識別対象外被写体の上記既知の分光特性に基づく専用基底ベクトルとを用いさせる。
従って、この(27)に記載の信号処理プログラムによれば、識別対象以外の領域に対して専用基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度が向上する。
(28) 任意の被写体の分光特性の推定に用いる汎用基底ベクトルを取得するステップをさらにコンピュータに発揮させることを特徴とする(26)に記載の信号処理プログラム。
(対応する実施形態)
この(28)に記載の信号処理プログラムに関する実施形態は、第1実施形態の変形例7及び第2実施形態の変形例2が対応する。
(作用効果)
この(28)に記載の信号処理プログラムは、コンピュータに、識別対象となる被写体の分光特性に基づく専用基底ベクトルと任意の被写体の分光特性の推定に用いる汎用基底ベクトルとを用いさせる。
従って、この(28)に記載の信号処理プログラムによれば、識別対象以外の領域に対して汎用基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度が向上する。
(29) 上記専用基底ベクトルに関する重み係数を算出するステップは、
上記取得した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトル及び上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルと、上記取得した撮像システムの分光特性とに基づき、上記撮像システムに関するシステム行列を算出するステップと、
上記算出したシステム行列の逆行列を算出するステップと、
上記算出した上記逆行列の係数から、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関係する係数を選択するステップと、
上記選択された係数及び上記取得した映像信号に基づき、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数を算出するステップと、
を有することを特徴とする(27)に記載の信号処理プログラム。
(対応する実施形態)
この(29)に記載の信号処理プログラムに関する実施形態は、第1実施形態の変形例7及び第2実施形態の変形例2が対応する。
(作用効果)
この(29)に記載の信号処理プログラムは、コンピュータに、識別対象となる被写体の専用基底ベクトル及び撮像システムの分光特性に基づくシステム行列の逆行列を算出させ、この逆行列から識別対象被写体の専用基底ベクトルに関係する係数を選択させ、選択された係数及び映像信号に基づき識別対象被写体の専用基底ベクトルに関する重み係数を算出させる。
従って、この(29)に記載の信号処理プログラムによれば、識別対象となる被写体の既知の分光特性及び撮像システムの分光特性に基づく信号処理にて専用基底ベクトル、即ち識別対象に関する重み係数を算出するため、信号処理に起因する誤差の発生が少なく信頼性の高い識別が可能となる。また、システム行列に識別対象外被写体の専用基底ベクトルを含む構成のため、必要に応じて識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても、識別対象外被写体の専用基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度が向上する。
(30) 上記専用基底ベクトルに関する重み係数を算出するステップは、
上記取得した上記専用基底ベクトル、上記取得した上記汎用基底ベクトル、及び上記取得した撮像システムの分光特性に基づき、上記撮像システムに関するシステム行列を算出するステップと、
上記算出した上記システム行列の逆行列を算出するステップと、
上記算出した上記逆行列の係数から上記専用基底ベクトルに関係する係数を選択するステップと、
上記選択された係数及び上記取得した映像信号に基づき、上記専用基底ベクトルに関する重み係数を算出するステップと、
を有することを特徴とする(28)に記載の信号処理プログラム。
(対応する実施形態)
この(30)に記載の信号処理プログラムに関する実施形態は、第1実施形態の変形例7及び第2実施形態の変形例2が対応する。
(作用効果)
この(30)に記載の信号処理プログラムは、コンピュータに、汎用基底ベクトル及び専用基底ベクトル及び撮像システムの分光特性に基づくシステム行列の逆行列を算出させ、この逆行列から専用基底ベクトルに関係する係数を選択させ、選択された係数及び映像信号に基づき専用基底ベクトルに関する重み係数を算出させる。
従って、この(30)に記載の信号処理プログラムによれば、識別対象となる被写体の既知の分光特性及び撮像システムの分光特性に基づく信号処理にて専用基底ベクトル、即ち識別対象に関する重み係数を算出するため、信号処理に起因する誤差の発生が少なく信頼性の高い識別が可能となる。また、システム行列に汎用基底ベクトルを含む構成のため、必要に応じて識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても、汎用基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度が向上する。
(31) 上記取得した映像信号、上記取得した汎用基底ベクトル及び専用基底ベクトル、及び上記取得した撮像システムの分光特性に基づき、上記汎用基底ベクトルに関する重み係数を算出するステップをさらにコンピュータに発揮させ、
上記出力信号を算出するステップは、上記算出した専用基底ベクトルに関する重み係数及び上記汎用基底ベクトルに関する重み係数に基づき、上記出力信号を算出することを特徴とする(28)に記載の信号処理プログラム。
(対応する実施形態)
この(31)に記載の信号処理プログラムに関する実施形態は、第2実施形態の変形例2が対応する。
(作用効果)
この(31)に記載の信号処理プログラムは、コンピュータに、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトル及び任意の被写体の分光特性の推定に用いる汎用基底ベクトルと被写体の撮像に供するカラー撮像系に関する分光特性及び被写体の撮像時に使用する照明光に関する分光特性とから、専用基底ベクトルに関する重み係数及び汎用基底ベクトルに関する重み係数を算出させ、両者の重み係数に基づき出力信号を算出させる。
従って、この(31)に記載の信号処理プログラムによれば、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを用いるため、信号処理に起因する誤差の発生が少なく信頼性の高い識別が可能となる。また、識別対象以外の領域に対しても汎用基底ベクトルを用いた信号処理を適用することが可能となり、出力信号を算出する処理における自由度が向上する。
(32) 上記汎用基底ベクトルに関する重み係数を算出するステップは、
上記取得した汎用基底ベクトル及び専用基底ベクトル、及び上記取得した撮像システムの分光特性に基づき、上記撮像システムに関するシステム行列を算出するステップと、
上記算出したシステム行列の逆行列を算出するステップと、
上記算出した逆行列の係数から上記汎用基底ベクトルに関係する係数を選択するステップと、
上記選択された係数及び上記取得した映像信号に基づき、上記汎用基底ベクトルに関する重み係数を算出するステップと、
を有することを特徴とする(31)に記載の信号処理プログラム。
(対応する実施形態)
この(32)に記載の信号処理プログラムに関する実施形態は、第2実施形態の変形例2が対応する。
(作用効果)
この(32)に記載の信号処理プログラムは、コンピュータに、汎用基底ベクトル及び専用基底ベクトルと撮像システムの分光特性とに基づくシステム行列の逆行列を算出させ、この逆行列から汎用基底ベクトルに関係する係数を選択させ、選択された係数及び映像信号に基づき汎用基底ベクトルに関する重み係数を算出させる。
従って、この(32)に記載の信号処理プログラムによれば、識別対象である被写体の存在しない領域、つまり識別対象外被写体の存在領域に関して汎用基底ベクトルに関する重み係数を算出するため、画面全体に関する信号処理が行われ、識別対象との統一性、連続性の確保が容易となる。
(33) カラー撮像系による分光特性が既知である識別対象となる被写体を含む被写体の撮像によって得た映像信号を取得するステップと、
上記識別対象となる被写体の既知の分光特性、上記カラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性に基づき算出された、上記被写体の既知の分光特性と上記映像信号との間の相関性を示す導出係数を取得するステップと、
上記取得した映像信号及び上記取得した導出係数に基づき、上記識別対象となる被写体の分光特性と上記映像信号との間の相関係数を算出するステップと、
上記算出した上記相関係数に基づき、上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出するステップと、
をコンピュータに発揮させることを特徴とする信号処理プログラム。
(対応する実施形態)
この(33)に記載の信号処理プログラムに関する実施形態は、第3実施形態の変形例4が対応する。
(作用効果)
この(33)に記載の信号処理プログラムは、コンピュータに、例えば識別対象となる被写体を含む被写体を撮像して得た映像信号から上記識別対象の被写体を識別する際に、その識別対象の被写体の既知である分光特性と映像信号間の相関性を導出する導出係数から、上記識別対象の被写体の存在に比例した値をとる相関係数を算出させ、その相関係数に基づき上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出させる。
従って、この(33)に記載の信号処理プログラムによれば、識別対象となる被写体の既知である分光特性に基づく導出係数を用いることで、上記識別対象の被写体の存在に比例した値をとる相関係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行うことなく、よって、信号処理に起因する誤差の発生が少なく信頼性の高い識別が可能となる。また、広帯域の通常の照明光を使用するため、ノイズによる影響を抑制でき、安定性のある識別が可能となる。さらに、導出係数からの相関係数の算出は容易であり、且つ相関係数から直接出力信号を算出するため、処理の高速化と低コスト化が可能となる。
図1は、本発明の第1実施形態に係る信号処理システムを適用した内視鏡の構成を示す図である。 図2(a)は、Bayer型原色フィルタの構成を示す図であり、図2(b)は、第1実施形態の変形例2におけるR,Gr,Gb,B原色フィルタの構成を示す図であり、図2(c)は、第1実施形態の変形例2における色差線順次型補色フィルタの構成を示す図である。 図3は、第1実施形態における算出部の構成の一例を示す図である。 図4は、三種の専用基底ベクトルの一例を示す図である。 図5(a)は、撮像時に使用する照明光に関する分光特性として光源の分光輝度特性を示す図であり、図5(b)は、カラー撮像系に関する分光特性としてR,G,B色フィルタからなるカラー撮像系の分光感度特性を示す図である。 図6(a)は、第1実施形態の変形例1における三種の基底ベクトルの例としてオキシヘモグロビンの専用基底ベクトルと二種の汎用基底ベクトルを示す図であり、図6(b)は、三種の基底ベクトルの例としてデオキシヘモグロビンの専用基底ベクトルと二種の汎用基底ベクトルを示す図である。 図7は、第1実施形態の変形例2におけるカラー撮像系(補色4色)の分光感度特性を示す図である。 図8(a)は、四種の基底ベクトルの例としてオキシヘモグロビンの専用基底ベクトルと三種の汎用基底ベクトルを示す図であり、図8(b)は、四種の基底ベクトルの例としてオキシヘモグロビンとデオキシヘモグロビンの専用基底ベクトルと二種の汎用基底ベクトルを示す図である。 図9は、第1実施形態の変形例3に係る信号処理システムを適用した内視鏡の構成を示す図である。 図10は、第1実施形態の変形例4に係る信号処理システムを適用した内視鏡の構成を示す図である。 図11は、第1実施形態の変形例5に係る信号処理システムを適用した内視鏡の構成を示す図である。 図12は、第1実施形態の変形例6に係る信号処理システムを適用した内視鏡の構成を示す図である。 図13(a)は、第1実施形態の変形例7における信号処理のソフトウェア処理に関するフローチャートを示す図であり、図13(b)は、算出処理に関するフローチャートを示す図である。 図14は、本発明の第2実施形態に係る信号処理システムを適用した内視鏡の構成を示す図である。 図15は、第2算出部の構成の一例を示す図である。 図16は、第2実施形態の変形例1に係る信号処理システムを適用した内視鏡の構成を示す図である。 図17は、強調用ゲイン生成関数を示す図である。 図18(a)は、第2実施形態の変形例2における信号処理のソフトウェア処理に関するフローチャートを示す図であり、図18(b)は、第2算出処理に関するフローチャートを示す図である。 図19は、本発明の第3実施形態に係る信号処理システムを適用した顕微鏡の構成を示す図である。 図20は、相関係数算出部の構成の一例を示す図である。 図21は、第3実施形態の変形例1に係る信号処理システムを適用した顕微鏡の構成を示す図である。 図22は、第3実施形態の変形例2に係る信号処理システムを適用した顕微鏡の構成を示す図である。 図23は、第3実施形態の変形例3に係る信号処理システムを適用した顕微鏡の構成を示す図である。 図24(a)は、第3実施形態の変形例4における信号処理のソフトウェア処理に関するフローチャートを示す図であり、図24(b)は、相関係数算出処理に関するフローチャートを示す図である。
符号の説明
100…撮像レンズ系、 101…CCD、 102…照明レンズ系、 103…照明光源、 104…光ファイバ、 105…増幅部、 106…A/D、 107…バッファ、 108…補間部、 109…WB部、 110…測光評価部、 111…信号処理部、 112…算出部、 113…切り換え部、 114…基底ベクトルROM、 115…システム分光特性ROM、 116…正規化部、 117…出力部、 118…制御部、 119…外部I/F部、 120…Bayer型原色フィルタ、 121R,121B,121G,121Cy,121Mg,121Ye,121Gr,121Gb…色フィルタ、 122…原色フィルタ、 123…色差線順次型補色フィルタ、 124…強調部、 125…合成部、 126…第2出力部、 127…入力部、 128…ヘッダ情報解析部、 129…撮像系ROM、 130…照明系ROM、 131…第2算出部、 132…第2正規化部、 133…疑似カラー部、 134…分光特性推定部、 135…補正部、 136…変換部、 137…相関係数算出部、 138…導出係数ROM、 200,210…データ選択部、 201,211…積算部、 202,204,212,214…バッファ、 203,213…逆行列算出部、 205,215,227…係数選択部、 206,216,226…乗加算部。

Claims (32)

  1. 分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく専用基底ベクトルを取得する基底ベクトル取得部と、
    上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性を取得するシステム分光特性取得部と、
    上記カラー撮像系による被写体の撮像により得た映像信号、上記専用基底ベクトル、及び上記撮像システムの分光特性に基づき、上記専用基底ベクトルに関する重み係数を算出する算出部と、
    上記算出部で算出した上記専用基底ベクトルに関する重み係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部と、
    複数の識別対象となる被写体の中から一つの被写体を選択する識別対象選択部と、
    を有し、
    上記基底ベクトル取得部は、上記識別対象選択部によって選択された一つの被写体の分光特性に基づく専用基底ベクトルを取得することを特徴とする信号処理システム。
  2. 上記基底ベクトル取得部は、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに加えて、分光特性が既知であるが識別対象外である識別対象外被写体の上記既知の分光特性に基づく専用基底ベクトルをさらに取得することを特徴とする請求項1に記載の信号処理システム。
  3. 上記基底ベクトル取得部は、上記専用基底ベクトルと共に、任意の被写体の分光特性の推定に用いる汎用基底ベクトルをさらに取得することを特徴とする請求項1に記載の信号処理システム。
  4. 複数のカラー撮像系及び複数の照明光の中から一つのカラー撮像系及び一つの照明光を選択するカラー撮像系選択部をさらに有し、
    上記システム分光特性取得部は、上記カラー撮像系選択部によって選択された一つのカラー撮像系に関する分光特性と一つの照明光の分光特性とを上記撮像システムの分光特性として取得することを特徴とする請求項1に記載の信号処理システム。
  5. 上記算出部は、
    上記基底ベクトル取得部によって取得した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトル及び上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルと、上記システム分光特性取得部によって取得した上記撮像システムの分光特性とに基づき、上記撮像システムに関するシステム行列を算出する行列算出部と、
    上記行列算出部で算出した上記システム行列の逆行列を算出する逆行列算出部と、
    上記逆行列算出部で算出した上記逆行列の係数から、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関係する係数を選択する係数選択部と、
    上記係数選択部で選択された上記係数及び上記カラー撮像系からの上記映像信号に基づき、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数を算出する乗加算部と、
    を有することを特徴とする請求項2に記載の信号処理システム。
  6. 上記算出部は、
    上記基底ベクトル取得部によって取得した上記汎用基底ベクトル及び上記専用基底ベクトル、及び上記システム分光特性取得部によって取得した上記撮像システムの分光特性に基づき、上記撮像システムに関するシステム行列を算出する行列算出部と、
    上記行列算出部で算出した上記システム行列の逆行列を算出する逆行列算出部と、
    上記逆行列算出部で算出した上記逆行列の係数から上記専用基底ベクトルに関係する係数を選択する係数選択部と、
    上記係数選択部で選択された上記係数及び上記カラー撮像系からの上記映像信号に基づき、上記専用基底ベクトルに関する重み係数を算出する乗加算部と、
    を有することを特徴とする請求項3に記載の信号処理システム。
  7. 上記出力信号算出部は、
    上記算出部で算出した上記専用基底ベクトルに関する重み係数を正規化する正規化部と、
    上記正規化部によって正規化された上記専用基底ベクトルに関する重み係数を上記出力信号として出力する出力部と、
    を有することを特徴とする請求項1に記載の信号処理システム。
  8. 上記出力信号算出部は、
    上記算出部で算出した上記専用基底ベクトルに関する重み係数に基づき、上記映像信号の強調処理を行う強調部と、
    上記強調部によって強調処理された上記映像信号を上記出力信号として出力する出力部と、
    を有することを特徴とする請求項1に記載の信号処理システム。
  9. 上記出力信号算出部は、
    上記算出部で算出した上記専用基底ベクトルに関する重み係数を正規化する正規化部と、
    上記正規化部によって正規化された上記専用基底ベクトルに関する重み係数を、上記映像信号に合成する合成部と、
    上記合成部によって上記正規化された上記専用基底ベクトルに関する重み係数が合成された上記映像信号を上記出力信号として出力する出力部と、
    を有することを特徴とする請求項1に記載の信号処理システム。
  10. 上記出力信号算出部は、
    上記算出部で算出した上記専用基底ベクトルに関する重み係数を正規化する正規化部と、
    上記正規化部によって正規化された上記専用基底ベクトルに関する重み係数及び上記映像信号の両者を、それぞれ、上記出力信号として出力する出力部と、
    を有することを特徴とする請求項1に記載の信号処理システム。
  11. 上記算出部は、上記カラー撮像系からの上記映像信号、上記基底ベクトル取得部によって取得した上記汎用基底ベクトル及び上記専用基底ベクトル、及び上記システム分光特性取得部によって取得した上記撮像システムの分光特性に基づき、上記汎用基底ベクトルに関する重み係数をさらに算出し、
    上記出力信号算出部は、上記算出部で算出した上記専用基底ベクトルに関する重み係数及び上記汎用基底ベクトルに関する重み係数に基づき、上記出力信号を算出することを特徴とする請求項3に記載の信号処理システム。
  12. 上記出力信号算出部は、
    上記算出部で算出した上記専用基底ベクトルに関する重み係数及び上記汎用基底ベクトルに関する重み係数を正規化する正規化部と、
    上記正規化部によってそれぞれ正規化された上記専用基底ベクトルに関する重み係数及び上記汎用基底ベクトルに関する重み係数から、上記出力信号としての擬似カラー信号を算出する疑似カラー信号算出部と、
    を有することを特徴とする請求項11に記載の信号処理システム。
  13. 上記出力信号算出部は、
    上記算出部で算出した上記汎用基底ベクトルに関する重み係数に基づき、被写体の分光特性を推定する分光特性推定部と、
    上記算出部で算出した上記専用基底ベクトルに関する重み係数に基づき、上記分光特性推定部によって推定された上記分光特性を補正する補正部と、
    上記補正部によって補正された上記分光特性に基づき、上記出力信号を算出する変換部と、
    を有することを特徴とする請求項11に記載の信号処理システム。
  14. 上記算出部は、
    上記基底ベクトル取得部によって取得した上記汎用基底ベクトル及び上記専用基底ベクトル、及び上記システム分光特性取得部によって取得した上記撮像システムの分光特性に基づき、上記撮像システムに関するシステム行列を算出する行列算出部と、
    上記行列算出部で算出した上記システム行列の逆行列を算出する逆行列算出部と、
    上記逆行列算出部で算出した上記逆行列の係数から上記汎用基底ベクトルに関係する係数を選択する係数選択部と、
    上記係数選択部で選択された上記係数、及び上記映像信号に基づき、上記汎用基底ベクトルに関する重み係数を算出する乗加算部と、
    を有することを特徴とする請求項11に記載の信号処理システム。
  15. 上記算出部は、上記映像信号、上記基底ベクトル取得部によって取得した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトル及び上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルと、上記システム分光特性取得部によって取得した上記撮像システムの分光特性とに基づき、上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数をさらに算出し、
    上記出力信号算出部は、上記算出部で算出した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数と、上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数とに基づき、上記出力信号を算出することを特徴とする請求項2に記載の信号処理システム。
  16. 上記出力信号算出部は、
    上記算出部で算出した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数、及び、上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数を正規化する正規化部と、
    上記正規化部によってそれぞれ正規化された、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数及び上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数から、上記出力信号としての擬似カラー信号を算出する疑似カラー信号算出部と、
    を有することを特徴とする請求項15に記載の信号処理システム。
  17. 上記出力信号算出部は、
    上記算出部で算出した上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数に基づき、被写体の分光特性を推定する分光特性推定部と、
    上記算出部で算出した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数に基づき、上記分光特性推定部によって推定された上記分光特性を補正する補正部と、
    上記補正部によって補正された上記分光特性に基づき、上記出力信号を算出する変換部と、
    を有することを特徴とする請求項15に記載の信号処理システム。
  18. 上記算出部は、
    上記基底ベクトル取得部によって取得した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトル及び上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルと、上記システム分光特性取得部によって取得した上記撮像システムの分光特性とに基づき、上記撮像システムに関するシステム行列を算出する行列算出部と、
    上記行列算出部で算出した上記システム行列の逆行列を算出する逆行列算出部と、
    上記逆行列算出部で算出した上記逆行列の係数から上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関係する係数を選択する係数選択部と、
    上記係数選択部で選択された上記係数及び上記カラー撮像系からの上記映像信号に基づき、上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数を算出する乗加算部と、
    を有することを特徴とする請求項15に記載の信号処理システム。
  19. 分光特性が既知である識別対象となる被写体の上記既知の分光特性、上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性、及び上記カラー撮像系による被写体の撮像時に使用する照明光の分光特性に基づき算出された、上記被写体の既知の分光特性と映像信号との間の相関性を示す導出係数を取得する導出係数取得部と、
    上記映像信号及び上記導出係数に基づき、上記識別対象となる被写体の分光特性と上記映像信号との間の相関係数を算出する相関係数算出部と、
    上記相関係数算出部によって算出した上記相関係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部と、
    を有することを特徴とする信号処理システム。
  20. 上記出力信号算出部は、
    上記相関係数算出部によって算出した上記相関係数を正規化する正規化部と、
    上記正規化部によって正規化された上記相関係数を上記出力信号として出力する出力部と、
    を有することを特徴とする請求項19に記載の信号処理システム。
  21. 上記出力信号算出部は、
    上記相関係数算出部によって算出した上記相関係数に基づき、上記映像信号の強調処理を行う強調部と、
    上記強調部によって強調処理された上記映像信号を上記出力信号として出力する出力部と、
    を有することを特徴とする請求項19に記載の信号処理システム。
  22. 上記出力信号算出部は、
    上記相関係数算出部によって算出した上記相関係数を正規化する正規化部と、
    上記正規化部によって正規化された上記相関係数を、上記映像信号に合成する合成部と、
    上記合成部によって上記正規化された上記相関係数が合成された上記映像信号を上記出力信号として出力する出力部と、
    を有することを特徴とする請求項19に記載の信号処理システム。
  23. 上記出力信号算出部は、
    上記相関係数算出部によって算出した上記相関係数を正規化する正規化部と、
    上記正規化部によって正規化された上記相関係数、及び上記映像信号の両者を、それぞれ、上記出力信号として出力する出力部と、
    を有することを特徴とする請求項19に記載の信号処理システム。
  24. 上記映像信号は、赤,緑,青の3バンドの映像信号、またはシアン,マゼンタ,イエロー,緑の4バンドの映像信号であることを特徴とする請求項1または19に記載の信号処理システム。
  25. カラー撮像系による分光特性が既知である識別対象となる被写体を含む被写体の撮像によって得た映像信号を取得するステップと、
    上記識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを取得するステップと、
    上記カラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含む撮像システムの分光特性を取得するステップと、
    上記取得した映像信号、上記取得した専用基底ベクトル、及び上記取得した撮像システムの分光特性に基づき、上記専用基底ベクトルに関する重み係数を算出するステップと、
    上記算出した専用基底ベクトルに関する重み係数に基づき、上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出するステップと、
    複数の識別対象となる被写体の中から一つの被写体を選択するステップと、
    を、コンピュータに発揮させる信号処理プログラムであって、
    上記専用基底ベクトルを取得するステップは、上記選択された一つの被写体の分光特性に基づく専用基底ベクトルを取得することを特徴とする信号処理プログラム。
  26. 上記専用基底ベクトルを取得するステップは、さらに、分光特性が既知であるが識別対象外である識別対象外被写体の上記既知の分光特性に基づく専用基底ベクトルも取得することを特徴とする請求項25に記載の信号処理プログラム。
  27. 任意の被写体の分光特性の推定に用いる汎用基底ベクトルを取得するステップをさらにコンピュータに発揮させることを特徴とする請求項25に記載の信号処理プログラム。
  28. 上記専用基底ベクトルに関する重み係数を算出するステップは、
    上記取得した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトル及び上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルと、上記取得した撮像システムの分光特性とに基づき、上記撮像システムに関するシステム行列を算出するステップと、
    上記算出したシステム行列の逆行列を算出するステップと、
    上記算出した上記逆行列の係数から、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関係する係数を選択するステップと、
    上記選択された係数及び上記取得した映像信号に基づき、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数を算出するステップと、
    を有することを特徴とする請求項26に記載の信号処理プログラム。
  29. 上記専用基底ベクトルに関する重み係数を算出するステップは、
    上記取得した上記専用基底ベクトル、上記取得した上記汎用基底ベクトル、及び上記取得した撮像システムの分光特性に基づき、上記撮像システムに関するシステム行列を算出するステップと、
    上記算出した上記システム行列の逆行列を算出するステップと、
    上記算出した上記逆行列の係数から上記専用基底ベクトルに関係する係数を選択するステップと、
    上記選択された係数及び上記取得した映像信号に基づき、上記専用基底ベクトルに関する重み係数を算出するステップと、
    を有することを特徴とする請求項27に記載の信号処理プログラム。
  30. 上記取得した映像信号、上記取得した汎用基底ベクトル及び専用基底ベクトル、及び上記取得した撮像システムの分光特性に基づき、上記汎用基底ベクトルに関する重み係数を算出するステップをさらにコンピュータに発揮させ、
    上記出力信号を算出するステップは、上記算出した専用基底ベクトルに関する重み係数及び上記汎用基底ベクトルに関する重み係数に基づき、上記出力信号を算出することを特徴とする請求項27に記載の信号処理プログラム。
  31. 上記汎用基底ベクトルに関する重み係数を算出するステップは、
    上記取得した汎用基底ベクトル及び専用基底ベクトル、及び上記取得した撮像システムの分光特性に基づき、上記撮像システムに関するシステム行列を算出するステップと、
    上記算出したシステム行列の逆行列を算出するステップと、
    上記算出した逆行列の係数から上記汎用基底ベクトルに関係する係数を選択するステップと、
    上記選択された係数及び上記取得した映像信号に基づき、上記汎用基底ベクトルに関する重み係数を算出するステップと、
    を有することを特徴とする請求項30に記載の信号処理プログラム。
  32. カラー撮像系による分光特性が既知である識別対象となる被写体を含む被写体の撮像によって得た映像信号を取得するステップと、
    上記識別対象となる被写体の既知の分光特性、上記カラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光の分光特性に基づき算出された、上記被写体の既知の分光特性と上記映像信号との間の相関性を示す導出係数を取得するステップと、
    上記取得した映像信号及び上記取得した導出係数に基づき、上記識別対象となる被写体の分光特性と上記映像信号との間の相関係数を算出するステップと、
    上記算出した上記相関係数に基づき、上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出するステップと、
    をコンピュータに発揮させることを特徴とする信号処理プログラム。
JP2008139930A 2008-05-28 2008-05-28 信号処理システム及び信号処理プログラム Active JP5389380B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2008139930A JP5389380B2 (ja) 2008-05-28 2008-05-28 信号処理システム及び信号処理プログラム
CN200980119299.XA CN102046062B (zh) 2008-05-28 2009-05-25 信号处理系统和信号处理方法
EP15176086.5A EP2949261A1 (en) 2008-05-28 2009-05-25 Signal processing system and signal processing program
PCT/JP2009/059551 WO2009145157A1 (ja) 2008-05-28 2009-05-25 信号処理システム及び信号処理プログラム
EP09754665.9A EP2286713B1 (en) 2008-05-28 2009-05-25 Signal processing system and signal processing program
US12/953,740 US8805061B2 (en) 2008-05-28 2010-11-24 Signal processing system and signal processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008139930A JP5389380B2 (ja) 2008-05-28 2008-05-28 信号処理システム及び信号処理プログラム

Publications (3)

Publication Number Publication Date
JP2009285084A JP2009285084A (ja) 2009-12-10
JP2009285084A5 JP2009285084A5 (ja) 2011-06-02
JP5389380B2 true JP5389380B2 (ja) 2014-01-15

Family

ID=41377030

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008139930A Active JP5389380B2 (ja) 2008-05-28 2008-05-28 信号処理システム及び信号処理プログラム

Country Status (5)

Country Link
US (1) US8805061B2 (ja)
EP (2) EP2949261A1 (ja)
JP (1) JP5389380B2 (ja)
CN (1) CN102046062B (ja)
WO (1) WO2009145157A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5389380B2 (ja) 2008-05-28 2014-01-15 オリンパス株式会社 信号処理システム及び信号処理プログラム
JP4717103B2 (ja) * 2008-07-18 2011-07-06 オリンパス株式会社 信号処理システム及び信号処理プログラム
JP5466182B2 (ja) * 2011-01-11 2014-04-09 富士フイルム株式会社 内視鏡システムおよび内視鏡システムの作動方法
JP5752423B2 (ja) * 2011-01-11 2015-07-22 富士フイルム株式会社 分光計測システムおよび分光計測システムの作動方法
JP5502812B2 (ja) * 2011-07-14 2014-05-28 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
JP5993184B2 (ja) * 2012-04-04 2016-09-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
JP6097629B2 (ja) 2013-04-26 2017-03-15 Hoya株式会社 病変評価情報生成装置
DE102014215095A1 (de) * 2014-07-31 2016-02-04 Carl Zeiss Microscopy Gmbh Verfahren zur Korrektur von beleuchtungsbedingten Abbildungsfehlern in einem modularen Digitalmikroskop, Digitalmikroskop und Datenverarbeitungsprogramm
CN107105977B (zh) * 2015-01-21 2019-02-12 奥林巴斯株式会社 内窥镜装置
JP6620426B2 (ja) * 2015-05-28 2019-12-18 富士通株式会社 情報検出装置、情報検出システム、情報検出プログラム、及び情報検出方法
CN106725263B (zh) * 2016-12-15 2018-07-06 深圳开立生物医疗科技股份有限公司 应用于内窥镜系统的成像方法
JP2018108173A (ja) * 2016-12-28 2018-07-12 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、プログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796005B2 (ja) 1987-10-27 1995-10-18 オリンパス光学工業株式会社 内視鏡装置
JP3217343B2 (ja) * 1989-03-23 2001-10-09 オリンパス光学工業株式会社 画像処理装置
US5550582A (en) 1993-03-19 1996-08-27 Olympus Optical Co., Ltd. Endoscope-image processing apparatus for performing image processing of emphasis in endoscope image by pigment concentration distribution
JP3228627B2 (ja) * 1993-03-19 2001-11-12 オリンパス光学工業株式会社 内視鏡用画像処理装置
US5995645A (en) 1993-08-18 1999-11-30 Applied Spectral Imaging Ltd. Method of cancer cell detection
US6750964B2 (en) 1999-08-06 2004-06-15 Cambridge Research And Instrumentation, Inc. Spectral imaging methods and systems
EP1231776B1 (en) * 1999-11-18 2010-01-13 Fujitsu Limited Color conversion table creating method, color conversion table creating device, and storage medium on which color conversion table creating program is recorded
US6888963B2 (en) * 2000-07-18 2005-05-03 Matsushita Electric Industrial Co., Ltd. Image processing apparatus and image processing method
US7864379B2 (en) 2001-03-19 2011-01-04 Dmetrix, Inc. Multi-spectral whole-slide scanner
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
CA2491703A1 (en) * 2002-07-09 2004-01-15 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
US7136518B2 (en) 2003-04-18 2006-11-14 Medispectra, Inc. Methods and apparatus for displaying diagnostic data
JP3767541B2 (ja) * 2002-11-12 2006-04-19 ソニー株式会社 光源推定装置、光源推定方法、撮像装置および画像処理方法
US20040202356A1 (en) 2003-04-10 2004-10-14 Stookey George K. Optical detection of dental caries
US7321791B2 (en) 2003-09-23 2008-01-22 Cambridge Research And Instrumentation, Inc. Spectral imaging of deep tissue
JP4021414B2 (ja) 2003-11-26 2007-12-12 オリンパス株式会社 スペクトラルデコンボリューション法及びスペクトラルブラインドデコンボリューション法
WO2006120794A1 (ja) * 2005-05-11 2006-11-16 Olympus Medical Systems Corp. 生体観測装置用信号処理装置
JP2006314557A (ja) * 2005-05-12 2006-11-24 Olympus Medical Systems Corp 生体観測装置
CA2607623C (en) 2005-05-12 2012-02-21 Olympus Medical Systems Corp. Biological observation apparatus
JP4409523B2 (ja) 2005-05-12 2010-02-03 オリンパスメディカルシステムズ株式会社 生体観測装置
JP4504324B2 (ja) 2005-05-13 2010-07-14 オリンパスメディカルシステムズ株式会社 生体観測装置
JP2007111357A (ja) 2005-10-21 2007-05-10 Olympus Medical Systems Corp 生体撮像装置及び生体観測システム
US7526116B2 (en) 2006-01-19 2009-04-28 Luigi Armogida Automated microscopic sperm identification
US7916943B2 (en) 2006-06-02 2011-03-29 Seiko Epson Corporation Image determining apparatus, image determining method, image enhancement apparatus, and image enhancement method
JP4959237B2 (ja) * 2006-06-22 2012-06-20 オリンパス株式会社 撮像システム及び撮像プログラム
AU2007281783A1 (en) 2006-08-04 2008-02-14 Ikonisys, Inc. Image processing method for a microscope system
JP4931199B2 (ja) * 2006-09-29 2012-05-16 富士フイルム株式会社 電子内視鏡装置
JP4964568B2 (ja) 2006-11-24 2012-07-04 浜松ホトニクス株式会社 蛍光検出装置、蛍光検出方法および蛍光検出プログラム
JP2008161550A (ja) 2006-12-28 2008-07-17 Olympus Corp 内視鏡システム
JP5389380B2 (ja) 2008-05-28 2014-01-15 オリンパス株式会社 信号処理システム及び信号処理プログラム
JP4717103B2 (ja) * 2008-07-18 2011-07-06 オリンパス株式会社 信号処理システム及び信号処理プログラム

Also Published As

Publication number Publication date
EP2286713B1 (en) 2015-11-11
EP2286713A1 (en) 2011-02-23
CN102046062A (zh) 2011-05-04
US8805061B2 (en) 2014-08-12
JP2009285084A (ja) 2009-12-10
EP2286713A4 (en) 2012-06-27
US20110069868A1 (en) 2011-03-24
WO2009145157A1 (ja) 2009-12-03
CN102046062B (zh) 2014-01-29
EP2949261A1 (en) 2015-12-02

Similar Documents

Publication Publication Date Title
JP5389380B2 (ja) 信号処理システム及び信号処理プログラム
JP4717103B2 (ja) 信号処理システム及び信号処理プログラム
JP4427001B2 (ja) 画像処理装置、画像処理プログラム
JP4895834B2 (ja) 画像処理装置
JP2007208413A (ja) 色補正装置および色補正方法ならびに色補正プログラム
JP2014086862A (ja) 撮像装置及び画像生成方法
JP2001045516A (ja) 色再現システム
JP5546166B2 (ja) 撮像装置、信号処理方法、及びプログラム
JP2009105576A (ja) 画像処理装置及び方法、及び撮像装置
JP5087529B2 (ja) 識別処理装置、識別処理プログラム及び識別処理方法
JP4950544B2 (ja) マルチバンド撮像装置のカラーフィルタのパラメータを決定する方法
US8238524B2 (en) Microscope color image pickup apparatus, microscope color image pickup program product, and microscope color image pickup method
JP4959237B2 (ja) 撮像システム及び撮像プログラム
JP2010200883A (ja) 内視鏡画像処理装置および方法ならびにプログラム
JP2010279526A (ja) 内視鏡画像処理装置および方法ならびにプログラム
US20070126894A1 (en) Method for calculating color correction
JP2010213746A (ja) 内視鏡画像処理装置および方法ならびにプログラム
JP4128405B2 (ja) 顕微鏡用撮像装置
JP4799248B2 (ja) 画像処理装置
JP4529210B2 (ja) 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2014042138A (ja) 画像処理装置、コンピュータプログラム、およびデジタルカメラ
JP5029187B2 (ja) 色座標変換装置、撮像装置、色座標変換プログラム、色座標変換方法
JP5772096B2 (ja) 撮像装置
JP2010213745A (ja) 内視鏡画像処理装置および方法ならびにプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110414

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131009

R151 Written notification of patent or utility model registration

Ref document number: 5389380

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250