JP4418271B2 - Fundus image processing method and fundus image processing apparatus - Google Patents
Fundus image processing method and fundus image processing apparatus Download PDFInfo
- Publication number
- JP4418271B2 JP4418271B2 JP2004081804A JP2004081804A JP4418271B2 JP 4418271 B2 JP4418271 B2 JP 4418271B2 JP 2004081804 A JP2004081804 A JP 2004081804A JP 2004081804 A JP2004081804 A JP 2004081804A JP 4418271 B2 JP4418271 B2 JP 4418271B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- fundus
- photographing
- mode
- fundus image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Description
本発明は、複数の撮影モードを選択して眼底の画像を電子的に撮影可能な眼底撮影装置から入力される眼底画像の画像処理を行なう眼底画像処理方法、及び眼底画像処理装置に関するものである。 The present invention relates to a fundus image processing method for performing image processing of a fundus image input from a fundus photographing apparatus capable of electronically photographing a fundus image by selecting a plurality of photographing modes, and a fundus image processing apparatus. .
最近の眼底撮影装置、いわゆる眼底カメラでは、通常のカラー撮影(散瞳及び無散瞳)の他に、網膜の新生血管を見る等のための可視蛍光ないし赤外蛍光撮影、及び血管などの病変を診断するためのレッドフリー撮影など複数の撮影モードを選択して撮影を行えるようになっている。撮影された眼底画像は、眼底カメラと別体の眼底画像処理装置(以下、画像処理装置と略す)、あるいは眼底カメラ内部の画像処理部として構成された画像処理装置により画像処理されて、モニタに表示されたり、あるいは外部記憶装置に格納されデータベース化して保存される。蛍光撮影ではカラー画像を白黒画像に変換する画像処理がなされる。また、レッドフリー撮影では、眼底カメラの光学系にレッドフリーフィルタを挿入するため、画像は緑色が中心となったカラー画像となるが、診察時に見にくく、診断しずらいため、これも白黒画像に変換されている。 In recent fundus photography devices, so-called fundus cameras, in addition to normal color photography (mydriasis and non-mydriasis), visible fluorescence or infrared fluorescence photography for viewing new blood vessels of the retina, and lesions such as blood vessels It is possible to shoot by selecting a plurality of shooting modes such as red-free shooting for diagnosing. The photographed fundus image is subjected to image processing by a fundus image processing device (hereinafter abbreviated as an image processing device) separate from the fundus camera, or an image processing device configured as an image processing unit inside the fundus camera, and is displayed on a monitor. It is displayed or stored in an external storage device and stored in a database. In fluorescence photography, image processing for converting a color image into a black and white image is performed. In red-free photography, a red-free filter is inserted into the optical system of the fundus camera, so the image is a color image centered in green, but it is difficult to see at the time of diagnosis and difficult to diagnose, so it is also converted to a black-and-white image. Has been.
このように複数の撮影モードのそれぞれに対応して最適な画像を得るために、撮影モードに対応した画像処理を行う構成が採用されている。 Thus, in order to obtain an optimal image corresponding to each of a plurality of shooting modes, a configuration is adopted in which image processing corresponding to the shooting mode is performed.
例えば、眼底カメラの撮影モード設定スイッチから出力される撮影モード信号に応じて、撮像装置のゲイン、ガンマ、色温度などの画像処理パラメータを最適に自動設定することが行われている(特許文献1)。 For example, image processing parameters such as gain, gamma, and color temperature of an imaging device are automatically set optimally in accordance with a shooting mode signal output from a shooting mode setting switch of a fundus camera (Patent Document 1). ).
また、蛍光撮影が行われるときには、蛍光剤が投与されてからの時間経過を示すタイマーが作動されるので、このタイマーの作動により蛍光撮影を識別し、タイマー作動中に取り込まれる眼底画像は、ボタン操作により白黒画像に変換しなくても、自動的に白黒画像に変換することが行われている(特許文献2)。 In addition, when fluorescence imaging is performed, a timer indicating the passage of time since the administration of the fluorescent agent is activated, so that the fluorescence imaging is identified by the operation of this timer, and the fundus image captured while the timer is operating is a button Even if it is not converted into a black and white image by operation, it is automatically converted into a black and white image (Patent Document 2).
また、カラーまたは蛍光の撮影モードに応じて、それぞれの画像に適したルックアップテーブルを選択して画像データの階調変換を行う構成が採用されている(特許文献3)。 Further, a configuration is adopted in which a look-up table suitable for each image is selected in accordance with a color or fluorescence photographing mode and tone conversion of image data is performed (Patent Document 3).
また、眼底カメラのCPUが撮影モードを判別して撮影モード情報を外部の画像処理部に送信し、画像処理部は撮影モード情報に基づいて画像処理パラメータを選択して画像処理を行う構成が採用されている(特許文献4)。 In addition, the fundus camera CPU determines the shooting mode and transmits the shooting mode information to an external image processing unit, and the image processing unit selects an image processing parameter based on the shooting mode information and performs image processing. (Patent Document 4).
また、レッドフリー撮影に関して、撮影時に撮影者が画像処理装置側で画像入力の設定をカラーから白黒入力設定に切り換える方法では間違いが生じるため、眼底カメラの光学系にレッドフリーフィルタが挿入されたことを検出して検出信号を画像処理装置に送り、それに応じて画像処理装置が緑画像を白黒変換する方法が採用されている。
しかしながら、従来の画像処理装置の構成では、上述した撮影モード信号、撮影モード情報、レッドフリーフィルタの挿入検出信号など、撮影モードを判別するための特別な情報を眼底カメラ側から送ってもらい、その情報により撮影モードを判別して撮影モードに対応した画像処理を行っている。このため、その情報をやり取りするインターフェースが眼底カメラと画像処理装置の双方に必要であり、双方にハード的な仕様が追加され、コストアップを招いてしまうという問題があった。 However, in the configuration of the conventional image processing apparatus, special information for determining the shooting mode such as the above-described shooting mode signal, shooting mode information, and red free filter insertion detection signal is sent from the fundus camera side. Image processing corresponding to the shooting mode is performed by determining the shooting mode based on the information. For this reason, an interface for exchanging the information is necessary for both the fundus camera and the image processing apparatus, and hardware specifications are added to both, resulting in a cost increase.
本発明は、このような問題を解決するためになされたもので、眼底撮影装置(眼底カメラ)からの特別な情報提供によらずに撮影モードを誤りなく判別し、眼底画像を撮影モードに対応して適切に撮影することを課題とする。 The present invention has been made to solve such a problem, and it is possible to discriminate the photographing mode without error without providing special information from the fundus photographing apparatus (fundus camera), and to support the fundus image in the photographing mode. The problem is to shoot appropriately.
上記の課題を解決する本発明は、
複数の撮影モードが選択可能な眼底撮影装置で電子的に撮影された眼底画像の画像処理方法及び装置であって、
前記眼底画像を解析して眼底撮影装置で選択された撮影モードを判別すること、
前記眼底画像を、判別した撮影モードに応じて画像処理すること、
を特徴としている。
The present invention for solving the above problems
An image processing method and apparatus for fundus images electronically photographed by a fundus photographing apparatus capable of selecting a plurality of photographing modes,
Analyzing the fundus image to determine the photographing mode selected by the fundus photographing apparatus;
Image processing of the fundus image according to the determined shooting mode;
It is characterized by.
本発明によれば、眼底画像を解析して撮影モードを判別するようにしているので、眼底カメラからの特別な情報提供によらずに撮影モードを誤りなく判別することができ、また眼底画像に対して判別した撮影モードに対応した画像処理を行うことにより、最適な画像処理を行うことができる。そして、眼底撮影装置と眼底画像処理装置の双方において撮影モードを判別するための特別な情報をやり取りするインターフェースが不要となり、コストダウンが図れるという優れた効果が得られる。 According to the present invention, since the fundus image is analyzed to determine the shooting mode, the shooting mode can be determined without error without providing special information from the fundus camera, and the fundus image can be determined. By performing image processing corresponding to the determined shooting mode, optimal image processing can be performed. Further, both the fundus photographing apparatus and the fundus image processing apparatus do not require an interface for exchanging special information for discriminating the photographing mode, and an excellent effect of reducing costs can be obtained.
以下、添付した図を参照して本発明の実施例を説明する。実施例の眼底画像処理装置は、眼底カメラ(眼底撮影装置)で電子的に撮影された眼底画像に対して解析を行い、選択された撮影モードを判別して、それに対応した画像処理を行う。処理した眼底画像の画像データは、表示部に表示されるとともに画像記憶部に格納されてデータベース化して保存される。眼底カメラは、通常のカラー撮影(散瞳及び無散瞳)、赤外蛍光撮影、可視蛍光撮影、及びレッドフリー撮影という複数の撮影モードを選択して撮影可能なものとする。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. The fundus image processing apparatus according to the embodiment analyzes a fundus image electronically photographed by a fundus camera (fundus photographing apparatus), determines a selected photographing mode, and performs image processing corresponding to the selected photographing mode. The processed image data of the fundus image is displayed on the display unit, stored in the image storage unit, and saved as a database. The fundus camera is assumed to be capable of photographing by selecting a plurality of photographing modes such as normal color photographing (mydriatic and non-mydriatic), infrared fluorescent photographing, visible fluorescent photographing, and red-free photographing.
図1は、実施例の眼底カメラ30と眼底画像処理装置(ファイリング装置)50の構成を示している。眼底カメラ30において、照明ランプ1から発せられた光およびミラー1’で反射された光は、赤外カットフィルタ2Aまたは可視カットフィルタ2B、コンデンサーレンズ3、ストロボ4、コンデンサーレンズ5を経て、全反射ミラー6によって反射され、続いてレンズ7、リング状照明を形成するためのリングスリット8A,8B或いは8C、さらにリレーレンズ9を通り、中心に穴の開いた穴あき全反射ミラー10で反射されて対物レンズ11を経て、被検眼Eの眼底Erに入射される。
FIG. 1 shows configurations of a fundus camera 30 and a fundus image processing apparatus (filing apparatus) 50 according to the embodiment. In the fundus camera 30, the light emitted from the
この照明光学系において、観察が後述する観察部(ファインダ)19により行われる場合は赤外カットフィルタ2Aが光路に挿入され、赤外CCD33により行われる場合は可視カットフィルタ2Bが光路に挿入される。また、可視蛍光撮影時には可視蛍光エキサイタフィルタ13A(450〜520nm近辺に透過特性を有する)が、赤外蛍光撮影時には赤外蛍光エキサイタフィルタ13B(赤外光の波長に透過特性を有する)が、レッドフリー撮影時にはレッドフリーフィルタ13C(450nmから650nmの波長を透過させ560nm近辺の波長に対して最大透過特性を有する)がそれぞれ挿入される。 In this illumination optical system, the infrared cut filter 2A is inserted into the optical path when the observation is performed by an observation unit (finder) 19 described later, and the visible cut filter 2B is inserted into the optical path when the observation is performed by the infrared CCD 33. . Further, the visible fluorescence exciter filter 13A (having transmission characteristics in the vicinity of 450 to 520 nm) is used for visible fluorescence imaging, and the infrared fluorescence exciter filter 13B (having transmission characteristics for wavelengths of infrared light) is red for infrared fluorescence imaging. At the time of free photographing, a red free filter 13C (transmitting a wavelength of 450 nm to 650 nm and having a maximum transmission characteristic for a wavelength near 560 nm) is inserted.
また、リングスリット8A,8B,8Cは、それぞれ図3に示す円形開口絞り81,83,85と円形遮光板82,84,86を組み合わせたものであり、各リングスリットどうしで円形開口絞りと円形遮光板の径が異なっている。通常は標準リングスリット8Aが、被検者の散瞳状態が不充分か被検者が子供で小瞳孔の場合は小瞳孔リングスリット8Bが、また赤外蛍光撮影時と光量が要求される場合の可視蛍光撮影時には蛍光用リングスリット8Cが光路に挿入される。
The ring slits 8A, 8B, and 8C are combinations of the circular aperture stops 81, 83, and 85 and the circular
眼底Erからの反射光は、対物レンズ11を介して受光され、穴あき全反射ミラー10の穴を介して変倍レンズ14、合焦レンズ15を通過してリターンミラー16に入射する。リターンミラー16は、観察時には、図示の位置に挿入され、眼底像がリターンミラー17並びにレンズ群18を介して観察部(ファインダ)19に導かれ、検者は眼底を観察し、アライメント、焦点合わせなどを行うことができる。また、眼底の赤外観察を行うこともでき、そのときはリターンミラー17が光路から離脱され、眼底像がミラー34を介して赤外CCD33に導かれる。眼底像は切換部35を介してモニタ36に出力されて表示されるので、検者はこれにより眼底を観察することができる。
The reflected light from the fundus Er is received through the objective lens 11, passes through the
そして、赤外蛍光撮影以外の撮影時には、リターンミラー16が光路から退避して、眼底像がカラー(可視光用)CCD31に受光され撮像される。また、赤外蛍光撮影時には、リターンミラー17が光路から退避して眼底像が赤外CCD33に受光され撮像される。カラーCCD31又は赤外CCD33からの画像信号は、切換部35を介して画像処理装置50に出力され、眼底画像が後述のように処理される。なお、可視蛍光撮影時には可視蛍光バリアフィルタ22Aが、また赤外蛍光撮影時には赤外蛍光バリアフィルタ22Bが光路に挿入される。
During imaging other than infrared fluorescent imaging, the
眼底カメラ30のCPU12は、操作部23からの操作信号を受けて、ランプ1のON/OFF、撮影モードに応じたフィルタ2A,2B、13A〜13C、22A,22Bの挿脱、シャッター32の操作に同期したストロボ4の発光、変倍レンズ14、14'の交換、リターンミラー16,17の挿脱、及びカラーCCD31と赤外CCD33の作動などを制御する。
The CPU 12 of the fundus camera 30 receives an operation signal from the
図3には、各撮影モードに対する照明フィルタ2A,2B及び13A〜13C、リングスリット8A〜8C、及び撮影フィルタ(バリアフィルタ)22A,22B、観察手段、撮影手段の選択、並びに、タイマー作動の有無などの対応関係が図示されている。同図から、撮影モードに応じて、どのリングスリット、照明フィルタ、撮影フィルタ、観察手段、撮影手段が選択されるかが理解できる。なお、図3において観察光量、撮影光量の「0」は、デフォルト値を示し、「+」は、光量を増量することを意味し、「++」は、「+」より更に増量することを意味している。 FIG. 3 shows illumination filters 2A, 2B and 13A to 13C, ring slits 8A to 8C, and imaging filters (barrier filters) 22A and 22B for each imaging mode, selection of observation means and imaging means, and whether or not a timer is activated. The correspondence relationship is illustrated. From this figure, it can be understood which ring slit, illumination filter, imaging filter, observation means, and imaging means are selected according to the imaging mode. In FIG. 3, “0” of the observation light amount and the photographing light amount indicates a default value, “+” means that the light amount is increased, and “++” means that the light amount is further increased from “+”. is doing.
画像処理装置50は、眼底カメラ30のカラーCCD31又は赤外CCD33から切換部35を介して入力される眼底画像を解析して撮影モードを判別し、その判別された撮影モードに応じて画像処理を行う画像処理部40、画像処理装置全体を制御する制御部48、処理した画像信号の画像データを格納しデータベースに保存するためのハードディスク装置などの画像記憶部47、処理した画像信号による画像を表示する表示部49、及びタイマー21などから構成される。タイマー21は蛍光撮影のための被検者への蛍光剤投与からの経過時間を計時するもので、検者が蛍光剤を投与したときに操作する不図示のスイッチの操作に応じて作動される。そのスイッチは画像処理装置50側に設けてもよいし、眼底カメラ30側に設けてもよい。
The image processing device 50 analyzes the fundus image input from the
眼底カメラ30からの眼底画像のR、G、B画像信号は、シャッターに同期して、図2に示したように、画像処理部40のメモリ(RAM)45にカラー信号としてデジタル化されて格納される。
The R, G, and B image signals of the fundus image from the fundus camera 30 are digitized and stored as color signals in the memory (RAM) 45 of the
また、画像処理部40は、設定部41を有し、この設定部41により、眼底画像のRGBゲインan(n=0、1、2、.....)、黒レベルbn(n=0、1、2、.....)、ガンマ補正cn(n=0、1、2、.....)の各画像処理パラメータを設定でき、図示の例では、原画像を再現する場合には(a0、b0、c0)、カラー撮影のときには(a1、b1、c1)、可視蛍光撮影のときには(a2、b2、c2)、赤外蛍光撮影のときには(a3、b3、c3)、レッドフリー撮影のときには(a4、b4、c4)のパラメータが設定される。これらの設定されたパラメータは、テーブル(記憶手段)42の形で画像処理部40内に保存される。このようなパラメータの設定値は、任意に設定することができ、その場合、蛍光撮影モードにおける設定値は固定とし、カラー撮影モードに対する設定値を任意に設定できるようにしてもよい。
In addition, the
また、画像処理部40には、撮影モード判別部(撮影モード判別手段)39が設けられ、これは、各撮影モードでの撮影時に眼底カメラ30のシャッター32の操作により発生されるシャッター同期信号に応じて後述のように撮影モードを判別する処理を行う。
Further, the
また、画像処理部40には、マトリクス処理演算部43と白黒変換部44が設けられ、これらマトリクス処理演算部43と白黒変換部44により、眼底画像を判別した撮影モードに応じて画像処理する画像処理手段が構成される。マトリクス処理演算部43は、撮影モード判別部39により判別された撮影モードに応じてテーブル42から択一的に読み出される1組のパラメータパターン(an、bn、cn)に従って、R,G,Bの画像データの信号のうち、R信号からR'=R*(an+bn+cn)、G信号からG'=G*(an+bn+cn)、B信号からB'=B*(an+bn+cn)をそれぞれ形成し、同期信号SYNCに従ってこれらのR'G'B'信号を表示部50に表示する。白黒変換部44は、赤外蛍光、可視蛍光撮影、またはレッドフリー撮影が判別された場合に、眼底画像を白黒画像に変換するためのものである。
The
画像処理部40の撮影モード判別部、マトリックス演算処理部43、白黒変換部44などは、画像処理部40に設けたCPU(不図示)の論理演算、データ処理機能により実現される。
The shooting mode discriminating unit, the matrix calculation processing unit 43, the black and white conversion unit 44, and the like of the
以上のような構成において、眼底カメラ30で観察部19またはモニター36を介して眼底観察を行い、アライメントや焦点調節を行って眼底撮影の準備が整うと、検者はシャッター32を操作する。そのシャッター操作に同期して、CPU12はストロボ4を必要に応じて発光させ、撮影モードに応じてカラーCCD31又は赤外CCD33を作動させ、眼底像が静止画として撮像され、眼底の画像信号が切換部35を介して画像処理装置50に出力され、画像処理部40のメモリ45に格納される。
In the above-described configuration, the fundus camera 30 performs fundus observation through the observation unit 19 or the
画像処理部40では、撮影モード判別部39がシャッター同期信号に応じて撮影モード判別動作を開始し、後述のようにタイマー21の作動の有無と、メモリ45に格納された眼底画像のデータ解析結果に基づいて、眼底カメラ側で選択された撮影モードを判別する。そして、判別された撮影モードに応じてテーブル42に複数組記憶された画像処理パラメータパターンの内の一組が選択されて読み出され、眼底画像が画像処理される。すなわち、原画像をそのまま出力する場合には(a0、b0、c0)が、カラー撮影の場合には(a1、b1、c1)が、可視蛍光撮影の場合には(a2、b2、c2)が、赤外蛍光撮影のときには(a3、b3、c3)が、レッドフリー撮影のときには(a4、b4、c4)が読み出され、このパラメータ設定値に基づいてマトリクス処理演算部43で画像信号のRGBゲイン、黒レベル、ガンマ補正が行われ、このパラメータ設定値で処理された画像データがメモリ46に一時的に格納され、表示部50に表示され、或いは画像記憶部47に格納されデータベース化されて保存される。ここで眼底画像の画像データを判別した撮影モードのデータと関連付けて保存するのが好ましい。
In the
なお、可視蛍光及び赤外蛍光撮影モードないしはレッドフリー撮影モードが判別された場合は、カラー画像は要求されないので、カラーCCD31からの画像信号を直接白黒変換部44で白黒画像に変換してもよい。また、可視蛍光及び赤外蛍光撮影時にはタイマー21を作動させているので、画像の余白部分などに蛍光剤投与からの経過時間を示すタイマー情報を写し込んでおく。或いは保存する画像信号の画像データに、タイマー情報のデータを撮影モードのデータとともに付加情報として関連付けて保存してもよい。
Note that when a visible fluorescence and infrared fluorescence photography mode or a red free photography mode is determined, a color image is not required. Therefore, an image signal from the
ところで、可視及び赤外の蛍光撮影においては被検者の眼、検者(撮影者)のスキルにおいてそれぞれ個人差があり、必ずしも常にきれいな眼底画像が撮れるわけではない。すなわち、従来では、蛍光撮影において検者はモニタ上で眼底画像を確認しながら、暗くコントラストの悪い画像であればストロボ光量を上げて撮影していたが、造影剤が血管を回り、新生血管の漏れ出す瞬間を見ていくため、素早い撮影が必要であり、いちいちモニタ画像を確認してストロボ光量を変えながら撮影することは難しかった。そこで本実施例では眼底カメラ30のカラーCCD31と赤外CCD33を高ダイナミックレンジのものとし、蛍光撮影時には画像処理部40において眼底の画像データに対してコントラストを強調するための階調変換処理を行う。
By the way, in visible and infrared fluorescence imaging, there are individual differences in the skills of the subject's eyes and the examiner (photographer), and a beautiful fundus image cannot always be taken. That is, conventionally, in fluorescence imaging, the examiner checks the fundus image on the monitor, and if the image is dark and has poor contrast, the inspector has increased the amount of strobe light. In order to see the leaking moment, it was necessary to take a quick picture, and it was difficult to check the monitor image and change the amount of strobe light. Therefore, in this embodiment, the
以上のような画像処理部40における撮影モード判別部39による撮影モード判別動作と判別結果に応じた上記の階調変換処理を含む画像処理の詳細を図4のフローチャートにより説明する。なお、以下の処理で撮影モード判別のための処理(ステップS2〜S6,S12〜S15,S18)は撮影モード判別部39、画像処理(ステップS7〜S10,S16,S17,S19)はマトリクス処理演算部43と白黒変換部44で行われ、いずれも画像処理部のCPUの制御の元に行われる。
Details of the image processing including the above-described gradation conversion processing according to the shooting mode determination operation and the determination result by the shooting
まず眼底カメラ30のシャッター32の操作により発せられるシャッター同期信号に応じて、眼底カメラ30で撮影された眼底のアナログ画像信号を、10ビットの高サンプリングでA/D変換し、デジタル画像データとしてメモリ45に読み込む(ステップS1)。なお、ここで12ビットでA/D変換してもよく、以下の処理でも10ビットのところを12ビットとしてもよい。
First, in response to a shutter synchronization signal generated by operating the
この後、撮影モードの判別を行うが、読み込んだ画像データの全てを解析して判別するには時間がかかるため、例えば走査線の10〜20ライン分の画像データ毎に1ライン分の画像データを抽出するなどの方法により、画像データの全体の1/10〜1/20程度のデータを抽出する(ステップS2)。 Thereafter, the shooting mode is determined. However, since it takes time to analyze and determine all of the read image data, for example, one line of image data for every 10 to 20 lines of scanning data. Is extracted about 1/10 to 1/20 of the entire image data (step S2).
次に、可視蛍光及び赤外蛍光撮影時に作動されるタイマー21が作動しているか否か調べ(ステップS3)、作動していたら、上記画像信号が得られた撮影時の撮影モードを可視蛍光又は赤外蛍光撮影モードと判別し、ステップS4に進む。
Next, it is checked whether or not the
ここで赤外蛍光撮影では赤外CCD33による白黒撮影となり眼底画像信号のR,G,Bの各成分がほぼ均等となるので、ステップS4でR,G,Bの各成分がほぼ均等であるか否か調べ、ほぼ均等なら眼底カメラで選択された撮影モードを赤外蛍光撮影モードと判別し(ステップS5)、均等でなければ可視蛍光撮影モードと判別する(ステップS6)。 Here, in the infrared fluorescent photographing, since the infrared CCD 33 performs black-and-white photographing, the R, G, and B components of the fundus image signal are substantially equal. In step S4, are the R, G, and B components substantially equal? If it is almost equal, the imaging mode selected by the fundus camera is determined as the infrared fluorescence imaging mode (step S5), and if not equal, it is determined as the visible fluorescence imaging mode (step S6).
続いてステップS7〜S11及びS17の画像処理を行うが、特にステップS7〜S10は上述したコントラストを強調するための処理である。 Subsequently, image processing in steps S7 to S11 and S17 is performed. In particular, steps S7 to S10 are processes for enhancing the above-described contrast.
ステップS7では、ステップS2で抽出した画像データの階調レベルのヒストグラムを算出する。そのヒストグラムの一例のグラフを図5の上側に示してあり、横軸は10ビットで0〜1024の階調レベル、縦軸は画素数を示している。 In step S7, a gradation level histogram of the image data extracted in step S2 is calculated. A graph of an example of the histogram is shown on the upper side of FIG. 5, the horizontal axis indicates 10-bit gradation levels from 0 to 1024, and the vertical axis indicates the number of pixels.
ステップS8では、算出したヒストグラムデータを見て、図5に示すように、階調レベルの中間の領域において次のステップS9で行う引き伸ばし階調変換処理を行う引き伸ばし範囲を設定する下限と上限の階調レベルのスレッショルド値S1,S2を設定する。これは、各階調レベルでの画素数のヒストグラム値を見て、階調レベルの低い側と高い側の両端部の領域でノイズ等の外部要因により画素が発生したと判断される階調領域の境界の階調値に設定する。 In step S8, the calculated histogram data is viewed, and, as shown in FIG. 5, the lower limit and upper limit floors for setting the enlargement range for the enlargement gradation conversion process performed in the next step S9 in the intermediate area of the gradation level. The tone level threshold values S1 and S2 are set. This is because in the gradation region where it is determined that the pixel is generated due to external factors such as noise in the regions at both ends of the low and high gradation levels by looking at the histogram value of the number of pixels at each gradation level. Set to the boundary tone value.
ステップS9では、メモリ45上の眼底画像データの全部に対して、図5の下側に示すように、階調レベルのスレッショルド値S1からS2までの引き伸ばし範囲を階調レベルの最低値0から最高値1024までの範囲に引き伸ばし、スレッショルド値S1以下は0、スレッショルド値S2以上は1024とするように階調変換する引き伸ばし階調変換処理を10ビット計算で行う。
In step S9, for all of the fundus image data on the memory 45, as shown on the lower side of FIG. 5, the extension range from the gradation level threshold values S1 to S2 is increased from the lowest
ステップS10では、ステップS9の処理で得た画像データに対してガンマ処理を行う。ここでは、ステップS5或いはS6で判別した撮影モードが赤外蛍光撮影モードか或いは可視蛍光撮影モードかにより異なるガンマ変換パラメータの設定値をテーブル42から読み取り、それを使用して10ビットから8ビットへのガンマ変換を行う。従来のダイナミックレンジのないCCDを使用して8ビットの画像データを得て8ビットから8ビットへのガンマ変換を行うと、あるグレーレベルで階調飛びが発生してざらついた画像となってしまうが、本実施例では高ダイナミックレンジのCCDを使用して10ビットから8ビットへのガンマ変換を行うことにより、階調飛びのない滑らかなグレーカーブが得られる。 In step S10, gamma processing is performed on the image data obtained in step S9. Here, the setting value of the gamma conversion parameter that differs depending on whether the photographing mode determined in step S5 or S6 is the infrared fluorescent photographing mode or the visible fluorescent photographing mode is read from the table 42 and is used to change from 10 bits to 8 bits. Perform gamma conversion. When 8-bit image data is obtained using a conventional CCD with no dynamic range and gamma conversion from 8 bits to 8 bits is performed, a gradation skip occurs at a certain gray level, resulting in a rough image. However, in this embodiment, a smooth gray curve with no gradation skip can be obtained by performing gamma conversion from 10 bits to 8 bits using a CCD with a high dynamic range.
ステップS11では、タイマー21の計時情報(蛍光剤投与からの経過時間)を読み込み、ステップS10で処理した画像データの余白に相当する部分に写し込む。
In step S11, the time measurement information (elapsed time from administration of the fluorescent agent) of the
続いて以上の処理で得た画像データに対して白黒変換処理を行い(ステップS17)、処理した画像データを撮影モード及び被検者情報などの付加情報のデータとともに画像記憶部47に書き込み、データベースとして保存する(ステップS20)。なお、このときタイマー21の計時情報も付加情報として書き込んでもよい。
Subsequently, black and white conversion processing is performed on the image data obtained by the above processing (step S17), and the processed image data is written in the
一方、ステップS3でタイマー21が作動していない場合、蛍光撮影モードでないと判別し、ステップS12〜S15,S18でカラー撮影モードとレッドフリー撮影モードの判別を行う。ここでは図6と図7に示したカラー撮影した眼底画像とレッドフリー撮影した眼底画像におけるR,G,Bの各色成分の相違を利用して判別する。図6と図7は、眼底画像の1ライン分の画像データにおけるR,G,Bの各色成分の階調の例を縦軸に10ビットの0〜1024の階調値、横軸に1ラインのX座標をとって示している。カラー画像では階調値は大きい順にR成分、G成分、B成分となるが、B成分が極端に小さくなる訳ではない。これに対してレッドフリー画像ではB成分が最小で極端に小さくなり、R成分がG成分より小さくなるという特徴がある。眼底画像の色成分に関しては、撮影に使用するフィルターの特性、眼底の個人差、及び外国人を含む眼の色の相違などによって比率が違って来るものの、R,G,Bの階調構成に関しては上記と同じ傾向を示す。
On the other hand, if the
このことを利用し、ステップS2で抽出した画像データの階調値についてしらべ、B成分値の平均値に対するR成分値の平均値とG成分値の平均値との和の比率が所定値K1以上であるか否かの判定(ステップS12)、B成分値の平均値が所定値K2以下であるか否かの判定(ステップS13)、及びG成分値の平均値の方がR成分値の平均値より高いか否かの判定(ステップS14)を行い、いずれかの判定結果がNOとなればカラー撮影モードと判別し(ステップS18)、全ての判定結果がYESとなればレッドフリー撮影モードと判別する(ステップS15)。なお、ステップS12の判定は、カラー撮影で画像が暗い場合とレッドフリー撮影の場合を区別するために行うものである。 Using this fact, the gradation value of the image data extracted in step S2 is examined, and the ratio of the sum of the average value of the R component value and the average value of the G component value to the average value of the B component value is equal to or greater than a predetermined value K1. (Step S12), whether or not the average value of the B component values is less than or equal to the predetermined value K2 (step S13), and the average value of the G component values is the average of the R component values. It is determined whether or not the value is higher than the value (step S14). If any of the determination results is NO, the color shooting mode is determined (step S18). If all the determination results are YES, the red free shooting mode is determined. It discriminate | determines (step S15). Note that the determination in step S12 is performed in order to distinguish between a case where the image is dark in color shooting and a case where the image is red free.
カラー撮影モードと判別したら、メモリ45上の眼底画像データに対してガンマ処理を行う(ステップS19)。ここではテーブル42からカラー撮影モード用のガンマ変換パラメータの設定値を読み出し、これを使用して10ビットから8ビットへのガンマ変換を行う。その後、ステップS20に進む。 When the color photographing mode is determined, gamma processing is performed on the fundus image data on the memory 45 (step S19). Here, the setting value of the gamma conversion parameter for the color photographing mode is read from the table 42, and gamma conversion from 10 bits to 8 bits is performed using the set values. Thereafter, the process proceeds to step S20.
また、レッドフリー撮影モードと判別したら、テーブル42からレッドフリー撮影モード用のガンマ変換パラメータの設定値を読み出し、これを使用して10ビットから8ビットへのガンマ変換を行い(ステップS16)、さらに白黒変換(ステップS17)を行なった後、ステップS20に進む。 If the red-free shooting mode is determined, the setting value of the gamma conversion parameter for the red-free shooting mode is read from the table 42, and is used to perform gamma conversion from 10 bits to 8 bits (step S16). After performing black and white conversion (step S17), the process proceeds to step S20.
ステップS20では先述のように、処理した眼底画像データを判別した撮影モード及び被検者情報などの付加情報のデータとともに画像記憶部47に書き込み、データベースとして保存する。
In step S20, as described above, the processed fundus image data is written to the
以上のような本実施例によれば、眼底カメラ9から撮影された眼底画像が、画像処理装置50に入力されたときに、タイマー21の作動の有無で蛍光撮影モードか否かを判別し、さらに眼底画像の色成分を分析して赤外蛍光、可視蛍光、カラー、及びレッドフリーの各撮影モードを判別するので、眼底カメラ9側からの特別な情報提供によらずに撮影モードを誤りなく判別できる。また、眼底画像の画像処理をこのように判別した撮影モードに対応して行うので、最適な眼底画像を得ることができる。そして、従来のように眼底カメラ側から画像処理装置側へ撮影モードを判別するための特別な情報を伝達するインターフェースが眼底カメラ9と画像処理装置50の双方で不要となり、双方でコストダウンが図れる。
According to the present embodiment as described above, when the fundus image captured from the fundus camera 9 is input to the image processing device 50, it is determined whether or not the fluorescence imaging mode is performed based on whether or not the
また、赤外蛍光及び可視蛍光撮影の画像データの場合は、前述した引き伸ばし階調変換処理がなされた後、10ビットから8ビットへのガンマ変換がなされるので、コントラストが強調されるとともに、階調飛びが発生せず、コントラストが高くクリアーな画像を得ることができ、病変等が見易く、診断に極めて有効な眼底画像が得られる。 In addition, in the case of image data of infrared fluorescence and visible fluorescence, gamma conversion from 10 bits to 8 bits is performed after the above-described enlargement gradation conversion processing, so that the contrast is enhanced and the gradation is increased. There is no jumping, a clear image with high contrast can be obtained, a lesion etc. can be easily seen, and a fundus image that is extremely effective for diagnosis can be obtained.
12 CPU
21 タイマー
30 眼底カメラ
31 カラーCCD
32 シャッター
33 赤外CCD
39 撮影モード判別部
40 画像処理部
41 設定部
42 テーブル
43 マトリクス処理演算部
44 白黒変換部
45,46 メモリ
47 画像記憶部
49 表示部
50 眼底画像処理装置(ファイリング装置)
12 CPU
21 Timer 30
32 Shutter 33 Infrared CCD
39 Imaging
Claims (10)
前記眼底画像を解析して眼底撮影装置で選択された撮影モードを判別し、
前記眼底画像を、判別した撮影モードに応じて画像処理することを特徴とする眼底画像処理方法。 An image processing method for a fundus image electronically photographed by a fundus photographing apparatus capable of selecting a plurality of photographing modes,
Analyzing the fundus image to determine the photographing mode selected by the fundus photographing apparatus,
A fundus image processing method, wherein the fundus image is subjected to image processing according to the determined photographing mode.
前記眼底画像を解析して眼底撮影装置で選択された撮影モードを判別する撮影モード判別手段と、
前記眼底画像を、判別した撮影モードに応じて画像処理する画像処理手段と、
を有することを特徴とする眼底画像処理装置。 An image processing device for a fundus image electronically photographed by a fundus photographing device capable of selecting a plurality of photographing modes,
An imaging mode determining means for analyzing the fundus image and determining the imaging mode selected by the fundus imaging apparatus;
Image processing means for processing the fundus image according to the determined shooting mode;
A fundus image processing apparatus comprising:
前記画像処理手段は、前記撮影モード判別手段により判別された撮影モードに応じて、前記記憶手段に記憶された複数組の画像処理パラメータを選択して画像処理することを特徴とする請求項6に記載の眼底画像処理装置。 Storage means for storing a plurality of sets of image processing parameters corresponding to each of the plurality of shooting modes;
7. The image processing unit according to claim 6, wherein the image processing unit selects a plurality of sets of image processing parameters stored in the storage unit and performs image processing according to the shooting mode determined by the shooting mode determination unit. The fundus image processing apparatus described.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004081804A JP4418271B2 (en) | 2004-03-22 | 2004-03-22 | Fundus image processing method and fundus image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004081804A JP4418271B2 (en) | 2004-03-22 | 2004-03-22 | Fundus image processing method and fundus image processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005261789A JP2005261789A (en) | 2005-09-29 |
JP4418271B2 true JP4418271B2 (en) | 2010-02-17 |
Family
ID=35086919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004081804A Expired - Fee Related JP4418271B2 (en) | 2004-03-22 | 2004-03-22 | Fundus image processing method and fundus image processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4418271B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10498988B2 (en) | 2017-03-06 | 2019-12-03 | Hanwha Techwin Co., Ltd. | Image processing device and method |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008062528A1 (en) * | 2006-11-24 | 2008-05-29 | Nidek Co., Ltd. | Fundus image analyzer |
JP5182689B2 (en) * | 2008-02-14 | 2013-04-17 | 日本電気株式会社 | Fundus image analysis method, apparatus and program thereof |
JP5414369B2 (en) * | 2009-06-01 | 2014-02-12 | キヤノン株式会社 | Fundus camera and control method |
JP5495870B2 (en) * | 2010-03-10 | 2014-05-21 | キヤノン株式会社 | Image display device and program |
JP5629482B2 (en) * | 2010-03-16 | 2014-11-19 | キヤノン株式会社 | Imaging apparatus, imaging method, and program |
JP5658305B2 (en) * | 2013-04-10 | 2015-01-21 | 株式会社トプコン | Ophthalmic observation apparatus, control method thereof, and program |
JPWO2016136858A1 (en) * | 2015-02-27 | 2017-12-07 | 興和株式会社 | Fundus photography system |
JP6736270B2 (en) * | 2015-07-13 | 2020-08-05 | キヤノン株式会社 | Image processing apparatus and method of operating image processing apparatus |
-
2004
- 2004-03-22 JP JP2004081804A patent/JP4418271B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10498988B2 (en) | 2017-03-06 | 2019-12-03 | Hanwha Techwin Co., Ltd. | Image processing device and method |
Also Published As
Publication number | Publication date |
---|---|
JP2005261789A (en) | 2005-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7619665B1 (en) | Red eye filter for in-camera digital image processing within a face of an acquired subject | |
JP4901201B2 (en) | Fundus image processing method and apparatus | |
US6407777B1 (en) | Red-eye filter method and apparatus | |
US9204790B2 (en) | Image processing apparatus for fundus image, image processing method for fundus image, and program medium | |
JP4418271B2 (en) | Fundus image processing method and fundus image processing apparatus | |
JP4574277B2 (en) | Ophthalmic imaging equipment | |
US7318643B2 (en) | Ophthalmic image pickup apparatus, ophthalmic image pickup method and ophthalmic image processing system | |
JP2005270152A (en) | Ophthalmologic photographing apparatus | |
US6244710B1 (en) | Ophthalmogical photographing apparatus | |
JP2007185417A (en) | Ophthalmology imaging unit and its artifact detection method | |
JP5354831B2 (en) | Ophthalmic imaging equipment | |
JP2000197608A (en) | Ophthalmologic photographic apparatus | |
JP4365959B2 (en) | Ophthalmic imaging equipment | |
JP5701357B2 (en) | Ophthalmic imaging apparatus and ophthalmic imaging method | |
US7333636B2 (en) | Funduscopic image processing unit and method | |
JPH0698859A (en) | Ophthalmic image processing system | |
JP3624181B2 (en) | Fundus photographing device | |
JP2010194161A (en) | Ophthalmologic photographing apparatus | |
JP2000237144A (en) | Ophthalmologic photographing device | |
JPH0690906A (en) | Eyeground photographing device and medical color image processor | |
JP5084077B2 (en) | Ophthalmic imaging equipment | |
JP2013056222A (en) | Ophthalmic apparatus and conversion method | |
JP2003204939A (en) | Ophthalmic imaging system | |
JP2005006926A (en) | Ophthalmologic imaging system | |
JP5484419B2 (en) | Ophthalmic apparatus and conversion method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091124 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091127 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121204 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |