JP4889030B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP4889030B2 JP4889030B2 JP2007041792A JP2007041792A JP4889030B2 JP 4889030 B2 JP4889030 B2 JP 4889030B2 JP 2007041792 A JP2007041792 A JP 2007041792A JP 2007041792 A JP2007041792 A JP 2007041792A JP 4889030 B2 JP4889030 B2 JP 4889030B2
- Authority
- JP
- Japan
- Prior art keywords
- fundus
- parallax
- image
- eye
- dimensional shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Description
本発明は、画像処理装置、特に被検眼眼底を眼底撮影光学系を介して所定の視差でステレオ撮影し、得られた視差画像を用いて3次元形状測定処理を行う画像処理装置に関するものである。 The present invention relates to an image processing device, and more particularly to an image processing device that performs stereo imaging of a subject's eye fundus with a predetermined parallax via a fundus imaging optical system and performs three-dimensional shape measurement processing using the obtained parallax image. .
従来より、緑内障の診断などの目的で、被検眼眼底の形状を把握するため、被検眼眼底の立体画像を撮影する眼底カメラなどの画像処理装置が知られている。たとえば、眼底カメラの単一の光学系内の絞りを光軸から左右(あるいは上下)に偏心した異なる位置に移動させ、それぞれの絞り位置で撮影を行うことにより被検眼眼底をステレオ撮影する装置が知られている(下記の特許文献1)。 2. Description of the Related Art Conventionally, for the purpose of diagnosing glaucoma, an image processing apparatus such as a fundus camera that captures a three-dimensional image of the fundus of the eye to be examined is known in order to grasp the shape of the fundus of the eye to be examined. For example, there is a device that stereo-photographs the fundus of the eye to be examined by moving the diaphragm in a single optical system of the fundus camera to different positions that are decentered from the optical axis to the left and right (or up and down). Known (Patent Document 1 below).
眼底を3次元測定する画像処理は、次のように行うことができる。たとえば、ステレオ撮影された左右(あるいは上下)の画像のパターンマッチングを行ない、対応する像点、すなわち対応点を探索する。対応点が探索できれば、3角測量の原理を用いて対応点に共役な物点のxy軸(画像平面に平行な直交2軸)、およびz軸(光軸に平行な1軸)に沿う各座標を計算することができる。そして、充分な数の物点の3次元座標値を求めれば、被検眼眼底の3次元モデルを作成することができる。
ところで、眼底カメラのような撮影装置の光学系には像歪がある。たとえば、平面に置いた方眼紙のような方眼パターンを撮影すると、図5の符号151のような画像が撮影される。この歪みには、光学系で設計上あらかじめ想定されている歪みの他、光学系個体毎に生じる製造上の誤差により生じる歪みも含まれる。
Incidentally, an optical system of a photographing apparatus such as a fundus camera has image distortion. For example, when a grid pattern such as graph paper placed on a plane is captured, an image such as
もし、このような像歪を有する光学系で上記のようなステレオ撮影および3次元測定の画像処理を行うと、たとえばP〜P’線上で得られるz軸座標は、平面に置いた方眼パターンであれば符号152のように直線的に測定されるべきであるにもかかわらず、符号153のように変形してしまう可能性がある。
If stereo imaging and three-dimensional measurement image processing as described above are performed with an optical system having such image distortion, the z-axis coordinates obtained on the P-P ′ line, for example, are square patterns placed on a plane. Even if it should be measured linearly as indicated by
一般に、ステレオ撮影された画像を用いた3次元測定においては、上記のような像歪を補正する必要があり、補正なしでは被写体の実態と異なる3次元形状が測定されてしまう可能性がある。この点に鑑み、あらかじめ見積もった光学系の歪みに対応するパラメータを用いて画像データをアフィン変換するような構成が用いられている。また、眼底撮影の場合には眼底をあらかじめ理想球面と仮定した上でステレオ撮影された画像を補正する構成も知られている(上記の特許文献2)。
Generally, in the three-dimensional measurement using a stereo image, it is necessary to correct the image distortion as described above, and there is a possibility that a three-dimensional shape different from the actual condition of the subject may be measured without correction. In view of this point, a configuration is used in which image data is affine transformed using parameters corresponding to the distortion of the optical system estimated in advance. In addition, in the case of fundus photography, there is also known a configuration in which a stereo photographed image is corrected on the assumption that the fundus is an ideal spherical surface in advance (
しかしながら、このような従来の補正処理は、実際に撮影に用いられる光学系の特性を正確に反映したものとはいい難く、眼底の3次元測定結果に何らかの誤差が生じる可能性が高い。眼底網膜形状解析や視神経乳頭部形状解析のような臨床アプリケーションにおいては、誤差の程度によっては、誤診をまねく危険があり、ステレオ撮影画像から光学系の歪みを正確に補正できる画像処理が求められている。 However, it is difficult to say that such conventional correction processing accurately reflects the characteristics of the optical system actually used for photographing, and there is a high possibility that some error will occur in the three-dimensional measurement result of the fundus. In clinical applications such as fundus retinal shape analysis and optic nerve head shape analysis, depending on the degree of error, there is a risk of misdiagnosis, and image processing that can accurately correct optical distortion from stereo images is required. Yes.
たとえば、図5の平面に置いた方眼パターンの場合、P〜P’線上で符号153のように歪んで測定されてしまう形状を正確に符号154のように補正できるようにすることが望まれる。
For example, in the case of a grid pattern placed on the plane of FIG. 5, it is desired that a shape that is distorted and measured as indicated by
本発明の課題は、上記の問題に鑑み、被検眼眼底をステレオ撮影し、得られた撮影画像データに対して3次元測定処理を行う画像処理装置において、実際に撮影に用いられる光学系の歪みを考慮し、眼底画像に対して正確な3次元測定処理を行なえ、被検眼眼底の立体形状を正確に評価できるようにすることにある。 In view of the above problems, an object of the present invention is to provide a distortion of an optical system that is actually used for photographing in an image processing apparatus that performs stereo photographing of the fundus of the eye to be examined and performs three-dimensional measurement processing on the obtained photographing image data. Therefore, it is possible to perform accurate three-dimensional measurement processing on the fundus image so that the three-dimensional shape of the fundus to be examined can be accurately evaluated.
上記課題を解決するため、本発明においては、被検眼眼底を眼底撮影光学系を介して所定の視差でステレオ撮影し、得られた視差画像を用いて3次元形状測定処理を行う画像処理装置において、人眼の形状および光学特性を模擬するとともに、所定の濃淡パターンを付与した眼底模擬面を所定部位として有する模型眼を前記眼底撮影光学系を介して前記所定の視差でステレオ撮影し、得られた視差画像の画像データに基づき前記所定部位の3次元形状を測定し、前記所定部位の実際の3次元形状と、前記画像データに基づき測定された前記所定部位の3次元形状との差分に相当し、前記被検眼眼底の3次元形状測定処理において補正すべき前記視差画像の視差量、または該視差量に基づき算出される深さ量により表現され、前記眼底撮影光学系に起因する形状歪を補正するために用いる校正データを作成し、前記校正データを用いて被検眼眼底のステレオ撮影で得られた3次元形状データに対して形状歪補正を行ない、前記3次元形状測定処理を行う構成を採用した。 In order to solve the above problems, in the present invention, in an image processing apparatus that performs stereo imaging of a subject's eye fundus with a predetermined parallax via a fundus imaging optical system, and performs a three-dimensional shape measurement process using the obtained parallax image Obtained by simulating the shape and optical characteristics of the human eye and taking a stereo image of the model eye having the fundus simulating surface provided with a predetermined shading pattern as a predetermined part with the predetermined parallax through the fundus imaging optical system. and the three-dimensional shape of the predetermined region is measured based on the image data of the parallax image, corresponding to the difference of the actual three-dimensional shape of the predetermined region, the three-dimensional shape of said measured predetermined portion based on the image data and, wherein is represented by the amount of parallax or depth quantity calculated based on the parallax amount of the parallax images to be corrected in the three-dimensional shape measurement process of the fundus, the fundus photographing optical Create a calibration data used for correcting the shape distortion resulting from, subjected to shape distortion correction on the three-dimensional shape data obtained by the stereo imaging of the fundus by using the calibration data, the three-dimensional shape A configuration for performing measurement processing was adopted.
上記構成によれば、被検眼眼底をステレオ撮影光学系を介してステレオ撮影し、得られた撮影画像データに対して3次元測定処理を行う画像処理装置において、実際に撮影に用いられる光学系の歪みを補正し、眼底画像に対して正確な3次元測定処理を行なえ、被検眼眼底の立体形状を正確に評価でき、誤診などの問題を回避することができる、という優れた効果がある。 According to the above configuration, in the image processing apparatus that performs the three-dimensional measurement process on the obtained fundus image data in stereo through the stereo imaging optical system, the optical system actually used for imaging is used. There is an excellent effect that distortion can be corrected, accurate three-dimensional measurement processing can be performed on the fundus image, the three-dimensional shape of the fundus can be accurately evaluated, and problems such as misdiagnosis can be avoided.
また、被検眼の形状および光学的構造を模擬する模型眼を用いることにより、他の撮影条件や演算条件変更することなく容易に校正測定および演算を行うことができる。 Further, by using a model eye that simulates the shape and optical structure of the eye to be examined, calibration measurement and calculation can be easily performed without changing other imaging conditions and calculation conditions.
以下、本発明を実施するための最良の形態の一例として、被検眼眼底をステレオ撮影光学系を介してステレオ撮影し、得られた撮影画像データに対して3次元測定処理を行う眼底カメラに関する実施例につき説明する。 Hereinafter, as an example of the best mode for carrying out the present invention, an implementation relating to a fundus camera that performs a three-dimensional measurement process on the obtained photographed image data by photographing the fundus oculi to be examined in stereo via a stereo photographing optical system. An example will be described.
図1において、一点鎖線で囲まれて図示された眼底カメラ10には、赤外光並びに可視光の照明光を発光する観察ランプ11が球面ミラー12の曲率中心に配置され、観察ランプ11並びに球面ミラー12からの光は、コンデンサーレンズ14、撮影用光源であるストロボ15、コンデンサーレンズ16を経て、全反射ミラー17に入射する。
In the fundus camera 10 illustrated in FIG. 1 surrounded by a one-dot chain line, an
全反射ミラー17で反射した照明光は、照明絞り19を経てリレーレンズ22を通過し、穴あき全反射ミラー23で反射され、対物レンズ24を経て被検眼Eの前眼部(瞳)Epに入射する。照明絞り19は、照明光学系内に被検眼の前眼部Ep(瞳)とほぼ共役な位置に配置される。
The illumination light reflected by the
照明光で照明された眼底Erからの反射光は、対物レンズ24、穴あき全反射ミラー23の開口23a、2開口撮影絞り(2孔絞り)28の開口、合焦レンズ35、結像レンズ36、変倍レンズ38aを通過してリターンミラー39に入射する。リターンミラー39が図示の位置では、眼底からの反射光が赤外光に感度を有する眼底と共役な位置にあるCCD(撮像手段)40に入射し、眼底がCCD40により撮像され、またリターンミラー39が光路から離脱すると、眼底からの反射光が可視光に感度を有する眼底と共役なCCD(撮像手段)41に入射し、眼底がCCD41により撮影される。
The reflected light from the fundus Er illuminated with the illumination light is transmitted through the
撮影絞り28には、図2に示すように、矩形の2つの開口28a、28bが設けられている。撮影絞り28は、その開口28a、28bが光軸26に対して偏心し、かつ左右対称となるように、またそれぞれ被検眼前眼部(瞳)とほぼ共役な位置となるように配置される。
The photographing
また、開口28a、28bの位置とその大きさは、穴あき全反射ミラー23の開口23aが、開口28a、28bの全体を含むように設定される。
The positions and sizes of the
撮影絞り28の開口28a、28bは、それぞれガイド28c、28dに沿って移動されるシャッタ板29、30により開放されるか、あるいは閉じられる。
The
この開閉のためにロータリーソレノイド31、32から構成される切替手段が設けられ、ロータリーソレノイド31、32が通電されない状態では、シャッタ板29、30は、図2(a)の位置にあり、開口28a、28bはそれぞれ開放される。
For this opening and closing, switching means comprising
一方、ロータリーソレノイド31、32が通電されると、ロータリーソレノイド31、32のロッド31a、32aが回動し、ロッド31a、32aの他端がシャッタ板29、30に設けられたピン29a、30aと係合していることによりシャッタ板29、30がそれぞれ内側に移動して開口28a、28bが閉じられる。
On the other hand, when the
CCD40が撮像した眼底像は、CPUなどで構成される制御演算部60に入力され、その画像がモニタ62に動画像として表示される。検者は、モニタ62に表示される画像を見て、後述するようにアライメントやフォーカス調整などの操作を行うことができる。また、立体視専用ディスプレイとしてステレオモニタ63が設けられ、検者は、このステレオモニタ63を介して左右の画像を観察することにより眼底を立体視することができる。
The fundus image captured by the
また、CCD41により、シャッタスイッチ66を操作したときストロボ15で照明された眼底を静止画として撮影することができる。この眼底像は一旦高速なメモリ61に格納され、制御演算部60を介して外部記録装置としての低速なハードディスク(HDD)64で実現される記録手段に記録されたり、あるいはモニタ62、ステレオモニタ63に表示される。
Further, the fundus illuminated by the
また、キーボード67、マウス68などの入力手段が設けられ、これらの入力手段を介して、種々のデータが入力できるようになっている。
Also, input means such as a
また、眼底カメラには、CPUなどからなる制御部65が設けられ、この制御部65は、制御演算部60と接続されて互いに信号を交換するとともに、シャッタスイッチ66が操作されたときに、リターンミラー39を光路から離脱させるとともに、ストロボ15を適量な光量で発光させる。また、制御部65は、変倍レンズ38aなどの光路への挿脱を制御し、上述のロータリーソレノイド31、32の駆動を制御する。
Further, the fundus camera is provided with a
また、眼底カメラには、操作部(操作パネル)69が設けられ、この操作部69で、撮影モードを選択できる。更に、撮影する被検眼が左眼か右眼かを検知する左右眼検知部70が設けられ、検知された左眼か右眼かの情報が制御部65に入力される。
In addition, the fundus camera is provided with an operation unit (operation panel) 69, and the
ここで、上記構成における被検眼眼底のステレオ撮影の概略につき説明する。 Here, an outline of stereo imaging of the fundus of the eye to be examined in the above configuration will be described.
最初、観察時には、観察ランプ11が点灯され、照明絞り19が光路に挿入される。ロータリーソレノイド31、32は図2(a)に示した位置に駆動され、それにより撮影絞り28の2つの開口28a、28bは開放した位置をとる。照明絞り19を介して非赤外光で照射された被検眼眼底からの反射光は、撮影絞り28の開口28a、28bを介して観察用のCCD40に受像され、眼底像がモニタ62に表示される。
First, at the time of observation, the
この状態で、被検眼とのアライメント、ピント合せが行なわれるが、このとき、不図示の視標投影系などにより検者のアライメント、ピント合せ操作が支援される。 In this state, alignment and focusing with the eye to be examined are performed. At this time, alignment and focusing operations of the examiner are supported by a target projection system (not shown).
アライメント、ピント合せの後、シャッタ操作が完了したら、検者はシャッタスイッチ66を押下する。この操作に応じて制御部65は、ロータリーソレノイド31を駆動してシャッタ板29を右方に移動させ、撮影絞り28の左側の開口28aを閉じる。シャッタスイッチ66の操作と同期してストロボ15が発光し、リターンミラー39が光路から離脱するので、ストロボで照明された眼底からの光束は、撮影絞り28の開放している開口28bを通過してCCD41の受像面に入射し、立体視用の1枚目の眼底画像がCCD41により静止画像として撮像され、メモリ61に格納される。
When the shutter operation is completed after the alignment and focusing, the examiner presses the
続いて、ロータリーソレノイド31、32を制御し、シャッタ板29、30を左方向に移動して、開口28aが開放し、開口28bが閉じたとき、ストロボ15を再度発光させる。このとき、開口28aを通過した立体視用の2枚目の眼底画像がCCD41により静止画像として撮像されて、メモリ61に格納される。
Subsequently, the
このようにして、1回のシャッタ操作で連続して左右2つの視点から撮影、すなわち、ステレオ撮影された2枚の視差画像は、開放している撮影絞りの開口の位置ないし左位置、右位置などの情報を付して、メモリ61からHDD64に保存される。また、このように保存された2枚の視差画像は、HDD64から読み出されて、ステレオモニタ63を用いて表示し、検者は左右の眼でそれぞれ対応する一方の眼底画像を観察することにより眼底を立体視することができる。
In this way, two parallax images photographed from two left and right viewpoints in succession by one shutter operation, that is, stereo photography, are the positions of the aperture of the photographing aperture that is open, the left position, and the right position. And the like are added to the HDD 64 from the
ここで、本発明による校正処理につき述べる前に、上記のようにしてステレオ撮影された左右の視差画像から、被検眼眼底の立体形状を3次元測定する処理の概要につき説明しておく。 Here, before describing the calibration process according to the present invention, an outline of a process for three-dimensionally measuring the three-dimensional shape of the fundus of the eye to be examined from the left and right parallax images taken in stereo as described above will be described.
図6は、この眼底の3次元測定処理の概略を示している。図6のステップS161において、上記のようにして被検眼眼底がステレオ撮影される。 FIG. 6 shows an outline of this fundus three-dimensional measurement process. In step S161 in FIG. 6, the fundus of the eye to be examined is photographed in stereo as described above.
続いてステップS162でステレオ撮影された左右の視差画像間の視差量算出処理を行う。この視差量算出処理は、次のようなものである。 Subsequently, a parallax amount calculation process between the left and right parallax images taken in stereo is performed in step S162. This parallax amount calculation processing is as follows.
まず、左視差画像中に視差量を求める注目点を中心とした15×15画素の関心領域を設定する(図7(a)、(b))。そして、左視差画像の関心領域(15×15画素:図7(c))と最も相関が高い領域を右視差画像(図7(d))の中から探索する。 First, a region of interest of 15 × 15 pixels is set in the left parallax image with the focus point for obtaining the parallax amount as the center (FIGS. 7A and 7B). Then, a region having the highest correlation with the region of interest (15 × 15 pixels: FIG. 7C) of the left parallax image is searched from the right parallax image (FIG. 7D).
その際、画像全面から探索すると計算時間が掛かるので、探索する領域を20×20画素に制限する。すなわち、左視差画像の視差量を求める点を中心として右視差画像中の20×20画素の範囲で探索を行う。 At this time, since it takes a calculation time to search from the entire image, the search area is limited to 20 × 20 pixels. That is, the search is performed in the range of 20 × 20 pixels in the right parallax image with the point for obtaining the parallax amount of the left parallax image as the center.
視差量を求める注目点は左視差画像中の全ての点とし、各点について右視差画像中で最も相関が高くなる領域を探索するが、1画素ごとに探索を行うのではなく、たとえば4画素程度の間隔を開けて探索を行ってもよい。 The attention points for obtaining the amount of parallax are all points in the left parallax image, and an area having the highest correlation in the right parallax image is searched for each point, but instead of searching for each pixel, for example, four pixels The search may be performed with a certain interval.
そして、左視差画像中の関心領域に対して最も相関が高くなった右視差画像中の領域の位置のずれを視差(視差画素数)として求める。このようにして視差量は、各注目点ごとに1つ算出される。 Then, the position shift of the region in the right parallax image having the highest correlation with the region of interest in the left parallax image is obtained as parallax (number of parallax pixels). In this way, one amount of parallax is calculated for each attention point.
上記の処理によって、特定の画素、ないし特定の部位の視差画素数、すなわち、特定の画素、ないし特定の部位が左右の視差画像で何画素ずれて撮影されているかを求めることができる。 Through the above processing, it is possible to obtain the number of parallax pixels of a specific pixel or a specific part, that is, how many pixels the specific pixel or the specific part is imaged in the left and right parallax images.
そして、光学系の倍率(ないし撮影距離)の条件を記録しておけば、撮影画面上の特定の画素、ないし特定の部位の視差画素数は、網膜(眼底)上における実際の視差量に変換することができる。 If the conditions of the magnification (or shooting distance) of the optical system are recorded, the number of parallax pixels on a specific pixel or specific part on the shooting screen is converted into the actual amount of parallax on the retina (fundus) can do.
特定の画素、ないし特定の部位の網膜(眼底)上における実際の視差量を求めれば、その特定の画素、ないし特定の部位の深さ(あるいは光軸に平行なz軸方向の座標値)を次のようにして求めることができる(図6のS163)。 If the actual amount of parallax on the retina (fundus) of a specific pixel or a specific part is obtained, the depth of the specific pixel or the specific part (or the coordinate value in the z-axis direction parallel to the optical axis) is obtained. It can be obtained as follows (S163 in FIG. 6).
ここで、特定の撮影において、撮影距離、および、絞り28a、28bの位置で定まる視差角度が8度であるものとし、ある特定部位の眼底上における視差量が上記の演算(S162)により0.1mmと算出された場合、図8に示すように三角測量の原理を用いてこの視差量から特定部位の深さ量(奥行き、ないしz軸方向の座標)は、
深さ量=(視差量/2)/tan(視差角/2) (式1)
により、0.715mm(視差量0の部位からの相対量)と算出される。
Here, in specific imaging, the parallax angle determined by the imaging distance and the positions of the
Depth amount = (parallax amount / 2) / tan (parallax angle / 2) (Formula 1)
Is calculated to be 0.715 mm (relative amount from a part having a parallax amount of 0).
なお、眼底カメラの場合、撮影距離は撮影前のアライメントにより、特定のワーキングディスタンスに調整されるため、絞り28a、28bの位置により定まる視差角度(上の例では8度)は一定であるものとして3次元測定処理を行うことができる。
In the case of a fundus camera, since the shooting distance is adjusted to a specific working distance by alignment before shooting, the parallax angle (8 degrees in the above example) determined by the positions of the
さて、図1の眼底カメラの撮影光学系、すなわち、対物レンズ24…変倍レンズ38aには図5に示したような像歪があり、上記のようにして撮影される左右の視差画像もこの影響を受ける。
Now, the imaging optical system of the fundus camera in FIG. 1, that is, the
そこで、本実施例では、所定形状の被写体、特に、図3に示すような模型眼300をステレオ撮影し、本眼底カメラの光学系に起因する固有の形状歪をあらかじめ算出し、これに基づき、図6〜図8に示した3次元測定に用いる画像データを補正する。 Therefore, in this embodiment, a subject having a predetermined shape, in particular, a model eye 300 as shown in FIG. 3 is photographed in stereo, and an inherent shape distortion caused by the optical system of the fundus camera is calculated in advance. The image data used for the three-dimensional measurement shown in FIGS. 6 to 8 is corrected.
模型眼300は、図3に示すような人眼の光学特性を模擬(シミュレート)する形状に作成される。たとえば、模型眼300は、屈折率n=1.52程度の光学ガラスを切削、研磨するなどの手法により作成する。角膜模擬面(入射面)302の曲率はR7.7mm程度、網膜に相当する網膜模擬面301の曲率はR15mm程度の球面とする。これら2面の距離はたとえば22.6mm程度とする。
The model eye 300 is created in a shape that simulates (simulates) the optical characteristics of the human eye as shown in FIG. For example, the model eye 300 is created by a technique such as cutting and polishing optical glass having a refractive index n = 1.52. The curvature of the cornea simulated surface (incident surface) 302 is a spherical surface of about R7.7 mm, and the curvature of the
後述の校正撮影では、校正データを取得するための所定部位として模型眼300の眼底を模擬する眼底模擬面が撮影される。より詳細には、この眼底模擬面は本実施例の模型眼300では、網膜を模擬する面301として構成してある。網膜を模擬する面301はスリ(半透明)面に加工し、何らかの濃淡パターン(たとえば方眼パターンなどでもよい)を彫刻+着色、印刷などの手法で付与しておく。なお、後述の校正データ作成の際、処理が容易になるように、特定のパターンを特定の色に決めておくとよい。
In the later-described calibration imaging, a fundus simulating surface that simulates the fundus of the model eye 300 is imaged as a predetermined part for acquiring calibration data. More specifically, this fundus simulating surface is configured as a
なお、模型眼300は、図1の眼底カメラの顎載せ台310に、装着部材として所定形状に校正された治具311を介してワンタッチで着脱(たとえばラッチ結合や螺合などの構造を用いる)でき、装着時に、光学系に対して被検眼Eの(理想)位置とほぼ同一の位置に位置決めされるように構成しておくと便利である。
The model eye 300 is attached to and detached from the
上記の模型眼300を用いて、図1の眼底カメラの出荷前、あるいは出荷後の任意のタイミングで、以下のように3次元測定に用いる画像データを補正するための校正データを取得することができる。 Using the above model eye 300, calibration data for correcting image data used for three-dimensional measurement can be acquired as follows at any timing before or after shipment of the fundus camera of FIG. it can.
まず、上記のような治具311などを用いて、模型眼300を被検眼Eの(理想)位置とほぼ同一の位置に位置決めし、上述の通り、左右の視差画像を撮影する。 First, the model eye 300 is positioned at substantially the same position as the (ideal) position of the eye E using the jig 311 as described above, and right and left parallax images are captured as described above.
撮影距離および倍率に関しても、校正処理のための一定の値となるように制御する。このため、光学系の位置や変倍リング(ダイヤル)などにノッチを設けておき、容易に校正処理のための撮影距離および倍率が選択できるように構成しておくと好都合である。 The photographing distance and the magnification are also controlled so as to be constant values for the calibration process. For this reason, it is convenient to provide a notch in the position of the optical system, the variable magnification ring (dial), etc. so that the photographing distance and magnification for calibration processing can be easily selected.
本実施例において、校正データは、模型眼300を撮影し、上記のようにして3次元形状を算出することで求めることができる。なお、眼底カメラの変倍レンズ38aにより、異なる撮影変倍条件で撮影が行なわれる場合には、校正データは各変倍条件ごとに求めておく。
In this embodiment, the calibration data can be obtained by photographing the model eye 300 and calculating the three-dimensional shape as described above. When photographing is performed under different photographing magnification conditions by the
この校正データは、図10(a)に示すように、模型眼300を撮影して求めた3次元形状(深さ情報(z座標)のカーブ)1002と、現実の模型眼300の形状1001との差分1003に相当するものである。
As shown in FIG. 10A, the calibration data includes a three-dimensional shape (curve of depth information (z coordinate)) 1002 obtained by photographing the model eye 300, and a
図10(a)において、模型眼300を撮影して求めた3次元形状1002は、像歪の影響を受けており、本来、模型眼300の眼底形状は、1001のように求められなければならない。なお、ここでは、説明を容易にするため、模型眼300の眼底形状1001は、ほぼフラットな形状に図示してある。
In FIG. 10A, the three-
本実施例の校正データは、図10(a)に図示した通りの深さ量(z軸方向の座標)の差分1003の表現で記録しておくか、または、上記の3次元形状の測定で用いる視差量の差分により表現することができる(視差量が決まれば上記の式1から明らかなように、深さ量は一意に求められる)。
The calibration data of the present embodiment is recorded with the expression of the
そして、この校正データは、実際に被検眼を撮影して求めた眼底の3次元形状を補正して、現実の被検眼の眼底の3次元形状を得るために用いることができる。 The calibration data can be used to correct the three-dimensional shape of the fundus obtained by actually photographing the eye to be examined to obtain the three-dimensional shape of the fundus of the actual eye to be examined.
たとえば、図10(b)のように、被検眼眼底の形状1004(深さ情報(z座標)のカーブ)が測定された場合、差分1003を表現する校正データを作用させることにより、図10(c)のように被検眼の眼底形状1005を補正することができる(ここでも説明を容易にするため、被検眼の眼底形状1005はほぼフラットな形状に図示してある)。
For example, as shown in FIG. 10B, when the shape 1004 (depth information (z coordinate) curve) of the fundus of the eye to be examined is measured, the calibration data expressing the
上記のようにして求めた校正データは、テーブル形式でHDDや不揮発メモリなどに記録しておくことができる。 The calibration data obtained as described above can be recorded in an HDD or a non-volatile memory in a table format.
たとえば、深さ量(z軸方向の座標)表現の校正データの場合は、上記3次元測定処理により、撮影画像深さ量(z軸方向の座標)まで求めた後で適用するため、3次元形状データの横座標(xy座標、あるいは画像中心(光軸)からの極座標表現でもよい)に関連づけて記録しておく。そして、眼底形状データ内の所定部位の横座標を用いて、テーブルから校正データを読み出し、適用すれば、当該部位の補正された深さ量(z軸方向の座標)を求めることができる。 For example, in the case of calibration data representing a depth amount (coordinate in the z-axis direction), since it is applied after obtaining the captured image depth amount (coordinate in the z-axis direction) by the above three-dimensional measurement process, the three-dimensional The shape data is recorded in association with the abscissa (xy coordinate or polar coordinate expression from the image center (optical axis)). Then, if calibration data is read from the table using the abscissa of the predetermined part in the fundus shape data and applied, the corrected depth amount (coordinate in the z-axis direction) of the part can be obtained.
また、校正データが、上記の3次元形状の測定で用いる視差量の表現である場合には、視差量測定処理は、視差画像中の特定の間隔の注目点(上の例では4画素程度)で行うので、注目点ごとに視差量表現の校正データをテーブル形式で記録しておけばよい。そして、図6の視差量算出処理(ステップS162)の段階で、処理中の注目点(点番号や画素アドレス)に基づき、テーブルデータを参照し、視差量表現の校正データを読み出し、深さ量算出(ステップS163)に用いる視差量に適用すればよい。 In addition, when the calibration data is a representation of the amount of parallax used in the measurement of the three-dimensional shape, the parallax amount measurement processing is performed with attention points at specific intervals in the parallax image (about 4 pixels in the above example). Therefore, the calibration data representing the parallax amount may be recorded in a table format for each point of interest. Then, at the stage of the parallax amount calculation process (step S162) in FIG. 6, based on the attention point (point number or pixel address) being processed, the table data is referred to, the calibration data representing the parallax amount expression is read, and the depth amount What is necessary is just to apply to the amount of parallax used for calculation (step S163).
上記のようなテーブル構成による校正データを用いることにより、極めて小さな演算負荷により、高速に像歪補正を行うことができる。 By using the calibration data having the table configuration as described above, it is possible to perform image distortion correction at a high speed with an extremely small calculation load.
図9は、上記の形状歪補正および実際の眼底ステレオ撮影の流れを示している。 FIG. 9 shows a flow of the above-described shape distortion correction and actual fundus stereo photography.
図9のステップS901、S902は、図1の眼底カメラの出荷前、あるいは出荷後の任意のタイミングで行なわれる校正撮影、および校正データ取得処理を示している。 Steps S901 and S902 in FIG. 9 show calibration imaging and calibration data acquisition processing performed at any timing before or after shipment of the fundus camera in FIG.
ステップS901では、上述のようにして模型眼300をステレオ撮影し、ステップS902では、上述のようにして校正データを求める。 In step S901, the model eye 300 is photographed in stereo as described above, and in step S902, calibration data is obtained as described above.
すなわち、ステップS902では、模型眼300の左右の視差画像から視差量を注目点ごとに算出し、模型眼300の形状データ(図10(a)の1002)を求める。模型眼300の眼底形状(図10(a)の1001)は既知であるため、両者との差分(上記の深さ量または視差量による表現)として校正データを取得することができる。取得した校正データは、上述のようにHDDや不揮発メモリなどに記録しておく。 That is, in step S902, the amount of parallax is calculated for each point of interest from the left and right parallax images of the model eye 300, and the shape data of the model eye 300 (1002 in FIG. 10A) is obtained. Since the fundus shape of the model eye 300 (1001 in FIG. 10A) is known, calibration data can be acquired as the difference between them (representation by the depth or parallax described above). The acquired calibration data is recorded in the HDD or nonvolatile memory as described above.
その後、ステップS161以降において実際の眼底のステレオ撮影が行なわれる。図9のステップS161、S162’、S163’は、図6のステレオ撮影(S161)、視差画素数測定(S162)、深さ量算出(S163)の処理とほぼ同じであるが、図9ではステップS162’、または、S163’で上記のようにしてテーブル形式で記録した校正データを用いて補正する処理を行う。 Thereafter, in step S161 and subsequent steps, actual fundus stereo photography is performed. Steps S161, S162 ′, and S163 ′ in FIG. 9 are substantially the same as the stereo shooting (S161), parallax pixel number measurement (S162), and depth amount calculation (S163) in FIG. In S162 ′ or S163 ′, correction processing is performed using the calibration data recorded in the table format as described above.
すなわち、上記のように校正データが視差量による表現の場合には、ステップS162の視差画素数測定の段階で補正を行う。あるいは、校正データが深さ量による表現の場合には、ステップS163の深さ量算出の段階で補正を行う。 That is, when the calibration data is expressed by the amount of parallax as described above, correction is performed at the stage of measuring the number of parallax pixels in step S162. Alternatively, when the calibration data is expressed by a depth amount, correction is performed at the depth amount calculation stage in step S163.
このようにして、左右の撮影画像に対して、光学系に固有の形状歪補正を適用した上で、ステップS162およびS163の視差画素数測定、深さ量算出を正確に行うことができる。 In this way, it is possible to accurately measure the number of parallax pixels and calculate the depth amount in steps S162 and S163 after applying the shape distortion correction inherent to the optical system to the left and right captured images.
以上のようにして、本実施例によれば、被検眼眼底をステレオ撮影光学系を介してステレオ撮影し、得られた撮影画像データに対して3次元測定処理を行う画像処理装置において、実際に撮影に用いられる光学系の歪みを補正し、眼底画像に対して正確な3次元測定処理を行なえ、被検眼眼底の立体形状を正確に評価でき、誤診などの問題を回避することができる。 As described above, according to the present embodiment, in the image processing apparatus that performs the three-dimensional measurement processing on the obtained photographed image data by actually photographing the fundus of the eye to be examined through the stereo photographing optical system. It is possible to correct distortion of the optical system used for photographing, perform accurate three-dimensional measurement processing on the fundus image, accurately evaluate the three-dimensional shape of the fundus of the eye to be examined, and avoid problems such as misdiagnosis.
たとえば、図4のような眼底画像141の場合、上記のような補正を行うことにより、P〜P’線上で符号142のように乳頭部分143の形状を正確に反映した立体形状を深さ情報(z軸座標値)として求めることができる。
For example, in the case of the
なお、校正データを求めるためにステレオ撮影する被写体は、理論上は方眼紙のような被写体であっても構わない。しかしながら、上記実施例のように、被検眼の形状および光学的構造を模擬する模型眼を用いることにより、他の撮影条件や演算条件変更することなく容易に校正測定および演算を行うことができる。 Note that the subject to be stereo-photographed to obtain the calibration data may theoretically be a subject such as graph paper. However, by using a model eye that simulates the shape and optical structure of the eye to be examined as in the above embodiment, calibration measurement and calculation can be easily performed without changing other imaging conditions and calculation conditions.
また、上記の治具311のような模型眼装着用アダプタなどを設けておくことにより、容易に校正測定および演算を行うことができ、また、模型眼、治具311、模型眼装着用アダプタなどの製品を校正用のキットや拡張部品としてユーザや保守を行う業者に供給、販売することができる。 Further, by providing a model eye wearing adapter such as the jig 311 described above, calibration measurement and calculation can be easily performed, and the model eye, the jig 311, the model eye wearing adapter, etc. This product can be supplied and sold to users and maintenance companies as calibration kits and expansion parts.
本発明は、被検眼眼底をステレオ撮影光学系を介してステレオ撮影し、得られた撮影画像データに対して3次元測定処理を行う眼底カメラのような画像処理装置において実施することができる。 The present invention can be implemented in an image processing apparatus such as a fundus camera that performs stereo imaging of the fundus of a subject to be examined through a stereo imaging optical system and performs three-dimensional measurement processing on the obtained captured image data.
10 眼底カメラ
24 対物レンズ
28 撮影絞り
28a、28b 開口
300 模型眼
301 網膜模擬面
302 角膜模擬面
311 治具
DESCRIPTION OF SYMBOLS 10
Claims (4)
人眼の形状および光学特性を模擬するとともに、所定の濃淡パターンを付与した眼底模擬面を所定部位として有する模型眼を前記眼底撮影光学系を介して前記所定の視差でステレオ撮影し、得られた視差画像の画像データに基づき前記所定部位の3次元形状を測定し、
前記所定部位の実際の3次元形状と、前記画像データに基づき測定された前記所定部位の3次元形状との差分に相当し、前記被検眼眼底の3次元形状測定処理において補正すべき前記視差画像の視差量、または該視差量に基づき算出される深さ量により表現され、前記眼底撮影光学系に起因する形状歪を補正するために用いる校正データを作成し、
前記校正データを用いて被検眼眼底のステレオ撮影で得られた3次元形状データに対して形状歪補正を行ない、前記3次元形状測定処理を行うことを特徴とする画像処理装置。 In an image processing apparatus that performs stereo imaging of the fundus of a subject's eye with a predetermined parallax via a fundus imaging optical system and performs a three-dimensional shape measurement process using the obtained parallax image.
Obtained by simulating the shape and optical characteristics of the human eye and taking a stereo image of the model eye having the fundus simulating surface provided with a predetermined shading pattern as a predetermined portion with the predetermined parallax through the fundus imaging optical system the three-dimensional shape of the predetermined region is measured based on the image data of the parallax image,
The parallax image corresponding to the difference between the actual three-dimensional shape of the predetermined part and the three-dimensional shape of the predetermined part measured based on the image data, and to be corrected in the three-dimensional shape measurement process of the fundus oculi to be examined A calibration data that is expressed by a parallax amount or a depth amount calculated based on the parallax amount and used to correct a shape distortion caused by the fundus photographing optical system,
An image processing apparatus that performs shape distortion correction on three-dimensional shape data obtained by stereo imaging of the fundus of the eye to be examined using the calibration data, and performs the three-dimensional shape measurement process.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007041792A JP4889030B2 (en) | 2007-02-22 | 2007-02-22 | Image processing device |
US12/070,323 US7625088B2 (en) | 2007-02-22 | 2008-02-14 | Image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007041792A JP4889030B2 (en) | 2007-02-22 | 2007-02-22 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008200378A JP2008200378A (en) | 2008-09-04 |
JP4889030B2 true JP4889030B2 (en) | 2012-02-29 |
Family
ID=39778453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007041792A Expired - Fee Related JP4889030B2 (en) | 2007-02-22 | 2007-02-22 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4889030B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5160823B2 (en) * | 2007-07-17 | 2013-03-13 | 興和株式会社 | Image processing device |
JP2008237839A (en) * | 2007-03-29 | 2008-10-09 | Gifu Univ | Image analysis system, and image analysis program |
JP2008237840A (en) * | 2007-03-29 | 2008-10-09 | Gifu Univ | Image analysis system and image analysis program |
JP5268521B2 (en) * | 2008-09-25 | 2013-08-21 | キヤノン株式会社 | Ophthalmic device and method |
GB2509131B (en) * | 2012-12-21 | 2017-05-17 | Optos Plc | Improvements in and relating to ophthalmoscopes |
JP6830334B2 (en) * | 2016-09-17 | 2021-02-17 | 株式会社トプコン | Ophthalmic equipment |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000237142A (en) * | 1999-02-19 | 2000-09-05 | Canon Inc | Model eye for optometric apparatus |
JP2000245700A (en) * | 1999-03-01 | 2000-09-12 | Nidek Co Ltd | Instrument for measuring eyeground and recording medium for recording measurement program |
JP4619523B2 (en) * | 2000-12-05 | 2011-01-26 | 株式会社トプコン | Model eye |
JP4653906B2 (en) * | 2001-06-21 | 2011-03-16 | 株式会社トプコン | Model eye for optometry equipment |
JP2003042732A (en) * | 2001-08-02 | 2003-02-13 | Topcon Corp | Apparatus, method and program for measurement of surface shape as well as surface-state mapping apparatus |
JP4417035B2 (en) * | 2003-06-09 | 2010-02-17 | 株式会社トプコン | Observation device |
JP4551107B2 (en) * | 2004-03-31 | 2010-09-22 | 株式会社トプコン | Optical system alignment apparatus and method, and three-dimensional observation state measurement apparatus and method using the same |
JP4699064B2 (en) * | 2005-03-29 | 2011-06-08 | 株式会社ニデック | Stereoscopic fundus image processing method and processing apparatus |
-
2007
- 2007-02-22 JP JP2007041792A patent/JP4889030B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008200378A (en) | 2008-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7625088B2 (en) | Image processing apparatus | |
JP7379704B2 (en) | System and method for integrating visualization camera and optical coherence tomography | |
JP7404534B2 (en) | Surgical applications using integrated visualization camera and optical coherence tomography | |
JP4889030B2 (en) | Image processing device | |
CN107533362A (en) | Eye-tracking device and the method for operating eye-tracking device | |
CN103605208A (en) | Content projection system and method | |
JPH11502037A (en) | microscope | |
US11698535B2 (en) | Systems and methods for superimposing virtual image on real-time image | |
CN112512402A (en) | Slit-lamp microscope and ophthalmological system | |
US7753522B2 (en) | Focusing device for ophthalmological appliances, especially for fundus cameras, and method for the use thereof | |
JP4620424B2 (en) | Ophthalmic measuring device | |
JP5160823B2 (en) | Image processing device | |
HUT71646A (en) | Spatial refractometer | |
JP5108650B2 (en) | Image processing method and image processing apparatus | |
JP5027624B2 (en) | Image processing method and image processing apparatus | |
US20230284889A1 (en) | Method and apparatus for adjusting and controlling parameters of the illumination area of ophthalmological devices | |
JP3730554B2 (en) | Anterior segment imaging device | |
JP2022066325A (en) | Ophthalmologic apparatus | |
CN210931339U (en) | Eyeball protrusion measuring equipment | |
JP5054579B2 (en) | Image processing method and image processing apparatus | |
EP3644829B1 (en) | Ophthalmological apparatus | |
JP4795017B2 (en) | Eyeglass lens evaluation device | |
JP2008018043A (en) | Eye fundus photographing system | |
JPS62211041A (en) | Ophthalmic examination apparatus | |
CN108398777B (en) | Stereoscopic microscopic image recording system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090728 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20091028 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20091028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110726 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110728 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111206 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111209 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141222 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |