JPH06243232A - 画像処理装置及び方法 - Google Patents

Abstract

(57)【要約】 【目的】平面に投影された曲面上の画像を歪みなく継ぎ
合わせる。 【構成】眼底を撮影した画像１と画像２とから、まず点
Ｐ１〜Ｐ４を対応点として選び出す。これら対応点各々
について、対象の画像における空間座標を、各点におけ
る誤差の和が最小となるように決定する。同時に、平面
に投影した際の撮影位置（x_i,y_i,z_i) 及び角度を決定す
る。これらの値から点Ｐ１〜Ｐ４からの距離の誤差の和
が最小となる球面の方程式を算出する。以上の撮影位置
・角度・各点の位置に基づいて、撮影した画像を構成す
る画素を球面上に投影し、そこで画像を合成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、たとえば曲面をいろい
ろな角度から撮影して得られた画像を、表示や計測等を
行うために継ぎ合せる画像処理装置及び方法に関する。

【０００２】

【従来の技術】従来、いろいろな角度から平面でない同
一の対象を撮影して得られた複数枚の画像、たとえば眼
底画像や衛星画像・航空画像等から、全角度を含む１枚
の大画面画像を作成する場合、撮影対象上の同一な点が
一致するようにアフィン変換等の簡単な幾何変換を施し
て、平面上で継ぎ合せている（衛星画像の場合の例：
「リモートセンシング画像のディジタルモザイク処理」
福池潔也 Oplus Ｅ 1989年２月号）。

【０００３】また、平面画像として平面上で継ぎ合せる
のではなく、曲面（球面）をモデル化し曲面（球面）上
で継ぎ合せる手法が提案されている。

【０００４】

【発明が解決しようとする課題】しかしながら、曲面上
で継ぎ合せる場合、曲面をモデル化するため、撮影され
た画像がどのような曲面を撮影したものなのかその曲面
形状をあらかじめ知っている必要があるが、実際にはそ
の形状は正確にはわからない場合が多い（例えば、眼底
写真の場合、眼球は完全な球ではないし、その大きさも
個人差が大きい）。このような場合には、複数の画像を
正確に継ぎ合せて、精度の高い画像を得ることが難し
く、合成された画像を元にした測定等を精密に行うこと
も難しかった。

【０００５】本発明は上記従来例に鑑みてなされたもの
で、曲面の画像を幾何学的歪がなく、精度良く継ぎ合せ
ることができる画像処理装置及び方法を提供することを
目的とする。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、本発明の画像処理装置は次のような構成からなる。

【０００７】曲面から平面に投影された複数の画像デー
タを継ぎ合せる画像処理装置であって、元の曲面上にお
ける同一な点の投影点を、複数の画像データの各々から
複数箇所検出する手段と、前記複数の投影点の元の曲面
上における位置を算出する位置算出手段と、曲面から平
面への投影条件を算出する条件算出手段と、前記位置算
出手段により算出された位置に基づいて、前記複数の投
影点の位置する元の曲面を算出する曲面算出手段と、前
記条件算出手段による投影条件に基づいて、前記曲面算
出手段による元の曲面に、前記平面に投影された複数の
画像データを再投影する再投影手段とを備える。

【０００８】また、上記目的を達成するために、本発明
の画像処理方法は次のような構成からなる。

【０００９】曲面から平面に投影された複数の画像デー
タを継ぎ合せる画像処理方法であって、元の曲面上にお
ける同一な点の投影点を、複数の画像データの各々から
複数箇所検出する工程と、前記複数の投影点の元の曲面
上における位置を算出する位置算出工程と、曲面から平
面への投影条件を算出する条件算出工程と、前記位置算
出工程により算出された位置に基づいて、前記複数の投
影点の位置する元の曲面を算出する曲面算出工程と、前
記条件算出工程による投影条件に基づいて、前記曲面算
出工程による元の曲面に、前記平面に投影された複数の
画像データを再投影する再投影工程とを備える。

【００１０】

【作用】上記構成により、複数の平面に投影された画像
から各々対応する点を求めて、それらの点の３次元空間
上の座標値及び画像の投影条件を算出し、それらの点に
最もフィットする曲面を求め、その曲面上で各々の平面
画像を投影して画像を継ぎ合せる。

【００１１】

【実施例】以下、本発明を眼科画像処理システムに適用
した実施例を説明する。勿論、これ以外の医療画像、あ
るいはリモートセンシング画像の処理システム等にも適
用可能であることは言うまでもない。

【００１２】図１は眼底画像処理システムの全体構成を
示すブロック図である。同図において、眼底カメラ装置
１は、内蔵するＣＣＤカメラによってカラー眼底画像を
撮影する。スライドスキャナ２は、既に撮影された眼底
写真を読取ってデジタル化してコンピュータ３に入力す
る。コンピュータ３は、様々な画像処理や解析診断、さ
らにはシステム全体の制御を行なうもので、パーソナル
コンピュータやワークステーション等が用いられる。メ
モリ４は、大量の画像データや出力結果を保存するため
の光磁気ディスク等からなる。カラーディスプレイ５
は、ＣＲＴや液晶からなる表示装置である。プリンタ６
はコンピュータ３からの出力を紙等に記録する。入力デ
バイス７は、キーボードやマウス等のからなり、オペレ
ータによる指示などをコンピュータ３に入力する。

【００１３】上記処理システムにより処理された画像
は、カラーディスプレイ５上に様々な形態で表示出力さ
れるか、あるいはプリンタ６にてハードコピーがプリン
ト出力される。医師はそれを見ながら診断を下すことが
できる。

【００１４】図２に本発明の概念図、図３に複数の画像
を継ぎ合せる処理手順のフローチャートを示す。図２の
画像１と画像２とを継ぎ合せる場合を、処理フローチャ
ートの各ステップに従つて順次説明する。

【００１５】ステップ（ａ）：対応点を求める。

【００１６】継ぎ合せようとする画像において、対応し
ている点を求める処理である。最も単純な方法は、オペ
レータが目視で対応点を判断し、ポインティングデバイ
ス等を用いて２枚の画像の互いに対応している点を指示
する方法である。本実施例のシステムではこの方法とは
別に、コンピユータを用いて自動的に対応点を求めて指
定する方法を備えており、その方法による処理方法をス
テップ（ａ）として以下に説明する。

【００１７】まず合成しようとする２つの眼底画像（画
像１，画像２）の中から、画像処理によって眼底乳頭部
２１（図２の白丸部）の画像を抽出する。一般に乳頭部
は画像中で最も明るい部分であり、輝度値による２値化
処理等によって抽出することができる。次に、各画像に
おいて、求めた乳頭部を中心にして広がっている血管部
を抽出し追跡していく。本実施例の装置においては、色
相を利用して画像中から血管を抽出して追跡を行なう。
なお色相には限らず、明度や彩度等、血管の画像を背景
から明らかに区別できる要素であれば、どれを利用して
血管の抽出を行なっても良い。そして画像１と画像２と
で互いに一致する、血管の分岐点等の特徴的な点（図２
では、Ｐ１〜Ｐ４に相当する４つの点）を求め、これを
２つの画像における対応点としてコンピユータが自動的
に指定する。

【００１８】ステップ（ｂ）：各対応点の空間座標及び
各画像の撮影条件を求める。

【００１９】継ぎ合せようとする各画像が平行投影によ
って撮影されたと仮定した場合について説明する（透視
投影等の場合でもパラメータが増えるだけで、同様にで
きる）。

【００２０】第ｉ番目の対応点Ｐ_i の座標値を（Ｘ_i ，
Ｙ_i ，Ｚ_i ）、第ｊ番目の画像をＫ _j 、その撮影時の位
置を（ｘ_j ，ｙ_j ，ｚ_j ）、角度を（α_j ，β_j ，γ
_j ）、とし、画像Ｋ_j に投影された点Ｐ_i の２次元座標
値を投影点Ｐ_ji（ｕ_ji，ｖ_ji）とする（図２参照）。こ
の投影点Ｐ_ijを、撮影角度（α_j ，β_j ，γ_j ）と撮影
位置（ｘ_j ，ｙ_j ，ｚ_j ）とを用いて３次元座標値（Ａ
_ji，Ｂ_ji，Ｃ_ji）に変換すると、 （Ａ_ji，Ｂ_ji，Ｃ_ji）＝（ｕ_ji，ｖ_ji，０）・Ｒ＋（ｘ
_j ，ｙ_j ，ｚ_j ） である。ここでＲは（α_j ，β_j ，γ_j ）による回転マ
トリクスを表す。

【００２１】この投影点Ｐ_jiを通って撮影角度の方向に
投影された直線Ｌ_jiの方程式は、

【００２２】

【数１】 によって表される。この直線と、点Ｐ_i （Ｘ_i ，Ｙ_i ，
Ｚ_i ）との間の距離の２乗を誤差とすれば、その和Ｅ
は、

【００２３】

【数２】 となる。

【００２４】このＥが最小となるような（Ｘ_i ，Ｙ_i ，
Ｘ_i ），（α_j ，β_j ，γ_j ），（ｘ_j ，ｙ_j ，ｚ_j ）
を求める。

【００２５】これを求める方法としては、例えば、それ
ぞれのパラメータ毎に偏微分して０と置き、非線形連立
方程式を求め、これを解く。

【００２６】ステップ（ｃ）：各対応点の空間座標に最
も良くフィットする曲面を求める。フィッティング曲面
として球面の例を挙げる。対応点の空間座標をＰ_i （ｘ
_i，ｙ_i ，ｚ_i ）とする。原点（ｘ₀ ，ｙ₀ ，ｚ₀ ），
半径ｒの球面の方程式は、 （ｘ−ｘ₀ ）² ＋（ｙ−ｙ_o ）² ＋（ｚ−ｚ₀ ）² ＝ｒ
² で表される。この球面と点（ｘ_i ，ｙ_i ，ｚ_i ）との２
乗誤差Ｅ_i は

【００２７】Ｅ_i ＝｜（ｘ_i −ｘ₀ ）² ＋（ｙ_i −ｙ
₀ ）² ＋（ｚ_i −ｚ₀ ）² −ｒ² ｜ で表される。

【００２８】すべての点Ｐｉに対する２乗誤差Ｅ_i の和
（ΣＥ_i ）を最小にするｘ_o ，ｙ₀，ｚ₀ ，ｒを求めれ
ば、それが得ようとしている球面の方程式となる。本実
施例であれば、対応点は点Ｐ１〜Ｐ４の４点であり、こ
の４点各々からの距離の和が最小となる球面が求める球
面である。

【００２９】ステップ（ｄ）：画像を曲面へ投影する。

【００３０】ステップ（ｂ）で求めた各画像の撮影条件
（位置、角度）を用いて、ステップ（ｃ）で求めた曲面
上へ継ぎ合せようとする各画像をマッピングする。

【００３１】以上の手順によって、平面上に投影された
画像を、再び元の３次元空間に近似した空間に投影し直
して継ぎ合せることができ、ずれの少ない正確な合成を
することができる。そのため、画像を元にして測定等を
行うに当たっても、より正確な値を得ることができる。
なお、こうして得られた画像は３次元空間に投影された
画像であるため、ディスプレイ５やプリンタ６に出力す
るためには、合成された画像のうちから所望の領域を指
定させ、平面画像として投影し直してから出力する。こ
の際に平面画像へ投影する方法は、対象とする画像に最
も相応しい方法を選べば良い。以上のように、本実施例
によれば、曲面の画像を幾何学的歪がなく、精度良く継
ぎ合せることができ、精度の高い距離や面積の計測が可
能である。

【００３２】尚、本発明は、複数の機器から構成される
システムに適用しても１つの機器から成る装置に適用し
ても良い。また、本発明は、システム或は装置にプログ
ラムを供給することによって達成される場合にも適用で
きることはいうまでもない。

【００３３】

【発明の効果】上記説明したように、本発明にかかる画
像処理装置及び方法は、曲面の画像を幾何学的歪がな
く、精度良く継ぎ合せることができる。

【図面の簡単な説明】

【図１】本実施例の眼科画像処理システムの構成図であ
る。

【図２】本実施例のシステムにおける画像の継ぎ合せを
説明する図である。

【図３】本実施例のシステムにおける画像の継ぎ合せ処
理手順のフローチャートである。

【符号の説明】

１ 眼底カメラ、 ２ スライドスキャナ、 ３ コンピュータ、 ４ メモリ、 ５ ディスプレイ、 ６ プリンタ、 ７ 入力デバイスである。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 曲面から平面に投影された複数の画像デ
   ータを継ぎ合せる画像処理装置であって、 元の曲面上における同一な点の投影点を、複数の画像デ
   ータの各々から複数箇所検出する手段と、 前記複数の投影点の元の曲面上における位置を算出する
   位置算出手段と、 曲面から平面への投影条件を算出する条件算出手段と、 前記位置算出手段により算出された位置に基づいて、前
   記複数の投影点の位置する元の曲面を算出する曲面算出
   手段と、 前記条件算出手段による投影条件に基づいて、前記曲面
   算出手段による元の曲面に、前記平面に投影された複数
   の画像データを再投影する再投影手段と、を備えること
   を特徴とする画像処理装置。
2. 【請求項２】 曲面から平面への投影は平行投影であっ
   て、前記条件算出手段は投影された平面の位置と角度と
   を算出することを特徴とする請求項１記載の画像処理装
   置。
3. 【請求項３】 前記再投影手段により生成された曲面上
   の画像データを平面に投影する手段を更に備えることを
   特徴とする請求項１記載の画像処理装置。
4. 【請求項４】 曲面から平面に投影された複数の画像デ
   ータを継ぎ合せる画像処理方法であって、 元の曲面上における同一な点の投影点を、複数の画像デ
   ータの各々から複数箇所検出する工程と、 前記複数の投影点の元の曲面上における位置を算出する
   位置算出工程と、 曲面から平面への投影条件を算出する条件算出工程と、 前記位置算出工程により算出された位置に基づいて、前
   記複数の投影点の位置する元の曲面を算出する曲面算出
   工程と、 前記条件算出工程による投影条件に基づいて、前記曲面
   算出工程による元の曲面に、前記平面に投影された複数
   の画像データを再投影する再投影工程と、を備えること
   を特徴とする画像処理方法。