JP6128664B2 - パノラマ画像作成プログラム - Google Patents

Description

本発明はパノラマ画像作製プログラムに関する。

パノラマ画像は、連射した複数のスチル画像や複数のビデオフレームの対応点を重ねる
ことで作成されており、医療用途にも応用が期待される。具体的には、患者の体内を内視
鏡で撮影した画像からパノラマ画像を作成することで、患者の体内の状態を把握しやすく
なるといった効果が期待されている。

パノラマ画像を作成する公知の技術としては、例えば下記特許文献１が開示されている
。

特開平５−３１４２２６号公報

しかしながら、上記特許文献１に記載の技術は、パノラマ画像において選択した位置を
含む領域を拡大表示する技術であって、その選択した位置の表示の元となった内視鏡画像
データ自体を表示しようとするものではない。

また上記のとおりパノラマ画像は、一般に複数の画像を合成して作成されるものである
ため、合成処理によってだけでなく、合成処理の前においても情報が欠失してしまうとい
った課題がある。また、一般にパノラマ画像の作成においては、複数の画像を組み合わせ
た際、複数の画像の合成の際発生する境界を感じさせないよう滑らかに見せる必要がある
一方で、医療分野においては、逆に滑らかに見せてしまうことで必要な情報を欠失させて
しまうおそれもあるため、できる限り元の画像そのものを得やすくしておく必要がある。

そこで、本発明は上記課題を鑑み、元の画像データにアクセス容易であって、医療分野
に適したパノラマ画像作成プログラムを提供することを目的とする。

上記課題を解決するための第一の手段に係るパノラマ画像作製プログラムは、コンピュ
ータに、（１）複数の内視鏡画像データを記録する内視鏡画像データ記録手段、（２）複
数の内視鏡画像データに基づき、各画素の位置に対応したインデックスデータが付された
パノラマ画像データを作成し、表示するパノラマ画像データ作成表示手段、（３）インデ
ックスデータに基づき、複数の内視鏡画像データのいずれかを内視鏡画像として表示させ
る内視鏡画像データ表示手段、として機能させる。

以上、本発明により、元の画像データにアクセス容易であって、医療分野に適したパノ
ラマ画像作成プログラムを提供することができる。

実施形態１に係るプログラムの処理手順の概略を示す図である。 表示された内視鏡画像データの一例を示す図である。 表示されたパノラマ画像データの一例を示す図である。 特徴抽出処理のイメージを示す図である。 識別番号データの付与についてのイメージを示す図である。 インデックスデータの作成についてのイメージを示す図である。 パノラマ画像データ及びその作成元となった内視鏡画像データを同時に表示 した場合の一例を示す図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。ただし、本発明は多
くの異なる形態による実施が可能であって、以下に示す実施形態の具体的な例にのみ狭く
限定されるものではない。

図１は、本実施形態に係るプログラム（以下「本プログラム」という。）の処理手順の
概略を示す図である。本図で示すように、本プログラムは、コンピュータに、（１）複数
の内視鏡画像データを記録する内視鏡画像データ記録手段、（２）複数の内視鏡画像デー
タに基づき、各画素の位置に対応したインデックスデータが付されたパノラマ画像データ
を作成し、表示するパノラマ画像データ作成表示手段、（３）インデックスデータに基づ
き、複数の内視鏡画像データのいずれかを内視鏡画像として表示させる内視鏡画像データ
表示手段、として機能させる。

本プログラムは、実行することができる限りにおいて限定されるわけではないが、例え
ば、パーソナルコンピュータのハードディスク等の記録媒体に格納され、実行されること
で容易に上記機能を実現することができる。

まず、本プログラムは、（１）複数の内視鏡画像データを記録する内視鏡画像データ記
録手段として機能する。内視鏡画像データとは、ＣＣＤカメラ等の撮像装置、体内を照ら
すための光源を備えた内視鏡によって取得される体内の画像データをいい、二次元の位置
情報及びその位置に対応した色情報を備えた画素データを複数有して構成されている。内
視鏡は、一般に市販されているものを使用することができる。この取得される複数の画像
データは、例えば、パーソナルコンピュータのハードディスクの一領域に複数格納させて
おくことが好ましい。なお図２に、内視鏡画像データの一例を示しておく。

格納される複数の内視鏡画像データは、この内視鏡画像データに基づき作成されるパノ
ラマ画像データが十分に信頼性を有する程度に関連性を有するものであればよいが、例え
ば、一定の短い時間間隔をおいて撮影される動画像データの各フレームの画像データを複
数の内視鏡画像データとして採用することが好ましい。このようにすることで、複数の内
視鏡画像データ相互に十分な関連性をもたせることができるとともに、動画像からパノラ
マ画像を作成するとともに、その作成元となった静止画を参照することができ、非常にデ
ータに対するアクセス性が向上する。この場合のイメージ図を図３に示しておく。

次に、本プラグラムは、（２）複数の内視鏡画像データに基づき、各画素の位置に対応
したインデックスデータが付されたパノラマ画像データを作成し、表示するパノラマ画像
データ作成表示手段として機能する。

ここで「パノラマ画像データ」とは、複数の内視鏡画像データに基づき作成される画像
データであって、より具体的には、複数の内視鏡画像データのうち、内視鏡が同じ部分を
映すことによって共通することになる内視鏡画像データ相互の一定の領域を重複させてい
き、より広い領域を表示させるものとして合成させた画像データである。パノラマ画像デ
ータも上記内視鏡画像データと同様、二次元の位置情報及びその位置に対応した位置情報
を備えた複数の画素データを有する二次元のデータである。この作製されたパノラマ画像
データの一例について図３に示しておく。

パノラマ画像データ作成表示手段が採用するパノラマ画像データ作成の方法は、特に限
定されず様々な方法を採用することができるが、例えば、複数の内視鏡画像データ各々に
対し特徴点を抽出する特徴抽出処理を行い、内視鏡画像データのうち同じ特徴点を有する
画像間で、当該同じ抽出点を重ね合わせる処理を複数回繰り返して行う方法が好ましい。
なお、この重ね合わせる処理についても様々な方法を採用することができるため限定され
るわけではないが、例えば、複数の内視鏡画像データを、撮影された順に処理し、画素デ
ータが重複した場合、後の順番の内視鏡画像データの画素データを採用するようにしてお
くことは処理を簡便にする観点から好ましい。このイメージ図を図４に示しておく。

なお特徴抽出処理によって抽出される「特徴点」とは、上記の記載から明らかではある
が、内視鏡画像データ内において他の部分と十分に区別することができる程度に特徴のあ
る点をいう。この「特徴点」は、様々な方法によって抽出することができ限定されるわけ
ではないが、例えば、“Ｃｒｅａｔｉｎｇ Ｐａｎｏｒａｍｉｃ Ｉｍａｇｅｓ ｆｏｒ
Ｂｌａｄｄｅｒ Ｆｌｕｏｒｅｓｃｅｎｃｅ Ｅｎｄｏｓｃｏｐｙ，Ａ．Ｂｅｈｒｅｎ
ｓ，Ａｃｔａ Ｐｏｌｙｔｅｃｈｎｉｃａ，Ｖｏｌ．４８，Ｎｏ．３／２００８，５０〜
５４”や、“カメラパラメータ推定による紙面を対象とした超解像ビデオモザイキング，
池谷彰彦ら，画像の認識・理解シンポジウム（ＭＩＲＵ２００４），２００４年７月，Ｉ
−５０５〜５０９ｐ”、及び、“Ｍｏｓａｉｃｋｉｎｇ ｏｆ Ｏｒｔｈｏｒｅｃｔｉｆ
ｉｅｄ Ａｅｒｉａｌ Ｉｍａｇｅｓ，Ｙｅｈｕｄａ Ａｒｅｋ ａｎｄ Ａｒｉｅｌ
Ｂｒａｎｄ，ＰＥ＆ＲＳ，Ｆｅｂｒｕａｒｙ １９９８，１１５〜１２５ｐ”等に記載さ
れた方法を採用することができる。

なお、特徴抽出処理において、一つの内視鏡画像データに複数の特徴点が存在すること
が好ましく、特徴点が複数存在することで、他の内視鏡画像データとの関連性をより確実
に確保することができる。なお抽出した特徴点同士の距離や方向（傾き）等が内視鏡画像
同士で異なっている場合、必要に応じて拡大若しくは縮小処理、更には、回転処理等の修
正処理を施すことが有用である。なおこの場合、パノラマ画像データ作成表示手段は、修
正処理が施された内視鏡画像データ（修正内視鏡画像データ）を作成し、記録しておく機
能を有することが好ましい。

また本プログラムにおいてパノラマ画像データには各画素の位置に対応したインデック
スデータが付されている。「インデックスデータ」とは、パノラマ画像データを構成する
各画素データがどの内視鏡画像データから作られたものであるのかを示すデータである。
すなわち、本プログラムにおけるパノラマ画像データにおける画素データの各々にはイン
デックス情報が付されており、このインデックス情報を参照することで、後述の内視鏡画
像データ表示手段により、作成の元となった内視鏡画像データを取り出すことができる。

本実施形態において、インデックスデータの作成は、限定されるわけではないが、例え
ば、複数の内視鏡画像データの各々に、その内視鏡画像データ特有の識別番号データを予
め付しておき、パノラマ画像データを作成する処理において、ある内視鏡画像データの画
素データをパノラマ画像データの画素データとして採用することとした場合、その画素デ
ータを含む内視鏡画像データ特有の識別番号データをインデックスデータとして採用する
ことが考えられる。図５に、複数の内視鏡画像データに付された識別番号データのイメー
ジを、図６に、作製されたパノラマ画像データにおけるインデックスデータの付し方に関
するイメージを示しておく。なお、上記パノラマ画像データ作成表示手段が修正内視鏡画
像データを作成している場合は、当該修正内視鏡画像データにも同じ識別番号データを付
しておくことが好ましい。

また本プログラムは、（３）インデックスデータに基づき複数の内視鏡画像データのい
ずれかを内視鏡画像として表示させる内視鏡画像データ表示手段として機能する。図７に
、パノラマ画像データ及びその作成元となった内視鏡画像データを同時に表示した場合の
一例を示す。パノラマ画像データは例えば液晶表示装置等のディスプレイ装置に表示させ
ることが好ましい。

表示されるパノラマ画像データは、複数の内視鏡画像データを組み合わせることで広い
領域の情報を一度に得ることができるといった利点がある。しかしながら、内視鏡による
撮影において、撮影する位置によって光の当たり方等の条件が異なるため、同じ場所を撮
影したとしても、色合い、明るさ等が大きく異なる場合がある。そしてこれら異なる状況
の内視鏡画像データを合成する場合、合成処理によって、元の内視鏡画像データに含まれ
る情報が欠失してしまうといった課題がある。合成処理によってだけでなく、合成処理の
前においても情報が欠失してしまうといった課題がある。これに対し、本プログラムでは
、パノラマ画像データを表示することで広い領域の情報を一度に得ることができるととも
に、パノラマ画像データの各画素データを指定することで、その画素データの元となった
内視鏡画像データを取り出し、表示することが可能となり、欠失したデータを表示させる
ことができ、ユーザーはその内視鏡画像データを見ることができ、より詳細な判断をする
ことができるようになる。

本プログラムにおいて、内視鏡画像データを表示させる方法としては、特に限定される
わけではないが、例えば、表示装置等にパノラマ画像データを表示させ、表示装置等に別
途場所を示すポインタを表示させ、このポインタを、パノラマ画像データのうち調べたい
領域又は点に移動させ、マウス等の入力装置のボタンを押させることで表示させてもよい
し、ポインタが置かれた位置にあるパノラマ画像データの画素データを判別し、この画素
データのインデックスデータを読み取り、元の内視鏡画像データを表示させることとして
もよい。

以上、本プログラムによって、元の画像データにアクセス容易であって、医療分野に適
したパノラマ画像作成プログラムを提供することができる。

なお、本実施形態では、パノラマ画像データの各画素にインデックスデータを付与する
例を説明しているが、パノラマ画像データの一領域を指定し、その一領域にまとめてイン
デックスデータを指定することとしてもよいが、この場合も、各画素データにインデック
スデータが付されていると解釈することができる。

また本実施形態では、撮影された順に複数の内視鏡画像データを処理し、画素データが
重複した場合、後の順番の内視鏡画像データの画素データを採用するようにしてパノラマ
画像データを作成した例を示しているが、重複した画像データについて、例えば画素デー
タの輝度等について平均処理を施してパノラマ画像データを作成するようにしてもよい。
この場合、この作成したパノラマ画像データの画素データには優先的に表示させる内視鏡
画像データのインデックスデータ、又は、平均処理の元となった二つのインデックスデー
タを付し、選択された場合、この一又は二の内視鏡画像データを表示させるようにしても
よい。もちろんこれは重複する内視鏡画像データの数が三以上となった場合も同様である
。

本発明は、パノラマ画像作成プログラムとして産業上の利用可能性がある。

Claims (2)

1. コンピュータに、
   複数の内視鏡画像データを記録する内視鏡画像データ記録手段、
   前記複数の内視鏡画像データ各々に対し複数の特徴点を抽出する特徴抽出処理を行い、前記複数の内視鏡画像データのうち同じ複数の特徴点を有する画像データ間で当該同じ複数の抽出点が重ね合わされるよう拡大処理、縮小処理及び回転処理の少なくともいずれかの処理を行い修正内視鏡画像データを作成し、前記内視鏡画像データ及び前記修正内視鏡画像データを用いて各画素の位置に対応したインデックスデータが付されたパノラマ画像データを作成し、表示するパノラマ画像データ作成表示手段、
   前記パノラマ画像データにおいて調べたい位置の画素データのインデックスデータを読み取り、前記画素データが前記修正内視鏡画像データに基づくものである場合に、前記修正内視鏡画像データの元の前記内視鏡画像データを内視鏡画像として表示させる内視鏡画像データ表示手段、として機能させるためのパノラマ画像作成プログラム。
2. 前記パノラマ画像データ作成表示手段は、前記内視鏡画像データそれぞれに対し領域選択処理を施した後パノラマ画像データの作成を行い、
   前記内視鏡画像データ表示手段は、前記領域選択処理前の内視鏡画像データを内視鏡画像として表示する請求項１記載のパノラマ画像作成プログラム。