JP7015385B2 - 内視鏡画像処理装置、内視鏡装置の作動方法、及びプログラム - Google Patents

Description

本発明は、内視鏡画像処理装置、内視鏡画像処理方法、及びプログラムに関する。

内視鏡検査を行った後に、術者（医師）は診断レポートの作成を行わなければならない。この診断レポートを作成するためには、内視鏡検査中に撮影した内視鏡画像を確認したり、発見された病変に対して診断するなどの作業が必要である。

一方、内視鏡検査中には病変の有無に関わらず、多数の内視鏡画像が取得される。したがって、術者が撮影された全ての内視鏡画像をチェックし、診断結果等をそれぞれの画像に付与することは、術者にとって大きな負担となる。

また、内視鏡検査においては、同一の注目領域を異なる視点から、異なる撮影条件で多数の内視鏡画像を撮影することがある。これらの多数の内視鏡画像は効率的な管理が必要となる。

従来より、内視鏡検査において撮影された多数の内視鏡画像の管理において、ユーザを支援する技術が提案されている。

例えば特許文献１では、簡単な作業で付加情報を付与することを目的とした技術が記載されている。具体的に特許文献１に記載の技術では、内視鏡画像の縮小画像（１０５ａ、１０５ｂ等）を選択して、ラベルボックス表示領域１０８内のアイコンにドラッグアンドドロップすることで、所望の内視鏡画像に病変ラベルを付与している。ここで病変ラベルは、例えば胃に関する内視鏡画像である場合には、潰瘍ラベル、ただれラベル、出血ラベル、及び癌ラベルである。

国際公開第２０１２／１３２８４０号公報

ここで内視鏡検査においては、病変ごとに多数の内視鏡画像が撮影されるので、多数の内視鏡画像を病変ごとにグループを生成することにより、効率的な作業をユーザに提供することがある。

また、取得された内視鏡画像を全てを表示部に表示すると、表示される内視鏡画像が膨大になり、各内視鏡画像をチェックしなければならないのでユーザ（術者、医師）への負担となることがある。

本発明はこのような事情に鑑みてなされたもので、その目的は、効率的な作業を提供することができる内視鏡画像処理装置、内視鏡画像処理方法、及びプログラムを提供することである。

上記目的を達成するための本発明の一の態様である内視鏡画像処理装置は、内視鏡画像を取得する画像取得部と、画像取得部で取得された内視鏡画像において、病変を示す病変画像を検出する検出部と、病変画像間の相関度に基づいて内視鏡画像をグループ化して、内視鏡画像で構成される病変ごとのグループを生成するクラスタリング部と、グループ内の内視鏡画像において、代表画像を選択する代表画像選択部と、代表画像と代表画像が属するグループを構成する内視鏡画像とを関連付けて保存する保存部と、保存部に保存された代表画像を一覧表示する表示部と、を備える。

本態様によれば、病変ごとの内視鏡画像で構成されるグループが生成され、生成されたグループの代表画像が選択され、代表画像と代表画像が属するグループを構成する内視鏡画像とが関連付けて保存される。これにより、本態様は、効率的な作業をユーザに提供することができる。例えば、ユーザは内視鏡検査後に行うレポート作成作業を本態様により、効率的に行うことができる。

好ましくは、内視鏡画像処理装置は、表示部に表示された代表画像に対する操作を受け付ける操作入力部と、操作入力部で受け付けられた操作を、代表画像が属するグループ内の全ての内視鏡画像に同様に行う操作制御部と、を備える。

本態様によれば、代表画像に対して行われた操作が、代表画像が属するクループ内の全ての内視鏡画像に同様に行われるので、ユーザに効率的な作業を提供することができる。

好ましくは、操作入力部は、代表画像に付与させる第１の付帯情報の入力を受け付け、操作制御部は、代表画像が属するグループの全ての内視鏡画像に第１の付帯情報を付与する。

本態様によれば、代表画像に対して行われた第１の付帯情報の付与が、代表画像が属するグループ内の全ての内視鏡画像に付与されるので、ユーザに効率的な作業を提供することができる。

好ましくは、操作入力部は、代表画像に対して、グループのグループ編成の変更指令を受け付け、操作制御部は、変更指令を代表画像が属するグループの全ての内視鏡画像に行う。

本態様によれば、代表画像に対して行われたグループ編成の変更指令が、代表画像が属するグループ内の全ての内視鏡画像に行われるので、ユーザに効率的な作業を提供することができる。

好ましくは、内視鏡画像処理装置は、検出部で検出された病変画像の画像特徴量を抽出する特徴量抽出部を備え、クラスタリング部は、画像特徴量に基づいて相関度を算出し、相関度に基づいて、グループを生成する。

本態様によれば、病変画像の画像特徴量に基づいて相関度が算出され、その相関度に基づいてグループが生成されるので、精度良くグループ化されたグループを生成することができる。

好ましくは、画像取得部は、内視鏡画像が撮影されたときの情報である第２の付帯情報を有する内視鏡画像を取得し、クラスタリング部は、第２の付帯情報を利用して、相関度を求める。

本態様によれば、内視鏡画像が撮影されたきの情報である第２の付帯情報を利用しているので、精度良く、効率的に相関度を求めることができる。

好ましくは、代表画像選択部は、グループ内の内視鏡画像のうち、最も初期に撮影された内視鏡画像、白色光で撮影された内視鏡画像、画像ボケが最も少ない内視鏡画像、病変が最も中央に写っている内視鏡画像、又は拡大撮影されていない内視鏡画像を、代表画像として選択する。

本態様によれば、グループ内の内視鏡画像のうち、画像ボケが最も少ない内視鏡画像、病変が最も中央に写っている内視鏡画像、又は拡大撮影されていない内視鏡画像が代表画像として選択されるので、適切な代表画像が選択される。

好ましくは、内視鏡画像処理装置は、代表画像の変更指令を受け付ける代表画像変更部を備え、代表画像選択部は、変更指令に基づいて、代表画像を異なる内視鏡画像に変更する。

本態様によれば、代表画像を変更することができ、適切な代表画像を表示部に表示することができる。

好ましくは、内視鏡画像処理装置は、表示部の一覧表示の表示形態の選択指令を受け付ける表示形態選択部を備え、表示部は、表示形態選択部での選択結果に基づいて一覧表示を行う。

本態様によれば、一覧表示の表示形態が変更することができるので、ユーザに、適切な一覧表示を提供することができ、効率的な作業を提供することができる。

好ましくは、画像取得部は、内視鏡画像を内視鏡スコープからリアルタイムで取得する。

好ましくは、画像取得部は、内視鏡検査において既に撮影及び保存された内視鏡画像を取得する。

本発明の他の態様である内視鏡画像処理方法は、内視鏡画像を取得する画像取得ステップと、画像取得ステップで取得された内視鏡画像において、病変を示す病変画像を検出する検出ステップと、病変画像間の相関度に基づいて内視鏡画像をグループ化して、内視鏡画像で構成される病変ごとのグループを生成するクラスタリングステップと、グループ内の内視鏡画像において、代表画像を選択する代表画像選択ステップと、代表画像と代表画像が属するグループとを関連付けて保存する保存ステップと、保存ステップに保存された代表画像を一覧表示する表示ステップと、を含む。

本発明の他の態様であるプログラムは、内視鏡画像を取得する画像取得ステップと、画像取得ステップで取得された内視鏡画像において、病変を示す病変画像を検出する検出ステップと、病変画像間の相関度に基づいて内視鏡画像をグループ化して、内視鏡画像で構成される病変ごとのグループを生成するクラスタリングステップと、グループ内の内視鏡画像において、代表画像を選択する代表画像選択ステップと、代表画像と代表画像が属するグループとを関連付けて保存する保存ステップと、保存ステップに保存された代表画像を一覧表示する表示ステップと、を含む内視鏡画像処理方法をコンピュータに実行させる。

本発明によれば、病変ごとの内視鏡画像で構成されるグループが生成され、生成されたグループの代表画像が選択され、代表画像と代表画像が属するグループを構成する内視鏡画像とが関連付けて保存されるので、効率的な作業をユーザに提供することができる。

図１は、内視鏡装置の外観斜視図である。 図２は、内視鏡装置の電気的構成を示すブロック図である。 図３は、内視鏡装置の機能を示すブロック図である。 図４は、保存構成例に関して説明する図である。 図５は、保存構成例に関して説明する図である。 図６は、代表画像の一覧表示の例に関して説明する図である。 図７は、代表画像の選択の例を示す図である。 図８は、代表画像の選択の例を示す図である。 図９は、通常一覧表示モードから追加情報入力モードに移行する形態を示す図である。 図１０は、内視鏡画像処理装置の処理工程を示すフローである。 図１１は、表示部の表示例を示す図である。 図１２は、表示部の表示例を示す図である。

以下、添付図面に従って本発明にかかる内視鏡画像処理装置、内視鏡画像処理方法、及びプログラムの好ましい実施の形態について説明する。

図１は内視鏡装置１０の外観斜視図である。

図１に示すように内視鏡装置１０は、大別して、被検体内の観察対象を撮像する内視鏡スコープ（ここでは軟性内視鏡）１１と、光源装置１２と、プロセッサ装置１３と、液晶モニタ等の表示器１４と、を備えている。以下の説明では、プロセッサ装置１３に、本発明の内視鏡画像処理装置が搭載されている場合について説明する。なお、内視鏡画像処理装置は、プロセッサ装置１３以外にも搭載可能であり、例えばコンピュータに搭載することが可能である。

光源装置１２は、通常画像の撮像用の白色光、特殊光画像の撮像用の特定の波長帯域の光等の各種の照明光を内視鏡スコープ１１へ供給する。

プロセッサ装置１３は、内視鏡装置１０の一形態としても機能し得るものであり、内視鏡スコープ１１により得られた画像信号に基づいて表示用又は記録用の通常画像及び／又は特殊光画像の画像データを生成する機能を有する。

表示器１４は、プロセッサ装置１３から入力される表示用の画像データに基づき通常画像又は特殊光画像等を表示する。

内視鏡スコープ１１は、被検体内に挿入される可撓性の挿入部１６と、挿入部１６の基端部に連設され、内視鏡スコープ１１の把持及び挿入部１６の操作に用いられる手元操作部１７と、手元操作部１７を光源装置１２及びプロセッサ装置１３に接続するユニバーサルコード１８と、を備えている。

挿入部１６の先端部である挿入部先端部１６ａには、照明レンズ４２、対物レンズ４４、撮像素子４５などが内蔵されている（図２参照）。挿入部先端部１６ａの後端には、湾曲自在な湾曲部１６ｂが連設されている。また、湾曲部１６ｂの後端には、可撓性を有する可撓管部１６ｃが連設されている。なお、挿入部先端部１６ａ及び湾曲部１６ｂによりスコープヘッドが構成される。

手元操作部１７には、アングルノブ２１、操作ボタン２２、及び鉗子入口２３などが設けられている。アングルノブ２１は、湾曲部１６ｂの湾曲方向及び湾曲量を調整する際に回転操作される。操作ボタン２２は、送気、送水、吸引等の各種の操作に用いられる。鉗子入口２３は、挿入部１６内の鉗子チャネルに連通している。なお、アングルノブ２１には、湾曲部１６ｂを上下に動かす上下アングルノブ及び湾曲部１６ｂを左右に動かす左右アングルノブが設けられている。

ユニバーサルコード１８には、送気及び／又は送水チャンネル、信号ケーブル、及びライトガイド４０などが組み込まれている。ユニバーサルコード１８の先端部には、光源装置１２に接続されるコネクタ部２５ａと、プロセッサ装置１３に接続されるコネクタ部２５ｂとが設けられている。これにより、コネクタ部２５ａを介して光源装置１２から内視鏡スコープ１１に照明光が供給され、コネクタ部２５ｂを介して内視鏡スコープ１１により得られた画像信号がプロセッサ装置１３に入力される。

なお、光源装置１２には、電源ボタン、光源を点灯させる点灯ボタン、及び明るさ調節ボタン等の光源操作部１２ａが設けられ、また、プロセッサ装置１３には、電源ボタン、図示しないマウス等のポインティングデバイスからの入力を受け付ける入力部を含むプロセッサ操作部１３ａが設けられている。なお、プロセッサ操作部１３ａは、内視鏡画像処理装置における操作入力部として機能する。

図２は内視鏡装置１０の電気的構成を示すブロック図である。

図２に示すように内視鏡スコープ１１は、大別して、ライトガイド４０と、照明レンズ４２と、対物レンズ４４と、撮像素子４５と、手元操作部１７と、内視鏡制御部４７と、ＲＯＭ（Read Only Memory）４８とを有している。

ライトガイド４０は、大口径光ファイバ、バンドルファイバなどが用いられる。ライトガイド４０は、その入射端がコネクタ部２５ａを介して光源装置１２に挿入されており、その出射端が挿入部１６を通って挿入部先端部１６ａ内に設けられた照明レンズ４２に対向している。光源装置１２からライトガイド４０に供給された照明光は、照明レンズ４２を通して観察対象に照射される。そして、観察対象で反射及び／又は散乱した照明光は、対物レンズ４４に入射する。

対物レンズ４４は、入射した照明光の反射光又は散乱光（即ち、観察対象の光学像）を撮像素子４５の撮像面に結像させる。

撮像素子４５は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子であり、対物レンズ４４よりも奥側の位置で対物レンズ４４に相対的に位置決め固定されている。撮像素子４５の撮像面には、光学像を光電変換する複数の光電変換素子（フォトダイオード）により構成される複数の画素が２次元配列されている。また、本例の撮像素子４５の複数の画素の入射面側には、画素ごとに赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配置され、これによりＲ画素、Ｇ画素、Ｂ画素が構成されている。なお、ＲＧＢのカラーフィルタのフィルタ配列は、ベイヤ配列が一般的であるが、これに限らない。

撮像素子４５は、対物レンズ４４により結像される光学像を電気的な画像信号に変換してプロセッサ装置１３に出力する。

なお、撮像素子４５がＣＭＯＳ型である場合には、Ａ／Ｄ(Analog/Digital)変換器が内蔵されており、撮像素子４５からプロセッサ装置１３に対してデジタルの画像信号が直接出力される。また、撮像素子４５がＣＣＤ型である場合には、撮像素子４５から出力される画像信号は図示しないＡ／Ｄ変換器等でデジタルな画像信号に変換された後、プロセッサ装置１３に出力される。

手元操作部１７は、図示しない静止画撮像ボタン、通常画像撮影モード、特殊光画像撮影モードを設定する撮影モード設定部を有している。

内視鏡制御部４７は、手元操作部１７での操作に応じてＲＯＭ４８等から読み出した各種プログラムやデータを逐次実行し、主として撮像素子４５の駆動を制御する。例えば、通常画像撮影モードの場合、内視鏡制御部４７は、撮像素子４５のＲ画素、Ｇ画素及びＢ画素の信号を読み出すように撮像素子４５を制御し、特殊光画像撮影モードであって、特殊光画像を取得するために照明光としてＶ－ＬＥＤ３２ａから紫色光が発光される場合、又はＢ－ＬＥＤ３２ｂから青色光が発光される場合には、これらの紫色光、青色光の波長帯域に分光感度を有する撮像素子４５のＢ画素の信号のみを読み出すように撮像素子４５を制御する。

また、内視鏡制御部４７は、プロセッサ装置１３のプロセッサ制御部６１との間で通信を行い、手元操作部１７での入力操作情報及びＲＯＭ４８に記憶されている内視鏡スコープ１１の種類を識別するための識別情報等をプロセッサ装置１３に送信する。

光源装置１２は、光源制御部３１及び光源ユニット３２を有している。光源制御部３１は、光源ユニット３２の制御と、プロセッサ装置１３のプロセッサ制御部６１との間で通信を行い、各種情報のやり取りを行う。

光源ユニット３２は、例えば複数の半導体光源を有している。本実施形態では、光源ユニット３２は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）３２ａ、Ｂ－ＬＥＤ（Blue

Light Emitting Diode）３２ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）３２ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）３２ｄの４色のＬＥＤを有する。Ｖ－ＬＥＤ３２ａは、中心波長４０５ｎｍで、波長帯域３８０～４２０ｎｍの紫色光を発光する紫色光源である。Ｂ－ＬＥＤ３２ｂは、中心波長４６０ｎｍ、波長帯域４２０～５００ｎｍの青色光を発する青色半導体光源である。Ｇ－ＬＥＤ３２ｃは、波長帯域が４８０～６００ｎｍに及ぶ緑色光を発する緑色半導体光源である。Ｒ－ＬＥＤ３２ｄは、中心波長６２０～６３０ｎｍで、波長帯域が６００～６５０ｎｍの赤色光を発光する赤色半導体光源である。なお、Ｖ－ＬＥＤ３２ａとＢ－ＬＥＤ３２ｂの中心波長は±５ｎｍから±１０ｎｍ程度の幅を有する。

これらの各ＬＥＤ３２ａ～３２ｄの点灯や消灯、点灯時の発光量等は、光源制御部３１が各々に独立した制御信号を入力するによって各々に制御することができる。通常画像撮影モードの場合、光源制御部３１は、Ｖ－ＬＥＤ３２ａ、Ｂ－ＬＥＤ３２ｂ、Ｇ－ＬＥＤ３２ｃ、及びＲ－ＬＥＤ３２ｄを全て点灯させる。このため、通常画像撮影モードでは、紫色光、青色光、緑色光、及び赤色光を含む白色光が照明光として用いられる。

一方、特殊観察モードの場合、光源制御部３１は、Ｖ－ＬＥＤ３２ａ、Ｂ－ＬＥＤ３２ｂ、Ｇ－ＬＥＤ３２ｃ、及びＲ－ＬＥＤ３２ｄのうちのいずれか１つの光源、又は適宜組み合わせた複数の光源を点灯させ、又は複数の光源を点灯させる場合、各光源の発光量（光量比）を制御し、これにより被検体の深度の異なる複数の層の画像の撮像を可能にする。

各ＬＥＤ３２ａ～３２ｄが発する各色の光は、ミラーやレンズ等で形成される光路結合部、及び絞り機構（図示せず）を介して内視鏡スコープ１１内に挿通されたライトガイド４０に入射される。

なお、光源装置１２の照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光（特殊光）、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。特殊光の特定の波長帯域は、白色の波長帯域よりも狭い帯域である。

特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。

特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。

特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。

特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。

特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。

プロセッサ装置１３は、プロセッサ操作部１３ａ、プロセッサ制御部６１、ＲＯＭ６２、デジタル信号処理回路（ＤＳＰ：Digital Signal Processor）６３、画像処理部６５、表示制御部６６、及び記憶部６７等を有している。

プロセッサ操作部１３ａは、電源ボタン、マウスにより表示器１４上で指示される座標位置及びクリック（実行指示）等の入力を受け付ける入力部等を含む。

プロセッサ制御部６１は、プロセッサ操作部１３ａでの入力操作情報、及び内視鏡制御部４７を介して受信した手元操作部１７での入力操作情報に応じてＲＯＭ６２から必要なプログラムやデータを読み出して逐次処理することで、プロセッサ装置１３の各部を制御するとともに、光源装置１２を制御する。なお、プロセッサ制御部６１は、図示しないインターフェースを介して接続されたキーボード等の他の外部機器から必要な指示入力を受け付けるようにしてもよい。

内視鏡スコープ１１（撮像素子４５）から出力される動画の各フレームの画像データを取得するＤＳＰ６３は、プロセッサ制御部６１の制御の下、内視鏡スコープ１１から入力される動画の１フレーム分の画像データに対し、欠陥補正処理、オフセット処理、ホワイトバランス補正、ガンマ補正、及びデモザイク処理等の各種の信号処理を行い、１フレーム分の画像データを生成する。

画像処理部６５は、ＤＳＰ６３から画像データを入力し、入力した画像データに対して、必要に応じて色変換処理、色彩強調処理、及び構造強調処理等の画像処理を施し、観察対象が写った内視鏡画像を示す画像データを生成する。色変換処理は、画像データに対して３×３のマトリックス処理、階調変換処理、及び３次元ルックアップテーブル処理などにより色の変換を行う処理である。色彩強調処理は、色変換処理済みの画像データに対して、例えば血管と粘膜との色味に差をつける方向に色彩を強調する処理である。構造強調処理は、例えば血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像データに対して行う。

画像処理部６５により処理された動画の各フレームの画像データは、静止画又は動画の撮影指示があると、撮影指示された静止画又は動画として記憶部６７に記録される。

表示制御部６６は、入力する画像データから通常画像、特殊光画像を表示器１４に表示させるための表示用データを生成し、生成した表示用データを表示器１４に出力し、表示器１４に表示用画像を表示させる。

＜第１の実施形態＞

図３は、本発明の内視鏡装置１０の主な機能を示すブロック図である。

保存部１０１は記憶部６７に設けられ、画像取得部１０３、検出部１０５、特徴量抽出部１０７、クラスタリング部１０９、代表画像選択部１１１、及び操作制御部１１３は画像処理部６５に設けられている。また、表示部１１５は、表示制御部６６及び表示器１４から構成されている。

画像取得部１０３は内視鏡画像を取得する。本例の画像取得部１０３は、内視鏡画像を内視鏡スコープ１１からリアルタイムで取得する。また、内視鏡画像処理装置が内視鏡スコープ１１に直接接続されないコンピュータに搭載される場合には、画像取得部１０３は、内視鏡検査において既に撮影及び保存された内視鏡画像を取得する。画像取得部１０３が内視鏡画像を取得する際に、内視鏡画像が撮影された時刻、内視鏡画像の撮影条件（拡大率等）、及び撮影光源情報等の付帯情報（第２の付帯情報）が内視鏡画像に関連付けられて取得されてもよい。そして、画像取得部１０３で取得された内視鏡画像及び付帯情報は、保存部１０１に保存される。

検出部１０５は、画像取得部１０３で取得された内視鏡画像において、病変を示す病変画像を検出する。ここで、病変画像で示される病変は、病変自体、又は病変自体とその周辺部を含む病変領域を含む概念である。なお、検出部１０５が行う病変画像の検出は、公知技術によって行われるので、ここでは説明を省略する。

特徴量抽出部１０７は、検出部１０５で検出された病変画像の画像特徴量を抽出する。特徴量抽出部１０７は、様々な手法により、病変画像の画像特徴量を抽出することができる。例えば、特徴量抽出部１０７は、各病変画像に対応する特徴ベクトルを抽出する。この場合クラスタリング部１０９は、特徴ベクトルの類似度が閾値以上である場合に同じグループとして、グループを生成する。特徴ベクトルの例としては、画像のヒストグラム、BoVW(Bag Of Visual Words)ベクトル、ニューラルネットワークによる特徴ベクトル等が挙げられる。

クラスタリング部１０９は、保存部１０１に保存された内視鏡画像を比較して、同一の病変を有する内視鏡画像のグループを生成する。クラスタリング部１０９は、病変画像間の相関度に基づいて内視鏡画像をグループ化して、内視鏡画像で構成される病変ごとのグループを生成する。クラスタリング部１０９は、様々な手法により相関度を算出することができる。クラスタリング部１０９、特徴量抽出部１０７で抽出された画像特徴量の比較によって、相関度を算出する。

クラスタリング部１０９は、内視鏡画像に関連付けられて保存されている第２の付帯情報を利用して相関度を求めてもよい。第２の付帯情報は、取得した内視鏡画像に付帯されている、内視鏡画像が撮影された時刻、内視鏡画像の撮影条件（拡大率等）、及び撮影光源情報等の情報のことである。また、クラスタリング部１０９は、検査時刻、フレーム番号、内視鏡スコープ１１の位置、及び病変の種類等を利用して、相関度を求めてもよい。また、クラスタリング部１０９は、保存部１０１に保存された内視鏡画像の一部に対して、相関度を求めて、グループを生成してもよい。クラスタリング部１０９は、病変ごとのグループを生成する観点より、例えば検査時間が所定の範囲の内視鏡画像に対して比較することで相関度を求め、グループを生成してもよい。

クラスタリング部１０９は、複数の情報を用いて相関度を求めてもよい。クラスタリング部１０９は、内視鏡画像の特徴ベクトルの相関度が閾値以下でも、内視鏡画像が撮影された時刻が閾値よりも近い場合には、同じグループとしてもよい。また、クラスタリング部１０９は、撮影光源ごとの識別に適した特徴ベクトル抽出器を用意し、同一撮影光源間で相関度を求めてもよい。

保存部１０１は、画像取得部１０３で取得された画像（付帯される情報も含む）、及び／又はクラスタリング部１０９でグループ化された内視鏡画像を保存する。また、保存部１０１は、検出部１０５で検出された病変画像に関する情報も保存する。

図４及び図５は、保存部１０１の保存構成例に関して説明する図である。

図４は、フォルダを利用してグループごとに保存を行う例を示す図である。図４（Ａ）は画像取得部１０３が取得したグループ化前の内視鏡画像の保存構成に関して示しており、図４（Ｂ）はクラスタリング部１０９でグループ化された後の内視鏡画像の保存構成に関して示している。

図４（Ａ）に示す場合では、取得された内視鏡画像は一つの同じフォルダ１５１に保存される。すなわち、フォルダ１５１に保存されている内視鏡画像Ｉは、グループ化されていなく、例えば撮影順に配列されている。このフォルダ１５１に保存されている複数の内視鏡画像Ｉがクラスタリング部１０９によりグループ化される。

図４（Ｂ）では、クラスタリング部１０９で生成されたグループごとに、グループフォルダ１５３（Ｉ）、グループフォルダ１５３（ＩＩ）、グループフォルダ１５３（ｎ）が生成される。なお、ｎはクラスタリング部１０９で生成されたグループ数を示す。そして、各グループの内視鏡画像Ｉが、グループフォルダ１５３に保存される。また、各グループの内視鏡画像Ｉにおいて、最初に保存された（最も早く撮影された）内視鏡画像Ｉを代表画像としている。代表画像の選択に関しては、後で説明をする。また、グループフォルダ１５３は、フォルダ１５１の下層に生成される。

図５は、グループ化された内視鏡画像Ｉに、識別ＩＤ情報を付与して保存する例を示す図である。図５（Ａ）は画像取得部１０３が取得したグループ化以前の内視鏡画像の保存構成に関して示しており、図５（Ｂ）はクラスタリング部１０９でグループ化後の内視鏡画像の保存構成に関して示している。

図５（Ａ）は、取得された内視鏡画像は一つの同じフォルダ１５１に保存される。図５（Ｂ）は、各内視鏡画像Ｉに対して、グループ識別ＩＤを付与している。具体的には、各内視鏡画像Ｉに対して、それぞれ、病変１のグループ識別ＩＤ、病変２のグループ識別ＩＤ、病変Ｘのグループ識別ＩＤが付与される。また、代表画像においてもそのことを示す識別ＩＤが付与される。

さらに、保存部１０１は、図４及び図５に示すように代表画像と代表画像が属するグループを構成する内視鏡画像とを関連付けて保存する。

代表画像選択部１１１は、グループ内の内視鏡画像において、代表画像を選択する。代表画像選択部１１１では、保存部１０１に病変ごとに保存された内視鏡画像から、各グループにおいて１枚以上の代表画像を選択する。代表画像選択部１１１が行う代表画像の選択は、予め設定した選択規則にしたがって選択する。例えば代表画像選択部１１１の選択基準としては、グループ内の内視鏡画像のうち、最も初期に撮影された内視鏡画像、白色光で撮影された内視鏡画像、画像ボケが最も少ない内視鏡画像、病変が最も中央に写っている内視鏡画像、又は拡大撮影されていない内視鏡画像を、代表画像として選択する。ここで、拡大撮影されていない内視鏡画像とは、病変とその周辺の状態が把握することができるように、拡大撮影されずに撮影された内視鏡画像のことである。

代表画像選択部１１１は、各グループにおいて単数又は複数の代表画像を選択してもよい。例えばひとつの病変（グループ）において、撮影光源ごとに１枚ずつ代表画像を選択してもよい。例えば,光源毎にWL(White light)、LCI(LinkedColor Imaging)、BLI(BLUE LASER imaging)代表画像を取得してもよい。なお、LCIは、狭帯域短波長光と白色光を同に照射し、色の微細な近いを色彩強調する光源のことである。

操作制御部１１３は、操作入力部（プロセッサ操作部１３ａ）で受け付けられた操作を、内視鏡画像に対して行う。この場合操作制御部１１３は、代表画像対してのみ、受け付けられた操作を行ってもよいし、代表画像及び代表画像が属するグループの全ての内視鏡画像に対して、受け付けられた操作を行ってもよい。

表示部１１５は、保存部１０１に保存された代表画像を一覧表示する。表示部１１５は、保存部１０１に保存された内視鏡画像を表示制御部６６で制御して表示器１４に表示する。表示部１１５の表示形態は、ユーザに合わせて設定されることが好ましく、ユーザは適宜表示部１１５の表示形態を設定することができる。例えば表示部１１５は、代表画像の一覧表示における、列数を適宜変更することができる（図６の符号１７０を参照）。

図６は、表示部１１５の代表画像の一覧表示の例に関して説明する図である。

表示部１１５により、代表画像の一覧表示１６７が表示されている。一覧表示１６７は、病変１グループの代表画像１７１及び病変２グループの代表画像１７２により構成されている。また、一覧表示１６７と共に、内視鏡検査を受けた患者の情報１６１、内視鏡検査の実施情報１６３が表示される。また、表示列数はユーザによって適宜変更が可能であり、図示した場合は列数２が選択され、代表画像が２列で一覧表示されている（符号１７０を参照）。

≪内視鏡画像の選択≫

次に、グループを構成する内視鏡画像の選択に関して説明する。ユーザは、表示部１１５に表示されている画像を、表示部１１５で表示される矢印等のマーカを合わせてマウス（ポインティングデバイス）をクリックすることにより選択する。この場合、ユーザの選択により、表示されている代表画像を単独選択することもできるし、又は代表画像が属するグループ内の全ての画像を一括選択することもできる。ユーザは、代表画像、または代表画像及び代表画像が属するグループの内視鏡画像を選択して、診断結果等の情報を付与する。

図７及び図８は、表示部１１５が表示する代表画像の選択の例を示す図である。図７に示す例では、代表画像１７１がクリックで選択され、代表画像１７１のみが選択される。図８に示す例では、一括選択ボタン１７５がクリックされて、代表画像１７１と代表画像１７１が属するグループを構成する内視鏡画像が選択される。

なお、内視鏡画像の選択は、図７及び図８で説明した形態に限定されない。例えば、代表画像をマウスでクリックすることにより単独選択が行われ、代表画像をマウスでダブルクリックすることにより、グループを構成する内視鏡画像の一括選択が行われてもよい。また、代表画像を何らかのキーとマウスのクリックで選択された場合には、代表画像が属するグループの内視鏡画像の全てが選択されてもよい。

≪内視鏡画像への情報の付与≫

次に、代表画像及び代表画像が属するグループの内視鏡画像に対する情報の付与に関して説明する。

図９は、通常一覧表示モードから追加情報入力モードに移行する形態を示す図である。図９（Ａ）は、図６と同様の通常一覧表示モードの表示形態を示す。ここで通常一覧表示モードとは、各グループの代表画像が一覧表示されるモードである。なお、図６で既に説明を行った箇所は、同じ符号を付し説明は省略する。図９（Ｂ）は追加情報入力モードの表示部１１５の表示形態を示している。

通常一覧表示モードから追加情報入力モードへの移行は、所定の操作が入力されることにより行われる。そして、追加情報入力モード時に、情報が付与されると、選択された画像（代表画像、又はグループの全ての内視鏡画像）に対して情報が付与される。例えば、図９（Ｂ）に示すように、代表画像１７１に、病変の診断結果、病変の分類、病変の位置、病変の大きさの追加情報（第１の付帯情報）１８１が付与される。また、本例では代表画像１７１及び代表画像１７１が属するグループの内視鏡画像が選択されているので、代表画像１７１が属するグループの内視鏡画像にも、同様の情報が付与される。具体的にはユーザは、操作入力部により、代表画像に付与させる第１の付帯情報の入力をし、操作制御部１１３は、代表画像が属するグループの全ての内視鏡画像に第１の付帯情報の付与を行う。

次に、内視鏡画像処理装置を使用した内視鏡画像処理方法について説明する。図１０は、内視鏡画像処理装置の処理工程を示すフローである。

先ず、画像取得部１０３により、内視鏡画像が取得される（ステップＳ１０：画像取得ステップ）。その後、検出部１０５により病変画像が検出される（ステップＳ１１：検出ステップ）。そして、クラスタリング部１０９により、病変ごとのグループが生成される（ステップＳ１２：クラスタリングステップ）。その後、代表画像選択部１１１により、各グループの代表画像が選択される（ステップＳ１３：代表画像選択ステップ）。その後、代表画像とグループを構成する内視鏡画像が保存部１０１が保存され（ステップＳ１４：保存ステップ）、表示部１１５により、保存部１０１に保存された代表画像が一覧表示される（ステップＳ１５：表示ステップ）。

上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

以上のように、本態様によれば、病変ごとに構成されるグループが生成され、生成されたグループの代表画像が選択され、代表画像と代表画像が属するグループを構成する内視鏡画像とが関連付けて保存され、その代表画像が一覧表示される。これにより、ユーザの負担は抑制され効率的な作業が行われる。さらに代表画像でないグループを構成する内視鏡画像（非代表画像）も重要な情報であり、非代表画像も代表画像と共に管理することで、効率的な作業をユーザに提供することができる。

＜応用例１＞

本例では、クラスタリング部１０９で行われたグループの修正を行うことができる。ユーザは、クラスタリング部１０９でグループが生成された後に、操作入力部を介して代表画像に対し操作を行うことにより、グループを任意に修正する。

本例の操作入力部は、代表画像に対して、グループのグループ編成の変更指令を受け付ける。そして、操作制御部１１３は、受け付けられた変更指令を代表画像が属するグループの全ての内視鏡画像に対して行う。

操作入力部で受け付けられるグループ編成の変更指令の例としては、統合したい２つ以上の代表画像を選択し、グループの統合を行う機能を有するボタン（不図示）をクリックする。また、１つ以上の代表画像をマウスのクリック等により選択し、マウスのボタンを押下したまま、別の代表画像上に移動し、マウスのボタンを離す、いわゆるドラッグアンドドロップにより、変更指令が入力される。また、追加情報入力モード時に、代表画像が属するグループの識別ＩＤを統合先の識別ＩＤに変更してもよい。

＜応用例２＞

本例では、表示部１１５の代表画像の一覧表示の表示形態の変更が行われる。

図１１は、表示部１１５の表示例を示す図である。なお、図６で既に説明を行った箇所は、同じ符号を付し説明は省略する。

本例では、表示部１１５の一覧表示の表示形態の選択指令を受け付ける表示形態選択部１９１を備える。そして表示部１１５は、表示形態選択部１９１での選択結果に基づいて代表画像の一覧表示を行う。表示形態選択部１９１は、「病変ごとに代表画像を表示」と「条件を指定して表示」との選択項目があり、そして「条件を指定して表示」には光源（ＷＬ、ＬＣＩ、ＢＬＩ）、拡大率の選択項目が記されている。ユーザはこの選択項目を適宜選択することにより、代表画像の一覧表示の表示形態を選択することができる。図１１に示した場合では、「病変ごとに代表画像を表示」と「条件を指定して表示」とが選択され、光源ＷＬ、ＬＣＩ、及びＢＬＩの代表画像を表示するように選択されている。したがって、表示部１１５は、病変１のグループにおいて、光源ＷＬの代表画像１９３、光源ＬＣＩの代表画像１９５、及び光源ＢＬＩの代表画像１９７を一覧表示する。

＜応用例３＞

本例では、ユーザの入力に基づいて、代表画像の変更が行われる。

図１２は、表示部１１５の表示例を示す図である。なお、図６で既に説明を行った箇所は、同じ符号を付し説明は省略する。

本例では、代表画像１７１が選択されると、代表画像変更部１９９として、病変１のグループの内視鏡画像２０１、内視鏡画像２０３、内視鏡画像２０５、内視鏡画像２０７、及び内視鏡画像２０９が表示される。そしてユーザは、代表画像変更部１９９において表示された内視鏡画像（２０１、２０３、２０５、２０７、及び２０９）から、代表画像として変更したい内視鏡画像２０５を選択することにより、代表画像の変更指令を入力する。そして代表画像選択部１１１は、変更指令に基づいて、代表画像を異なる内視鏡画像に変更する。具体的には、入力された変更指令に基づいて、病変１のグループの代表画像を内視鏡画像２０５に変更する。

なお、代表画像変更部１９９の表示形態は、図１２で説明した例以外にも様々な形態を採用することができる。例えば、代表画像上でマウスホールを回転させ、回転量に応じて、グループの内視鏡画像が表示されて、代表画像を変更する。また、代表画像が選択されると別ウインドウで、グループ内の内視鏡画像が一覧表示され、その中から画像を選択して、代表画像を変更する。

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０ ：内視鏡装置

１１ ：内視鏡スコープ

１２ ：光源装置

１２ａ ：光源操作部

１３ ：プロセッサ装置

１３ａ ：プロセッサ操作部

１４ ：表示器

１６ ：挿入部

１６ａ ：挿入部先端部

１６ｂ ：湾曲部

１６ｃ ：可撓管部

１７ ：手元操作部

１８ ：ユニバーサルコード

２１ ：アングルノブ

２２ ：操作ボタン

２３ ：鉗子入口

２５ａ ：コネクタ部

２５ｂ ：コネクタ部

３１ ：光源制御部

３２ ：光源ユニット

３２ａ ：Ｖ－ＬＥＤ３２ｂ ：Ｂ－ＬＥＤ３２ｃ ：Ｇ－ＬＥＤ３２ｄ ：Ｒ－ＬＥＤ４０ ：ライトガイド

４２ ：照明レンズ

４４ ：対物レンズ

４５ ：撮像素子

４７ ：内視鏡制御部

４８ ：ＲＯＭ６１ ：プロセッサ制御部

６２ ：ＲＯＭ６５ ：画像処理部

６６ ：表示制御部

６７ ：記憶部

１０１ ：保存部

１０３ ：画像取得部

１０５ ：検出部

１０７ ：特徴量抽出部

１０９ ：クラスタリング部

１１１ ：代表画像選択部

１１３ ：操作制御部

１１５ ：表示部

Claims (12)

1. 内視鏡画像を取得する画像取得部と、
   前記画像取得部で取得された前記内視鏡画像において、病変を示す病変画像を検出する検出部と、
   前記病変画像間の相関度に基づいて前記内視鏡画像をグループ化して、前記内視鏡画像で構成される前記病変ごとのグループを生成するクラスタリング部と、
   前記グループ内の前記内視鏡画像において、代表画像を選択する代表画像選択部と、
   前記代表画像と前記代表画像が属する前記グループを構成する前記内視鏡画像とを関連付けて保存する保存部と、
   前記保存部に保存された前記代表画像を一覧表示する表示部と、
   前記表示部に表示された前記代表画像に対する操作を受け付ける操作入力部と、
   前記操作入力部で受け付けられた前記操作を、前記代表画像が属する前記グループ内の全ての前記内視鏡画像に同様に行う操作制御部と、
   を備える内視鏡画像処理装置。
2. 前記操作入力部は、前記代表画像に付与させる第１の付帯情報の入力を受け付け、
   前記操作制御部は、前記代表画像が属する前記グループの全ての前記内視鏡画像に前記第１の付帯情報を付与する請求項１に記載の内視鏡画像処理装置。
3. 前記操作入力部は、前記代表画像に対して、前記グループのグループ編成の変更指令を受け付け、
   前記操作制御部は、前記変更指令を前記代表画像が属する前記グループの全ての前記内視鏡画像に行う請求項１又は２に記載の内視鏡画像処理装置。
4. 前記検出部で検出された前記病変画像の画像特徴量を抽出する特徴量抽出部を備え、
   前記クラスタリング部は、前記画像特徴量に基づいて前記相関度を算出し、前記相関度に基づいて、前記グループを生成する請求項１から３のいずれか１項に記載の内視鏡画像処理装置。
5. 前記画像取得部は、前記内視鏡画像が撮影されたときの情報である第２の付帯情報を有する前記内視鏡画像を取得し、
   前記クラスタリング部は、前記第２の付帯情報を利用して、前記相関度を求める請求項１から４のいずれか１項に記載の内視鏡画像処理装置。
6. 前記代表画像選択部は、前記グループ内の前記内視鏡画像のうち、最も初期に撮影された前記内視鏡画像、白色光で撮影された前記内視鏡画像、画像ボケが最も少ない前記内視鏡画像、前記病変が最も中央に写っている前記内視鏡画像、又は拡大撮影されていない前記内視鏡画像を、前記代表画像として選択する請求項１から５のいずれか１項に記載の内視鏡画像処理装置。
7. 前記代表画像の変更指令を受け付ける代表画像変更部を備え、
   前記代表画像選択部は、前記変更指令に基づいて、前記代表画像を異なる前記内視鏡画像に変更する請求項１から６のいずれか１項に記載の内視鏡画像処理装置。
8. 前記表示部の前記一覧表示の表示形態の選択指令を受け付ける表示形態選択部を備え、
   前記表示部は、前記表示形態選択部での選択結果に基づいて前記一覧表示を行う請求項１から７のいずれか１項に記載の内視鏡画像処理装置。
9. 前記画像取得部は、前記内視鏡画像を内視鏡スコープからリアルタイムで取得する請求項１から８のいずれか１項に記載の内視鏡画像処理装置。
10. 前記画像取得部は、内視鏡検査において既に撮影及び保存された前記内視鏡画像を取得する請求項１から８のいずれか１項に記載の内視鏡画像処理装置。
11. プロセッサ装置を含む内視鏡装置の作動方法であって、
    前記プロセッサ装置が、内視鏡画像を取得する画像取得ステップと、
    前記プロセッサ装置が、前記画像取得ステップで取得された前記内視鏡画像において、病変を示す病変画像を検出する検出ステップと、
    前記プロセッサ装置が、前記病変画像間の相関度に基づいて前記内視鏡画像をグループ化して、前記内視鏡画像で構成される前記病変ごとのグループを生成するクラスタリングステップと、
    前記プロセッサ装置が、前記グループ内の前記内視鏡画像において、代表画像を選択する代表画像選択ステップと、
    前記プロセッサ装置が、前記代表画像と前記代表画像が属する前記グループとを関連付けて保存する保存ステップと、
    前記プロセッサ装置が、前記保存ステップで保存された前記代表画像を一覧表示する表示ステップと、
    前記プロセッサ装置が、前記表示ステップで表示された前記代表画像に対する操作を受け付ける操作入力ステップと、
    前記プロセッサ装置が、前記操作入力ステップで受け付けられた前記操作を、前記代表画像が属する前記グループ内の全ての前記内視鏡画像に同様に行う操作制御ステップと、
    を含む前記内視鏡装置の作動方法。
12. 内視鏡画像を取得する画像取得ステップと、
    前記画像取得ステップで取得された前記内視鏡画像において、病変を示す病変画像を検出する検出ステップと、
    前記病変画像間の相関度に基づいて前記内視鏡画像をグループ化して、前記内視鏡画像で構成される前記病変ごとのグループを生成するクラスタリングステップと、
    前記グループ内の前記内視鏡画像において、代表画像を選択する代表画像選択ステップと、
    前記代表画像と前記代表画像が属する前記グループとを関連付けて保存する保存ステップと、
    前記保存ステップで保存された前記代表画像を一覧表示する表示ステップと、
    前記表示ステップで表示された前記代表画像に対する操作を受け付ける操作入力ステップと、
    前記操作入力ステップで受け付けられた前記操作を、前記代表画像が属する前記グループ内の全ての前記内視鏡画像に同様に行う操作制御ステップと、
    を含む内視鏡画像処理方法をコンピュータに実行させるプログラム。

Images