JP6988926B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像中における検知対象物体の確認を容易にするための画像処理装置等に関する。

動画像中における検知対象物体の発見を補助するための画像処理方法がある。非特許文献１および非特許文献２は、この画像処理方法の例を開示する。例えば、この画像処理方法は、物体領域候補生成手段および物体領域候補出力手段を備える装置において、以下のように動作する。即ち、物体領域候補生成手段は、画像（動画の場合、動画を構成する各フレーム画像）が入力されると、その画像中に含まれる検知対象の物体が存在すると思われる領域に複数の候補（物体領域候補）を生成する。物体領域候補とは、検知対象の物体を外接する矩形もしくは円であり、これらは物体の形状を示す変数（たとえば中心座標(x, y)、高さ(h)および幅(w)）、更に、物体領域候補における検知対象物体の含有率等を示す信頼度等によって表現される。物体領域候補出力手段は、物体領域候補生成手段で生成された物体領域候補の中から、各物体領域候補の重なり具合又は信頼度等に基づいて、検知対象の物体に外接する矩形もしくは円を出力する。

その他、特許文献１は、本願に関連する技術を開示する。

特開２０１６−２０６９９５号公報

S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards real-time object detection with region proposal networks", Advances in neural information processing systems 28 (NIPS 2015). http://papers.nips.cc/paper/5638-faster-r-cnn-towards-real-time-object-detection-with-region-proposal-networks.pdf J. Hosang, R. Benenson, and B. Schiele, "A convnet for non-maximum suppression", Max-Planck Institute for Informatics, Saarbrucken, Germany, Dec 2015.https://arxiv.org/pdf/1511.06437v2.pdf

非特許文献１および非特許文献２に開示される画像処理方法においては、検知対象物体は、規則的形状であり、ある程度予測可能な物体である。例えば、人の顔等のように、検知対象物体の大きさ、形状等がある程度規則的に予測され、画像内の中心座標(x, y)から所定の高さ(h)および幅(w)に収まる物体である。しかしながら、検知対象物体には、その大きさ、形状等が不規則で予測できず、画像内の中心座標から予め設定される所定の高さおよび幅に収まらない可能性のある物体（以下、これを不規則物体と称呼する）もある。例えば、臓器内外の病変（腫瘍など）のように、一定の形状に収まらず、病状進行のステージに伴い、様々な形状に不規則に変形可能な非剛体などである。この場合、非特許文献１および非特許文献２に開示される画像処理方法を用いて、物体全体に外接する物体領域を判定し、出力することは困難となる。これは、非特許文献１および非特許文献２に開示される画像処理方法においては、不規則物体の形状では、物体と少なくとも一部が外接する物体領域候補が多数生成されるからである。この理由は、一般的に、ひとつの物体領域候補は、その領域内においてできるだけ検知対象物体を含み、かつ、できるだけ検知対象物体以外のものを含まないように設定されるからであり、この結果、１つの不規則物体に対し、複数の物体領域候補はその一部が重なり、連なって生成されることとなる。例えば、検知対象物体が丸型であれば、その重心を中心とする１つの物体領域候補で足りることが多いが、検知対象物体がヒトデ型であれば、複数の物体領域候補（その重心を中心とする中心近辺をカバーする物体領域候補と、当該ヒトデ型に含まれる複数の足部をカバーする複数の物体領域候補）にて表わされることが多い。更に、後者の物体領域候補は、上記設定により検知対象物体を高い比率にて含んでいるため、信頼度が高くなる傾向がある。これらの理由により、検知対象が不規則物体の場合は、非特許文献１および非特許文献２に開示される画像処理方法においては、不規則物体の全体にて外接する（又は、検知対象物体の全体を含む）矩形もしくは円の領域候補は出力されにくい。

これに伴う問題として、非特許文献１および非特許文献２に開示される画像処理方法において、１つの不規則な検知対象物体に対し、複数の物体領域候補の一部が重なり連なって生成されると、この検知対象物体を観察するオペレータ（例えば、病変の場合は「医師」）にとって、物体領域候補を表わす複数重なった枠によって検知対象物体の視認が困難となり、当該検知対象物体の一部または全体の形状の判断がしづらいという問題がある。または、物体領域候補を表わす枠が何らかの理由により適切に検知対象物体を表わしていない場合に、オペレータによる観察が当該枠にミスリードされ、発見されるべき検知対象物体を見過ごす等の問題がある。

非特許文献１に示された技術では、各領域候補の重なりおよび信頼度に基づき領域候補が出力されるため、検知対象物体と外接する物体領域候補が他の物体領域候補よりも高い信頼度になる。しかしながら、不規則な物体と外接する物体領域候補内では、物体ではない領域を多く含むこととなるから、一般的に部分的に外接する矩形と比べて信頼度が低くなってしまい、ひいては正確な物体領域候補が抽出できないという問題が生じる。

非特許文献２に開示される画像処理方法においては、多大な計算量を必要とするニューラルネットワークを用いて画像の物体領域を生成または再生成するため、高速な画像処理が困難であるという問題がある。

そこで、本発明は、上述した課題に鑑み、不規則物体の全体を示す枠を高速に表示する画像処理装置等を提供することを目的とする。

上記問題点を鑑みて、本発明の第１の観点である画像処理装置は、
画像中における検知対象物体の少なくとも一部が存在する位置を示す物体領域候補を複数生成する物体領域候補生成部と、
生成された物体領域候補を用いて、画像中における位置に対応するヒートマップを生成するヒートマップ生成部と、
生成されたヒートマップを用いて、１つ以上の物体領域候補から成る、検知対象物体の全体を囲う物体領域を出力する物体領域出力部
とを備える。

本発明の第２の観点である画像処理方法は、
画像中における検知対象物体の少なくとも一部が存在する位置を示す物体領域候補を複数生成し、
生成された物体領域候補を用いて、画像中における位置に対応するヒートマップを生成し、
生成されたヒートマップを用いて、１つ以上の物体領域候補から成る、検知対象物体の全体を囲う物体領域を出力する
ことを備える。

本発明の第３の観点である画像処理プログラムは、
画像中における検知対象物体の少なくとも一部が存在する位置を示す物体領域候補を複数生成し、
生成された物体領域候補を用いて、画像中における位置に対応するヒートマップを生成し、
生成されたヒートマップを用いて、１つ以上の物体領域候補から成る、検知対象物体の全体を囲う物体領域を出力する
ことをコンピュータに実現させるための画像処理プログラムである。

画像処理プログラムは、非一時的なコンピュータ可読の記憶媒体に格納されていてもよい。

本発明によれば、不規則物体の全体を示す枠を高速に表示する画像処理装置等を提供することができる。

本発明の第１の実施形態にかかる画像処理装置の構成例を示すブロック図である。 本発明の第１の実施形態にかかる画像処理装置における動作を示すフローチャートである。 画像内における物体領域候補を示す図である。 画像に対応するヒートマップを示す図である。 画像内における物体領域を示す図である。 画像内における物体領域を検知対象物体と共に示す図である。 本発明の第２の実施形態にかかる画像処理装置の構成例を示すブロック図である。 本発明の第２の実施形態にかかる画像処理装置における動作を示すフローチャートである。 画像に対応するヒートマップおよび物体領域候補を示す図である。 画像内における物体領域を検知対象物体と共に示す図である。 本発明の第３の実施形態にかかる画像処理装置の構成例を示すブロック図である。 本発明の第３の実施形態にかかる画像処理装置における動作を示すフローチャートである。 各実施形態において適用可能な情報処理装置の構成例を示すブロック図である。

以下の実施形態においては、主に、形状が不規則的で物体領域が予測不可能な検知対象物体を対象とする画像処理装置等について説明する。尚、この画像処理装置は、形状が規則的で物体領域が予測可能な物体も検知対象とできることは勿論である。以下の説明において、不規則な検知対象物体とは、非剛体、一例として、臓器内外に発生する病変（腫瘍）とする。この場合、画像処理装置の使用者は医師等の医療関係者となる。

この画像処理装置は、例えば、内視鏡動画像におけるリアルタイム腫瘍検知システム等に組み込まれる。当該内視鏡を介し撮影される動画または静止画（以下単に画像と記載）において検知された病変がある場合、医師は当該病変が発生している臓器内外の全部又は一部の形状が正常時と比して変異しているかを観察することで、腫瘍の変異タイプ、悪性度および進行度等を判断する。又、医師が、腫瘍の摘出（切除）を行うにあたり、ある臓器における腫瘍部分と正常な部分の境界を正確に認識する必要がある。このため、本発明の実施形態における画像処理装置は、腫瘍の位置を示す情報として、腫瘍全体に外接する枠を的確かつ高速に表示する。これにより医師による診断および処置が素早く正確になるよう補助することができる。

以下、図面を参照して、本発明の各実施形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は本発明の実施形態における構成を概略的に表している。更に以下に記載される本発明の実施形態は一例であり、その本質を同一とする範囲において適宜変更可能である。

＜第１の実施形態＞
（画像処理装置）
本発明の第１の実施形態に係る画像処理装置１００は、図１に示すように、物体領域候補生成部１１、ヒートマップ生成部１２、および、物体領域出力部１３を備える。

物体領域候補生成部１１は、画像中における検知対象物体の少なくとも一部が存在する位置を示す物体領域候補を複数生成する。具体的に、物体領域候補生成部１１は、外部カメラ（図１には不図示）、例えば内視鏡カメラ等にて撮影された画像を入力し、入力された画像内における検知対象物体が存在する領域の候補（物体領域候補）を複数生成する。画像中に含まれる検知対象の物体が存在すると思われる領域に複数の物体領域候補を生成する手法としては、非特許文献１および非特許文献２等に記載の既存の手法を用いてよい。物体領域候補の数が多すぎる場合、物体領域候補生成部１１は、当該物体領域候補としてふさわしい幾つかの当該物体領域候補の組み合わせを生成し、その１つを物体領域候補（群）として出力してもよい。

ヒートマップ生成部１２は、生成された物体領域候補を用いて、画像中における位置に対応するヒートマップを生成する。具体的に、ヒートマップ生成部１２は、物体領域候補を含む画像を１つ以上入力し、各物体領域候補の信頼度に基づき、当該画像に関するヒートマップを生成する。ここで、信頼度とは、物体領域候補内に検知対象物体が存在する確率を示す値であり、例えば、各物体領域候補の重なり具合、又は、ある物体領域候補における検知対象物体の含有率等を示す度合いを基に算出される。また、ヒートマップとは、画像内の区画（例えばピクセル）の各々の値を示すデータ行列等を、色として可視的に二次元で表現した図のことを指す。ヒートマップでは、物体が存在する領域においては信頼度のスコアが高くなるように設定される。

物体領域出力部１３は、生成されたヒートマップを入力し、当該ヒートマップを基に、当該画像内における、不規則な検知対象物体の全体を示す物体領域（矩形枠）を出力する。具体的に、物体領域出力部１３は、ヒートマップを区分した複数の区画毎（例えばピクセル毎）において、当該区画に紐付けられた前記信頼度が所定の閾値以上である区画の集合を含む物体領域候補を、前記物体領域として出力する。

（画像処理装置の動作）
図２に示すフローチャートを参照して、画像処理装置１００の具体的な動作について説明する。

先ずステップＳ１０１において、画像処理装置１００は、画像を物体領域候補生成部１１に入力し、物体領域候補を生成する。このステップの具体的な一動作例を、以下に説明する。

画像処理装置１００が、例えば、内視鏡画像中の病変（腫瘍）を認識するための装置であるとすると、物体領域候補生成部１１は、腫瘍を含む画像を受け付け、この画像に対して、腫瘍が含まれている領域を示す物体領域候補を生成する。高速な物体認識を実現する一手法として、物体領域として検知対象の物体を外接する矩形を用いる手法を採用するとする。この場合、描画関数（Rectangle）において、矩形を表現する変数として、中心座標（x、y）、幅（w）、高さ（h）、矩形内に物体を含む確からしさを示す信頼度（conf）を用いるものとする。この場合、あるｎ番目（ｎは正の整数）の物体領域候補（Rectangle）は式１の関数で表すことができる。
Rectangle_ｎ = [x_ｎ, y_ｎ, w_ｎ, h_ｎ, conf_ｎ] …（式１）
本例では、物体領域は、検知対象物体の全体の外縁（外周）と接するように囲った（以下、この状態を外接とも称呼する）矩形を例とするが、これは矩形に限られず、例えば円でもよい。また物体領域の外接ではなく、検知対象物体の全体の内周と接するように囲ったものでもよい。また物体の重心を中心座標としてもよい。また、回転を表わす変数を加えて用いてもよい。

図３は、複数の変数（ｎ個）を式（１）の関数に入力し得られた、複数の物体領域候補を、ヒートマップ上に表わした例を示す。図３中の太線枠が検知対象物体（腫瘍）の全体と接するように囲った（以下、この状態を外接とも称呼する）矩形領域候補であり、それ以外の矩形は検知対象物体の一部を示す矩形領域候補となっている。矩形領域候補は、その領域内においてできるだけ検知対象物体を含み、かつ、できるだけ検知対象物体以外のものを含まないように設定される。

ステップＳ１０２においては、生成された複数の物体領域候補を受け取り、ヒートマップ生成部１２は、これらの複数の物体領域候補を基にヒートマップを生成する。このステップの具体的な一動作例を、以下に説明する。

入力されたｎ個の各物体領域候補、即ち、Rectangle_１ = [x_１, y_１, w_１, h_１, conf_１]、Rectangle_２ = [x_２, y_２, w_２, h_２, conf_２]、…、Rectangle_ｎ = [x_ｎ, y_ｎ, w_ｎ, h_ｎ, conf_ｎ]は、領域候補内に物体が存在する確からしさを示す信頼度conf_１、conf_２、…、conf_ｎを備える。この信頼度を、画像中の物体領域候補内のヒートマップの各ピクセルの値と紐付ける。即ち、ヒートマップの各ピクセルの値を conf_ｎ = heatmap_score(i,j)と設定する。ここで（i,j）はヒートマップにおけるピクセルの座標位置を表す。これにより、画像を構成する各ピクセルにおいて信頼度を持つヒートマップが生成される。

図４は、ヒートマップ生成部１２で生成したヒートマップの例を示す。本例においては、ヒートマップの各物体領域候補に含まれる複数のピクセルの各々の信頼度conf_ｎの値を用いて、その物体領域候補の値を設定する。例えば、ある物体領域候補の信頼度conf_ｎの値を、当該物体領域候補内に存在するピクセルの値とする。尚、複数の物体領域候補、例えば、物体領域候補ＡとＢとが一部重なり合った部分（例えばこの部分をＣとする）がある場合、Ｃの部分の信頼度の値は、物体領域候補ＡおよびＢの信頼度を加算した値であってもよい。

ヒートマップが、ピクセル値が高いほど色が白くなるように設定されている場合、図３にて多数の物体領域候補が確認される画像の左下側の物体領域候補のピクセルの値が大きくなり、その結果、図４に示すように画像が白っぽくなる。

最後にステップＳ１０３において、生成されたヒートマップを取得した物体領域出力部１３は、複数の物体領域候補の中から検知対象物体の全体と外接する物体領域候補を選択し、物体領域として出力する。

物体領域出力部１３の動作について詳細に説明する。入力されたヒートマップ画像（図４）は各ピクセルにおいて物体が存在する確からしさ（信頼度）を示す値を持つ。ここで、その値が所定の閾値以上のピクセルには物体が存在するとし、当該閾値より小さいピクセルには物体が存在しないと判断する。閾値は設計者によって予め設定されていても良いし、オペレータにより変更可能に設定されていてもよい。この場合、検知対象物体が存在すると判断されたヒートマップは図５に示すもののようになる。尚、検知対象物体（腫瘍）は図６に示すように存在しているものとする。このとき、物体領域出力部１３は、この物体が存在する領域の全てを囲う枠（図５、図６の枠１）を物体領域の枠として出力する。出力された画像は、外部のモニタ等に映し出され、医師等のオペレータに閲覧される。尚、出力される物体領域は、検知対象物体の形状に沿った枠（矩形枠）として出力する。

（第１の実施形態の効果）
本発明の第１の実施形態における画像処理装置１００は、不規則物体の全体を示す枠を高速に表示することができる。ひいてはオペレータによる不規則物体の発見および判断を容易にすることができる。この理由は、画像処理装置１００が、各物体領域候補の信頼度に基づくヒートマップを用いて各物体領域を出力するため、検知対象物体の全体に外接する物体領域を正しく出力するからである。また、物体領域候補生成部１１で生成される物体領域候補の信頼度から生成されるヒートマップ内のピクセルの値と予め設定される閾値とを比較して物体領域を出力するため、ニューラルネットワーク計算量と比して、遥かに少ない計算量で、高速に物体領域を出力するからである。

＜第２の実施形態＞
本発明の第１の実施形態においては、画像処理装置１００はヒートマップを基に検知対象物体の物体領域を出力したが、当該物体領域の出力にはヒートマップとこれに対応する物体領域候補とを同時に用いても良い。また、第１の実施形態の物体領域候補生成部１１が物体領域候補を生成する処理において、当該物体領域候補の数が多すぎる場合、当該物体領域候補の組み合わせの計算に多くの処理時間を要していた。そこで本発明の第２の実施形態においては、上記の生成する処理を簡略化して、ヒートマップおよびその物体領域候補を用いて検知対象物体の物体領域を出力する手法について説明する。

（画像処理装置）
本発明の第２の実施形態に係る画像処理装置２００は、図７に示すように、物体領域候補生成部２１、ヒートマップ生成部２２、および、物体領域出力部２３を備える。

物体領域出力部２３は、物体領域候補生成部２１が生成した物体領域候補およびそれに対応するヒートマップ生成部２２が生成したヒートマップ（生成された物体領域候補が重畳されたヒートマップ）を用いて、複数の物体領域候補の中から検知対象物体の全体と外接する物体領域候補を選択し、物体領域として出力する。

物体領域候補生成部２１は、物体領域候補を生成するが、第１の実施形態（物体領域候補生成部１１）と異なる点は、当該物体領域候補の数が多すぎる場合に、当該物体領域候補の組み合わせを生成しないことである。生成された物体領域候補は、当該物体領域候補をヒートマップ生成部２２および物体領域出力部２３に出力する。

ヒートマップ生成部２２は第１の実施形態（ヒートマップ生成部１２）と同様である。

（画像処理装置の動作）
図８に示すフローチャートを参照して、画像処理装置２００の具体的な動作について説明する。

ステップＳ２０１およびＳ２０２については、夫々、図２のステップＳ１０１およびＳ１０２と同様である。

ステップＳ２０３において、物体領域出力部２３は、物体領域候補生成部２１から物体領域候補を、ヒートマップ生成部２２からヒートマップを取得し、これらを基に、物体領域を出力する。このステップの具体的な一動作例を、以下に説明する。

まず、物体領域候補生成部２１で生成された物体領域候補（Rectangle_ｎ = [x_ｎ, y_ｎ, w_ｎ, h_ｎ, conf_ｎ]）と、ヒートマップ生成部２２で生成されたヒートマップ（図４参照）が、物体領域出力部２３に入力される。図９は、ヒートマップ（図４参照）上に描かれた複数の物体領域候補（枠）を示す。物体領域出力部２３は、各物体領域候補（Rectangle_１ = [x_１, y_１, w_１, h_１, conf_１]、Rectangle_２ = [x_２, y_２, w_２, h_２, conf_２]、…、Rectangle_ｎ = [x_ｎ, y_ｎ, w_ｎ, h_ｎ, conf_ｎ]）の物体領域内のピクセルに対応する、ヒートマップの各ピクセルの値（信頼度）を基に、各物体領域候補のスコアを、集計のための関数を用いて計算する。例えば、入力された物体領域候補（Rectangle_ｎ）のスコアを、当該物体領域内に対応するヒートマップの各ピクセルの信頼度の和とする場合、Rectangleを変数とする関数を用いて、Score(Rectangle_ｎ)=Σ_(w,h)heatmap_score(i,j)とする。この後、物体領域出力部２３は、物体領域候補のスコア（物体領域候補内の全ピクセルの信頼度の和）と予め設定された閾値とを比較し、当該閾値以上のスコアとなる物体領域候補を物体領域として出力する。物体領域出力部２３は、物体領域候補の中から、物体領域候補のスコアが閾値以上となる物体領域候補を抽出し、それらの外縁で囲われた領域を物体領域として出力する。例えば、図１０は、抽出された２つの物体領域候補２ａ、２ｂから構成される物体領域２ｃを表わしている。尚、物体領域候補２ａ、２ｂは、必ず１つにまとめずとも、オペレータが容易に視認可能な数であれば（例えば図１０では２つ）、そのまま表示しても良い。又、閾値は設計者によって予め設定されていても良いし、オペレータによって変更可能に設定されていても良い。

（第２の実施形態の効果）
本発明の第２の実施形態に係る画像処理装置２００は、不規則物体の全体を示す枠を高速に表示することができる。ひいてはオペレータによる不規則物体の発見および判断を容易にすることができる。この理由は、画像処理装置２００が、各物体領域候補の信頼度に基づくヒートマップのスコアを用いて各物体領域を出力するため、検知対象物体の全体に外接する物体領域を正しく出力するからである。また、物体領域候補生成部２１で生成される物体領域候補の信頼度から生成されるヒートマップ内のピクセルの値と予め設定される閾値とを比較して物体領域を出力するため、ニューラルネットワーク計算量と比して、遥かに少ない計算量で、高速に物体領域を出力するからである。
尚、第１の実施形態と比して第２の実施形態では、物体領域候補生成部２１の処理が簡略化されたため、全体の処理時間を早めることができる。第２の実施形態ではヒートマップ生成部２２がヒートマップからスコアを算出する集計処理が必要となるが、物体領域出力部２３が、ヒートマップを用いて物体領域候補の中から物体領域を構成する物体領域候補の選択を行うことにより、物体領域候補生成部１１における処理が簡略化される。このため、物体領域候補数が多い場合でも、物体領域候補生成部１１の処理時間が長期化することを避けられ、ひいては、全体としての処理時間を短縮することができる。

＜第３の実施形態＞
第１および第２の実施形態においては、主に、検知中に検知対象物体が静止している場合を想定しているが、検知対象物体は動くこともある。例えば検知対象物体が腫瘍の場合、腫瘍そのものは動かなくても周囲の不随意筋の動きに連動して動く場合もある。また、本発明の一利用例となる内視鏡動画像におけるリアルタイム腫瘍検知システムでは、医師による内視鏡操作に伴いカメラが動くことによって、画像中の腫瘍位置が動く。よって、第３の実施形態においては、検知中に検知対象物体が動く場合であっても高速に物体領域を出力可能な画像処理装置について説明する。

（画像処理装置）
本発明の第３の実施形態に係る画像処理装置３００は、図１１に示すように、物体領域候補生成部３１、ヒートマップ生成部３２、および、物体領域出力部３３を備える。尚、本実施形態においては、画像処理装置３００が処理する画像は動画像（時間的に連続した一連の画像）であることを前提とする。

ヒートマップ生成部３２の基本動作は第２の実施形態と同様であるが、異なる点は、図１１の点線矢印に表わされるように、ヒートマップ生成部３２の出力が、ヒートマップ生成部３２の入力となることである。本実施形態においては、動画像を処理するため、ヒートマップ生成部３２で生成された過去の画像のヒートマップを、現在の画像のヒートマップ生成に利用する。ヒートマップ生成部３２は、ある腫瘍を映す画像において、過去の時刻に生成されたヒートマップと、物体領域候補生成部３１が生成する現在の時刻に対応する物体領域候補を用いて、現在の時刻に対応するヒートマップを生成する。

物体領域候補生成部３１および物体領域出力部３３は第２の実施形態の物体領域候補生成部２１および物体領域出力部２３と同様である。

（画像処理装置の動作）
図１２に示すフローチャートを参照して、上記画像処理装置３００の具体的な動作について説明する。

ステップＳ３０１については、図８のステップＳ２０１とほぼ同じ動作であるが、物体領域候補生成部３１は、所定の間隔（例えば１秒）毎に、画像を物体領域候補生成部３１に入力する。または動画像中に変化があった場合に画像を入力しても良い。

ステップＳ３０２において、物体領域候補生成部３１で生成した物体領域候補と過去の画像のヒートマップと受け取ると、ヒートマップ生成部３２はこれらを基に、ヒートマップを生成する。このステップの具体的な一動作例を、以下に説明する。

本実施形態では、ヒートマップ生成部３２は、時刻tの入力画像に対して物体領域候補生成部３１およびヒートマップ生成部３２によって得られた過去のヒートマップを、Score(Rectangle_t,n) =Σ_t,i,j heatmap_score(t,i,j)とする。

ここで、例えば、時刻ｔ＋１の画像に対して物体領域候補生成部３１が生成する各物体領域候補を
Rectangle_t,n = [x_t,n, y_t,n, w_t,n, h_t,n, conf_t,n] …（式２）
とし、上記時刻tにおけるヒートマップを
Score(Rectangle_t,n)=Σ_t,w,hheatmap_score(t,i,j) …（式３）
とした場合、式（２）および式（３）を用いて、時刻ｔ＋１におけるヒートマップを、
Score(Rectangle_t+1,n)=Σ_t,w,hheatmap_score(t,i,j)+Σ_t+1,i,jheatmap_{score(t+1,i,j)}…式（４）
と表わすことができる。

即ち、物体領域候補生成部３１は、現時刻の画像に対する物体領域候補と過去の時刻の画像で生成されたヒートマップとを基に、現時刻のヒートマップを生成する。

尚、本例では、時刻が１つ前の画像のヒートマップを単純に加算する場合を示したが、これに限らない。例えば過去の時刻ｎ（例えば、秒）前までの時刻のヒートマップを利用してもよい。また加算する場合、過去の時刻の各ヒートマップを等価に加算する必要はなく、各時刻に重みを与えてもよい。すなわち、
Score(Rectangle_t+1,n)=w_tΣ_t,w,hheatmap_score(t,i,j)+w_t+1Σ_t+1,i,jheatmap_{score(t+1,i,j)}…（式６）
としてもよい。この各時刻の重みw_tは、たとえばw_t=1/tと設定してもよいし、各時刻tのヒートマップに応じて決定してもよい。例えばヒートマップ画像の類似度をw_tとしてもよい。重み付けの一例として、過去に生成されたヒートマップと現在生成されたヒートマップとの一致度合いを示す類似度を算出して、重みとして利用してもよい。この場合、過去と現在において動きがない程一致度合いは高くなる。

ステップＳ３０３については、図８のステップＳ２０３と同様である。

（第３の実施形態の効果）
本発明の第３の実施形態における画像処理装置３００は、検知対象物体が動き、且つ、動画像で撮影された場合であっても、不規則物体の全体を示す枠を高速に表示することができる。ひいてはオペレータによる不規則物体の発見および判断を容易にすることができる。この理由は、ヒートマップ生成部３２が、現時刻の物体領域候補に加え、過去の時刻にヒートマップ生成部３２にて生成されたヒートマップも用いて、ヒートマップを生成し、物体領域出力部３３が、このヒートマップを用いて、物体領域候補の中から物体領域を選択するからである。更に、各時刻に重みを与え、現時刻の類似度の基づき重みづけを行うことで、検知対象物体の動きに対して安定的に不規則物体の全体を示す枠を高速に表示することができる。ひいてはオペレータによる不規則物体の発見および判断を容易にすることができる。

上述した本発明の各実施形態において、画像処理装置１００、２００、３００、４００は、画像を撮影するカメラ等の装置と一体であってもよいし、カメラ等と情報処理装置（パーソナルコンピュータなど）とを接続し、画像処理の全体動作の制御を情報処理装置側で行っても良い。即ち、情報処理装置側の画像処理用のアプリケーションプログラムを以下のような構成の下で使用してもよい。

（情報処理装置）
上述した本発明の各実施形態において、図１、７、１１等に示す画像処理装置における各構成要素の一部又は全部は、例えば図１３に示すような情報処理装置５００とプログラムとの任意の組み合わせを用いて実現することも可能である。情報処理装置５００は、一例として、以下のような構成を含む。

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３
・プログラム５０４および他のデータを格納する記憶装置５０５
・記録媒体５０６の読み書きを行うドライブ装置５０７
・通信ネットワーク５０９と接続する通信インターフェース５０８
・データの入出力を行う入出力インターフェース５１０
・各構成要素を接続するバス５１１
本願の各実施形態における画像処理装置の各構成要素は、これらの機能を実現するプログラム５０４をＣＰＵ５０１が取得して実行することで実現される。画像処理装置の各構成要素（例えば、物体領域候補生成部１１、ヒートマップ生成部１２、物体領域出力部１３）の機能を実現するプログラム５０４は、例えば、予め記憶装置５０５やＲＡＭ５０３に格納されており、必要に応じてＣＰＵ５０１が読み出す。なお、プログラム５０４は、通信ネットワーク５０９を介してＣＰＵ５０１に供給されてもよいし、予め記録媒体５０６に格納されており、ドライブ装置５０７が当該プログラムを読み出してＣＰＵ５０１に供給してもよい。

各装置の実現方法には、様々な変形例がある。例えば、画像処理装置は、構成要素毎にそれぞれ別個の情報処理装置とプログラムとの任意の組み合わせにより実現されてもよい。また、画像処理装置が備える複数の構成要素が、一つの情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。

また、画像処理装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。

画像処理装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

画像処理装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

以上、本実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本発明は、画像中に含まれる不規則かつ予測不能な形状を伴う非剛体の物体を認識する画像処理装置や、その装置をコンピュータに実現するためのプログラムといった用途に適用可能である。

１００、２００、３００ 画像処理装置
１１、２１、３１ 物体領域候補生成部
１２、２２、３２ ヒートマップ生成部
１３、２３、３３ 物体領域出力部
５００ 情報処理装置
５０１ ＣＰＵ
５０３ ＲＡＭ
５０４ プログラム
５０５ 記憶装置
５０６ 記録媒体
５０７ ドライブ装置
５０８ 通信インターフェース
５０９ 通信ネットワーク
５１０ 入出力インターフェース
５１１ バス

Claims (7)

1. 画像中における検知対象物体の少なくとも一部が存在する位置を示す物体領域候補を複数生成する物体領域候補生成手段と、
   前記物体領域候補を用いて前記画像中における前記位置に対応するヒートマップを生成し、過去に生成されたヒートマップと、前記生成された前記位置に対応するヒートマップとの一致度合いを示す類似度を用いて前記過去に生成されたヒートマップを重みづけし、重みづけされた前記過去に生成されたヒートマップと、前記生成された前記位置に対応するヒートマップとを用いてヒートマップを再生成するヒートマップ生成手段と、
   再生成された前記ヒートマップを用いて、１つ以上の前記物体領域候補から成る、前記検知対象物体の全体を囲う物体領域を出力する物体領域出力手段
   とを備える画像処理装置。
2. 前記ヒートマップ生成手段は、各物体領域候補が前記検知対象物体を含む確からしさを表わす信頼度を用いて、前記ヒートマップを生成する
   請求項１に記載の画像処理装置。
3. 前記物体領域出力手段は、前記ヒートマップを区分した複数の区画毎において、当該区画に紐付けられた前記信頼度が所定の閾値以上である区画の集合を含む物体領域候補を、前記物体領域として出力する
   請求項２に記載の画像処理装置。
4. 前記物体領域出力手段は、生成された前記物体領域候補が重畳された前記ヒートマップを用いて、前記物体領域を出力する
   請求項１または請求項３のいずれかに記載の画像処理装置。
5. 前記検知対象物体が、内視鏡画像に映る病変である
   請求項１から請求項３のいずれかに記載の画像処理装置。
6. 画像中における検知対象物体の少なくとも一部が存在する位置を示す物体領域候補を複数生成し、
   前記物体領域候補を用いて前記画像中における前記位置に対応するヒートマップを生成し、
   過去に生成されたヒートマップと、前記生成された前記位置に対応するヒートマップとの一致度合いを示す類似度を用いて前記過去に生成されたヒートマップを重みづけし、重みづけされた前記過去に生成されたヒートマップと、前記生成された前記位置に対応するヒートマップとを用いてヒートマップを再生成し、
   再生成された前記ヒートマップを用いて、１つ以上の前記物体領域候補から成る、前記検知対象物体の全体を囲う物体領域を出力する
   画像処理方法。
7. 画像中における検知対象物体の少なくとも一部が存在する位置を示す物体領域候補を複数生成し、
   前記物体領域候補を用いて前記画像中における前記位置に対応するヒートマップを生成し、
   過去に生成されたヒートマップと、前記生成された前記位置に対応するヒートマップとの一致度合いを示す類似度を用いて前記過去に生成されたヒートマップを重みづけし、重みづけされた前記過去に生成されたヒートマップと、前記生成された前記位置に対応するヒートマップとを用いてヒートマップを再生成し、
   再生成された前記ヒートマップを用いて、１つ以上の前記物体領域候補から成る、前記検知対象物体の全体を囲う物体領域を出力する
   ことをコンピュータに実現させるための画像処理プログラム。

Images