JP6986160B2

JP6986160B2 - 画像処理方法および画像処理装置

Info

Publication number: JP6986160B2
Application number: JP2020535471A
Authority: JP
Inventors: 淳安藤
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2018-08-10
Filing date: 2018-08-10
Publication date: 2021-12-22
Anticipated expiration: 2038-08-10
Also published as: US20210142512A1; JPWO2020031380A1; WO2020031380A1; CN112513935A

Description

本発明は、画像処理方法および画像処理装置に関する。

近年、深いネットワーク層をもつニューラルネットワークであるディープラーニングが注目を集めている。例えば特許文献１には、ディープラーニングを検出処理に応用した技術が提案されている。

特許文献１に記載される技術では、画像上に等間隔に配置された複数の領域のそれぞれが検出対象を含んでいるかどうか、含んでいるならば領域をどのように移動、変形させれば検出対象とよりフィットするかを学習することで、検出処理を実現している。

Shaoqing Ren、Kaiming He、Ross Girshick and Jian Sun「Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks」、Conference on Neural Information Processing Systems (NIPS)、2015

物体の先端の検出処理には、その位置に加えて方向も重要となる場合があるが、特許文献１に記載されるような従来の技術では、方向を考慮できていない。

本発明はこうした状況に鑑みなされたものであり、その目的は、物体の先端の検出処理において、その位置に加えて方向も考慮できる技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理装置は、画像から物体の先端を検出するための画像処理装置であって、画像の入力を受け付ける画像入力部と、画像に畳み込み演算を適用することにより特徴マップを生成する特徴マップ生成部と、特徴マップに第１の変換を適用することにより第１の出力を生成する第１変換部と、特徴マップに第２の変換を適用することにより第２の出力を生成する第２変換部と、特徴マップに第３の変換を適用することにより第３の出力を生成する第３変換部と、を備える。第１の出力は、画像上にあらかじめ決められた数の候補領域に関する情報を示し、第２の出力は、候補領域に物体の先端が存在するか否かの尤度を示し、第３の出力は、候補領域に存在する物体の先端の方向に関する情報を示す。

本発明の別の態様もまた、画像処理装置である。この装置は、画像から物体の先端を検出するための画像処理装置であって、画像の入力を受け付ける画像入力部と、画像に畳み込み演算を適用することにより特徴マップを生成する特徴マップ生成部と、特徴マップに第１の変換を適用することにより第１の出力を生成する第１変換部と、特徴マップに第２の変換を適用することにより第２の出力を生成する第２変換部と、特徴マップに第３の変換を適用することにより第３の出力を生成する第３変換部と、を備える。第１の出力は、画像上にあらかじめ決められた数の候補点に関する情報を示し、第２の出力は、候補点の近傍に物体の先端が存在するか否かの尤度を示し、第３の出力は、候補点の近傍に存在する物体の先端の方向に関する情報を示す。

本発明のさらに別の態様は、画像処理方法である。この方法は、画像から物体の先端を検出するための画像処理方法であって、画像の入力を受け付ける画像入力ステップと、画像に畳み込み演算を適用することにより特徴マップを生成する特徴マップ生成ステップと、特徴マップに第１の変換を適用することにより第１の出力を生成する第１変換ステップと、特徴マップに第２の変換を適用することにより第２の出力を生成する第２変換ステップと、特徴マップに第３の変換を適用することにより第３の出力を生成する第３変換ステップと、を含む。第１の出力は、画像上にあらかじめ決められた数の候補領域に関する情報を示し、第２の出力は、候補領域に物体の先端が存在するか否かの尤度を示し、第３の出力は、候補領域に存在する物体の先端の方向に関する情報を示す。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、物体の先端の検出処理において、位置に加えて方向も考慮できる技術を提供できる。

実施の形態に係る画像処理装置の機能構成を示すブロック図である。図１の候補領域判別部による、候補領域が処置具の先端を含むか否かの判別において、処置具の先端の方向の信頼度を考慮することの効果を説明するための図である。削除する候補領域の決定において処置具の先端の方向を考慮することの効果を説明するための図である。

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。

図１は、実施の形態に係る画像処理装置１００の機能構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵ（central processing unit）やＧＰＵ（Graphics Processing Unit）をはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。

以下では、画像処理装置１００を内視鏡の処置具の先端の検出に用いる場合を例に説明するが、当業者によれば、画像処理装置１００をそれ以外の物体の先端、具体的には例えばロボットアーム、顕微鏡下の針、スポーツで用いる棒状の道具等の他の物体の先端の検出にも適用できることは明らかである。

画像処理装置１００は、内視鏡画像から内視鏡の処置具の先端を検出するための装置である。画像処理装置１００は、画像入力部１１０と、正解入力部１１１と、特徴マップ生成部１１２と、領域設定部１１３と、第１変換部１１４と、第２変換部１１６と、第３変換部１１８と、統合スコア算出部１２０と、候補領域判別部１２２と、候補領域削除部１２４と、重み初期化部１２６と、全体誤差算出部１２８と、誤差伝播部１３０と、重み更新部１３２と、結果提示部１３３と、重み係数記憶部１３４と、を備える。

まず、学習済みの画像処理装置１００により、内視鏡画像から処置具の先端を検出する適用過程について説明する。

画像入力部１１０は、例えば内視鏡に接続されたビデオプロセッサまたは他の装置から、内視鏡画像の入力を受け付ける。特徴マップ生成部１１２は、画像入力部１１０が受け付けた内視鏡画像に対して、所定の重み係数を用いた畳み込み演算を適用することで特徴マップを生成する。重み係数は、後述する学習過程において得られ、重み係数記憶部１３４に記憶されている。本実施の形態では、畳み込み演算として、ＶＧＧ−１６をベースにした畳み込みニューラルネットワーク（CNN : Convolutional Neural Network）を用いるが、これに限定されず、他のCNNを用いることもできる。例えば、畳み込み演算として、Identity Mapping(IM)を導入したResidual Networkを用いることもできる。

領域設定部１１３は、画像入力部１１０が受け付けた内視鏡画像上に、例えば等間隔に、あらかじめ決められた数の複数の領域（以下、「初期領域」と呼ぶ）を設定する。

第１変換部１１４は、特徴マップに第１の変換を適用することで、複数の初期領域のそれぞれに対応する複数の候補領域に関する情報（第１の出力）を生成する。本実施の形態では、候補領域に関する情報は、初期領域の基準点（例えば中心点）が先端により近づくための位置変動量を含む情報である。なお、候補領域に関する情報は、これには限定されず、例えば処置具の先端によりフィットするように初期領域を移動させた後の領域の位置およびサイズを含む情報であってもよい。第１の変換には、所定の重み係数を用いた畳み込み演算を用いる。重み係数は、後述する学習過程において得られ、重み係数記憶部１３４に記憶されている。

第２変換部１１６は、特徴マップに第２の変換を適用することで、複数の初期領域のそれぞれに処置具の先端が存在するか否かの尤度（第２の出力）を生成する。なお、第２変換部１１６は複数の候補領域のそれぞれに処置具の先端が存在するか否かの尤度を生成してもよい。第２の変換には、所定の重み係数を用いた畳み込み演算を用いる。重み係数は、後述する学習過程において得られ、重み係数記憶部１３４に記憶されている。

第３変換部１１８は、特徴マップに第３の変換を適用することで、複数の初期領域のそれぞれに存在する処置具の先端の方向に関する情報（第３の出力）を生成する。なお、第３変換部１１８は複数の候補領域のそれぞれに存在する処置具の先端の方向に関する情報を生成してもよい。本実施の形態では、処置具の先端の方向に関する情報は、処置具の先端を始点する、先端部の延在方向の延長線に沿って延びる方向ベクトル（ｖ_ｘ，ｖ_ｙ）である。第３の変換には、所定の重み係数を用いた畳み込み演算を用いる。重み係数は、後述する学習過程において得られ、重み係数記憶部１３４に記憶されている。

統合スコア算出部１２０は、第２変換部１１６により生成された尤度と、第３変換部１１８により生成された処置具の先端の方向に関する情報の信頼度に基づいて、複数の初期領域のそれぞれ又は複数の候補領域のそれぞれの統合スコアを算出する。方向に関する情報の「信頼度」とは、本実施の形態では、先端の方向ベクトルの大きさである。統合スコア算出部１２０は特に、尤度と方向の信頼度との重み付け和により、具体的には以下の式（１）により、統合スコア（Score_total）算出する。

ここで、Score₂は尤度であり、w₃は方向ベクトルの大きさに掛けられる重み係数である。

候補領域判別部１２２は、統合スコアに基づいて、複数の候補領域のそれぞれについて処置具の先端を含むか否かを判別し、その結果、処置具の先端が存在している（と推測される）候補領域を特定する。具体的には候補領域判別部１２２は、統合スコアが所定の閾値以上である候補領域について、処置具の先端が存在していると判別する。

図２は、候補領域判別部１２２による、候補領域が処置具の先端を含むか否かの判別において、統合スコアを用いることの効果、すなわち候補領域の判別に尤度のみならず処置具の先端の方向ベクトルの大きさを考慮することの効果を説明するための図である。この例では、処置具１０は二股状であり、二股に分岐する分岐部に突起１２を有している。突起１２は処置具の先端と一部類似した形状をもつことから突起１２を含む候補領域２０の尤度が高く出力される場合もある。この場合、処置具１０の先端１４が存在している候補領域であるか否かを尤度のみを用いて判別すると、候補領域２０を処置具１０の先端１４が存在している候補領域として判別しうる、つまり分岐部の突起１２を処置具の先端と誤検出しうる。これに対し本実施の形態では、上述したように、処置具１０の先端１４が存在している候補領域であるか否かを尤度に加えて先端の方向ベクトルの大きさを考慮して判別する。処置具１０の先端１４ではない分岐部の突起１２の方向ベクトルの大きさは小さくなる傾向にあるため、尤度に加えて方向ベクトルの大きさを考慮することで、検出精度を向上させることができる。

図１に戻り、候補領域削除部１２４は、候補領域判別部１２２により複数の候補領域に処置具の先端が存在すると判別された場合、それら複数の候補領域間の類似度を算出する。そして、類似度が所定の閾値以上であり、かつ、それら複数の候補領域に対応する処置具の先端の方向が実質的に一致している場合、それらは同じ先端を検出していると考えられるため、候補領域削除部１２４は対応する統合スコアが高い方の候補領域を残して低い方の候補領域を削除する。一方、類似度が所定の閾値未満である場合、あるいはそれら複数の候補領域に対応する処置具の先端の方向が互いに異なる場合、それらは別の先端を検出している候補領域と考えられるため、候補領域削除部１２４はいずれの候補領域も削除せずに残す。なお、処置具の先端の方向が実質的に一致している場合とは、互いの先端の方向が平行である場合に加えて、互いの先端の方向がなす鋭角が所定のしきい値以下である場合をいう。また、本実施の形態では、類似度には候補領域間の重複度（Intersection over Union）を用いる。つまり、候補領域同士が重なっているほど類似度は高くなる。なお、類似度は、これには限定されず、例えば候補領域間の距離の逆数を用いてもよい。

図３は、削除する候補領域の決定において先端の方向を考慮することの効果を説明するための図である。この例では、第１の候補領域４０が第１の処置具３０の先端を検出し、第２の候補領域４２が第２の処置具３２の先端を検出している。第１の処置具３０の先端と第２の処置具３２の先端が近接し、ひいては第１の候補領域４０と第２の候補領域４２が近接している場合、それらの類似度だけで削除するか否かを決定すると、第１の候補領域４０と第２の候補領域４２は別々の処置具の先端を検出している候補領域であるにもかかわらず、その一方の候補領域を削除すると決定する虞がある。つまり、第１の候補領域４０と第２の候補領域４２が同じ先端を検出しているものとして、その一方の候補領域を削除してしまうことになる。これに対し、本実施の形態の候補領域削除部１２４は類似度に加えて先端の方向を考慮して候補領域を削除するか否かを決定するため、第１の候補領域４０と第２の候補領域４２とが近接していて類似度が高くても、それらが検出している第１の処置具３０の先端の方向Ｄ１と第２の処置具３２の先端の方向Ｄ２とが異なっているため、いずれの候補領域も削除されず、したがって近接している第１の処置具３０の先端と第２の処置具３２の先端を検出できる。

図１に戻り、結果提示部１３３は、処置具の先端の検出結果を、例えばディスプレイに提示する。結果提示部１３３は、候補領域判別部１２２により処置具の先端が存在すると判別された候補領域であって候補領域削除部１２４に削除されずに残った候補領域を、処置具の先端を検出している候補領域として提示する。

続いて、画像処理装置１００による各畳み込み演算で用いられる各重み係数を学習（最適化）する学習過程について説明する。

重み初期化部１２６は、学習の対象となる各重み係数であって、特徴マップ生成部１１２、第１変換部１１４、第２変換部１１６および第３変換部１１８による各処理で用いられる各重み係数を初期化する。具体的には重み初期化部１２６は、初期化には平均０、標準偏差wscale／√(c_i×k×k)の正規乱数を用いる。wscaleはスケールパラメータであり、c_iは畳み込み層の入力チャンネル数であり、kは畳み込みカーネルサイズである。また、重み係数の初期値として、本学習に用いる内視鏡画像ＤＢとは別の大規模画像ＤＢによって学習済みの重み係数を用いてもよい。これにより、学習に用いる内視鏡画像の数が少ない場合でも、重み係数を学習できる。

画像入力部１１０は、例えばユーザ端末または他の装置から、学習用の内視鏡画像の入力を受け付ける。正解入力部１１１は、ユーザ端末または他の装置から、学習用の内視鏡画像に対応する正解データを受け付ける。第１変換部１１４の処理による出力に対応する正解には、領域設定部１１３によって学習用の内視鏡画像上に設定される複数の初期領域のそれぞれの基準点（中心点）を、処置具の先端に一致させるための位置変動量、すなわち複数の初期領域のそれぞれをどのように動かせばより処理具の先端に近づくかを示す位置変動量を用いる。第２変換部１１６の処理による出力に対応する正解には、初期領域に処置具の先端が存在するか否かを示す２値を用いる。第３の変換に対応する正解には、初期領域に存在する処置具の先端の方向を示す単位方向ベクトルを用いる。

特徴マップ生成部１１２、第１変換部１１４、第２変換部１１６および第３変換部１１８による学習過程での処理は、適用過程での処理と同様である。

全体誤差算出部１２８は、第１変換部１１４、第２変換部１１６、第３変換部１１８の各出力と、それらに対応する各正解データに基づいて、処理全体の誤差を算出する。誤差伝播部１３０は、全体誤差に基づいて、特徴マップ生成部１１２、第１変換部１１４、第２変換部１１６および第３変換部１１８の各処理における誤差を算出する。

重み更新部１３２は、誤差伝播部１３０により算出された誤差に基づいて、特徴マップ生成部１１２、第１変換部１１４、第２変換部１１６および第３変換部１１８の各畳み込み演算において用いられる重み係数を更新する。なお、誤差に基づいて重み係数を更新する手法には、例えば確率的勾配降下法を用いてもよい。

続いて、以上のように構成された画像処理装置１００の適用過程での動作を説明する。
画像処理装置１００は、まず、受け付けた内視鏡画像に複数の初期領域を設定する。続いて画像処理装置１００は、内視鏡画像に畳み込み演算を適用して特徴マップを生成し、特徴マップに第１の演算を適用して複数の候補領域に関する情報を生成し、特徴マップに第２の演算を適用して複数の初期領域のそれぞれに処置具の先端が存在する尤度を生成し、特徴マップに第３の演算を適用して複数の初期領域のそれぞれに存在する処置具の先端の方向に関する情報を生成する。そして、画像処理装置１００は、各候補領域の統合スコアを算出し、統合スコアが所定の閾値以上である候補領域を、処置具の先端を検出している候補領域であると判別する。さらに、画像処理装置１００は、判別された候補領域間の類似度を算出し、当該類似度に基づいて、同じ先端を検出している候補領域のうち尤度の低い候補領域を削除する。最後に画像処理装置１００は、削除されずに残った候補領域を、処理具の先端を検出している候補領域として提示する。

以上説明した画像処理装置１００によると、処置具の先端が存在している候補領域の判別、すなわち処置具の先端の検出に、先端の方向に関する情報が考慮される。これにより、処置具の先端をより高精度に検出できる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

変形例として、画像処理装置１００は、内視鏡画像上に例えば等間隔にあらかじめ決められた数の複数の点（以下、「初期点」と呼ぶ）を設定し、特徴マップに第１の変換を適用することで複数の初期点のそれぞれに対応する複数の候補点に関する情報（第１の出力）を生成し、第２の変換を適用することで初期点のそれぞれ又は複数の候補点のそれぞれの近傍（例えば各点から所定の範囲内）に処置具の先端が存在するか否かの尤度（第２の出力）を生成し、第３の変換を適用することで複数の初期点のそれぞれ又は複数の候補点のそれぞれの近傍に存在する処置具の先端の方向に関する情報（第３の出力）を生成してもよい。

実施の形態および変形例において、画像処理装置は、プロセッサーと、メモリー等のストレージを含んでもよい。ここでのプロセッサーは、例えば各部の機能が個別のハードウェアで実現されてもよいし、あるいは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサーはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路およびアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサーは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することができる。プロセッサーは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサーはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、あるいはＤＳＰ（Digital Signal Processor）等、各種のプロセッサーを用いることが可能である。またプロセッサーはＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field-programmable Gate Array）によるハードウェア回路でもよい。またプロセッサーは、アナログ信号を処理するアンプ回路やフィルター回路等を含んでもよい。メモリーは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリーであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリーはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサーにより実行されることで、画像処理装置の各部の機能が実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサーのハードウェア回路に対して動作を指示する命令であってもよい。

また、実施の形態および変形例において、画像処理装置の各処理部は、例えば通信ネットワークのようなデジタルデータ通信の任意の型式または媒体によって接続されてもよい。通信ネットワークの例は、例えば、ＬＡＮと、ＷＡＮと、インターネットを形成するコンピュータおよびネットワークとを含む。

１００画像処理装置、１１０画像入力部、１１２特徴マップ生成部、１１４第１変換部、１１６第２変換部、１１８第３変換部。

本発明は、画像処理方法および画像処理装置に関する。

Claims

画像から物体の先端を検出するための画像処理装置であって、
画像の入力を受け付ける画像入力部と、
前記画像に畳み込み演算を適用することにより特徴マップを生成する特徴マップ生成部と、
前記特徴マップに第１の変換を適用することにより第１の出力を生成する第１変換部と、
前記特徴マップに第２の変換を適用することにより第２の出力を生成する第２変換部と、
前記特徴マップに第３の変換を適用することにより第３の出力を生成する第３変換部と、
を備え、
前記第１の出力は、前記画像上にあらかじめ決められた数の候補領域に関する情報を示し、
前記第２の出力は、前記候補領域に前記物体の先端が存在するか否かの尤度を示し、
前記第３の出力は、前記候補領域に存在する前記物体の先端の方向に関する情報を示すことを特徴とする画像処理装置。
画像から物体の先端を検出するための画像処理装置であって、
画像の入力を受け付ける画像入力部と、
前記画像に畳み込み演算を適用することにより特徴マップを生成する特徴マップ生成部と、
前記特徴マップに第１の変換を適用することにより第１の出力を生成する第１変換部と、
前記特徴マップに第２の変換を適用することにより第２の出力を生成する第２変換部と、
前記特徴マップに第３の変換を適用することにより第３の出力を生成する第３変換部と、
を備え、
前記第１の出力は、前記画像上にあらかじめ決められた数の候補点に関する情報を示し、
前記第２の出力は、前記候補点の近傍に前記物体の先端が存在するか否かの尤度を示し、
前記第３の出力は、前記候補点の近傍に存在する前記物体の先端の方向に関する情報を示すことを特徴とする画像処理装置。
前記物体は内視鏡の処置具であることを特徴とする請求項１または２に記載の画像処理装置。
前記物体はロボットアームであることを特徴とする請求項１または２に記載の画像処理装置。
前記方向に関する情報には、前記物体の先端の方向と、当該方向の信頼度に関する情報が含まれることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
前記第２の出力が示す尤度と前記方向の信頼度に基づいて、前記候補領域の統合スコアを算出する統合スコア算出部をさらに備えることを特徴とする請求項５に記載の画像処理装置。
前記方向に関する情報に含まれる方向の信頼度に関する情報は、前記物体の先端の方向を示す方向ベクトルの大きさであり、
前記統合スコアは、前記尤度と前記方向ベクトルとの重み付け和であることを特徴とする請求項６に記載の画像処理装置。
前記統合スコアに基づいて、前記物体の先端が存在する候補領域を判別する候補領域判別部をさらに備えることを特徴とする請求項６または７に記載の画像処理装置。
前記候補領域に関する情報には、対応する初期領域の基準点を前記物体の先端に近づけるための位置変動量が含まれることを特徴とする請求項１に記載の画像処理装置。
前記候補領域のうちの第１の候補領域と第２の候補領域の類似度を算出し、当該類似度と前記第１の候補領域と前記第２の候補領域に対応する前記方向に関する情報に基づいて、前記第１の候補領域および前記第２の候補領域のいずれか一方を削除するか否かを決定する候補領域削除部をさらに含むことを特徴とする請求項１に記載の画像処理装置。
前記類似度は、前記第１の候補領域と前記第２の候補領域との距離の逆数であることを特徴とする請求項１０に記載の画像処理装置。
前記類似度は、前記第１の候補領域と前記第２の候補領域との重複度であることを特徴とする請求項１０に記載の画像処理装置。
前記第１変換部、第２変換部および第３変換部はそれぞれ、前記特徴マップに畳み込み演算を適用することを特徴とする請求項１から１２のいずれかに記載の画像処理装置。
前記第１変換部、第２変換部および第３変換部の出力とあらかじめ用意した正解とから処理全体の誤差を算出する全体誤差算出部と、
前記処理全体の誤差に基づいて、前記特徴マップ生成部、前記第１変換部、前記第２変換部および前記第３変換部の各処理における誤差を算出する誤差伝播部と、
前記各処理における誤差に基づいて、前記各処理における畳み込み演算で用いる重み係数を更新する重み更新部と、をさらに備えることを特徴とする請求項１３に記載の画像処理装置。
画像から物体の先端を検出するための画像処理方法であって、
画像の入力を受け付ける画像入力ステップと、
前記画像に畳み込み演算を適用することにより特徴マップを生成する特徴マップ生成ステップと、
前記特徴マップに第１の変換を適用することにより第１の出力を生成する第１変換ステップと、
前記特徴マップに第２の変換を適用することにより第２の出力を生成する第２変換ステップと、
前記特徴マップに第３の変換を適用することにより第３の出力を生成する第３変換ステップと、
を含み、
前記第１の出力は、前記画像上にあらかじめ決められた数の候補領域に関する情報を示し、
前記第２の出力は、前記候補領域に前記物体の先端が存在するか否かの尤度を示し、
前記第３の出力は、前記候補領域に存在する前記物体の先端の方向に関する情報を示すことを特徴とする画像処理方法。
画像から物体の先端を検出するための画像処理装置に、
画像の入力を受け付ける機能と、
前記画像に畳み込み演算を適用することにより特徴マップを生成する機能と、
前記特徴マップに第１の変換を適用することにより第１の出力を生成する機能と、
前記特徴マップに第２の変換を適用することにより第２の出力を生成する機能と、
前記特徴マップに第３の変換を適用することにより第３の出力を生成する機能と、
を実行させ、
前記第１の出力は、前記画像上にあらかじめ決められた数の候補領域に関する情報を示し、
前記第２の出力は、前記候補領域に前記物体の先端が存在するか否かの尤度を示し、
前記第３の出力は、前記候補領域に存在する前記物体の先端の方向に関する情報を示すことを特徴とするコンピュータプログラム。