WO2021181448A1

WO2021181448A1 - 面推定方法、面推定装置、および記録媒体

Info

Publication number: WO2021181448A1
Application number: PCT/JP2020/009973
Authority: WO
Inventors: 山本　直樹
Original assignee: オリンパス株式会社
Priority date: 2020-03-09
Filing date: 2020-03-09
Publication date: 2021-09-16
Also published as: US20230003991A1; JPWO2021181448A1

Abstract

面推定方法は、生成ステップ、領域設定ステップ、および推定ステップを有する。前記生成ステップにおいて被写体上の３つ以上の点の３次元座標を含む３次元画像データが生成される。前記領域設定ステップにおいて、３次元の領域および２次元の領域の一方である基準領域が設定される。前記推定ステップにおいて、前記基準領域に含まれる前記３つ以上の点に対応する前記３次元画像データの３つ以上の点に基づいて、前記被写体の表面を近似する基準面が推定される。

Description

面推定方法、面推定装置、および記録媒体

　本発明は、面推定方法、面推定装置、および記録媒体に関する。

　ボイラー、パイプ、および航空機エンジン等の内部の傷および腐食等の観察および検査に工業用の内視鏡装置が使用されている。この内視鏡装置では、多様な観察物を観察および検査するための複数種類の光学アダプターが用意されている。光学アダプターは、内視鏡の先端部分に装着され、かつ交換可能である。このような内視鏡装置を使用した検査において、被写体の欠陥および傷の大きさを定量的に計測したいという要望がある。この要望に応えるために、３次元計測機能が搭載された内視鏡装置が存在する。

　例えば、ユーザーによって画像上で指定された点の情報に基づいて被写体の幾何学的な大きさを計測する機能が内視鏡装置に搭載されている。例えば、面基準計測では、ユーザーによって指定された３つ以上の点に基づいて基準面が推定され、かつユーザーによって指定された計測点と基準面との間の３次元距離が計測される。基準面は、被写体の表面を近似する。

　特許文献１に開示された装置は、平面または曲面を基準面として使用し、かつ面基準計測を実行する。図６７および図６８は、特許文献１における基準面を推定するための３つ以上の点を被写体の画像Ｇ３０１に設定する例を示す。

　図６７において、点Ｐ３０１、点Ｐ３０２、点Ｐ３０３、および点Ｐ３０４が画像Ｇ３０１に設定される。４つの点の各々は正方形の頂点に配置されている。図６８において、線Ｌ３１１上の２つ以上の点Ｐ３１１および線Ｌ３１２上の２つ以上の点Ｐ３１２が画像Ｇ３０１に設定される。

日本国特開２０１７－１６２４５２号公報

　被写体の表面が曲面である場合、特許文献１に開示された装置は基準面を正しく推定できない可能性がある。図６９および図７０は、誤った基準面が推定される例を示す。

　図６９において、点Ｐ３２１、点Ｐ３２２、および点Ｐ３２３が球ＳＰ３０１の表面上に設定される。球ＳＰ３０１をＺ軸に平行な方向に見た場合、３つの点の各々は三角形の頂点に配置されている。３つの点のＺ方向における高さが同じである場合、３つの点は平面上にある。そのため、その平面が基準面として誤って推定される。

　図７０において、線Ｌ３３１および線Ｌ３３２が円筒ＣＹ３０１の表面上に設定され、かつ線Ｌ３３１上の２つ以上の点Ｐ３３１および線Ｌ３３２上の２つ以上の点Ｐ３３２が設定される。線Ｌ３３１および線Ｌ３３２が円筒ＣＹ３０１の中心軸に平行である場合、２つ以上の点Ｐ３３１および２つ以上の点Ｐ３３２は平面上にある。そのため、その平面が基準面として誤って推定される。

　本発明は、基準面の精度を向上させることができる面推定方法、面推定装置、および記録媒体を提供することを目的とする。

　本発明の第１の態様によれば、面推定方法は、生成ステップ、領域設定ステップ、および推定ステップを有する。前記生成ステップにおいて、被写体の２次元画像に基づいて前記被写体上の３つ以上の点の３次元座標が算出され、かつ前記３つ以上の点の前記３次元座標を含む３次元画像データが生成される。前記領域設定ステップにおいて、３次元の領域および２次元の領域の一方である基準領域が設定される。前記３次元の領域は、３つ以上の点を含み、かつ３次元空間に設定される。前記３次元空間は、前記３次元画像データに含まれる前記３次元座標を含む。前記２次元の領域は、３つ以上の点を含み、かつ前記２次元画像に設定される。前記基準領域の前記３つ以上の点は、三角形を形成する３つの点で構成される１つ以上の組を含む。前記推定ステップにおいて、前記基準領域に含まれる前記３つ以上の点に対応する前記３次元画像データの３つ以上の点に基づいて、前記被写体の表面を近似する基準面が推定される。

　本発明の第２の態様によれば、第１の態様において、前記領域設定ステップにおいて、前記３次元の領域である前記基準領域が前記３次元空間に設定されてもよい。

　本発明の第３の態様によれば、第１の態様において、前記領域設定ステップにおいて、前記２次元の領域である前記基準領域が前記２次元画像に設定されてもよい。

　本発明の第４の態様によれば、第２の態様において、前記領域設定ステップにおいて、前記３次元画像データに含まれる前記３次元座標に対応する前記３つ以上の点の連続性が判断されてもよい。前記基準領域は、前記連続性を持つと判断された前記３つ以上の点のみを含んでもよい。

　本発明の第５の態様によれば、第１の態様において、前記基準領域は、凸集合ではない領域を含んでもよい。

　本発明の第６の態様によれば、第１の態様において、前記基準領域は、２つ以上の領域を含んでもよい。

　本発明の第７の態様によれば、第１の態様において、前記面推定方法は、画像表示ステップ、位置入力ステップ、および状態判断ステップをさらに有してもよい。前記画像表示ステップにおいて、前記３次元画像データの画像および前記２次元画像の一方がディスプレイに表示されてもよい。前記位置入力ステップにおいて、入力装置を通して入力された位置情報が受け付けられてもよい。前記位置情報は、前記ディスプレイに表示された前記３次元画像データの前記画像または前記２次元画像上の位置を示してもよい。前記状態判断ステップにおいて、前記被写体の状態が判断されてもよい。前記領域設定ステップにおいて、前記位置情報が示す前記位置と、前記状態とに基づいて前記基準領域の境界が判断されてもよい。

　本発明の第８の態様によれば、第５の態様において、前記基準領域の境界は、第１の境界と、前記第１の境界よりも内側にある第２の境界とを含んでもよい。

　本発明の第９の態様によれば、第６の態様において、前記領域設定ステップにおいて、前記３次元画像データに含まれる前記３次元座標に対応する前記３つ以上の点が２つ以上の領域に分割されてもよい。前記基準領域の境界は、前記２つ以上の領域に含まれる１つ以上の領域の境界を含んでもよい。

　本発明の第１０の態様によれば、第６の態様において、前記基準領域の大きさおよび前記基準領域の位置の少なくとも一方を示す領域情報が記録媒体に予め記録されてもよい。前記領域設定ステップにおいて、前記領域情報に基づいて前記基準領域の前記大きさおよび前記基準領域の前記位置の少なくとも一方が設定されてもよい。

　本発明の第１１の態様によれば、第６の態様において、前記面推定方法は、前記３次元画像データの画像および前記２次元画像の一方をディスプレイに表示する画像表示ステップをさらに有してもよい。前記領域設定ステップにおいて、前記３次元画像データの前記画像または前記２次元画像上の３つ以上の点が入力装置を通して入力されてもよい。前記領域設定ステップにおいて、入力された前記３つ以上の点を含む前記基準領域が設定されてもよい。

　本発明の第１２の態様によれば、第１１の態様において、前記領域設定ステップにおいて、入力された前記３つ以上の点を結ぶ線分に基づいて前記基準領域が設定されてもよい。

　本発明の第１３の態様によれば、第６の態様において、前記面推定方法は、前記３次元画像データの画像および前記２次元画像の一方をディスプレイに表示する画像表示ステップをさらに有してもよい。前記領域設定ステップにおいて、ユーザーが前記３次元画像データの前記画像または前記２次元画像において指定した線上の３つ以上の点が入力装置を通して入力されてもよい。前記領域設定ステップにおいて、前記線上の前記３つ以上の点を含む前記基準領域が設定されてもよい。

　本発明の第１４の態様によれば、第６の態様において、前記推定ステップにおいて、前記基準領域に含まれる４つ以上の点から前記３つ以上の点が選択されてもよい。前記推定ステップにおいて、選択された前記３つ以上の点に対応する前記３次元画像データの３つ以上の点に基づいて、前記基準面が推定されてもよい。

　本発明の第１５の態様によれば、第６の態様において、前記面推定方法は、前記３次元画像データの画像および前記２次元画像の一方をディスプレイに表示し、かつ前記基準領域を前記３次元画像データの前記画像または前記２次元画像上に表示する画像表示ステップをさらに有してもよい。

　本発明の第１６の態様によれば、第６の態様において、前記面推定方法は、前記３次元画像データの画像をディスプレイに表示し、かつ前記基準面の推定に使用された前記３次元画像データの前記３つ以上の点を前記３次元画像データの前記画像上に表示する画像表示ステップをさらに有してもよい。

　本発明の第１７の態様によれば、第６の態様において、前記面推定方法は、前記２次元画像をディスプレイに表示し、かつ前記基準面の推定に使用された前記３次元画像データの前記３つ以上の点に対応する３つ以上の点を前記２次元画像上に表示する画像表示ステップをさらに有してもよい。

　本発明の第１８の態様によれば、第６の態様において、前記面推定方法は、分割ステップおよび画像表示ステップをさらに有してもよい。前記分割ステップにおいて、前記３次元画像データに含まれる前記３次元座標に対応する３つ以上の点が２つ以上の領域に分割されてもよい。前記画像表示ステップにおいて、前記３次元画像データの画像および前記２次元画像の一方がディスプレイに表示され、かつ前記２つ以上の領域の画像が前記ディスプレイに表示されてもよい

　本発明の第１９の態様によれば、第６の態様において、前記面推定方法は、マップ生成ステップおよび画像表示ステップをさらに有してもよい。前記マップ生成ステップにおいて、前記３次元画像データが示す前記被写体の３次元形状における曲率の分布を示す曲率マップが生成されてもよい。前記画像表示ステップにおいて、前記３次元画像データの画像および前記２次元画像の一方がディスプレイに表示され、かつ前記曲率マップの画像が前記ディスプレイに表示されてもよい。

　本発明の第２０の態様によれば、第６の態様において、前記面推定方法は、前記３次元画像データの画像および前記２次元画像の一方をディスプレイに表示し、かつ前記基準面に対応する領域を前記３次元画像データの前記画像または前記２次元画像上に表示する画像表示ステップをさらに有してもよい。

　本発明の第２１の態様によれば、第６の態様において、前記面推定方法は、前記３次元画像データの画像および前記２次元画像の一方に基づいて前記被写体の前記表面における異常な領域を検出する異常検出ステップをさらに有してもよい。前記領域設定ステップにおいて、前記異常な領域に対応する領域を除く前記基準領域が設定されてもよい。

　本発明の第２２の態様によれば、第６の態様において、前記面推定方法は、前記基準面に基づいて前記被写体の大きさを計測する計測ステップをさらに有してもよい。

　本発明の第２３の態様によれば、第２２の態様において、前記計測ステップにおいて、前記基準面と前記被写体の前記表面上の点との間の３次元距離が計測されてもよい。

　本発明の第２４の態様によれば、第６の態様において、前記推定ステップにおいて、前記基準面の幾何学的な特徴がさらに推定されてもよい。

　本発明の第２５の態様によれば、面推定方法は、読み出しステップ、領域設定ステップ、および推定ステップを有する。前記読み出しステップにおいて、被写体の２次元画像に基づいて算出された前記被写体上の３つ以上の点の３次元座標を含む３次元画像データが記録媒体から読み出される。前記領域設定ステップにおいて、３次元の領域および２次元の領域の一方である基準領域が設定される。前記３次元の領域は、３つ以上の点を含み、かつ３次元空間に設定される。前記３次元空間は、前記３次元画像データに含まれる前記３次元座標を含む。前記２次元の領域は、３つ以上の点を含み、かつ前記２次元画像に設定される。前記基準領域の前記３つ以上の点は、三角形を形成する３つの点で構成される１つ以上の組を含む。前記推定ステップにおいて、前記基準領域に含まれる前記３つ以上の点に対応する前記３次元画像データの３つ以上の点に基づいて、前記被写体の表面を近似する基準面が推定される。

　本発明の第２６の態様によれば、面推定装置は、生成部、領域設定部、および推定部を有する。前記生成部は、被写体の２次元画像に基づいて前記被写体上の３つ以上の点の３次元座標を算出し、かつ前記３つ以上の点の前記３次元座標を含む３次元画像データを生成する。前記領域設定部は、３次元の領域および２次元の領域の一方である基準領域を設定する。前記３次元の領域は、３つ以上の点を含み、かつ３次元空間に設定される。前記３次元空間は、前記３次元画像データに含まれる前記３次元座標を含む。前記２次元の領域は、３つ以上の点を含み、かつ前記２次元画像に設定される。前記基準領域の前記３つ以上の点は、三角形を形成する３つの点で構成される１つ以上の組を含む。前記推定部は、前記基準領域に含まれる前記３つ以上の点に対応する前記３次元画像データの３つ以上の点に基づいて、前記被写体の表面を近似する基準面を推定する。

　本発明の第２７の態様によれば、生成ステップ、領域設定ステップ、および推定ステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体が提供される。前記生成ステップにおいて、被写体の２次元画像に基づいて前記被写体上の３つ以上の点の３次元座標が算出され、かつ前記３つ以上の点の前記３次元座標を含む３次元画像データが生成される。前記領域設定ステップにおいて、３次元の領域および２次元の領域の一方である基準領域が設定される。前記３次元の領域は、３つ以上の点を含み、かつ３次元空間に設定される。前記３次元空間は、前記３次元画像データに含まれる前記３次元座標を含む。前記２次元の領域は、３つ以上の点を含み、かつ前記２次元画像に設定される。前記基準領域の前記３つ以上の点は、三角形を形成する３つの点で構成される１つ以上の組を含む。前記推定ステップにおいて、前記基準領域に含まれる前記３つ以上の点に対応する前記３次元画像データの３つ以上の点に基づいて、前記被写体の表面を近似する基準面が推定される。

　上記の各態様によれば、面推定方法、面推定装置、および記録媒体は、基準面の精度を向上させることができる。

本発明の第１の実施形態の面推定装置の構成を示すブロック図である。本発明の第１の実施形態における面推定処理の手順を示すフローチャートである。本発明の第１の実施形態における点群データの３次元画像の例を示す図である。本発明の第１の実施形態における点群データを模式的に示す図である。本発明の第１の実施形態における２Ｄ画像の例を示す図である。本発明の第２の実施形態による内視鏡装置の全体構成を示す斜視図である。本発明の第２の実施形態による内視鏡装置の内部構成を示すブロック図である。本発明の第２の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第２の実施形態における面推定処理の手順を示すフローチャートである。本発明の第２の実施形態において表示部に表示される画像の例を示す図である。本発明の第２の実施形態において表示部に表示される画像の例を示す図である。本発明の第２の実施形態において表示部に表示される画像の例を示す図である。本発明の第２の実施形態において表示部に表示される画像の例を示す図である。本発明の第２の実施形態の第１の変形例において表示部に表示される画像の例を示す図である。本発明の第２の実施形態の第１の変形例において表示部に表示される画像の例を示す図である。本発明の第２の実施形態の第１の変形例において表示部に表示される画像の例を示す図である。本発明の第２の実施形態の第２の変形例における基準領域の例を示す図である。本発明の第２の実施形態の第２の変形例における基準領域の例を示す図である。本発明の第２の実施形態の第３の変形例において表示部に表示される画像の例を示す図である。本発明の第３の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第３の実施形態における３次元計測の手順を示すフローチャートである。本発明の第４の実施形態における基準領域を説明するための図である。本発明の第４の実施形態における基準領域を説明するための図である。本発明の第４の実施形態における基準領域の例を示す図である。本発明の第４の実施形態における基準領域の例を示す図である。本発明の第４の実施形態における基準領域の例を示す図である。本発明の第４の実施形態における基準領域の例を示す図である。本発明の第４の実施形態において基準面の推定に使用される点の例を示す図である。本発明の第４の実施形態において基準面の推定に使用される点の例を示す図である。本発明の第５の実施形態における基準領域の例を示す図である。本発明の第５の実施形態における基準領域の例を示す図である。本発明の第６の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第６の実施形態における面推定処理の手順を示すフローチャートである。本発明の第６の実施形態において表示部に表示される画像の例を示す図である。本発明の第６の実施形態における点群データの３次元画像上の２つ以上の領域を示す図である。本発明の第６の実施形態において表示部に表示される画像の例を示す図である。本発明の第６の実施形態の第１の変形例における面推定処理の手順を示すフローチャートである。本発明の第６の実施形態の第１の変形例において表示部に表示される画像の例を示す図である。本発明の第６の実施形態の第３の変形例における面推定処理の手順を示すフローチャートである。本発明の第６の実施形態の第３の変形例において表示部に表示される画像の例を示す図である。本発明の第７の実施形態において表示部に表示される画像の例を示す図である。本発明の第７の実施形態において表示部に表示される画像の例を示す図である。本発明の第８の実施形態において表示部に表示される画像の例を示す図である。本発明の第９の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第９の実施形態における面推定処理の手順を示すフローチャートである。本発明の第９の実施形態において表示部に表示される画像の例を示す図である。本発明の第９の実施形態の変形例による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第９の実施形態の変形例における面推定処理の手順を示すフローチャートである。本発明の第９の実施形態の変形例において表示部に表示される画像の例を示す図である。本発明の第１０の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第１０の実施形態における面推定処理の手順を示すフローチャートである。本発明の第１０の実施形態において表示部に表示される画像の例を示す図である。本発明の第１０の実施形態において表示部に表示される画像の例を示す図である。本発明の第１１の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第１１の実施形態における面推定処理の手順を示すフローチャートである。本発明の第１１の実施形態において表示部に表示される画像の例を示す図である。本発明の第１２の実施形態によるパーソナルコンピュータの構成を示すブロック図である。本発明の第１２の実施形態によるパーソナルコンピュータが有するＣＰＵの機能構成を示すブロック図である。関連発明の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。関連発明の実施形態において、注目要因が発生した領域を検出する処理の手順を示すフローチャートである。関連発明の実施形態におけるステレオ画像の例を示す図である。関連発明の実施形態において、三角形が設定された画像の例を示す図である。関連発明の実施形態において、ステレオ画像に含まれる２枚の画像の各々に設定された三角形を示す図である。関連発明の実施形態において、ステレオ画像に含まれる画像の例を示す図である。関連発明の実施形態において、ステレオ画像に含まれる画像の例を示す図である。関連発明の実施形態において、注目要因が発生した領域の例を示す図である。従来技術における基準面を推定するための点を設定する例を示す図である。従来技術における基準面を推定するための点を設定する例を示す図である。従来技術における基準面を推定するための点を設定する例を示す図である。従来技術における基準面を推定するための点を設定する例を示す図である。

　図面を参照し、本発明の実施形態を説明する。

　（第１の実施形態）
　図１は、本発明の第１の実施形態の面推定装置７の構成を示す。図１に示す面推定装置７は、生成部７０、領域設定部７１、および面推定部７２を有する。

　生成部７０は、被写体の２次元画像に基づいて被写体上の３つ以上の点の３次元座標を算出し、かつその３つ以上の点の３次元座標を含む点群データ（３次元画像データ）を生成する（生成ステップ）。領域設定部７１は、３次元の領域および２次元の領域の一方である基準領域を設定する（領域設定ステップ）。その３次元の領域は、３つ以上の点を含み、かつ３次元空間に設定される。その３次元空間は、点群データに含まれる３次元座標を含む。その２次元の領域は、３つ以上の点を含み、かつ被写体の２次元画像に設定される。基準領域の３つ以上の点は、三角形を形成する３つの点で構成される１つ以上の組を含む。面推定部７２は、基準領域に含まれる３つ以上の点に対応する点群データの３つ以上の点に基づいて、被写体の表面を近似する基準面を推定する（推定ステップ）。

　図１に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）の少なくとも１つである。図１に示す各部は、１つまたは複数のプロセッサを含むことができる。図１に示す各部は、１つまたは複数の論理回路を含むことができる。

　面推定装置７のコンピュータがプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、生成部７０、領域設定部７１、および面推定部７２の動作を規定する命令を含む。つまり、生成部７０、領域設定部７１、および面推定部７２の機能はソフトウェアにより実現されてもよい。

　上記のプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により面推定装置７に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。コンピュータに既に記録されているプログラムと差分プログラムとの組合せが、前述した機能を実現してもよい。

　図２を使用して、第１の実施形態における面推定処理について説明する。図２は、面推定処理の手順を示す。

　生成部７０は、被写体の２次元画像（２Ｄ画像）に基づいて被写体上の３つ以上の点の３次元座標（３Ｄ座標）を算出し、かつその３つ以上の点の３Ｄ座標を含む点群データを生成する（ステップＳ１）。ステップＳ１は、生成ステップに対応する。

　被写体の２Ｄ画像がステレオ画像である場合、１枚の２Ｄ画像は、第１の視点から見た被写体の画像と、第１の視点と異なる第２の視点から見た被写体の画像とを含む。生成部７０は、その２Ｄ画像の各画素に対応する３Ｄ座標を算出する。生成部７０は、被写体上の３つ以上の点の３Ｄ座標を含む点群データを生成する。点群データにおいて３つ以上の点の各々の３Ｄ座標は２Ｄ画像上の点と関連付けられている。具体的には、点群データにおける３Ｄ座標は、２Ｄ画像上の画素と関連付けられている。例えば、点群データは、３Ｄ座標と、２Ｄ画像上の画素の位置情報とを含む。

　生成部７０は、２枚以上の画像を使用することにより、かつＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）を適用することにより、被写体上の３つ以上の点の３Ｄ座標を算出してもよい。生成部７０は、空間的な位相が互いに異なる２つ以上の縞パターンが投影された被写体の２枚以上の２Ｄ画像を使用することにより、かつ位相シフト法を適用することにより、被写体上の３つ以上の点の３Ｄ座標を算出してもよい。生成部７０は、明部および暗部がランダムに配置されたパターン光が照射された被写体の１枚の２Ｄ画像を使用することにより、被写体上の３つ以上の点の３Ｄ座標を算出してもよい。点群データを生成する方法は上記の方法に限らない。

　生成部７０は、点群データをディスプレイに表示するための３次元画像（３Ｄ画像）を生成してもよい。３Ｄ画像は、点群データが示す３次元形状（３Ｄ形状）の画像である。３Ｄ画像は、各画素のカラーデータを含む。３Ｄ画像の各画素は、３Ｄ座標と関連付けられている。生成部７０は、互いに異なる２つ以上の視点の各々に対応する３Ｄ画像を生成してもよい。

　ステップＳ１の後、領域設定部７１は、３次元の領域および２次元の領域の一方である基準領域を設定する（ステップＳ２）。ステップＳ２は、領域設定ステップに対応する。

　図３は、点群データの３Ｄ画像の例を示す。生成部７０は、点群データをメッシュデータに変換し、かつそのメッシュデータにテクスチャを付加する。生成部７０は、この処理を実行することにより３Ｄ画像Ｇ１を生成する。生成部７０は、点群データをメッシュデータに変換せずに３Ｄ画像を生成してもよい。

　３Ｄ画像Ｇ１において、テクスチャが付加された点群データＰＤ１が示されている。図３に示す例では、領域設定部７１は３次元の基準領域Ｒ１を設定する。基準領域Ｒ１は立方体であり、体積を持つ。基準領域Ｒ１は、直方体、球、または円筒などであってもよい。基準領域Ｒ１の形状はこれらの例に限らない。

　生成部７０は、入力装置を通して入力された情報に基づいて、基準領域Ｒ１の位置および基準領域Ｒ１の大きさの少なくとも一方を設定する。あるいは、生成部７０は、基準領域Ｒ１の位置および基準領域Ｒ１の大きさの少なくとも一方を自動で設定する。図３に示す例では、基準領域Ｒ１を説明するために３Ｄ画像Ｇ１が使用される。生成部７０が３Ｄ画像Ｇ１を生成する必要はない。

　図４は、３次元空間（３Ｄ空間）における点群データを模式的に示す。点群データの３Ｄ座標は、３Ｄ空間ＳＰ１において定義され、かつＸ座標、Ｙ座標、およびＺ座標を含む。点群データにおける２つ以上の点ＣＰ１が図４に示されている。図４に示す例では、領域設定部７１は３次元の基準領域Ｒ２を３Ｄ空間ＳＰ１に設定する。基準領域Ｒ２は、点群データにおける３つ以上の点ＣＰ１を含む。基準領域Ｒ２における３つ以上の点ＣＰ１は３次元状に広がる。

　基準領域Ｒ２における３つ以上の点ＣＰ１は、三角形を形成する３つの点で構成される１つ以上の組を含む。例えば、基準領域Ｒ２における点ＣＰ１ａ、点ＣＰ１ｂ、および点ＣＰ１ｃは三角形Ｔ１を形成する。基準領域Ｒ２において、三角形を形成する３つの点で構成される多くの組が存在する。

　３Ｄ空間ＳＰ１における任意の仮想直線が基準領域Ｒ２における１つ以上の点ＣＰ１を通る場合であっても、その仮想直線が通らない１つ以上の点ＣＰ１が基準領域Ｒ２内に必ず存在する。図４において、仮想直線Ｌ１および仮想直線Ｌ２が示されている。仮想直線Ｌ１および仮想直線Ｌ２の各々は、基準領域Ｒ２における３つ以上の点ＣＰ１のうちの一部のみを通る。基準領域Ｒ２を通る任意の仮想直線は、基準領域Ｒ２における３つ以上の点ＣＰ１のうちの一部のみを通る。

　図５は、被写体の２Ｄ画像の例を示す。図５に示す例では、領域設定部７１は２次元の基準領域Ｒ３を被写体の２Ｄ画像Ｇ２に設定する。基準領域Ｒ３は正方形であり、面積を持つ。基準領域Ｒ３は、３つ以上の頂点を持つ多角形であってもよい。基準領域Ｒ３は、円または楕円などであってもよい。基準領域Ｒ３の形状はこれらの例に限らない。

　生成部７０は、入力装置を通して入力された情報に基づいて、基準領域Ｒ３の位置および基準領域Ｒ３の大きさの少なくとも一方を設定する。あるいは、生成部７０は、基準領域Ｒ３の位置および基準領域Ｒ３の大きさの少なくとも一方を自動で設定する。

　基準領域Ｒ３は、被写体の表面上の３つ以上の点を含む。被写体の２Ｄ画像上の点は、点群データにおける点の３Ｄ座標と関連付けられている。そのため、基準領域Ｒ３における３つ以上の点の各々は、点群データにおける点の３Ｄ座標と関連付けられている。基準領域Ｒ３における３つ以上の点は２次元状に広がる。そのため、基準領域Ｒ３の３つ以上の点に対応する点群データの３つ以上の点は３次元状に広がる。

　ステップＳ２の後、面推定部７２は、基準領域に含まれる３つ以上の点に対応する点群データの３つ以上の点に基づいて、被写体の表面を近似する基準面を推定する（ステップＳ３）。ステップＳ３は、推定ステップに対応する。ステップＳ３が実行されたとき、面推定処理が終了する。

　基準領域が３次元の領域である場合、基準領域は点群データにおける３つ以上の点を含む。面推定部７２は、その３つ以上の点の各々の３Ｄ座標を点群データから取得する。面推定部７２は、基準領域における３つ以上の点の３Ｄ座標に基づいて基準面を推定する。

　基準領域が２次元の領域である場合、基準領域は被写体の２Ｄ画像上の３つ以上の点を含む。被写体の２Ｄ画像上の点は、点群データにおける点の３Ｄ座標と関連付けられている。面推定部７２は、基準領域における３つ以上の点の各々と関連付けられた３Ｄ座標を点群データから取得する。面推定部７２は、基準領域における３つ以上の点に対応する点群データの３つ以上の点の３Ｄ座標に基づいて基準面を推定する。

　例えば、面推定部７２は、最小二乗法を使用することにより、平面である基準面を推定する。面推定部７２は、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ　Ｓａｍｐｌｅ　Ｃｏｎｓｅｎｓｕｓ）のようなロバスト推定のアルゴリズムを使用することにより基準面を推定してもよい。面推定部７２は、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇのような機械学習を使用することにより基準面を推定してもよい。基準面は、球面、円筒面、または２次曲面などであってもよい。面推定部７２が平面を推定する場合、基準領域は３つ以上の点を含む。面推定部７２が球面を推定する場合、基準領域は４つ以上の点を含む。面推定部７２が円筒面を推定する場合、基準領域は５つ以上の点を含む。基準面の形状は上記の例に限らない。

　面推定装置７は、生成部７０の代わりに、被写体の２次元画像に基づいて算出された被写体上の３つ以上の点の３次元座標を含む点群データを記録媒体から読み出す読み出し部を有してもよい。読み出し部は、図２に示すステップＳ１を実行せずに、点群データを記録媒体から読み出してもよい（読み出しステップ）。生成部７０と同様の機能を有する処理部は、点群データを生成し、記録媒体に点群データを記録する。面推定装置７と異なる装置が処理部を有してもよい。

　第１の実施形態において、面推定装置７は、３次元または２次元の基準領域を設定する。基準領域は、３次元状または２次元状に広がる３つ以上の点を含む。そのため、基準面の推定に使用される点群データの３つ以上の点が平面上または直線上で偏って位置する可能性が減る。したがって、面推定装置７は、基準面の精度を向上させることができる。

　（第２の実施形態）
　本発明の第２の実施形態を説明する。以下では、面推定装置が内視鏡装置である例を説明する。面推定装置は、面推定機能を有する装置でありさえすればよく、内視鏡装置に限らない。面推定装置は、特定の装置またはシステムに実装された組み込み機器であってもよい。面推定装置は、クラウド上の環境であってもよい。被写体は、工業製品である。

　図６は、第２の実施形態の内視鏡装置１の外観を示す。図７は、内視鏡装置１の内部構成を示す。内視鏡装置１は、被写体を撮像し、画像を生成する。検査者は、種々の被写体の観察を実施するために、挿入部２の先端に装着される光学アダプターの交換と、内蔵された映像処理プログラムの選択と、映像処理プログラムの追加とを実施することが可能である。

　図６に示す内視鏡装置１は、挿入部２、本体部３、操作部４、および表示部５を有する。

　挿入部２は、被写体の内部に挿入される。挿入部２は、先端２０から基端部にわたって屈曲可能な細長い管状である。挿入部２は、被写体を撮像し、かつ撮像信号を本体部３に出力する。挿入部２の先端２０には、光学アダプターが装着される。例えば、単眼の光学アダプターが挿入部２の先端２０に装着される。本体部３は、挿入部２を収納する収納部を備えた制御装置である。操作部４は、内視鏡装置１に対するユーザーの操作を受け付ける。表示部５は、表示画面を有し、かつ挿入部２で取得された被写体の画像および操作メニュー等を表示画面に表示する。

　操作部４は、ユーザーインタフェース（入力装置）である。例えば、操作部４は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。表示部５は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等のモニタ（ディスプレイ）である。表示部５は、タッチパネルであってもよい。その場合、操作部４および表示部５は一体化される。ユーザーは、体の一部（例えば、指）または道具を使用することにより表示部５の画面をタッチする。

　図７に示す本体部３は、内視鏡ユニット８、ＣＣＵ（Ｃａｍｅｒａ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）９、および制御装置１０を有する。内視鏡ユニット８は、図示していない光源装置および湾曲装置を有する。光源装置は、観察に必要な照明光を供給する。湾曲装置は、挿入部２に内蔵された湾曲機構を湾曲させる。挿入部２の先端２０には撮像素子２８が内蔵されている。撮像素子２８は、イメージセンサである。撮像素子２８は、光学アダプターによって形成された被写体の光学像を光電変換し、かつ撮像信号を生成する。ＣＣＵ９は、撮像素子２８を駆動する。撮像素子２８から出力された撮像信号がＣＣＵ９に入力される。ＣＣＵ９は、撮像素子２８により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を施す。ＣＣＵ９は、前処理が施された撮像信号をＮＴＳＣ信号等の映像信号に変換する。

　制御装置１０は、映像信号処理回路１２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１４、カードインタフェース１５、外部機器インタフェース１６、制御インタフェース１７、およびＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１８を有する。

　映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路１２は、視認性向上に関わる映像処理を実行する。例えば、その映像処理は、色再現、階調補正、ノイズ抑制、および輪郭強調などである。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８によって生成されたグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像および計測情報等を含む。計測情報は、点群データの３Ｄ画像または計測結果等を含む。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。また、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に基づく画像データをＣＰＵ１８に出力する。

　ＲＯＭ１３は、ＣＰＵ１８が内視鏡装置１の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。ＲＡＭ１４は、ＣＰＵ１８が内視鏡装置１の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。ＣＰＵ１８は、ＲＯＭ１３に記録されたプログラムに基づいて内視鏡装置１の動作を制御する。

　着脱可能な記録媒体であるメモリカード４２がカードインタフェース１５に接続される。カードインタフェース１５は、メモリカード４２に記憶されている制御処理情報および画像情報等を制御装置１０に取り込む。また、カードインタフェース１５は、内視鏡装置１によって生成された制御処理情報および画像情報等をメモリカード４２に記録する。

　ＵＳＢ機器等の外部機器が外部機器インタフェース１６に接続される。例えば、パーソナルコンピュータ（ＰＣ）４１が外部機器インタフェース１６に接続される。外部機器インタフェース１６は、ＰＣ４１へ情報を送信し、かつＰＣ４１から情報を受信する。これによって、ＰＣ４１のモニタが情報を表示することができる。また、ユーザーは、ＰＣ４１に指示を入力することにより、内視鏡装置１の制御に関する操作を実施することができる。

　制御インタフェース１７は、操作部４、内視鏡ユニット８、およびＣＣＵ９と動作制御のための通信を実行する。制御インタフェース１７は、ユーザーによって操作部４に入力された指示をＣＰＵ１８に通知する。制御インタフェース１７は、光源装置および湾曲装置を制御するための制御信号を内視鏡ユニット８に出力する。制御インタフェース１７は、撮像素子２８を制御するための制御信号をＣＣＵ９に出力する。

　ＣＰＵ１８が実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを内視鏡装置１以外のコンピュータが読み込み、かつ実行してもよい。例えば、ＰＣ４１がプログラムを読み込んで実行してもよい。ＰＣ４１は、プログラムに従って、内視鏡装置１を制御するための制御情報を内視鏡装置１に送信することにより内視鏡装置１を制御してもよい。あるいは、ＰＣ４１は、内視鏡装置１から映像信号を取得し、かつ取得された映像信号を処理してもよい。

　上記のように、内視鏡装置１は、撮像素子２８およびＣＰＵ１８を有する。撮像素子２８は、被写体を撮像し、かつ撮像信号を生成する。撮像信号は、被写体の画像を含む。したがって、撮像素子２８は、被写体を撮像することにより生成された、その被写体の画像を取得する。撮像素子２８によって取得された画像は映像信号処理回路１２を経由してＣＰＵ１８に入力される。

　撮像素子２８は、被写体の画像を取得する画像取得部の機能を有する。画像取得部は、画像入力装置であってもよい。例えば、ＰＣ４１が面推定装置として動作する場合、画像取得部は、内視鏡装置１と通信を実行する通信インタフェース（通信機）である。画像取得部は無線通信機であってもよい。画像取得部は、画像が記録された記録媒体から画像を読み出す読み出し回路であってもよい。

　図８は、ＣＰＵ１８の機能構成を示す。制御部１８０、生成部１８１、領域設定部１８２、表示制御部１８３、位置算出部１８４、点設定部１８５、および面推定部１８６によってＣＰＵ１８の機能が構成されている。図８に示すブロックの少なくとも１つがＣＰＵ１８とは別の回路で構成されてもよい。

　図８に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図８に示す各部は、１つまたは複数のプロセッサを含むことができる。図８に示す各部は、１つまたは複数の論理回路を含むことができる。

　制御部１８０は、被写体の２Ｄ画像（画像データ）を映像信号処理回路１２から取得し、かつ図８に示す各部が実行する処理を制御する。

　生成部１８１は、図１に示す生成部７０の機能と同じ機能を持つ。生成部１８１は、被写体の２Ｄ画像に基づいて被写体上の３つ以上の点の３Ｄ座標を算出し、かつその３つ以上の点の３Ｄ座標を含む点群データを生成する（生成ステップ）。生成部１８１は、第１の実施形態で説明した方法と同じ方法で点群データを生成することができる。また、生成部１８１は、点群データを表示部５に表示するための３Ｄ画像を生成する。

　領域設定部１８２は、図１に示す領域設定部７１と同じ機能を持つ。領域設定部１８２は、３次元の領域および２次元の領域の一方である基準領域を設定する（領域設定ステップ）。領域設定部１８２は、第１の実施形態で説明した方法と同じ方法で基準領域を設定することができる。

　表示制御部１８３は、撮像素子２８によって取得された被写体の２Ｄ画像と、生成部１８１によって生成された点群データの３Ｄ画像とを表示部５に表示する。例えば、表示制御部１８３は、映像信号処理回路１２によって実行される処理を制御する。表示制御部１８３は、映像信号処理回路１２によって処理された映像信号を映像信号処理回路１２から表示部５へ出力させる。その映像信号は、被写体の２Ｄ画像の各画素のカラーデータを含む。表示部５は、映像信号処理回路１２から出力された映像信号に基づいて被写体の２Ｄ画像を表示する。

　あるいは、表示制御部１８３は、３Ｄ映像信号を、映像信号処理回路１２を経由して表示部５へ出力する。３Ｄ映像信号は、点群データの３Ｄ画像の各画素のカラーデータを含む。表示部５は、映像信号処理回路１２から出力された３Ｄ映像信号に基づいて点群データの３Ｄ画像を表示する。具体的には、表示制御部１８３は、点群データの３Ｄ画像を表示するためのグラフィック画像信号を生成する。表示制御部１８３は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８から出力されたグラフィック画像信号とを合成する。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、被写体の２Ｄ画像および点群データの３Ｄ画像を表示する。

　表示制御部１８３は、各種情報を表示部５に表示する。つまり、表示制御部１８３は、画像上に各種情報を表示する。各種情報は、計測結果等を含む。各種情報は、カーソルを含んでもよい。カーソルは、ユーザーが画像上の特定の点を指定するためのマークである。

　例えば、表示制御部１８３は、各種情報のグラフィック画像信号を生成する。表示制御部１８３は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８から出力されたグラフィック画像信号とを合成する。これにより、各種情報が画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、各種情報が重畳された画像を表示する。

　ユーザーは、操作部４を操作することにより、画像上の位置を示す位置情報を操作部４に入力する。操作部４は、ユーザーが操作部４に入力した位置情報を出力する。操作部４に入力された位置情報は、入力部である制御インタフェース１７に入力される。その位置情報は、制御インタフェース１７からＣＰＵ１８に出力される。位置算出部１８４は、操作部４に入力された位置情報に基づいて画像上の位置を算出する。

　例えば、カーソルが画像上に表示される場合、位置情報は、カーソルが表示される位置を示す。表示制御部１８３は、位置算出部１８４によって算出された位置にカーソルを表示する。

　表示部５および操作部４がタッチパネルである場合、ユーザーは表示部５の画面をタッチすることにより画像上の位置を操作部４に入力してもよい。その場合、操作部４は、その位置を示す位置情報を出力する。

　点設定部１８５は、被写体上の点を、操作部４を通して受け付ける。例えば、ユーザーは、カーソルを画像上の所望の位置に移動させ、かつ所定の操作を実行する。このとき、点設定部１８５は、その位置に対応する点を受け付ける。表示部５および操作部４がタッチパネルである場合、ユーザーは表示部５の画面をタッチすることにより画像上の点を操作部４に入力する。点設定部１８５は、その点を受け付ける。点設定部１８５は、受け付けられた点を示す点情報を生成する。

　点設定部１８５が被写体の２Ｄ画像上の点を受け付けた場合、点情報はその点に対応する画素の座標を含む。その画素の座標は、点群データにおける３Ｄ座標と関連付けられている。点設定部１８５が点群データの３Ｄ画像上の点を受け付けた場合、点情報はその点の３Ｄ座標を含む。

　点設定部１８５は、基準点を受け付ける。基準点は、基準領域を設定するための基準位置を示す。

　点設定部１８５が被写体の２Ｄ画像上の点を受け付けた場合、点設定部１８５は、受け付けられた点をその２Ｄ画像に設定する。点設定部１８５が点群データの３Ｄ画像上の点を受け付けた場合、点設定部１８５は、受け付けられた点をその３Ｄ画像に設定する。点設定部１８５によって設定された点の位置情報は、ＲＡＭ１４に保持される。点が特定の画像に関連付けられることにより、その点が設定される。

　面推定部１８６は、基準領域に含まれる３つ以上の点に対応する点群データの３つ以上の点に基づいて、被写体の表面を近似する基準面を推定する（推定ステップ）。面推定部１８６は、第１の実施形態で説明した方法と同じ方法で基準面を推定することができる。

　図９を使用することにより、第２の実施形態における面推定処理について説明する。図９は、面推定処理の手順を示す。

　生成部１８１は、被写体の２Ｄ画像に基づいて被写体上の３つ以上の点の３Ｄ座標を算出し、かつその３つ以上の点の３Ｄ座標を含む点群データを生成する。また、生成部１８１は、点群データの３Ｄ画像を生成する（ステップＳ１０１）。ステップＳ１０１は、生成ステップに対応する。

　ステップＳ１０１の後、表示制御部１８３は、被写体の２Ｄ画像および点群データの３Ｄ画像を表示部５に表示する（ステップＳ１０２）。表示制御部１８３は、被写体の２Ｄ画像のみを表示部５に表示してもよい。

　図１０は、ステップＳ１０２において表示部５に表示される画像の例を示す。被写体の２Ｄ画像Ｇ１１および点群データの３Ｄ画像Ｇ１２が表示部５に表示される。３Ｄ画像Ｇ１２の視点を変更する指示が操作部４を通して入力された場合、生成部１８１は、変更された視点から見た被写体に対応する点群データの新たな３Ｄ画像を生成してもよい。表示制御部１８３は、３Ｄ画像Ｇ１２の代わりにその新たな３Ｄ画像を表示部５に表示してもよい。

　図１０に示す例では、２Ｄ画像Ｇ１１および３Ｄ画像Ｇ１２が表示部５の画面の水平方向に並べられている。２Ｄ画像Ｇ１１および３Ｄ画像Ｇ１２の配置は、この例に限らない。例えば、２Ｄ画像Ｇ１１および３Ｄ画像Ｇ１２が表示部５の画面の垂直方向に並べられてもよい。このとき、２Ｄ画像Ｇ１１および３Ｄ画像Ｇ１２は９０度回転してもよい。２Ｄ画像Ｇ１１の一部および３Ｄ画像Ｇ１２の一部が互いに重なってもよい。

　被写体の２Ｄ画像がステレオ画像である場合、その２Ｄ画像は、第１の視点から見た被写体の第１の画像と、第１の視点と異なる第２の視点から見た被写体の第２の画像とを含む。表示制御部１８３は、第１の画像および第２の画像を表示部５に表示してもよい。あるいは、表示制御部１８３は、第１の画像および第２の画像の一方のみを表示部５に表示してもよい。

　ステップＳ１０２の後、点設定部１８５は、被写体の２Ｄ画像上の２つの基準点を、操作部４を通して受け付け、かつ受け付けられた２つの基準点の各々を示す点情報を生成する（ステップＳ１０３）。

　図１１は、ステップＳ１０３において表示部５に表示される画像の例を示す。図１０に示す２Ｄ画像Ｇ１１と同じ２Ｄ画像Ｇ１１および図１０に示す３Ｄ画像Ｇ１２と同じ３Ｄ画像Ｇ１２が表示部５に表示される。

　カーソルが２Ｄ画像Ｇ１１上に表示される例では、ユーザーは、カーソルを２Ｄ画像Ｇ１１上の所望の位置に移動させ、かつ所定の操作を実行する。このとき、点設定部１８５は、その位置に対応する点を受け付ける。表示部５および操作部４がタッチパネルである例では、ユーザーは表示部５の画面をタッチする。このとき、点設定部１８５は、タッチされた位置に対応する点を受け付ける。

　図１１に示す例では、点設定部１８５は基準点Ｐ１１および基準点Ｐ１２を受け付ける。基準点Ｐ１１を示すマークおよび基準点Ｐ１２を示すマークが２Ｄ画像Ｇ１１上に表示されてもよい。

　ステップＳ１０３の後、領域設定部１８２は、点情報が示す２つの基準点に基づいて基準領域を設定する（ステップＳ１０４）。ステップＳ１０４は、領域設定ステップに対応する。

　領域設定部１８２は、２次元の基準領域を被写体の２Ｄ画像に設定する。例えば、領域設定部１８２は、図１１に示す基準点Ｐ１１および基準点Ｐ１２に基づいて基準領域Ｒ１１を２Ｄ画像Ｇ１１に設定する。図１１に示す例では、基準領域Ｒ１１の形状は長方形である。基準点Ｐ１１および基準点Ｐ１２は、基準領域Ｒ１１の対角線上の頂点である。

　領域設定部１８２によって設定された基準領域の情報は、ＲＡＭ１４に保持される。その情報は、基準領域の位置および基準領域の大きさを含む。基準領域が被写体の２Ｄ画像に関連付けられることにより、その基準領域が設定される。

　ステップＳ１０４の後、表示制御部１８３は、基準領域を被写体の２Ｄ画像上に表示する（ステップＳ１０５）。

　具体的には、表示制御部１８３は、基準領域を表示するためのグラフィック画像信号を生成する。表示制御部１８３は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８から出力されたグラフィック画像信号とを合成する。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、基準領域が重畳された被写体の２Ｄ画像を表示する。

　図１２は、ステップＳ１０５において表示部５に表示される画像の例を示す。図１０に示す２Ｄ画像Ｇ１１と同じ２Ｄ画像Ｇ１１および図１０に示す３Ｄ画像Ｇ１２と同じ３Ｄ画像Ｇ１２が表示部５に表示される。基準領域Ｒ１１が２Ｄ画像Ｇ１１上に表示される。

　図１２に示す例では、基準領域Ｒ１１の輪郭を示す線（枠）が２Ｄ画像Ｇ１１上に表示される。図１２に示す例では、基準領域Ｒ１１内の被写体の表面が視認できる。基準領域Ｒ１１の内側が所定の色または模様で表示されてもよい。このとき、基準領域Ｒ１１内の被写体の表面が視認できなくてもよい。ユーザーが基準領域Ｒ１１の位置および大きさを確認できる限り、基準領域Ｒ１１を表示する方法は上記の方法に限らない。

　表示制御部１８３は、ステップＳ１０２において被写体の２Ｄ画像を表示部５に表示し、かつステップＳ１０５において基準領域をその２Ｄ画像上に表示する（画像表示ステップ）。ユーザーは、自身が望む位置に基準領域が設定されたか否かを確認することができる。

　ステップＳ１０５の後、面推定部１８６は、基準領域に含まれる３つ以上の点に対応する点群データの３つ以上の点に基づいて、被写体の表面を近似する基準面を推定する（ステップＳ１０６）。ステップＳ１０６は、推定ステップに対応する。

　面推定部１８６は、被写体の２Ｄ画像の基準領域における全ての画素を抽出する。被写体の２Ｄ画像における画素は、点群データにおける３Ｄ座標と関連付けられている。面推定部１８６は、抽出された画素の各々の３Ｄ座標を点群データから取得する。面推定部１８６は、取得された３Ｄ座標を使用することにより基準面を推定する。

　面推定部１８６は、推定ステップにおいて、基準領域に含まれる４つ以上の点から３つ以上の点を選択してもよい。面推定部１８６は、推定ステップにおいて、選択された３つ以上の点に対応する点群データの３つ以上の点に基づいて、被写体の表面を近似する基準面を推定してもよい。

　つまり、面推定部１８６は、被写体の２Ｄ画像の基準領域における全ての画素のうちの一部を抽出してもよい。例えば、面推定部１８６は、その２Ｄ画像の基準領域における全ての画素のうち所定の割合（例えば５０％）以上を抽出してもよい。抽出された画素は、三角形を形成する３つの画素で構成される１つ以上の組を含む。抽出された画素の全てを通る直線は存在しない。

　ステップＳ１０６の後、表示制御部１８３は、基準面を被写体の２Ｄ画像上に表示する（ステップＳ１０７）。ステップＳ１０７が実行されたとき、面推定処理が終了する。

　具体的には、表示制御部１８３は、基準面を表示するためのグラフィック画像信号を生成する。表示制御部１８３は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８から出力されたグラフィック画像信号とを合成する。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、基準面が重畳された被写体の２Ｄ画像を表示する。

　図１３は、ステップＳ１０７において表示部５に表示される画像の例を示す。図１０に示す２Ｄ画像Ｇ１１と同じ２Ｄ画像Ｇ１１および図１０に示す３Ｄ画像Ｇ１２と同じ３Ｄ画像Ｇ１２が表示部５に表示される。基準面Ｆ１１が２Ｄ画像Ｇ１１上に表示される。

　例えば、表示制御部１８３は、２Ｄ画像Ｇ１１における各画素と関連付けられた３Ｄ座標を点群データから取得する。表示制御部１８３は、その３Ｄ座標を持つ点と基準面との間の３次元距離（３Ｄ距離）を算出する。その３Ｄ距離が所定距離よりも小さい場合、表示制御部１８３はその点に対応する２Ｄ画像Ｇ１１上の画素を抽出する。表示制御部１８３は、２Ｄ画像Ｇ１１の全体または一部の画素を使用することにより上記の処理を繰り返す。表示制御部１８３は、抽出された画素を含む領域を基準面として表示するためのグラフィック画像信号を生成する。

　図１３に示す例では、抽出された画素を含む領域の輪郭を示す線（枠）が基準面Ｆ１１として２Ｄ画像Ｇ１１上に表示される。図１３に示す例では、基準面Ｆ１１を示す線内の被写体の表面が視認できる。その線の内側が所定の色または模様で表示されてもよい。このとき、その線内の被写体の表面が視認できなくてもよい。ユーザーが基準面Ｆ１１の位置を確認できる限り、基準面Ｆ１１を表示する方法は上記の方法に限らない。ユーザーは、基準面Ｆ１１が被写体の表面を正確に近似できているか否かを確認することができる。

　図１３に示す例では、図１２に示す基準領域Ｒ１１は表示されていない。基準領域Ｒ１１および基準面Ｆ１１が２Ｄ画像Ｇ１１上に表示されてもよい。

　表示制御部１８３は、ステップＳ１０２において被写体の２Ｄ画像を表示部５に表示し、かつステップＳ１０７において基準面に対応する領域をその２Ｄ画像上に表示する（画像表示ステップ）。ユーザーは、基準面が被写体の表面を正確に近似できているか否かを確認することができる。

　点設定部１８５がステップＳ１０３において基準点を受け付けた後、ユーザーはその基準点を変更してもよい。例えば、ユーザーは基準点の新たな位置を示す位置情報を操作部４に入力する。その位置情報は、制御インタフェース１７を経由してＣＰＵ１８に出力される。領域設定部１８２は、その位置情報に基づいて基準点を変更する。

　基準領域の大きさおよび基準領域の位置の少なくとも一方を示す領域情報が記録媒体に予め記録されてもよい。領域設定部１８２は、ステップＳ１０４において、領域情報に基づいて基準領域の大きさおよび基準領域の位置の少なくとも一方を設定してもよい。

　例えば、メモリカード４２は領域情報を記憶する。領域情報は、カードインタフェース１５を経由してメモリカード４２からＲＡＭ１４に転送される。領域設定部１８２は、領域情報をＲＡＭ１４から読み出す。

　領域設定部１８２が基準領域の大きさを設定する例を説明する。ユーザーは被写体の２Ｄ画像上の基準点を指定し、かつ点設定部１８５はその基準点を受け付ける。領域設定部１８２は、点設定部１８５によって受け付けられた基準点を中心に持つ長方形を２Ｄ画像に設定する。領域情報は、基準領域の水平方向の画素数および基準領域の垂直方向の画素数を示す。領域設定部１８２は、領域情報に基づいてその長方形の水平方向の画素数およびその長方形の垂直方向の画素数を設定する。ユーザーが基準領域の大きさを指定する度にその大きさを示す領域情報が記録媒体に記録されてもよい。

　領域設定部１８２が基準領域の位置を設定する例を説明する。領域情報は、被写体の２Ｄ画像上の所定の位置を示す。例えば、その所定の位置はその２Ｄ画像の中心である。領域設定部１８２は、領域情報が示す位置に基準領域を設定する。このとき、領域設定部１８２は、基準領域の大きさをユーザーによって指定された大きさに設定する。ユーザーが基準領域の位置（基準点）を指定する度にその位置を示す領域情報が記録媒体に記録されてもよい。領域設定部１８２は、領域情報に基づいて基準領域の大きさおよび基準領域の位置を設定してもよい。

　２つ以上の領域情報が記録媒体に予め記録されてもよい。領域設定部１８２は、ステップＳ１０４において、操作部４を通して入力された情報に基づいて２つ以上の領域情報のうちの１つを選択してもよい。領域設定部１８２は、ステップＳ１０４において、選択された領域情報に基づいて基準領域の大きさおよび基準領域の位置の一方を設定してもよい。

　２つ以上の領域情報は、互いに異なる大きさを示す。例えば、第１の領域情報は第１の大きさを示し、かつ第２の領域情報は第１の大きさと異なる第２の大きさを示す。あるいは、２つ以上の領域情報は、互いに異なる位置を示す。例えば、第１の領域情報は第１の位置を示し、かつ第２の領域情報は第１の位置と異なる第２の位置を示す。ユーザーは第１の領域情報および第２の領域情報の一方を選択し、かつ選択結果を操作部４に入力する。その選択結果は、制御インタフェース１７を経由してＣＰＵ１８に出力される。領域設定部１８２は、ユーザーによって選択された領域情報に基づいて基準領域の大きさまたは基準領域の位置を設定する。

　領域設定部１８２がステップＳ１０４において基準領域を設定した後、ユーザーは任意のタイミングで基準領域の大きさおよび基準領域の位置の少なくとも一方を変更してもよい。そのタイミングは、基準領域がステップＳ１０５において表示された後、または基準面がステップＳ１０７において表示された後であってもよい。例えば、ユーザーは大きさおよび位置の少なくとも一方を示す情報を操作部４に入力する。その情報は、制御インタフェース１７を経由してＣＰＵ１８に出力される。領域設定部１８２は、その情報に基づいて基準領域の大きさおよび基準領域の位置の少なくとも一方を変更する。

　図９に示す面推定処理において、領域設定部１８２は、２つの基準点に基づいて基準領域を設定する。基準点の数は２つに限らない。上述したように、領域設定部１８２は、１つの基準点を中心に持つ基準領域を設定してもよい。

　領域設定部１８２は、基準点を使用せずに基準領域を設定してもよい。したがって、ステップＳ１０３が実行される必要はない。ＣＰＵ１８は、位置算出部１８４および点設定部１８５の機能を有する必要はない。基準点を使用せずに基準領域を設定する方法については、第１０の実施形態において説明する。

　表示制御部１８３は、点群データの３Ｄ画像を表示部５に表示してもよく、かつ基準面の推定に使用された点群データの３つ以上の点をその３Ｄ画像上に表示してもよい（画像表示ステップ）。３次元の基準領域に含まれる３つ以上の点が基準面の推定に使用される。表示制御部１８３は、その３つ以上の点を点群データから抽出し、かつその３つ以上の点をその３Ｄ画像上に表示する。例えば、その点に対応する画素が所定の色で表示される。

　表示制御部１８３は、被写体の２Ｄ画像を表示部５に表示してもよく、かつ基準面の推定に使用された点群データの３つ以上の点に対応する３つ以上の点をその２Ｄ画像上に表示してもよい（画像表示ステップ）。２次元の基準領域に含まれる３つ以上の点に対応する点群データの３つ以上の点が基準面の推定に使用される。表示制御部１８３は、その３つ以上の点を点群データから抽出する。表示制御部１８３は、点群データから抽出された３つ以上の点の各々に対応する点を基準領域から抽出し、かつその点をその２Ｄ画像上に表示する。例えば、その点に対応する画素が所定の色で表示される。

　基準領域の表示は必須ではない。したがって、ステップＳ１０５が実行される必要はない。基準面の表示は必須ではない。したがって、ステップＳ１０７が実行される必要はない。

　基準点の設定、基準領域の表示、および基準面の表示が不要である場合、画像の表示は必須ではない。したがって、ステップＳ１０２が実行される必要はない。ＣＰＵ１８は、表示制御部１８３の機能を有する必要はない。

　面推定部１８６は、ステップＳ１０６において、基準面の幾何学的な特徴を推定してもよい。例えば、基準面が円筒面である場合、面推定部１８６は、円筒の直径を推定してもよい。基準面が球面である場合、面推定部１８６は、球の直径を推定してもよい。

　面推定部１８６は、基準面の傾きを推定してもよい。その傾きは、所定の平面と基準面との間の角度で表現される。例えば、その所定の平面は、内視鏡の視線に垂直である。

　面推定部１８６は、基準面の種類を推定してもよい。その種類は、平面、円筒面、および球面などのうちの１つである。面推定部１８６は、基準面が平面であると仮定して基準面を推定する。このとき、面推定部１８６は、基準面と被写体の表面との間の距離などに基づいて推定誤差を算出する。同様に、面推定部１８６は、基準面が円筒面または球面などであると仮定して基準面を推定し、かつ推定誤差を算出する。面推定部１８６は、最も小さな推定誤差を持つ基準面を最終的な基準面として得る。これと同時に、面推定部１８６は、その基準面の種類を得る。

　基準面の推定結果はその基準面の式のパラメータを含んでもよい。

　表示制御部１８３は、基準面の幾何学的な特徴の推定結果を表示部５に表示してもよい。その推定結果は、表示制御部１８３によって生成されるグラフィック画像信号に含まれる。

　面推定処理における処理の順番は、図９に示す順番に限らない。例えば、ステップＳ１０１が実行される前に被写体の２Ｄ画像が表示部５に表示されてもよい。

　第２の実施形態において、内視鏡装置１は、２次元の基準領域を被写体の２Ｄ画像に設定する。基準領域は、２次元状に広がる３つ以上の点を含む。そのため、基準面の推定に使用される点群データの３つ以上の点が平面上または直線上に偏って位置する可能性が減る。したがって、内視鏡装置１は、基準面の精度を向上させることができる。

　（第２の実施形態の第１の変形例）
　本発明の第２の実施形態の第１の変形例を説明する。図１０から図１３に示す例では、被写体の２Ｄ画像および点群データの３Ｄ画像が表示部５に表示され、かつその２Ｄ画像が２次元の基準領域の設定に使用される。表示部５に表示される画像と、基準領域の設定に使用される画像との組み合わせはこの例に限らない。第２の実施形態の第１の変形例において、点群データの３Ｄ画像が表示部５に表示され、かつその３Ｄ画像が３次元の基準領域の設定に使用される。

　第２の実施形態の第１の変形例における面推定処理を説明する。第２の実施形態の第１の変形例における面推定処理は、図９に従って実行される。以下では、第２の実施形態における面推定処理と同じ処理の説明を省略する。

　表示制御部１８３は、ステップＳ１０２において、点群データの３Ｄ画像を表示部５に表示する（画像表示ステップ）。ステップＳ１０２において被写体の２Ｄ画像は表示されない。点設定部１８５は、ステップＳ１０３において、点群データの３Ｄ画像上の３つの基準点を、操作部４を通して受け付け、かつ受け付けられた３つの基準点の各々を示す点情報を生成する。

　図１４は、ステップＳ１０３において表示部５に表示される画像の例を示す。図１０に示す３Ｄ画像Ｇ１２と同じ３Ｄ画像Ｇ１２が表示部５に表示される。

　カーソルが３Ｄ画像Ｇ１２上に表示される例では、ユーザーは、カーソルを３Ｄ画像Ｇ１２上の所望の位置に移動させ、かつ所定の操作を実行する。このとき、点設定部１８５は、その位置に対応する点を受け付ける。表示部５および操作部４がタッチパネルである例では、ユーザーは表示部５の画面をタッチする。このとき、点設定部１８５は、タッチされた位置に対応する点を受け付ける。

　図１４に示す例では、点設定部１８５は基準点Ｐ２１および基準点Ｐ２２を受け付ける。基準点Ｐ２１を示すマークおよび基準点Ｐ２２を示すマークが３Ｄ画像Ｇ１２上に表示されてもよい。

　領域設定部１８２は、ステップＳ１０４において、点群データの３Ｄ座標を定義する３Ｄ空間に３次元の基準領域を設定する。図１４に示す例では、領域設定部１８２は、基準点Ｐ２１および基準点Ｐ２２に基づいて長方形ＲＣ２１を算出する。基準点Ｐ２１および基準点Ｐ２２は、長方形ＲＣ２１の対角線上の頂点である。

　２つの基準点が設定された後、ユーザーは３番目の基準点を指定する。図１５は、３番目の基準点が指定されるときに表示部５に表示される画像の例を示す。点群データの３Ｄ画像Ｇ１３が表示部５に表示される。表示部５および操作部４がタッチパネルである例では、ユーザーは図１４に示す３Ｄ画像Ｇ１２上でスワイプ操作を実施し、３Ｄ画像Ｇ１２の視点を変更する。３Ｄ画像Ｇ１３は、図１４に示す３Ｄ画像Ｇ１２に写っている被写体の断面を示す。

　ユーザーは、３Ｄ画像Ｇ１３上に表示されたカーソルを使用することにより、あるいは表示部５の画面をタッチすることにより、基準点Ｐ２３を指定する。点設定部１８５は基準点Ｐ２３を受け付ける。基準点Ｐ２３を示すマークが３Ｄ画像Ｇ１３上に表示されてもよい。表示部５および操作部４がタッチパネルである例では、ユーザーは、ピンチ操作を実施することにより３Ｄ画像Ｇ１３を拡大または縮小してもよい。

　図１４および図１５に示す例では、領域設定部１８２は、基準点Ｐ２１、基準点Ｐ２２、および基準点Ｐ２３に基づいて基準領域Ｒ２１を算出する。領域設定部１８２は、点群データの３Ｄ座標を定義する３Ｄ空間に基準領域Ｒ２１を設定する。図１５に示す例では、基準領域Ｒ２１の形状は直方体である。その直方体の１つの面は、図１４に示す長方形ＲＣ２１によって定義される。その直方体の高さは、長方形ＲＣ２１と基準点Ｐ２３との間の３Ｄ距離と同じである。

　領域設定部１８２によって設定された基準領域の情報は、ＲＡＭ１４に保持される。その情報は、基準領域の位置および基準領域の大きさを含む。基準領域が点群データに関連付けられることにより、その基準領域が設定される。

　表示制御部１８３は、ステップＳ１０５において、基準領域を点群データの３Ｄ画像上に表示する（画像表示ステップ）。表示部５は、基準領域が重畳された３Ｄ画像を表示する。ユーザーは、自身が望む位置に基準領域が設定されたか否かを確認することができる。

　面推定部１８６は、ステップＳ１０６において、基準領域に含まれる３つ以上の点に対応する点群データの３つ以上の点に基づいて基準面を推定する。例えば、面推定部１８６は、基準領域における全ての点を抽出する。面推定部１８６は、抽出された点の各々の３Ｄ座標を使用することにより基準面を推定する。面推定部１８６は、基準領域における点のうちの一部を抽出してもよい。例えば、面推定部１８６は、基準領域における全ての点のうち所定の割合（例えば５０％）以上を抽出してもよい。抽出された点は、三角形を形成する３つの点で構成される１つ以上の組を含む。抽出された点の全てを通る直線は存在しない。

　表示制御部１８３は、ステップＳ１０７において、基準面を点群データの３Ｄ画像上に表示する。表示部５は、基準面が重畳された３Ｄ画像を表示する。ユーザーは、基準面が被写体の表面を正確に近似できているか否かを確認することができる。

　図１６は、ステップＳ１０７において表示部５に表示される画像の例を示す。点群データの３Ｄ画像Ｇ１４が表示部５に表示される。

　例えば、表示制御部１８３は、点群データにおける各点と基準面との間の３Ｄ距離を算出する。点と基準面との間の３Ｄ距離が所定距離よりも小さい場合、表示制御部１８３はその点を抽出する。表示制御部１８３は、点群データの全体または一部における点を使用することにより上記の処理を繰り返す。表示制御部１８３は、抽出された点を含む領域を基準面として表示するためのグラフィック画像信号を生成する。

　図１６に示す例では、抽出された点を含む領域が基準面Ｆ２１として３Ｄ画像Ｇ１４上に表示される。例えば、基準面Ｆ２１は、被写体の表面の色と異なる色で表示される。ユーザーが基準面Ｆ２１の位置を確認できる限り、基準面Ｆ２１を表示する方法は上記の方法に限らない。ユーザーは、基準面Ｆ２１が被写体の表面を正確に近似できているか否かを確認することができる。

　図１４から図１６に示す例では、点群データの３Ｄ画像が表示部５に表示され、かつその３Ｄ画像が基準領域の設定に使用される。被写体の２Ｄ画像および点群データの３Ｄ画像が表示部５に表示され、かつその３Ｄ画像が基準領域の設定に使用されてもよい。

　被写体の表面に凹部または凸部が形成されており、かつその凹部または凸部を除く部分を近似する基準面が要求される場合がある。基準領域が被写体の２Ｄ画像に設定される場合、その基準領域が凹部または凸部の画素を含む可能性がある。そのため、基準面の精度が悪化する可能性がある。被写体の表面に段差が形成されており、かつ基準領域がその段差の画素を含む場合も、基準面の精度が悪化する可能性がある。

　第２の実施形態の第１の変形例において、領域設定部１８２は３次元の基準領域を設定する。図１５に示す例では、領域設定部１８２は、被写体の凹部に対応する点を多く含まない基準領域Ｒ２１を設定する。そのため、内視鏡装置１は、基準面の精度を向上させることができる。

　（第２の実施形態の第２の変形例）
　本発明の第２の実施形態の第２の変形例を説明する。第２の実施形態の第２の変形例において、３次元の基準領域が設定される。その基準領域は、連続性を持つ３つ以上の点の集合である。

　第２の実施形態の第２の変形例における面推定処理を説明する。第２の実施形態の第２の変形例における面推定処理は、図９に従って実行される。以下では、第２の実施形態の第１の変形例における面推定処理と同じ処理の説明を省略する。

　領域設定部１８２は、ステップＳ１０４において、点群データに含まれる３次元座標に対応する３つ以上の点の連続性を判断する。領域設定部１８２は、連続性を持つと判断された３つ以上の点のみを含む基準領域を設定する。

　具体的には、領域設定部１８２は、３次元の判断領域を設定する。判断領域の設定方法は、第２の実施形態の第１の変形例で説明した基準領域の設定方法と同じである。領域設定部１８２は、判断領域における点の連続性を判断する。例えば、領域設定部１８２は、互いに隣接する２点間の３Ｄ距離を使用する。領域設定部１８２は、その３Ｄ距離に基づいて、判断領域における各点を分類する。

　点群データに対応する各点を分類する簡易的な方法としてセグメンテーションがある。例えば、領域設定部１８２は、Ｅｕｃｌｉｄｅａｎ　Ｃｌｕｓｔｅｒ　Ｅｘｔｒａｃｔｉｏｎをセグメンテーションに使用することができる。これは、オープンソースであるＰＣＬ（Ｐｏｉｎｔ　Ｃｌｏｕｄ　Ｌｉｂｒａｒｙ）に搭載されている機能である。

　領域設定部１８２は、この機能を使用することにより、各点から所定距離以内にある点を近傍点と判断する。１つの点およびその近傍点は、同じ物体上にある。例えば、被写体が、互いに離れた第１の物体および第２の物体を有する場合、点群データに対応する各点は、第１の物体上の点および第２の物体上の点のいずれか１つに分類される。領域設定部１８２は、点群データに含まれる３次元座標に対応する３つ以上の点の各々を２つ以上の物体のうちの１つに割り当てる。これにより、領域設定部１８２は、点群データにおける３つ以上の点を２つ以上の領域に分割する。上記の例では、点群データにおける３つ以上の点は、第１の物体上の点からなる第１の領域と、第２の物体上の点からなる第２の領域とに分割される。被写体が１つの物体のみである場合、領域設定部１８２は、点群データにおける全ての点を１つの物体に割り当てる。

　領域設定部１８２は、判断領域において上記のセグメンテーションを実行する。これにより、領域設定部１８２は、判断領域における各点を１つ以上の物体のいずれか１つに割り当てる。領域設定部１８２は、セグメンテーションの結果に基づいて、判断領域における点が連続的な表面を構成するか否かを判断する。１つの物体に割り当てられた２つ以上の点は被写体の連続的な表面を構成する。つまり、その２つ以上の点は連続性を持つ。２つの物体の間では被写体の表面は不連続である。つまり、その２つの物体の間では点は連続性を失う。領域設定部１８２は、１つの物体を選択し、かつ選択された物体に含まれる３つ以上の点を判断領域から抽出する。領域設定部１８２は、抽出された３つ以上の点を含む基準領域を設定する。基準領域は、判断領域における点の全てまたは一部を含む。

　図１７および図１８は、基準領域の例を示す。以下では、点群データの３Ｄ画像を参照し、基準領域を説明する。

　図１０に示す３Ｄ画像Ｇ１２と同じ３Ｄ画像Ｇ１２が図１７に示されている。３Ｄ画像Ｇ１５が図１７に示されている。３Ｄ画像Ｇ１５は、３Ｄ画像Ｇ１２に写っている被写体の断面を示す。領域設定部１８２は、被写体の凹部とその周辺との点の全てを物体ＯＢ３１に割り当てる。領域設定部１８２は、物体ＯＢ３１内の点を含む基準領域Ｒ３１を設定する。

　３Ｄ画像Ｇ１２ａおよび３Ｄ画像Ｇ１６が図１８に示されている。３Ｄ画像Ｇ１６は、３Ｄ画像Ｇ１２ａに写っている被写体の断面を示す。領域設定部１８２は、被写体の凹部とその周辺との点を物体ＯＢ３２または物体ＯＢ３３に割り当てる。物体ＯＢ３２および物体ＯＢ３３は互いにつながっていない。領域設定部１８２は、物体ＯＢ３２内の点を含む基準領域Ｒ３２を設定する。基準領域Ｒ３２は、物体ＯＢ３３内の点を含まない。物体ＯＢ３３内の点は基準面の推定に使用されない。

　２枚以上の２Ｄ画像を使用することにより点群データを生成する方法では、１枚の２Ｄ画像に写っている領域が他の２Ｄ画像に写っていない場合がある。そのため、その領域における点の３Ｄ座標を算出できない場合がある。その場合、図１８に示すように点群データが示す被写体の表面が不連続になる。

　第２の実施形態の第２の変形例において、被写体の連続的な表面に対応する点のみに基づいて基準面が推定される。そのため、内視鏡装置１は、基準面の精度を向上させることができる。

　（第２の実施形態の第３の変形例）
　本発明の第２の実施形態の第３の変形例を説明する。第２の実施形態の第３の変形例において、２つ以上の視点の各々から見た点群データの３Ｄ画像が表示部５に表示され、かつ基準面がその３Ｄ画像上に表示される。

　第２の実施形態の第３の変形例における面推定処理を説明する。第２の実施形態の第３の変形例における面推定処理は、図９に従って実行される。以下では、第２の実施形態の第１の変形例における面推定処理と同じ処理の説明を省略する。

　生成部１８１は、ステップＳ１０１において、２つ以上の視点の各々から見た点群データの３Ｄ画像を生成する。以下では、生成部１８１が３枚の３Ｄ画像を生成する例を説明する。３枚の３Ｄ画像を生成するための視線の３つの方向は互いに垂直であってもよい。例えば、生成部１８１は、Ｘ軸に平行に見た点群データの３Ｄ画像、Ｙ軸に平行に見た点群データの３Ｄ画像、およびＺ軸に平行に見た点群データの３Ｄ画像を生成してもよい。

　表示制御部１８３は、ステップＳ１０２において、３枚の３Ｄ画像を表示部５に表示する。表示制御部１８３は、ステップＳ１０７において、基準面を各３Ｄ画像上に表示する。表示部５は、基準面が重畳された３Ｄ画像を表示する。

　図１９は、ステップＳ１０７において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１７、３Ｄ画像Ｇ１８、および３Ｄ画像Ｇ１９が表示部５に表示される。３Ｄ画像Ｇ１７は、第１の視点から見た点群データの３Ｄ画像である。３Ｄ画像Ｇ１８は、第１の視点と異なる第２の視点から見た点群データの３Ｄ画像である。３Ｄ画像Ｇ１９は、第１の視点および第２の視点と異なる第３の視点から見た点群データの３Ｄ画像である。

　表示制御部１８３は、図１６に示す基準面Ｆ２１を表示するための処理と同様の処理を実行する。表示制御部１８３は、基準面Ｆ４１を３Ｄ画像Ｇ１７、３Ｄ画像Ｇ１８、および３Ｄ画像Ｇ１９上に表示する。

　表示制御部１８３は、被写体の表面または基準面に平行な方向に見た点群データの３Ｄ画像を表示部５に表示してもよい。これにより、ユーザーが基準面を確認することが容易になる。

　生成部１８１は、点群データにおける点の一部を抽出し、かつ抽出された点を含む３Ｄ画像を生成してもよい。表示制御部１８３は、その３Ｄ画像を表示部５に表示してもよい。

　例えば、生成部１８１は、点群データにおける全ての点の第１の３Ｄ画像を生成する。第１の３Ｄ画像は、第１の視点から見た点群データの３Ｄ画像である。生成部１８１は、点群データから抽出された点を含む第２の３Ｄ画像を生成する。第２の３Ｄ画像は、第１の視点と異なる第２の視点から見た点群データの３Ｄ画像である。表示制御部１８３は、第１の３Ｄ画像および第２の３Ｄ画像を表示部５に表示する。このとき、表示制御部１８３は、拡大された第２の３Ｄ画像を表示部５に表示してもよい。表示制御部１８３は、基準面を第１の３Ｄ画像および第２の３Ｄ画像上に表示する。

　第２の実施形態の第３の変形例において、基準面が、２つ以上の視点の各々から見た点群データの３Ｄ画像上に表示される。ユーザーは、基準面が被写体の表面を正確に近似できているか否かを確認することができる。

　（第３の実施形態）
　本発明の第３の実施形態を説明する。第３の実施形態の内視鏡装置１は３次元計測機能を持つ。

　第３の実施形態において、図８に示すＣＰＵ１８は、図２０に示すＣＰＵ１８ａに変更される。図２０は、ＣＰＵ１８ａの機能構成を示す。制御部１８０、生成部１８１、領域設定部１８２、表示制御部１８３、位置算出部１８４、点設定部１８５、面推定部１８６、および計測部１８７によってＣＰＵ１８ａの機能が構成されている。図２０に示すブロックの少なくとも１つがＣＰＵ１８ａとは別の回路で構成されてもよい。図８に示す構成と同じ構成の説明を省略する。

　図２０に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図２０に示す各部は、１つまたは複数のプロセッサを含むことができる。図２０に示す各部は、１つまたは複数の論理回路を含むことができる。

　計測部１８７は、基準面に基づいて被写体の大きさを計測する（計測ステップ）。例えば、計測部１８７は、面基準計測を実行する。つまり、計測部１８７は、計測ステップにおいて、基準面と被写体の表面上の点との間の３Ｄ距離を計測する。

　点設定部１８５は、第２の実施形態と同様に基準点を受け付ける。基準点は、基準領域を設定するための基準位置を示す。さらに、点設定部１８５は、計測点を受け付け、かつ受け付けられた計測点を示す点情報を生成する。計測点は、被写体の大きさを計測する位置を示す。ユーザーは、画像上に表示されたカーソルを使用することにより、あるいは表示部５の画面をタッチすることにより、計測点を指定する。

　計測部１８７は、基準面と、点情報が示す計測点との間の３Ｄ距離を算出する。これにより、計測部１８７は、被写体の表面における凹部の深さまたは被写体の表面における凸部の高さを計測することができる。

　図２１を使用することにより、第３の実施形態における３次元計測（３Ｄ計測）について説明する。図２１は、３Ｄ計測の手順を示す。図９に示す処理と同じ処理の説明を省略する。

　ステップＳ１０７の後、点設定部１８５は、被写体の２Ｄ画像上の１つの計測点を、操作部４を通して受け付け、かつ受け付けられた計測点を示す点情報を生成する（ステップＳ１０８）。

　ステップＳ１０８の後、計測部１８７は、ステップＳ１０６において推定された基準面と、点情報が示す計測点とに基づいて被写体の大きさを計測する（ステップＳ１０９）。ステップＳ１０９は、計測ステップに対応する。

　ステップＳ１０９の後、表示制御部１８３は、計測結果を被写体の２Ｄ画像上に表示する（ステップＳ１１０）。計測結果は、ステップＳ１０９において計測された大きさを示す。ステップＳ１１０が実行されたとき、３Ｄ計測が終了する。

　具体的には、表示制御部１８３は、計測結果を表示するためのグラフィック画像信号を生成する。表示制御部１８３は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａから出力されたグラフィック画像信号とを合成する。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、計測結果が重畳された被写体の２Ｄ画像を表示する。例えば、被写体の大きさを示す文字が被写体の２Ｄ画像上に表示される。表示制御部１８３は、計測結果を点群データの３Ｄ画像上に表示してもよい。

　計測部１８７は、ステップＳ１０９において、基準面と被写体の表面上の２つ以上の点の各々との間の３Ｄ距離を計測してもよい。表示制御部１８３は、ステップＳ１１０（計測結果表示ステップ）において、計測された３Ｄ距離の最大値を表示部５に表示してもよい。

　具体的には、計測部１８７は、２次元の基準領域に外接する円内の点の全てまたは一部を被写体の２Ｄ画像から抽出する。円の代わりに正方形または長方形などが使用されてもよい。被写体の２Ｄ画像上の点は、点群データにおける点の３Ｄ座標と関連付けられている。計測部１８７は、抽出された各点と関連付けられた３Ｄ座標を点群データから取得する。

　あるいは、計測部１８７は、３次元の基準領域に外接する球内の点の全てまたは一部を点群データから抽出する。球の代わりに立方体または円筒などが使用されてもよい。計測部１８７は、抽出された各点の３Ｄ座標を点群データから取得する。

　計測部１８７は、基準面と、抽出された各点との間の３Ｄ距離を算出する。計測部１８７は、算出された３Ｄ距離の最大値を計測結果として得る。これにより、計測部１８７は、被写体の表面における凹部の深さまたは被写体の表面における凸部の高さを正確に計測することができる。

　ユーザーは、計測モードを指定してもよい。例えば、ステップＳ１０３が実行される前、ユーザーは、操作部４を操作することにより、計測モードを示すモード情報を操作部４に入力する。そのモード情報は、制御インタフェース１７を経由してＣＰＵ１８ａに出力される。制御部１８０は、そのモード情報に基づいて計測モードを設定する。第３の実施形態に示す例では、モード情報は面基準計測を示す。モード情報は、計測を含まないモードを示してもよい。その場合、図９に示す面推定処理が実行される。

　点設定部１８５がステップＳ１０３において基準点を受け付けた後、ユーザーはその基準点を変更してもよい。

　領域設定部１８２がステップＳ１０４において基準領域を設定した後、ユーザーは任意のタイミングで基準領域の大きさおよび基準領域の位置の少なくとも一方を変更してもよい。そのタイミングは、基準領域がステップＳ１０５において表示された後、または基準面がステップＳ１０７において表示された後であってもよい。

　領域設定部１８２は、基準点を使用せずに基準領域を設定してもよい。したがって、ステップＳ１０３が実行される必要はない。計測部１８７が計測に使用する点を被写体の２Ｄ画像または点群データから抽出する場合、ステップＳ１０８が実行される必要はない。ＣＰＵ１８ａは、位置算出部１８４および点設定部１８５の機能を有する必要はない。

　表示制御部１８３は、点群データの３Ｄ画像を表示部５に表示してもよく、かつ基準面の推定に使用された点群データの３つ以上の点をその３Ｄ画像上に表示してもよい。表示制御部１８３は、被写体の２Ｄ画像を表示部５に表示してもよく、かつ基準面の推定に使用された点群データの３つ以上の点に対応する３つ以上の点をその２Ｄ画像上に表示してもよい。

　基準領域の表示は必須ではない。したがって、ステップＳ１０５が実行される必要はない。基準面の表示は必須ではない。したがって、ステップＳ１０７が実行される必要はない。計測結果の表示は必須ではない。したがって、ステップＳ１１０が実行される必要はない。

　基準点の設定、基準領域の表示、基準面の表示、および計測結果の表示が不要である場合、画像の表示は必須ではない。したがって、ステップＳ１０２が実行される必要はない。ＣＰＵ１８ａは、表示制御部１８３の機能を有する必要はない。

　３Ｄ計測における処理の順番は、図２１に示す順番に限らない。例えば、ステップＳ１０１が実行される前に被写体の２Ｄ画像が表示部５に表示されてもよい。

　第３の実施形態において、内視鏡装置１は、被写体の大きさを計測する。基準面が正確に推定されるため、内視鏡装置１は、正確な計測結果を得ることができる。

　（第４の実施形態）
　本発明の第４の実施形態を説明する。第４の実施形態の内視鏡装置１は、図８に示すＣＰＵ１８または図２０に示すＣＰＵ１８ａを有する。

　被写体の表面において、所定の領域とそれの周辺との間で高さまたは深さが異なる場合がある。所定の領域は、凹部、凸部、または段差などである。算出された基準面が、その所定の領域とそれの周辺とを含む表面を近似する場合、その基準面の精度が悪化する。第４の実施形態において、面推定部１８６は、その所定の領域を除く表面を近似する基準面を推定する。

　領域設定部１８２は、凸集合ではない領域を含む基準領域を設定する。ユークリッド空間において凸（ｃｏｎｖｅｘ）である物体は、次のように定義される。その物体に含まれる任意の２点を結ぶ線分が定義され、その線分上の任意の点がその物体に含まれる場合、その物体は凸である。

　図２２および図２３を使用することにより、第４の実施形態における基準領域を説明する。図２２に示す基準領域Ｒ５１は、点Ｐ５１、点Ｐ５２、および点Ｐ５３を含む。線分Ｌ５１は点Ｐ５１および点Ｐ５２を結ぶ。点Ｐ５３は線分Ｌ５１上にある。点Ｐ５３は基準領域Ｒ５１に含まれる。点Ｐ５３以外の線分Ｌ５１上の点は図２２に示されていない。線分Ｌ５１上の全ての点は基準領域Ｒ５１に含まれる。図２２において、点Ｐ５１、点Ｐ５２、および点Ｐ５３以外の点は示されていない。基準領域Ｒ５１内の任意の２点を結ぶ線分上の点は必ず基準領域Ｒ５１に含まれる。言い換えると、基準領域Ｒ５１内の任意の２点を結ぶ線分は基準領域Ｒ５１外の領域を通らない。したがって、基準領域Ｒ５１は凸集合である。

　図２３に示す基準領域Ｒ５２は、点Ｐ５４、点Ｐ５５、および点Ｐ５６を含む。線分Ｌ５２は点Ｐ５４および点Ｐ５５を結ぶ。点Ｐ５６は線分Ｌ５２上にある。点Ｐ５６は基準領域Ｒ５２に含まれない。線分Ｌ５２上の点の一部は基準領域Ｒ５２に含まれない。言い換えると、線分Ｌ５２は基準領域Ｒ５２外の領域を通る。したがって、基準領域Ｒ５２は凸集合ではない。領域設定部１８２は、基準領域Ｒ５２のような基準領域を設定する。凸集合である領域は２次元の領域に限らず、３次元の領域であってもよい。

　以下では、点群データの３Ｄ画像を参照し、基準領域を説明する。図２４は、基準領域の第１の例を示す。第１の例における基準領域は、２つの球の間の領域（球殻）である。２つの球の中心は同じであり、かつ２つの球の直径は互いに異なる。

　３Ｄ画像Ｇ６１が図２４に示されている。ユーザーは、３Ｄ画像Ｇ６１上に表示されたカーソルを使用することにより、あるいは表示部５の画面をタッチすることにより、基準点Ｐ６１および基準点Ｐ６２を指定する。点設定部１８５は基準点Ｐ６１および基準点Ｐ６２を受け付ける。

　領域設定部１８２は、基準点Ｐ６１および基準点Ｐ６２を結ぶ線分を直径として持つ第１の球を算出する。領域設定部１８２は、第２の球を算出する。第１の球の中心と第２の球の中心とは、同じである。第２の球の直径は、第１の球の直径よりも小さい。領域設定部１８２は、第１の球と第２の球との間の領域を基準領域Ｒ６１として設定する。面推定部１８６は、基準領域Ｒ６１に含まれる３つ以上の点に基づいて基準面を推定する。

　基準領域Ｒ６１の境界は、第１の境界Ｒ６１ａと、第１の境界Ｒ６１ａよりも内側にある第２の境界Ｒ６１ｂとを含む。第１の境界Ｒ６１ａは相対的に外側にあり、かつ第２の境界Ｒ６１ｂは相対的に内側にある。第１の境界Ｒ６１ａは、第２の境界Ｒ６１ｂを囲む。第１の境界Ｒ６１ａは、第１の球と同じである。第２の境界Ｒ６１ｂは、第２の球と同じである。

　領域Ｒ６２が図２４に示されている。領域Ｒ６２の高さまたは深さは領域Ｒ６２の周辺の領域のそれと異なる。第１の境界Ｒ６１ａおよび第２の境界Ｒ６１ｂは領域Ｒ６２の周辺にある。基準領域Ｒ６１は領域Ｒ６２を囲む。領域Ｒ６２内の点は基準領域Ｒ６１に含まれない。そのため、面推定部１８６は、基準面を正確に推定することができる。

　ユーザーは第１の球または第２の球の大きさを修正してもよい。表示部５および操作部４がタッチパネルである例では、ユーザーは、ドラッグ操作を実施することにより第１の球または第２の球の大きさを修正してもよい。

　図２４に示す例では、ユーザーは２つの基準点を指定する。図２５は、ユーザーが１つの基準点を指定する例を示す。

　図２４に示す３Ｄ画像Ｇ６１と同じ３Ｄ画像Ｇ６１が図２５に示されている。ユーザーは、３Ｄ画像Ｇ６１上に表示されたカーソルを使用することにより、あるいは表示部５の画面をタッチすることにより、基準点Ｐ６３を指定する。点設定部１８５は基準点Ｐ６３を受け付ける。

　領域設定部１８２は、基準点Ｐ６３を中心に持つ第１の球および第２の球を算出する。第２の球の直径は、第１の球の直径よりも小さい。領域設定部１８２は、第１の球と第２の球との間の領域を基準領域Ｒ６３として設定する。

　領域設定部１８２が図２４または図２５に示す方法を使用することにより基準領域を設定した後、領域設定部１８２は一部の領域を基準領域から除いてもよい。図２６は、一部の領域を基準領域から除く方法を示す。

　図１０に示す３Ｄ画像Ｇ１２と同じ３Ｄ画像Ｇ１２が表示部５に表示される。基準領域Ｒ６４が設定された後、ユーザーは基準領域Ｒ６４から除く領域を指定する。表示部５および操作部４がタッチパネルである例では、ユーザーは、ピンチ操作を実施することにより一部の領域を基準領域Ｒ６４から除いてもよい。基準領域Ｒ６４の境界は、第１の境界Ｒ６４ａと、第１の境界Ｒ６４ａよりも内側にある第２の境界Ｒ６４ｂとを含む。

　図２７は、基準領域の第２の例を示す。第２の例における基準領域は、直方体の辺の周辺の領域のみを含む。３Ｄ画像Ｇ６３が図２７に示されている。ユーザーは、３Ｄ画像Ｇ６３上に表示されたカーソルを使用することにより、あるいは表示部５の画面をタッチすることにより、基準点Ｐ６４および基準点Ｐ６５を指定する。点設定部１８５は基準点Ｐ６４および基準点Ｐ６５を受け付ける。

　領域設定部１８２は、基準点Ｐ６４および基準点Ｐ６５に基づいて長方形を算出する。基準点Ｐ６４および基準点Ｐ６５は、その長方形の対角線上の頂点である。基準点Ｐ６４および基準点Ｐ６５が設定された後、ユーザーは、３Ｄ画像Ｇ６３上に表示されたカーソルを使用することにより、あるいは表示部５の画面をタッチすることにより、基準点Ｐ６６を指定する。点設定部１８５は基準点Ｐ６６を受け付ける。

　領域設定部１８２は、基準点Ｐ６４、基準点Ｐ６５、および基準点Ｐ６６に基づいて直方体を算出する。その直方体の１つの面は、基準点Ｐ６４および基準点Ｐ６５に基づいて算出された長方形によって定義される。その直方体の高さは、その長方形と基準点Ｐ６６との間の３Ｄ距離と同じである。

　領域設定部１８２は、その直方体の各辺を中心軸として持つ円筒を算出する。その直方体は６つの辺を持つため、領域設定部１８２は６つの円筒を算出する。領域設定部１８２は、６つの円筒内の領域の集合である基準領域Ｒ６５を設定する。基準領域Ｒ６５に含まれる領域の形状は円筒に限らない。面推定部１８６は、基準領域Ｒ６５に含まれる３つ以上の点に基づいて基準面を推定する。

　領域設定部１８２は、凸集合ではない２次元の基準領域を設定してもよい。例えば、領域設定部１８２は、被写体の２Ｄ画像上の第１の円および第２の円を算出してもよい。第１の円の中心と第２の円の中心とは、同じである。第２の円の直径は、第１の円の直径よりも小さい。領域設定部１８２は、第１の円と第２の円との間の領域を基準領域として設定してもよい。円の代わりに正方形または長方形などが使用されてもよい。

　面推定部１８６は、基準領域に含まれる３つ以上の点に対応する点群データにおける３つ以上の点に基づいて基準面を推定する。例えば、面推定部１８６は、基準領域における全ての点を抽出する。面推定部１８６は、抽出された点の各々の３Ｄ座標を使用することにより基準面を推定する。面推定部１８６は、基準領域における点のうちの一部を抽出してもよい。

　具体的には、面推定部１８６は、図９または図２１に示すステップＳ１０６において、基準領域に含まれる４つ以上の点から３つ以上の点を選択する。面推定部１８６は、ステップＳ１０６において、選択された３つ以上の点に対応する点群データの３つ以上の点に基づいて基準面を推定する。基準面の推定に使用される点の数が減るため、面推定部１８６は、基準面を推定するための処理負荷を減らすことができる。

　面推定部１８６が３つ以上の点を選択するためには基準領域は４つ以上の点を含む必要がある。基準領域の４つ以上の点は、三角形を形成する３つの点で構成される１つ以上の組を含む。基準領域の４つ以上の点の全てを通る直線は存在しない。

　図２８および図２９は、基準面の推定に使用される点の例を示す。図を簡単にするために２次元の基準領域が使用される例を説明する。以下の説明は、３次元の基準領域が使用される場合に適用されてもよい。

　基準領域Ｒ７１が図２８に示されている。面推定部１８６は、基準領域Ｒ７１における全ての点（２Ｄ画像の画素）のうち一部の点（２Ｄ画像の画素）を規則正しく抽出する。図２８において、抽出される点のみが示されており、抽出されない点は省略されている。図２８に示す例では、面推定部１８６は、簡単な処理を実行することにより、点を一様にかつ広範囲に抽出することができる。

　基準領域Ｒ７２が図２９に示されている。面推定部１８６は、基準領域Ｒ７２における全ての点（２Ｄ画像の画素）のうち一部の点（２Ｄ画像の画素）をランダムに抽出する。図２９において、抽出される点のみが示されており、抽出されない点は省略されている。周期的な凹凸パターンが被写体の表面上にある場合、図２８に示す例ではそのパターンの周期と抽出される点の周期とが一致する可能性がある。そのため、特定のパターンと一致する領域の点のみが抽出され、基準面の精度が悪化する可能性がある。図２９に示す例では、特定のパターンと一致しない領域の点も抽出されるため、基準面の精度が向上する。

　面推定部１８６は、基準領域の境界に近い部分の点を主に抽出してもよい。第１の密度は第２の密度よりも高い。第１の密度は、基準領域の境界に近い部分において点が抽出される密度を示す。第２の密度は、基準領域の境界から遠い部分において点が抽出される密度を示す。これにより、面推定部１８６は、基準領域の境界に近い部分の点を多く使用することができる。また、面推定部１８６は、基準面の推定に使用される点の数を全体的に抑えることができ、かつ点を広範囲に抽出することができる。

　面推定部１８６は、上記の方法を使用することにより基準領域の境界の内部の点を抽出してもよく、かつ基準領域の境界上の点の全てまたは一部を抽出してもよい。

　第４の実施形態において、凸集合ではない領域を含む基準領域が設定される。内視鏡装置１は、周辺の領域と異なる形状を持つ領域における点を基準領域から除くことができる。そのため、内視鏡装置１は、基準面の精度を向上させることができる。

　（第５の実施形態）
　本発明の第５の実施形態を説明する。第５の実施形態の内視鏡装置１は、図８に示すＣＰＵ１８または図２０に示すＣＰＵ１８ａを有する。

　第５の実施形態において、基準領域は２つ以上の領域を含む。その２つ以上の領域は互いに離れている。基準領域に含まれる２つ以上の領域の各々は、３つ以上の点を含む。基準領域は、３つ以上の点を含む領域と、１つまたは２つの点を含む領域とを含んでもよい。１つの領域に含まれる３つ以上の点は、三角形を形成する３つの点で構成される１つ以上の組を含む。あるいは、基準領域の全体における３つ以上の点は、三角形を形成する３つの点で構成される１つ以上の組を含む。

　基準領域に含まれる各領域において、３つ以上の点の全てを通る直線は存在しない。あるいは、２つ以上の領域を含む基準領域の全体において、全ての点を通る直線は存在しない。言い換えると、基準領域に含まれる１つの領域において全ての点が直線上にある場合であっても、その直線は基準領域に含まれる他の領域における１つ以上の点を通らない。

　図３０は、基準領域の例を示す。図を簡単にするために２次元の基準領域が使用される例を説明する。以下の説明は、３次元の基準領域が使用される場合に適用されてもよい。

　被写体の２Ｄ画像Ｇ８１が図３０に示されている。ユーザーは、２Ｄ画像Ｇ８１上に表示されたカーソルを使用することにより、あるいは表示部５の画面をタッチすることにより、基準点Ｐ８１、基準点Ｐ８２、基準点Ｐ８３、および基準点Ｐ８４を指定する。点設定部１８５は、基準点Ｐ８１、基準点Ｐ８２、基準点Ｐ８３、および基準点Ｐ８４を受け付ける。

　領域設定部１８２は、基準点Ｐ８１を中心に持つ領域Ｒ８１を設定する。領域設定部１８２は、所定の値を直径として持つ円を領域８１として設定する。円の代わりに正方形または長方形などが使用されてもよい。同様に、領域設定部１８２は、基準点Ｐ８２を中心に持つ領域Ｒ８２、基準点Ｐ８３を中心に持つ領域Ｒ８３、および基準点Ｐ８４を中心に持つ領域Ｒ８４を設定する。基準領域は、領域Ｒ８１、領域Ｒ８２、領域Ｒ８３、および領域Ｒ８４を含む。領域Ｒ８１、領域Ｒ８２、領域Ｒ８３、および領域Ｒ８４は互いに離れている。

　領域Ｒ８５が図３０に示されている。領域Ｒ８５の高さまたは深さは領域Ｒ８５の周辺の領域のそれと異なる。領域Ｒ８１、領域Ｒ８２、領域Ｒ８３、および領域Ｒ８４は、領域Ｒ８５を囲む位置に配置されている。領域Ｒ８５内の点は基準領域に含まれない。そのため、面推定部１８６は、基準面を正確に推定することができる。

　図３０に示す例では、ユーザーは４つの基準点を指定する。図３１は、ユーザーが１つの基準点を指定する例を示す。

　図３０に示す２Ｄ画像Ｇ８１と同じ２Ｄ画像Ｇ８１が図３１に示されている。図３０に示す領域Ｒ８５と同じ領域Ｒ８５が図３１に示されている。ユーザーは、２Ｄ画像Ｇ８１上に表示されたカーソルを使用することにより、あるいは表示部５の画面をタッチすることにより、基準点Ｐ８５を指定する。点設定部１８５は、基準点Ｐ８５を受け付ける。

　領域設定部１８２は、基準点Ｐ８５の周辺の点を中心に持つ領域Ｒ８６、領域Ｒ８７、領域Ｒ８８、および領域Ｒ８９を設定する。例えば、領域設定部１８２は、基準点Ｐ８５から所定の距離だけ離れた４つの点を抽出する。領域設定部１８２は、抽出された各点を中心に持つ領域を設定する。

　第５の実施形態において、２つ以上の領域を含む基準領域が設定される。内視鏡装置１は、周辺の領域と異なる形状を持つ領域を含まない基準領域を設定することができる。そのため、内視鏡装置１は、基準面の精度を向上させることができる。

　（第６の実施形態）
　本発明の第６の実施形態を説明する。第６の実施形態において、基準領域の境界は被写体の表面の状態に基づいて設定される。

　第６の実施形態において、図８に示すＣＰＵ１８は、図３２に示すＣＰＵ１８ｂに変更される。図３２は、ＣＰＵ１８ｂの機能構成を示す。制御部１８０、生成部１８１、領域設定部１８２、表示制御部１８３、位置算出部１８４、点設定部１８５、面推定部１８６、および状態判断部１８８によってＣＰＵ１８ｂの機能が構成されている。図３２に示すブロックの少なくとも１つがＣＰＵ１８ｂとは別の回路で構成されてもよい。図８に示す構成と同じ構成の説明を省略する。

　図３２に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図３２に示す各部は、１つまたは複数のプロセッサを含むことができる。図３２に示す各部は、１つまたは複数の論理回路を含むことができる。

　表示制御部１８３は、点群データの３Ｄ画像および被写体の２Ｄ画像の一方を表示部５に表示する（画像表示ステップ）。点設定部１８５は、操作部４を通して入力された位置情報を受け付ける（位置入力ステップ）。位置情報は、表示部５に表示された点群データの３Ｄ画像または被写体の２Ｄ画像上の位置を示す。状態判断部１８８は、被写体の状態を判断する（状態判断ステップ）。領域設定部１８２は、領域設定ステップにおいて、位置情報が示す位置と、被写体の状態とに基づいて基準領域の境界を判断する。

　図３３を使用することにより、第６の実施形態における面推定処理について説明する。図３３は、面推定処理の手順を示す。図９に示す処理と同じ処理の説明を省略する。

　表示制御部１８３は、ステップＳ１０２において点群データの３Ｄ画像を表示部５に表示する。ステップＳ１０２は、画像表示ステップに対応する。

　点設定部１８５は、ステップＳ１０３において点群データの３Ｄ画像上の２つの基準点を、操作部４を通して受け付け、かつ受け付けられた２つの基準点の各々を示す点情報を生成する。ステップＳ１０３は、位置入力ステップに対応する。

　ステップＳ１０３において入力される２つの基準点は、点群データの３Ｄ画像上の画素位置を示す。したがって、ステップＳ１０３において位置情報が入力され、かつ点設定部１８５はその位置情報を受け付ける。点設定部１８５は、位置情報が示す２つの基準点の３Ｄ座標を含む点情報を生成する。

　ステップＳ１０３の後、状態判断部１８８は、被写体の状態を判断する（ステップＳ１１１）。ステップＳ１１１は、状態判断ステップに対応する。

　状態判断部１８８は、点群データ、点群データの３Ｄ画像、および被写体の２Ｄ画像のうちの少なくとも１つを使用することにより、被写体の状態を判断する。状態判断部１８８は、その状態に基づいて３Ｄ画像上の領域を２つ以上の領域（セグメント）に分割する。

　例えば、状態判断部１８８は、点群データを使用することにより、被写体の３Ｄ形状の特徴を判断する。状態判断部１８８は、その特徴に基づいて、点群データに含まれる３次元座標に対応する３つ以上の点を２つ以上の領域に分割する。例えば、状態判断部１８８は、Ｅｕｃｌｉｄｅａｎ　Ｃｌｕｓｔｅｒ　Ｅｘｔｒａｃｔｉｏｎを使用することにより、３つ以上の点の各々を２つ以上の領域のうちの１つに割り当てる。状態判断部１８８は、各領域を点群データの３Ｄ画像上の領域と関連付ける。これにより、状態判断部１８８は、その３Ｄ画像上の領域を２つ以上の領域に分割する。

　状態判断部１８８は、点群データに基づいて被写体の表面に垂直な法線を算出し、かつ法線方向の変化に基づいて被写体のエッジまたは段差を検出してもよい。状態判断部１８８は、点群データにおける３つ以上の点を第１の領域および第２の領域に分割してもよい。例えば、第１の領域は、エッジまたは段差上の点からなる。第２の領域は、そのエッジまたは段差以外の部分上の点からなる。状態判断部１８８は、各領域を点群データの３Ｄ画像上の領域と関連付けることにより、その３Ｄ画像上の領域を２つの領域に分割してもよい。

　状態判断部１８８は、被写体の２Ｄ画像または点群データの３Ｄ画像を使用することにより、被写体の状態を判断してもよい。例えば、状態判断部１８８は、被写体の２Ｄ画像または点群データの３Ｄ画像に画像処理を施すことにより、被写体のエッジを検出してもよい。状態判断部１８８は、被写体の２Ｄ画像における３つ以上の点を第１の領域および第２の領域に分割してもよい。例えば、第１の領域は、エッジ上の点からなる。第２の領域は、そのエッジ以外の部分上の点からなる。状態判断部１８８は、被写体の２Ｄ画像上の各領域を点群データの３Ｄ画像上の領域と関連付けることにより、その３Ｄ画像上の領域を２つの領域に分割してもよい。同様に、状態判断部１８８は、点群データの３Ｄ画像における３つ以上の点を第１の領域および第２の領域に分割してもよい。

　状態判断部１８８は、被写体の２Ｄ画像または点群データの３Ｄ画像の明るさまたは色に基づいて被写体の特徴を判断してもよい。状態判断部１８８は、被写体のステレオ画像にマッチング処理を施してもよく、かつそのマッチング処理において得られた相関値に基づいて被写体の特徴を検出してもよい。状態判断部１８８は、ＷａｔｅｒｓｈｅｄアルゴリズムまたはＤｅｅｐ　Ｌｅａｒｎｉｎｇ等を使用することにより、被写体の特徴を判断してもよい。

　ステップＳ１１１の後、領域設定部１８２は、２つの基準点の位置および被写体の状態に基づいて基準領域を設定する（ステップＳ１０４ａ）。ステップＳ１０４ａは、領域設定ステップに対応する。

　領域設定部１８２は、点群データの３Ｄ座標を定義する３Ｄ空間に３次元の基準領域を設定する。例えば、領域設定部１８２は、２つの基準点の位置に基づいて基準領域の外側の境界を設定する。領域設定部１８２は、被写体の状態に基づいて基準領域の内側の境界を設定する。例えば、被写体の表面に異常な領域が存在する場合がある。その領域の高さまたは深さはその部分の周辺の領域のそれと異なる。領域設定部１８２は、基準領域の内側の境界を設定することにより、その部分を基準領域から除く。これにより、領域設定部１８２は、その部分を含まない基準領域を設定することができる。ステップＳ１０４ａの後、ステップＳ１０５が実行される。

　図３４は、表示部５に表示される画像の例を示す。３Ｄ画像Ｇ９１が表示部５に表示される。ユーザーは、３Ｄ画像Ｇ９１上に表示されたカーソルを使用することにより、あるいは表示部５の画面をタッチすることにより、基準点Ｐ９１および基準点Ｐ９２を指定する。点設定部１８５は、基準点Ｐ９１および基準点Ｐ９２を受け付ける。

　領域設定部１８２は、基準点Ｐ９１および基準点Ｐ９２を結ぶ線分を直径として持つ球ＳＰ９１を算出する。領域設定部１８２は、球ＳＰ９１を基準領域の外側の境界として設定する。

　図３５は、点群データの３Ｄ画像上の２つ以上の領域を示す。状態判断部１８８は、被写体の状態に基づいて３Ｄ画像上の領域を２つ以上の領域に分割する。図３５は、その２つ以上の領域を示す。図３５に示す例では、３Ｄ画像上の被写体の領域は、領域Ｒ９１、領域Ｒ９２、および領域Ｒ９３に分割されている。

　領域設定部１８２は、球ＳＰ９１内の２つ以上の領域のうち最も大きな体積を持つ領域を基準領域として設定する。基準領域として設定された領域以外の領域は基準領域に含まれない。領域Ｒ９１の一部および領域Ｒ９２が球ＳＰ９１内にある。球ＳＰ９１内の領域Ｒ９１は基準領域に含まれる。領域Ｒ９２は基準領域に含まれない。領域設定部１８２は、領域Ｒ９２の境界を基準領域の内側の境界として設定する。

　上記の例では、状態判断部１８８は、点群データに含まれる３次元座標に対応する３つ以上の点を２つ以上の領域に分割する。基準領域の境界は、２つ以上の領域に含まれる１つ以上の領域の境界を含む。

　上記の２つ以上の領域の各々は、３つ以上の点を含む。上記の２つ以上の領域は、３つ以上の点を含む領域と、１つまたは２つの点を含む領域とを含んでもよい。基準領域は、３つ以上の点を含む領域を含む。

　図３５に示す例では、状態判断部１８８は、点群データに含まれる３つ以上の点を３つの領域に分割する。基準領域の境界は、領域Ｒ９２の境界を含む。状態判断部１８８が、領域Ｒ９２および領域Ｒ９３を囲む基準領域を設定してもよく、かつその基準領域の境界が領域Ｒ９２の境界および領域Ｒ９３の境界を含んでもよい。

　基準領域の外側の境界は、直方体、立方体、または円筒などであってもよい。基準領域の形状はこれらの例に限らない。

　図３４に示す例では、ユーザーは２つの基準点を指定する。図３６は、ユーザーが１つの基準点を指定する例を示す。

　図３４に示す３Ｄ画像Ｇ９１と同じ３Ｄ画像Ｇ９１が図３６に示されている。ユーザーは、３Ｄ画像Ｇ９１上に表示されたカーソルを使用することにより、あるいは表示部５の画面をタッチすることにより、基準点Ｐ９３を指定する。点設定部１８５は基準点Ｐ９３を受け付ける。

　領域設定部１８２は、基準点Ｐ９３を中心に持つ球ＳＰ９２を算出する。球ＳＰ９２の直径は所定の長さである。領域設定部１８２は、球ＳＰ９２を基準領域の外側の境界として設定する。状態判断部１８８は、図３５に示す領域Ｒ９２の境界を基準領域の内側の境界として設定する。

　領域設定部１８２が基準領域の外側の境界を設定した後、状態判断部１８８は、その境界内のみの領域を２つ以上の領域に分割してもよい。図３４に示す例では、領域設定部１８２が球ＳＰ９１を基準領域の外側の境界として設定した後、状態判断部１８８はその境界内の領域を２つ以上の領域に分割してもよい。点群データの全体を処理する場合と比較して、処理負荷が減る。

　点群データの３Ｄ画像の代わりに被写体の２Ｄ画像が使用されてもよい。以下では、被写体の２Ｄ画像が使用される例を説明する。

　表示制御部１８３は、ステップＳ１０２において被写体の２Ｄ画像を表示部５に表示する。点設定部１８５は、ステップＳ１０３において被写体の２Ｄ画像上の１つ以上の基準点を、操作部４を通して受け付け、かつ受け付けられた１つ以上の基準点の各々を示す点情報を生成する。

　状態判断部１８８は、ステップＳ１１１において、被写体の２Ｄ画像を使用することにより被写体の状態を判断する。状態判断部１８８は、その判断の結果に基づいて２Ｄ画像上の領域を２つ以上の領域に分割する。

　領域設定部１８２は、ステップＳ１０４ａにおいて、２次元の基準領域を被写体の２Ｄ画像に設定する。例えば、領域設定部１８２は、基準点の位置に基づいて基準領域の外側の境界を設定する。領域設定部１８２は、被写体の状態に基づいて基準領域の内側の境界を設定する。

　ＣＰＵ１８ｂは、図２０に示す計測部１８７を有してもよい。ステップＳ１０７が実行された後、図２１に示すステップＳ１０８、ステップＳ１０９、およびステップＳ１１０が実行されてもよい。

　点設定部１８５がステップＳ１０３において基準点を受け付けた後、ユーザーはその基準点を変更してもよい。ステップＳ１０３において設定される基準点の数は２つに限らない。

　基準領域の大きさおよび基準領域の位置の少なくとも一方を示す領域情報が記録媒体に予め記録されてもよい。領域設定部１８２は、ステップＳ１０４ａにおいて、領域情報に基づいて基準領域の大きさおよび基準領域の位置の少なくとも一方を設定してもよい。例えば、領域設定部１８２は、領域情報に基づいて基準領域の外側の境界の大きさおよび基準領域の外側の境界の位置の少なくとも一方を設定してもよい。

　２つ以上の領域情報が記録媒体に予め記録されてもよい。領域設定部１８２は、ステップＳ１０４ａにおいて、操作部４を通して入力された情報に基づいて２つ以上の領域情報のうちの１つを選択してもよい。領域設定部１８２は、ステップＳ１０４ａにおいて、選択された領域情報に基づいて基準領域の大きさおよび基準領域の位置の一方を設定してもよい。

　領域設定部１８２がステップＳ１０４ａにおいて基準領域を設定した後、ユーザーは任意のタイミングで基準領域の大きさおよび基準領域の位置の少なくとも一方を変更してもよい。そのタイミングは、基準領域がステップＳ１０５において表示された後、または基準面がステップＳ１０７において表示された後であってもよい。

　面推定処理における処理の順番は、図３３に示す順番に限らない。例えば、ステップＳ１０２またはステップＳ１０３が実行される前にステップＳ１１１が実行されてもよい。ステップＳ１０１が実行される前に、被写体の２Ｄ画像を使用することによりステップＳ１１１が実行されてもよい。

　第６の実施形態において、被写体の表面の状態に基づいて基準領域が設定される。内視鏡装置１は、異常な領域を含まない基準領域を容易に設定することができる。そのため、内視鏡装置１は、基準面の精度を向上させることができる。

　（第６の実施形態の第１の変形例）
　本発明の第６の実施形態の第１の変形例を説明する。第６の実施形態の第１の変形例において、状態判断部１８８は、点群データに含まれる３次元座標に対応する３つ以上の点を２つ以上の領域に分割する。表示制御部１８３はその２つ以上の領域の画像を表示部５に表示し、かつ点設定部１８５はその画像上の基準点を受け付ける。

　図３７を使用することにより、第６の実施形態の第１の変形例における面推定処理について説明する。図３７は、面推定処理の手順を示す。図３３に示す処理と同じ処理の説明を省略する。

　ステップＳ１０１の後、ステップＳ１１１において、状態判断部１８８は、被写体の状態を判断する。これにより、状態判断部１８８は、点群データに含まれる３次元座標に対応する３つ以上の点を２つ以上の領域に分割する。

　ステップＳ１１１の後、表示制御部１８３は、点群データの３Ｄ画像および２つ以上の領域の画像を表示部５に表示する（ステップＳ１０２ａ）。具体的には、表示制御部１８３は、点群データの３Ｄ画像および２つ以上の領域の画像を表示するためのグラフィック画像信号を生成する。２つ以上の領域の画像は、各画素のカラーデータを含む。表示制御部１８３は、生成されたグラフィック画像信号を、映像信号処理回路１２を通して表示部５に出力する。表示部５は、点群データの３Ｄ画像および２つ以上の領域の画像を表示する。

　ステップＳ１０２ａの後、点設定部１８５は、２つ以上の領域の画像上の２つの基準点を、操作部４を通して受け付け、かつ受け付けられた基準点を示す点情報を生成する（ステップＳ１０３ａ）。ステップＳ１０３ａの後、ステップＳ１０４ａが実行される。

　図３８は、表示部５に表示される画像の例を示す。図３４に示す３Ｄ画像Ｇ９１と同じ３Ｄ画像Ｇ９１および２つ以上の領域の画像Ｇ９２が表示部５に表示される。図３８に示す例では、画像Ｇ９２の領域は、領域Ｒ９４、領域Ｒ９５、および領域Ｒ９６に分割されている。

　ユーザーは、画像Ｇ９２を参照し、基準点の位置を判断する。３Ｄ画像Ｇ９１および画像Ｇ９２を比較することにより、ユーザーは、被写体の特徴を判断することができる。例えば、ユーザーは、領域Ｒ９５および領域Ｒ９６が凹部または凸部であると判断することができる。ユーザーは、領域Ｒ９５および領域Ｒ９６に対応する領域を含まない基準領域を設定するための基準点の位置を判断する。例えば、ユーザーは、最も広い領域Ｒ９４上の基準点を指定する。

　ユーザーは、画像Ｇ９２上に表示されたカーソルを使用することにより、あるいは表示部５の画面をタッチすることにより、基準点Ｐ９４および基準点Ｐ９５を指定する。点設定部１８５は基準点Ｐ９４および基準点Ｐ９５を受け付ける。

　領域設定部１８２は、基準点Ｐ９４および基準点Ｐ９５を結ぶ線分を直径として持つ球ＳＰ９３を算出する。領域設定部１８２は、球ＳＰ９３を基準領域の外側の境界として設定する。

　領域設定部１８２は、球ＳＰ９３内の２つ以上の領域のうち最も大きな体積を持つ領域を基準領域として設定する。基準領域として設定された領域以外の領域は基準領域に含まれない。領域Ｒ９４の一部および領域Ｒ９５が球ＳＰ９３内にある。球ＳＰ９３内の領域Ｒ９４は基準領域に含まれる。領域Ｒ９５は基準領域に含まれない。領域設定部１８２は、領域Ｒ９５の境界を基準領域の内側の境界として設定する。

　表示制御部１８３は、ステップＳ１０２ａにおいて、点群データの３Ｄ画像の代わりに被写体の２Ｄ画像を表示部５に表示してもよい。

　点設定部１８５がステップＳ１０３ａにおいて基準点を受け付けた後、ユーザーはその基準点を変更してもよい。ステップＳ１０３ａにおいて設定される基準点の数は２つに限らない。

　表示制御部１８３は、点群データにおける３つ以上の点を分割することにより生成された２つ以上の領域の画像を表示部５に表示してもよい。表示制御部１８３は、基準面の推定に使用された点群データの３つ以上の点に対応する３つ以上の点をその画像上に表示してもよい。

　第６の実施形態の第１の変形例において、被写体の表面の状態に基づいて基準領域が設定される。内視鏡装置１は、異常な領域を含まない基準領域を容易に設定することができる。そのため、内視鏡装置１は、基準面の精度を向上させることができる。

　（第６の実施形態の第２の変形例）
　本発明の第６の実施形態の第２の変形例を説明する。第６の実施形態の第２の変形例において、曲率マップが基準領域の設定に使用される。曲率マップは、点群データが示す被写体の３Ｄ形状における曲率の分布を示す。例えば、曲率マップは、点の３Ｄ座標と、その点における曲率とを含む。基準領域は、曲率が所定の範囲に収まる領域を含む。

　第６の実施形態の第２の変形例における面推定処理を説明する。第６の実施形態の第２の変形例における面推定処理は、図３３に従って実行される。以下では、第６の実施形態における面推定処理と同じ処理の説明を省略する。

　状態判断部１８８は、ステップＳ１１１において、点群データの各点における曲率を算出し、かつ曲率マップを生成する。状態判断部１８８は、曲率マップに基づいて被写体の状態を判断する。具体的には、状態判断部１８８は、以下の方法を使用することにより被写体の表面の曲率を判断する。

　状態判断部１８８は、点群データの３Ｄ画像上の基準点を中心に持つ３次元の判断領域を３Ｄ空間に設定する。状態判断部１８８は、判断領域における各点と関連付けられた曲率を曲率マップから取得する。状態判断部１８８は、基準点における曲率と、判断領域における各点の曲率との差を算出する。

　領域設定部１８２は、ステップＳ１０４ａにおいて、その差が所定の範囲に収まる点を判断領域から抽出する。領域設定部１８２は、３つ以上の点を判断領域から抽出する。領域設定部１８２は、抽出された３つ以上の点を含む基準領域を設定する。基準領域は、判断領域における点の全てまたは一部を含む。

　状態判断部１８８は、ステップＳ１１１において、点群データの各点における曲率を算出し、かつ曲率マップを生成する。状態判断部１８８は、点設定部１８５によって受け付けられた基準点を中心に持つ２次元の判断領域を被写体の２Ｄ画像に設定する。その後、点群データの３Ｄ画像が使用される例における処理と同様の処理が実行され、基準領域が被写体の２Ｄ画像に設定される。

　表示制御部１８３は、曲率マップの画像を表示部５に表示してもよく、かつ基準面の推定に使用された点群データの３つ以上の点に対応する３つ以上の点をその画像上に表示してもよい。

　第６の実施形態の第２の変形例において、基準領域は、安定した曲率を持つ表面の３つ以上の点を含む。内視鏡装置１は、異常な領域を含まない基準領域を設定することができる。そのため、内視鏡装置１は、基準面の精度を向上させることができる。

　（第６の実施形態の第３の変形例）
　本発明の第６の実施形態の第３の変形例を説明する。第６の実施形態の第３の変形例において、表示制御部１８３は曲率マップの画像を表示部５に表示し、かつ点設定部１８５はその画像上の基準点を受け付ける。

　図３９を使用することにより、第６の実施形態の第３の変形例における面推定処理について説明する。図３９は、面推定処理の手順を示す。図３３に示す処理と同じ処理の説明を省略する。

　ステップＳ１０１の後、状態判断部１８８は、点群データの各点における曲率を算出し、かつ曲率マップを生成する（ステップＳ１１２）。

　ステップＳ１１２の後、表示制御部１８３は、点群データの３Ｄ画像および曲率マップの画像を表示部５に表示する（ステップＳ１０２ｂ）。具体的には、表示制御部１８３は、点群データの３Ｄ画像および曲率マップの画像を表示するためのグラフィック画像信号を生成する。曲率マップの画像は、各画素のカラーデータを含む。表示制御部１８３は、生成されたグラフィック画像信号を、映像信号処理回路１２を通して表示部５に出力する。表示部５は、点群データの３Ｄ画像および曲率マップの画像を表示する。

　ステップＳ１０２ｂの後、点設定部１８５は、曲率マップの画像上の１つの基準点を、操作部４を通して受け付け、かつ受け付けられた基準点を示す点情報を生成する（ステップＳ１０３ｂ）。

　図４０は、ステップＳ１０３ｂにおいて表示部５に表示される画像の例を示す。点群データの３Ｄ画像Ｇ９３および曲率マップの画像Ｇ９４が表示部５に表示される。画像Ｇ９４の画素は、その画素における曲率に対応する色で表示される。例えば、大きな曲率を持つ画素は濃い色で表示され、かつ小さな曲率を持つ画素は薄い色で表示される。

　ユーザーは、画像Ｇ９４を参照し、基準点の位置を判断する。３Ｄ画像Ｇ９３および画像Ｇ９４を比較することにより、ユーザーは、被写体の特徴を判断することができる。例えば、曲率マップの画像Ｇ９４上の領域Ｒ９７および領域Ｒ９８の曲率は、それらの周辺の領域の曲率よりも高い。そのため、ユーザーは、領域Ｒ９７および領域Ｒ９８が凹部または凸部であると判断することができる。ユーザーは、領域Ｒ９７および領域Ｒ９８に対応する領域を含まない基準領域を設定するための基準点の位置を判断する。

　ユーザーは、画像Ｇ９４上に表示されたカーソルを使用することにより、あるいは表示部５の画面をタッチすることにより、基準点Ｐ９６を指定する。点設定部１８５は基準点Ｐ９６を受け付ける。

　ステップＳ１０３ｂの後、状態判断部１８８は、点設定部１８５によって受け付けられた基準点に対応する点群データの点を算出する。状態判断部１８８は、算出された点を中心に持つ３次元の判断領域を３Ｄ空間に設定する。状態判断部１８８は、判断領域における各点と関連付けられた曲率を曲率マップから取得する。状態判断部１８８は、基準点における曲率と、判断領域における各点の曲率との差を算出する（ステップＳ１１１ｂ）。ステップＳ１１１ｂの後、ステップＳ１０４ａが実行される。

　点設定部１８５が曲率マップの画像上の基準点を受け付けた後、状態判断部１８８は、その基準点に対応する被写体の２Ｄ画像上の点を算出する。状態判断部１８８は、算出された点を中心に持つ２次元の判断領域を被写体の２Ｄ画像に設定する。その後、点群データの３Ｄ画像が使用される例における処理と同様の処理が実行され、基準領域が被写体の２Ｄ画像に設定される。

　第６の実施形態の第３の変形例において、基準領域は、安定した曲率を持つ表面の３つ以上の点を含む。内視鏡装置１は、異常な領域を含まない基準領域を設定することができる。そのため、内視鏡装置１は、基準面の精度を向上させることができる。

　（第７の実施形態）
　本発明の第７の実施形態を説明する。第７の実施形態の内視鏡装置１は、図８に示すＣＰＵ１８または図２０に示すＣＰＵ１８ａを有する。

　第７の実施形態において、ユーザーは、点群データの３Ｄ画像または被写体の２Ｄ画像上の３つ以上の点を指定する。その３つ以上の点を結ぶ線分に基づいて基準領域が設定される。

　表示制御部１８３は、点群データの３Ｄ画像および被写体の２Ｄ画像の一方を表示部５に表示する（画像表示ステップ）。点群データの３Ｄ画像または被写体の２Ｄ画像上の３つ以上の点が操作部４を通して入力される（領域設定ステップ）。領域設定部１８２は、入力された３つ以上の点を含む基準領域を設定する（領域設定ステップ）。

　領域設定部１８２は、領域設定ステップにおいて、入力された３つ以上の点を結ぶ線分に基づいて基準領域を設定する。

　第７の実施形態における面推定処理を説明する。第７の実施形態における面推定処理は、図９または図２１に従って実行される。以下では、第２の実施形態または第３の実施形態における面推定処理と同じ処理の説明を省略する。

　表示制御部１８３は、ステップＳ１０２において、点群データの３Ｄ画像を表示部５に表示する。ステップＳ１０２は、画像表示ステップに対応する。

　点設定部１８５は、ステップＳ１０３において、点群データの３Ｄ画像上の３つ以上の基準点を、操作部４を通して受け付け、かつ受け付けられた３つ以上の基準点の各々を示す点情報を生成する。ステップＳ１０３は、領域設定ステップに対応する。

　領域設定部１８２は、ステップＳ１０４において、点情報が示す３つ以上の基準点に基づいて基準領域を設定する。ステップＳ１０４は、領域設定ステップに対応する。

　図４１は、表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１０１が表示部５に表示される。ユーザーは、３Ｄ画像Ｇ１０１上に表示されたカーソルを使用することにより、あるいは表示部５の画面をタッチすることにより、基準点Ｐ１０１、基準点Ｐ１０２、および基準点Ｐ１０３を指定する。点設定部１８５は、基準点Ｐ１０１、基準点Ｐ１０２、および基準点Ｐ１０３を受け付ける。

　領域設定部１８２は、２つの基準点を結ぶ線分を算出する。図４１に示す例では、領域設定部１８２は、線分Ｌ１０１、線分Ｌ１０２、および線分Ｌ１０３を算出する。線分Ｌ１０１は、基準点Ｐ１０１および基準点Ｐ１０２を結ぶ。線分Ｌ１０２は、基準点Ｐ１０２および基準点Ｐ１０３を結ぶ。線分Ｌ１０３は、基準点Ｐ１０３および基準点Ｐ１０１を結ぶ。線分Ｌ１０１、線分Ｌ１０２、および線分Ｌ１０３の各々が３Ｄ画像Ｇ１０１上に表示されてもよい。

　領域設定部１８２は、線分Ｌ１０１、線分Ｌ１０２、および線分Ｌ１０３の各々を中心軸として持つ３つの円筒を算出する。領域設定部１８２は、３つの円筒内の領域の集合である基準領域Ｒ１０１を設定する。基準領域Ｒ１０１に含まれる領域の形状は円筒に限らない。面推定部１８６は、基準領域Ｒ１０１に含まれる３つ以上の点に基づいて基準面を推定する。

　図４２は、表示部５に表示される画像の他の例を示す。図４１に示す３Ｄ画像Ｇ１０１と同じ３Ｄ画像Ｇ１０１が表示部５に表示される。ユーザーは、３Ｄ画像Ｇ１０１上に表示されたカーソルを使用することにより、あるいは表示部５の画面をタッチすることにより、基準点Ｐ１０４、基準点Ｐ１０５、基準点Ｐ１０６、および基準点Ｐ１０７を指定する。点設定部１８５は、基準点Ｐ１０４、基準点Ｐ１０５、基準点Ｐ１０６、および基準点Ｐ１０７を受け付ける。

　領域設定部１８２は、２つの基準点を結ぶ線分を算出する。図４２に示す例では、領域設定部１８２は、線分Ｌ１０４、線分Ｌ１０５、線分Ｌ１０６、および線分Ｌ１０７を算出する。線分Ｌ１０４は、基準点Ｐ１０４および基準点Ｐ１０５を結ぶ。線分Ｌ１０５は、基準点Ｐ１０５および基準点Ｐ１０６を結ぶ。線分Ｌ１０６は、基準点Ｐ１０６および基準点Ｐ１０７を結ぶ。線分Ｌ１０７は、基準点Ｐ１０７および基準点Ｐ１０４を結ぶ。線分Ｌ１０４、線分Ｌ１０５、線分Ｌ１０６、および線分Ｌ１０７の各々が３Ｄ画像Ｇ１０１上に表示されてもよい。

　領域設定部１８２は、線分Ｌ１０４、線分Ｌ１０５、線分Ｌ１０６、および線分Ｌ１０７の各々を中心軸として持つ４つの円筒を算出する。領域設定部１８２は、４つの円筒内の領域の集合である基準領域Ｒ１０２を設定する。基準領域Ｒ１０２に含まれる領域の形状は円筒に限らない。面推定部１８６は、基準領域Ｒ１０２に含まれる３つ以上の点に基づいて基準面を推定する。

　表示制御部１８３は、ステップＳ１０２において、被写体の２Ｄ画像を表示部５に表示する。点設定部１８５は、ステップＳ１０３において、被写体の２Ｄ画像上の３つ以上の基準点を、操作部４を通して受け付け、かつ受け付けられた３つ以上の基準点の各々を示す点情報を生成する。領域設定部１８２は、ステップＳ１０４において、点情報が示す３つ以上の基準点に基づいて基準領域を設定する。

　点設定部１８５がステップＳ１０３において基準点を受け付けた後、ユーザーはその基準点を変更してもよい。ステップＳ１０３において設定される基準点の数は３つまたは４つに限らない。

　第７の実施形態において、ユーザーによって指定された３つ以上の点を含む基準領域が設定される。そのため、被写体の形状または画像の構図に応じて、基準領域の自由度が高まる。内視鏡装置１は、基準領域を容易に設定することができる。

　（第８の実施形態）
　本発明の第８の実施形態を説明する。第８の実施形態の内視鏡装置１は、図８に示すＣＰＵ１８または図２０に示すＣＰＵ１８ａを有する。

　第８の実施形態において、ユーザーは、点群データの３Ｄ画像または被写体の２Ｄ画像をなぞることにより、画像上の線を指定する。指定された線上の３つ以上の点に基づいて基準領域が設定される。

　表示制御部１８３は、点群データの３Ｄ画像および被写体の２Ｄ画像の一方を表示部５に表示する（画像表示ステップ）。ユーザーが点群データの３Ｄ画像または被写体の２Ｄ画像において指定した線上の３つ以上の点が操作部４を通して入力される（領域設定ステップ）。領域設定部１８２は、その線上の３つ以上の点を含む基準領域を設定する（領域設定ステップ）。

　第８の実施形態における面推定処理を説明する。第８の実施形態における面推定処理は、図９または図２１に従って実行される。以下では、第２の実施形態または第３の実施形態における面推定処理と同じ処理の説明を省略する。

　ユーザーは、点群データの３Ｄ画像をなぞることにより、線を描く。点設定部１８５は、ステップＳ１０３において、その線上の３つ以上の基準点を、操作部４を通して受け付け、かつ受け付けられた３つ以上の基準点の各々を示す点情報を生成する。ステップＳ１０３は、領域設定ステップに対応する。

　図４３は、表示部５に表示される画像の例を示す。図４１に示す３Ｄ画像Ｇ１０１と同じ３Ｄ画像Ｇ１０１が表示部５に表示される。表示部５および操作部４がタッチパネルである例では、ユーザーは表示部５の画面を線状になぞることにより線Ｌ１１１を描く。３Ｄ画像Ｇ１０１上のカーソルが表示される例では、ユーザーは、カーソルを３Ｄ画像Ｇ１０１上で線状に移動させることにより線Ｌ１１１を描いてもよい。点設定部１８５は、線Ｌ１１１上の全ての基準点を受け付ける。点設定部１８５は、線Ｌ１１１上の一部の基準点を受け付けてもよい。線Ｌ１１１は、閉じた線である必要はない。

　領域設定部１８２は、線Ｌ１１１を中心軸として持ち、かつ円を断面として持つ基準領域Ｒ１１１を設定する。基準領域Ｒ１１１の断面の形状は円に限らない。面推定部１８６は、基準領域Ｒ１１１に含まれる３つ以上の点に基づいて基準面を推定する。

　表示制御部１８３は、ステップＳ１０２において、被写体の２Ｄ画像を表示部５に表示する。ユーザーは、被写体の２Ｄ画像をなぞることにより、線を描く。点設定部１８５は、ステップＳ１０３において、その線上の３つ以上の基準点を、操作部４を通して受け付け、かつ受け付けられた３つ以上の基準点の各々を示す点情報を生成する。領域設定部１８２は、ステップＳ１０４において、点情報が示す３つ以上の基準点に基づいて基準領域を設定する。

　第８の実施形態において、ユーザーが画像をなぞることにより指定された線上の３つ以上の点を含む基準領域が設定される。そのため、被写体の形状または画像の構図に応じて、基準領域の自由度が高まる。内視鏡装置１は、基準領域を容易に設定することができる。

　（第９の実施形態）
　本発明の第９の実施形態を説明する。第９の実施形態において、点群データの３Ｄ画像または被写体の２Ｄ画像が表示部５に表示され、かつ点群データにおける２つ以上の領域の画像が表示部５に表示される。ユーザーは、２つ以上の領域の画像を参照し、かつ点群データの３Ｄ画像上の基準点を指定する。

　第９の実施形態において、図８に示すＣＰＵ１８は、図４４に示すＣＰＵ１８ｃに変更される。図４４は、ＣＰＵ１８ｃの機能構成を示す。制御部１８０、生成部１８１、領域設定部１８２、表示制御部１８３、位置算出部１８４、点設定部１８５、面推定部１８６、および分割部１８９によってＣＰＵ１８ｃの機能が構成されている。図４４に示すブロックの少なくとも１つがＣＰＵ１８ｃとは別の回路で構成されてもよい。図８に示す構成と同じ構成の説明を省略する。

　図４４に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図４４に示す各部は、１つまたは複数のプロセッサを含むことができる。図４４に示す各部は、１つまたは複数の論理回路を含むことができる。

　分割部１８９は、図３２に示す状態判断部１８８の機能の一部を有する。分割部１８９は、点群データに含まれる３次元座標に対応する３つ以上の点を２つ以上の領域に分割する（分割ステップ）。表示制御部１８３は、点群データの画像および被写体の２Ｄ画像の一方を表示部５に表示し、かつ２つ以上の領域の画像を表示部５に表示する（画像表示ステップ）。

　図４５を使用することにより、第９の実施形態における面推定処理について説明する。図４５は、面推定処理の手順を示す。図９に示す処理と同じ処理の説明を省略する。

　ステップＳ１０１の後、分割部１８９は、点群データに含まれる３次元座標に対応する３つ以上の点を２つ以上の領域に分割する（ステップＳ１２１）。ステップＳ１２１は、分割ステップに対応する。分割部１８９は、第６の実施形態における方法と同じ方法を使用することにより、点群データにおける３つ以上の点を２つ以上の領域に分割する。

　ステップＳ１２１の後、表示制御部１８３は、点群データの３Ｄ画像および２つ以上の領域の画像を表示部５に表示する（ステップＳ１０２ｃ）。ステップＳ１０２ｃは、画像表示ステップに対応する。ステップＳ１０２ｃは、図３７に示すステップＳ１０２ａと同じである。ステップＳ１０２ｃの後、ステップＳ１０３が実行される。

　図４６は、表示部５に表示される画像の例を示す。図３４に示す３Ｄ画像Ｇ９１と同じ３Ｄ画像Ｇ９１および図３８に示す画像Ｇ９２と同じ画像Ｇ９２が表示部５に表示される。図４６に示す例では、画像Ｇ９２の領域は、領域Ｒ９４、領域Ｒ９５、および領域Ｒ９６に分割されている。

　ユーザーは、画像Ｇ９２を参照し、基準点の位置を判断する。３Ｄ画像Ｇ９１および画像Ｇ９２を比較することにより、ユーザーは、被写体の特徴を判断することができる。例えば、ユーザーは、領域Ｒ９５および領域Ｒ９６が凹部または凸部であると判断することができる。ユーザーは、領域Ｒ９５および領域Ｒ９６に対応する領域を含まない基準領域を設定するための基準点の位置を判断する。例えば、ユーザーは、最も広い領域Ｒ９４に対応する３Ｄ画像Ｇ９１の領域上の基準点を指定する。

　ユーザーは、３Ｄ画像Ｇ９１上に表示されたカーソルを使用することにより、あるいは表示部５の画面をタッチすることにより、基準点Ｐ１２１および基準点Ｐ１２２を指定する。点設定部１８５は基準点Ｐ１２１および基準点Ｐ１２２を受け付ける。

　領域設定部１８２は、基準点Ｐ１２１および基準点Ｐ１２２を結ぶ線分を直径として持つ球ＳＰ１２１を算出する。領域設定部１８２は、球ＳＰ１２１を基準領域の境界として設定する。領域設定部１８２は、領域Ｒ９５に対応する３Ｄ画像Ｇ９１の領域を基準領域から除いてもよい。

　基準領域は、直方体、立方体、または円筒などであってもよい。基準領域の形状はこれらの例に限らない。

　表示制御部１８３は、ステップＳ１０２ｃにおいて、点群データの３Ｄ画像の代わりに被写体の２Ｄ画像を表示部５に表示してもよい。

　ＣＰＵ１８ｃは、図２０に示す計測部１８７を有してもよい。ステップＳ１０７が実行された後、図２１に示すステップＳ１０８、ステップＳ１０９、およびステップＳ１１０が実行されてもよい。

　第９の実施形態において、点群データにおける２つ以上の領域の画像が表示部５に表示される。ユーザーは、その画像を参照することにより、基準点の指定に適した領域を判断することができる。

　（第９の実施形態の変形例）
　本発明の第９の実施形態の変形例を説明する。第９の実施形態の変形例において、点群データの３Ｄ画像または被写体の２Ｄ画像が表示部５に表示され、かつ曲率マップの画像が表示部５に表示される。曲率マップは、点群データが示す被写体の３Ｄ形状における曲率の分布を示す。例えば、曲率マップは、点の３Ｄ座標と、その点における曲率とを含む。ユーザーは、曲率マップの画像を参照し、かつ点群データの３Ｄ画像上の基準点を指定する。

　第９の実施形態の変形例において、図８に示すＣＰＵ１８は、図４７に示すＣＰＵ１８ｄに変更される。図４７は、ＣＰＵ１８ｄの機能構成を示す。制御部１８０、生成部１８１、領域設定部１８２、表示制御部１８３、位置算出部１８４、点設定部１８５、面推定部１８６、および曲率算出部１９０によってＣＰＵ１８ｄの機能が構成されている。図４７に示すブロックの少なくとも１つがＣＰＵ１８ｄとは別の回路で構成されてもよい。図８に示す構成と同じ構成の説明を省略する。

　図４７に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図４７に示す各部は、１つまたは複数のプロセッサを含むことができる。図４７に示す各部は、１つまたは複数の論理回路を含むことができる。

　曲率算出部１９０は、図３２に示す状態判断部１８８の機能の一部を有する。曲率算出部１９０は、点群データの各点における曲率を算出し、かつ曲率マップを生成する（マップ生成ステップ）。表示制御部１８３は、点群データの３Ｄ画像および被写体の２Ｄ画像の一方を表示部５に表示し、かつ曲率マップの画像を表示部５に表示する（画像表示ステップ）。

　図４８を使用することにより、第９の実施形態の変形例における面推定処理について説明する。図４８は、面推定処理の手順を示す。図９に示す処理と同じ処理の説明を省略する。

　ステップＳ１０１の後、曲率算出部１９０は、点群データの各点における曲率を算出し、かつ曲率マップを生成する（ステップＳ１２２）。ステップＳ１２２は、マップ生成ステップに対応する。曲率算出部１９０は、第６の実施形態の第２の変形例における方法と同じ方法を使用することにより、曲率マップを生成する。

　ステップＳ１２２の後、表示制御部１８３は、点群データの３Ｄ画像および曲率マップの画像を表示部５に表示する（ステップＳ１０２ｄ）。ステップＳ１０２ｄは、画像表示ステップに対応する。ステップＳ１０２ｄは、図３９に示すステップＳ１０２ｂと同じである。ステップＳ１０２ｄの後、ステップＳ１０３が実行される。

　図４９は、表示部５に表示される画像の例を示す。図４０に示す３Ｄ画像Ｇ９３と同じ３Ｄ画像Ｇ９３および図４０に示す画像Ｇ９４と同じ画像Ｇ９４が表示部５に表示される。

　ユーザーは、３Ｄ画像Ｇ９３上に表示されたカーソルを使用することにより、あるいは表示部５の画面をタッチすることにより、基準点Ｐ１２３および基準点Ｐ１２４を指定する。点設定部１８５は基準点Ｐ１２３および基準点Ｐ１２４を受け付ける。

　領域設定部１８２は、基準点Ｐ１２３および基準点Ｐ１２４を結ぶ線分を直径として持つ球ＳＰ１２２を算出する。領域設定部１８２は、球ＳＰ１２２を基準領域の境界として設定する。

　表示制御部１８３は、ステップＳ１０２ｄにおいて、点群データの３Ｄ画像の代わりに被写体の２Ｄ画像を表示部５に表示してもよい。

　ＣＰＵ１８ｄは、図２０に示す計測部１８７を有してもよい。ステップＳ１０７が実行された後、図２１に示すステップＳ１０８、ステップＳ１０９、およびステップＳ１１０が実行されてもよい。

　第９の実施形態の変形例において、曲率マップの画像が表示部５に表示される。ユーザーは、その画像を参照することにより、基準点の指定に適した領域を判断することができる。

　（第１０の実施形態）
　本発明の第１０の実施形態を説明する。第１０の実施形態において、被写体の表面における異常な領域が自動的に検出され、その領域に対応する領域を除く基準領域が設定される。ユーザーが基準点を指定する必要はない。

　第１０の実施形態において、図８に示すＣＰＵ１８は、図５０に示すＣＰＵ１８ｅに変更される。図５０は、ＣＰＵ１８ｅの機能構成を示す。制御部１８０、生成部１８１、領域設定部１８２、表示制御部１８３、面推定部１８６、および異常検出部１９１によってＣＰＵ１８ｅの機能が構成されている。図５０に示すブロックの少なくとも１つがＣＰＵ１８ｅとは別の回路で構成されてもよい。図８に示す構成と同じ構成の説明を省略する。

　図５０に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図５０に示す各部は、１つまたは複数のプロセッサを含むことができる。図５０に示す各部は、１つまたは複数の論理回路を含むことができる。

　異常検出部１９１は、点群データの３Ｄ画像および被写体の２Ｄ画像の一方に基づいて被写体の表面における異常な領域を検出する（異常検出ステップ）。領域設定部１８２は、異常な領域に対応する領域を除く基準領域を設定する（領域設定ステップ）。

　図５１を使用することにより、第１０の実施形態における面推定処理について説明する。図５１は、面推定処理の手順を示す。図９に示す処理と同じ処理の説明を省略する。

　ステップＳ１０１の後、表示制御部１８３は、被写体の２Ｄ画像を表示部５に表示する（ステップＳ１０２ｅ）。

　ステップＳ１０２ｅの後、異常検出部１９１は、被写体の２Ｄ画像に基づいて被写体の表面における異常な領域を検出する（ステップＳ１３１）。ステップＳ１３１は、異常検出ステップに対応する。

　異常検出部１９１は、異常の認識モデルを使用することにより、異常な領域を被写体の２Ｄ画像から検出する。例えば、異常の認識モデルは、Ｄｅｅｐ　Ｌｅａｒｎｉｎｇのような機械学習を通して取得される。異常は、欠陥または傷などである。異常検出部１９１は、異常の種類および異常な領域の位置を得る。

　ステップＳ１３１の後、領域設定部１８２は、異常な領域に対応する領域を除く基準領域を被写体の２Ｄ画像に設定する（ステップＳ１０４ｅ）。ステップＳ１０４ｅは、領域設定ステップに対応する。ステップＳ１０４ｅの後、ステップＳ１０５が実行される。

　図５２および図５３は、表示部５に表示される画像の例を示す。被写体の２Ｄ画像Ｇ１３１が表示部５に表示される。異常検出部１９１は、２Ｄ画像Ｇ１３１を処理することにより、凸状の異常物ＡＯ１３１を検出する。

　領域設定部１８２は、異常物ＡＯ１３１の周辺の長方形ＲＣ１３１を算出する。領域設定部１８２は、長方形ＲＣ１３１から長方形ＲＣ１３１の外側に所定の距離だけ離れた第１の境界を設定する。また、領域設定部１８２は、長方形ＲＣ１３１から長方形ＲＣ１３１の内側に所定の距離だけ離れた第２の境界を設定する。これにより、領域設定部１８２は、第１の境界および第２の境界を含む基準領域Ｒ１３１を２Ｄ画像Ｇ１３１に設定する。

　基準領域Ｒ１３１の境界は、３つ以上の頂点を持つ多角形であってもよい。基準領域Ｒ１３１の境界は、円または楕円などであってもよい。基準領域Ｒ１３１の形状はこれらの例に限らない。

　被写体の２Ｄ画像の代わりに点群データの３Ｄ画像が使用されてもよい。以下では、点群データの３Ｄ画像が使用される例を説明する。

　表示制御部１８３は、ステップＳ１０２ｅにおいて、点群データの３Ｄ画像を表示部５に表示する。異常検出部１９１は、ステップＳ１３１において、点群データの３Ｄ画像に基づいて被写体の表面における異常な領域を検出する。領域設定部１８２は、ステップＳ１０４ｅにおいて、異常な領域に対応する領域を除く基準領域を３Ｄ空間に設定する。

　ＣＰＵ１８ｅは、図２０に示す計測部１８７を有してもよい。ステップＳ１０７が実行された後、図２１に示すステップＳ１０８、ステップＳ１０９、およびステップＳ１１０が実行されてもよい。

　制御部１８０は、異常検出部１９１によって検出された異常の種類に基づいて計測モードを設定してもよい。例えば、凸状または凹状の異常物が検出された場合、制御部１８０は、高さまたは深さを計測するために計測モードを面基準計測に設定してもよい。

　基準領域の大きさを示す領域情報が記録媒体に予め記録されてもよい。領域設定部１８２は、ステップＳ１０４ｅにおいて、領域情報に基づいて基準領域の大きさを設定してもよい。

　２つ以上の領域情報が記録媒体に予め記録されてもよい。領域設定部１８２は、ステップＳ１０４ｅにおいて、操作部４を通して入力された情報に基づいて２つ以上の領域情報のうちの１つを選択してもよい。領域設定部１８２は、ステップＳ１０４ｅにおいて、選択された領域情報に基づいて基準領域の大きさを設定してもよい。

　領域設定部１８２がステップＳ１０４ｅにおいて基準領域を設定した後、ユーザーは任意のタイミングで基準領域の大きさおよび基準領域の位置の少なくとも一方を変更してもよい。そのタイミングは、基準領域がステップＳ１０５において表示された後、または基準面がステップＳ１０７において表示された後であってもよい。

　基準領域の表示および基準面の表示が不要である場合、画像の表示は必須ではない。したがって、ステップＳ１０２ｅが実行される必要はない。ＣＰＵ１８ｅは、表示制御部１８３の機能を有する必要はない。

　第１０の実施形態において、内視鏡装置１は、異常な領域を含まない基準領域を設定することができる。そのため、内視鏡装置１は、基準面の精度を向上させることができる。

　（第１１の実施形態）
　本発明の第１１の実施形態を説明する。第１１の実施形態において、偏差マップが表示部５に表示される。偏差マップは、点群データに含まれる３Ｄ座標に対応する点と基準面との間の３Ｄ距離の分布を示す。

　第１１の実施形態において、図８に示すＣＰＵ１８は、図５４に示すＣＰＵ１８ｆに変更される。図５４は、ＣＰＵ１８ｆの機能構成を示す。制御部１８０、生成部１８１、領域設定部１８２、表示制御部１８３、位置算出部１８４、点設定部１８５、面推定部１８６、および偏差算出部１９２によってＣＰＵ１８ｆの機能が構成されている。図５４に示すブロックの少なくとも１つがＣＰＵ１８ｆとは別の回路で構成されてもよい。図８に示す構成と同じ構成の説明を省略する。

　図５４に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図５４に示す各部は、１つまたは複数のプロセッサを含むことができる。図５４に示す各部は、１つまたは複数の論理回路を含むことができる。

　偏差算出部１９２は、点群データにおける各点と基準面との間の３Ｄ距離を算出することにより偏差を算出する。偏差算出部１９２は、偏差の分布を示す偏差マップを生成する（マップ生成ステップ）。表示制御部１８３は、点群データの３Ｄ画像および被写体の２Ｄ画像の一方を表示部５に表示し、かつ偏差マップを点群データの３Ｄ画像または被写体の２Ｄ画像上に表示する（画像表示ステップ）。

　図５５を使用することにより、第１１の実施形態における面推定処理について説明する。図５５は、面推定処理の手順を示す。図９に示す処理と同じ処理の説明を省略する。

　ステップＳ１０１の後、表示制御部１８３は、点群データの３Ｄ画像を表示部５に表示する（ステップＳ１０２ｆ）。ステップＳ１０２ｆの後、ステップＳ１０３が実行される。

　ステップＳ１０６の後、偏差算出部１９２は、点群データの各点における偏差を算出し、かつ偏差マップを生成する（ステップＳ１４１）。ステップＳ１４１は、マップ生成ステップに対応する。

　ステップＳ１４１の後、表示制御部１８３は、偏差マップの画像を表示部５に表示する（ステップＳ１４２）。具体的には、表示制御部１８３は、偏差マップの画像が重畳された点群データの３Ｄ画像を表示するためのグラフィック画像信号を生成する。偏差マップの画像は、各画素のカラーデータを含む。表示制御部１８３は、生成されたグラフィック画像信号を、映像信号処理回路１２を通して表示部５に出力する。表示部５は、偏差マップの画像が重畳された点群データの３Ｄ画像を表示する。

　ステップＳ１４２は、画像表示ステップに対応する。ステップＳ１４２が実行されたとき、面推定処理が終了する。

　図５６は、表示部５に表示される画像の例を示す。点群データの３Ｄ画像Ｇ１４１が表示部５に表示され、かつ偏差マップの画像Ｇ１４２が３Ｄ画像Ｇ１４１上に表示される。画像Ｇ１４２の画素は、その画素における偏差に対応する色で表示される。例えば、大きな偏差を持つ画素は濃い色で表示され、かつ小さな偏差を持つ画素は薄い色で表示される。図５６において、基準領域および基準面は省略されている。

　ユーザーは、画像Ｇ１４２を参照することにより、基準面が被写体の表面と一致しているか否かを確認することができる。大きな偏差を持つ領域が基準領域に含まれる場合、基準面の精度が悪化する可能性がある。基準領域および画像Ｇ１４２が３Ｄ画像Ｇ１４１上に表示された場合、ユーザーは大きな偏差を持つ領域が基準領域に含まれるか否かを確認することができる。

　表示制御部１８３は、ステップＳ１０２ｆにおいて、点群データの３Ｄ画像の代わりに被写体の２Ｄ画像を表示部５に表示してもよい。

　ＣＰＵ１８ｆは、図２０に示す計測部１８７を有してもよい。ステップＳ１０７、ステップＳ１４１、またはステップＳ１４２が実行された後、図２１に示すステップＳ１０８、ステップＳ１０９、およびステップＳ１１０が実行されてもよい。

　基準領域の大きさおよび基準領域の位置の少なくとも一方を示す領域情報が記録媒体に予め記録されてもよい。領域設定部１８２は、ステップＳ１０４において、領域情報に基づいて基準領域の大きさおよび基準領域の位置の少なくとも一方を設定してもよい。例えば、領域設定部１８２は、領域情報に基づいて基準領域の外側の境界の大きさおよび基準領域の外側の境界の位置の少なくとも一方を設定してもよい。

　領域設定部１８２がステップＳ１０４において基準領域を設定した後、ユーザーは任意のタイミングで基準領域の大きさおよび基準領域の位置の少なくとも一方を変更してもよい。そのタイミングは、基準領域がステップＳ１０５において表示された後、または偏差マップがステップＳ１４２において表示された後であってもよい。

　領域設定部１８２は、基準点を使用せずに基準領域を設定してもよい。したがって、ステップＳ１０３が実行される必要はない。ＣＰＵ１８ｆは、位置算出部１８４および点設定部１８５の機能を有する必要はない。

　基準領域の表示は必須ではない。したがって、ステップＳ１０５が実行される必要はない。

　第１１の実施形態において、偏差マップの画像が表示部５に表示される。ユーザーは、その画像を参照することにより、基準面が被写体の表面を正確に近似できているか否かを確認することができる。

　（第１２の実施形態）
　本発明の第１２の実施形態を説明する。以下では、図７に示すＰＣ４１が面推定装置である例を説明する。ＰＣ４１は、被写体の２Ｄ画像を内視鏡装置１から取得し、かつ面推定処理を実行する。

　内視鏡装置１の外部機器インタフェース１６は、ＰＣ４１と通信を実行する。具体的には、外部機器インタフェース１６は、１枚以上の被写体の２Ｄ画像をＰＣ４１に送信する。ＰＣ４１は、その２Ｄ画像を内視鏡装置１から受信する。

　例えば、外部機器インタフェース１６はケーブルあるいは無線でＰＣ４１と接続される。外部機器インタフェース１６とＰＣ４１との間の通信は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）またはインターネットを経由して実行されてもよい。

　図５７は、ＰＣ４１の構成を示す。図５７に示すＰＣ４１は、通信部４３、ＣＰＵ４４、および表示部４５を有する。

　通信部４３は、内視鏡装置１の外部機器インタフェース１６と通信を実行する。具体的には、通信部４３は、１枚以上の被写体の２Ｄ画像を外部機器インタフェース１６から受信する。ＣＰＵ４４は、面推定処理を実行する。表示部４５は、ＬＣＤ等のモニタ（ディスプレイ）である。表示部４５は、表示画面を有し、かつ画像および操作メニュー等を表示画面に表示する。

　図５８は、ＣＰＵ４４の機能構成を示す。制御部４４０、生成部４４１、領域設定部４４２、表示制御部４４３、位置算出部４４４、点設定部４４５、面推定部４４６、および通信制御部４４７によってＣＰＵ４４の機能が構成されている。図５８に示すブロックの少なくとも１つがＣＰＵ４４とは別の回路で構成されてもよい。

　図５８に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図５８に示す各部は、１つまたは複数のプロセッサを含むことができる。図５８に示す各部は、１つまたは複数の論理回路を含むことができる。

　制御部４４０は、各部が実行する処理を制御する。生成部４４１は、図８に示す生成部１８１の機能と同じ機能を持つ。領域設定部４４２は、図８に示す領域設定部１８２の機能と同じ機能を持つ。表示制御部４４３は、図８に示す表示制御部１８３の機能と同じ機能を持つ。位置算出部４４４は、図８に示す位置算出部１８４の機能と同じ機能を持つ。点設定部４４５は、図８に示す点設定部１８５の機能と同じ機能を持つ。面推定部４４６は、図８に示す面推定部１８６の機能と同じ機能を持つ。通信制御部４４７は、通信部４３を制御することにより、内視鏡装置１の外部機器インタフェース１６と通信を実行する。

　ＣＰＵ４４は、図９に示す面推定処理を実行する。ＣＰＵ４４は、図２０に示す計測部１８７の機能を持ってもよい。ＣＰＵ４４が計測部１８７の機能を持つ場合、ＣＰＵ４４は、図２１に示す３Ｄ計測を実行してもよい。ＣＰＵ４４は、図３２に示す状態判断部１８８の機能を持ってもよい。ＣＰＵ４４が状態判断部１８８の機能を持つ場合、ＣＰＵ４４は、図３３、図３７、または図３９に示す面推定処理を実行してもよい。

　ＣＰＵ４４は、図４４に示す分割部１８９の機能を持ってもよい。ＣＰＵ４４が分割部１８９の機能を持つ場合、ＣＰＵ４４は、図４５に示す面推定処理を実行してもよい。ＣＰＵ４４は、図４７に示す曲率算出部１９０の機能を持ってもよい。ＣＰＵ４４が曲率算出部１９０の機能を持つ場合、ＣＰＵ４４は、図４８に示す面推定処理を実行してもよい。

　ＣＰＵ４４は、図５０に示す異常検出部１９１の機能を持ってもよい。ＣＰＵ４４が異常検出部１９１の機能を持つ場合、ＣＰＵ４４は、図５１に示す面推定処理を実行してもよい。ＣＰＵ４４は、図５４に示す偏差算出部１９２の機能を持ってもよい。ＣＰＵ４４が偏差算出部１９２の機能を持つ場合、ＣＰＵ４４は、図５５に示す面推定処理を実行してもよい。

　ＣＰＵ４４は、ＣＰＵ４４の動作を規定する命令を含むプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。つまり、ＣＰＵ４４の機能はソフトウェアにより実現されてもよい。

　内視鏡装置１が被写体の２Ｄ画像に基づいて点群データを生成し、かつ内視鏡装置１の外部機器インタフェース１６がその２Ｄ画像およびその点群データをＰＣ４１に送信してもよい。ＰＣ４１の通信部４３は、その２Ｄ画像およびその点群データを外部機器インタフェース１６から受信してもよい。したがって、ＣＰＵ４４が生成部１８１を有する必要はない。

　第１２の実施形態において、ＰＣ４１は、基準面の精度を向上させることができる。

　（関連技術）
　工業用内視鏡を使用する検査では３Ｄ計測が実行される。３Ｄ計測において、ユーザーは、内視鏡の視野に捉えられた計測対象物と内視鏡先端の間の構図を調整し、かつ画像を取得する。ユーザーは、取得された画像上で所望の複数の点（座標）を入力し、かつ計測結果を得る。

　３Ｄ計測の方法の１つとしてステレオ計測がある。ステレオ計測において、第１の視点から見た被写体の第１の画像と、第１の視点と異なる第２の視点から見た被写体の第２の画像とを含むステレオ画像が使用される。ステレオ計測において、マッチング処理が実行され、かつ第１の画像上の点に対応する第２の画像上の点が検出される。

　ユーザーが点を入力する画像には、正確な計測を阻害する様々な要因が含まれている場合がある。これらの要因は、総称してマッチング阻害要因と呼ばれる。また、マッチング阻害要因が含まれる画像上の領域はマッチング阻害領域と呼ばれる。

　ユーザーが誤ってマッチング阻害領域における点を入力した場合、装置はその点の正確な３Ｄ座標を計算できず、かつ正確な計測結果を得ることができない。そのため、ユーザーが点を入力するときには、計測を実行できる領域と計測を実行できないマッチング阻害領域とをユーザーに通知することが重要である。そのとき、装置はそれらの領域を可視化する方法などの方法を使用することができる。

　マッチング阻害要因の具体例として、オクルージョンと呼ばれる現象、または光学系に付着した不要な物体などがある。また、被写体の表面に照射された照明光の鏡面反射が発生し、反射光の光学像が画像に写る場合がある。照明光の鏡面反射を原因とするこの現象もマッチング阻害要因の例である。以下では、その現象は注目要因と呼ばれる。

　注目要因の発生頻度は他のマッチング阻害要因の発生頻度よりも高い。また、ステレオ画像に含まれる２枚の画像の一方のみが表示され、ステレオ画像に含まれる２枚の画像の他方に注目要因が発生している場合、ユーザーは、表示されていない画像における注目要因に気付きにくい。そのため、注目要因が発生した領域を検出し、その領域をユーザーに通知することが重要である。

　注目要因が発生した場合であってもユーザーが正確に点を入力するためには、主に以下の２つの方法が考えられる。

　第１の方法は、ステレオ画像において計測可能領域の全体にマッチング処理を適用する方法である。計測可能領域は、第１の画像および第２の画像間で共通の視野を持つ領域である。例えば、第１の方法は、ユーザーが入力した点の信頼度を可視化する方法を含む。その信頼度は、ステレオ画像の計測可能領域の全体に適用されたマッチング処理を通して得られる。あるいは、第１の方法は、そのマッチング処理を通して得られた被写体の３Ｄ形状を表示する方法などを含む。

　しかしながら、これらの方法では、計測可能領域の全ての点におけるマッチング処理が必要であるため、一般的に処理時間が長い。そのため、画像が取得されてから、注目要因が発生した領域がユーザーに通知されるまでの待ち時間が長くなるという欠点がある。

　第２の方法は、注目要因が発生した場合でも正確なマッチング処理が実行されるようにアルゴリズムを工夫する方法である。第２の方法では、入力された点に対応する正確な３Ｄ座標を計算することが理想である。マッチング処理において、ステレオ画像における第１の画像および第２の画像の輝度または色の情報を使用することにより計算が実行されることが多い。注目要因によって生じた明るい部分の模様が被写体の模様よりも強い場合、一般的にはマッチングミスを回避することは難しい。仮に、注目要因が発生した領域上の点に基づいて正確なマッチング処理を実行できるアルゴリズムが存在したとしても、正確性と処理時間とを両立させることは難しい。

　したがって、第１の方法および第２の方法と異なる方法を使用することにより、注目要因が発生した領域を短い処理時間で検出することが必要である。特に、工業用内視鏡のような組み込み機器では、計算リソースに制限がある。そのため、処理時間の改善の必要性が高い。また、ライブで表示される画像において一定の時間間隔でマッチング阻害領域を検出できることが望ましい。これにより装置は、構図を調整する段階で、画像が計測に適しているか否かをユーザーに通知することができる。

　上記の処理時間への要求に応えるために、３Ｄ座標の計算結果を使用せずに被写体の２Ｄ画像を使用することにより、注目要因が発生した領域を短い処理時間で検出する方法がある。例えば、その方法は、日本国特許第６２５３３８０号公報（参考文献）に開示されている。

　上記の参考文献では、ステレオ画像における第１の画像および第２の画像を使用することにより、各画像に含まれる不要な成分を検出する方法が開示されている。その不要な成分は、マッチング阻害領域と必ずしも一致しない。具体的には、不要な成分を検出する方法として以下の方法が開示されている。

　互いに異なる視差を有する複数の画像が取得される。複数の画像に含まれる各画像が基準画像に設定され、その基準画像と他の１枚以上の画像との差分である相対差分が算出される。相対差分の情報を使用することにより各画像に含まれる不要な成分が検出される。

　また、上記の方法に加えて、相対差分が算出される前にステレオ画像に含まれる２枚の画像の位置合わせ処理を実行してもよいことが開示されている。

　（関連技術の課題）
　参考文献に開示された技術では、互いに異なる視差を持つ複数の画像に含まれる各画像が基準画像に設定され、その基準画像と他の１つ以上の画像との差分が算出される。この方法が工業用内視鏡に適用される場合、処理時間と検出精度との観点でマッチング阻害領域の検出性能が低下する可能性がある。以下では、これらの観点について説明する。

　（１）処理時間の観点
　組み込み機器である工業用内視鏡における計算リソースに制限がある。また、ライブで表示される画像において一定の時間間隔でマッチング阻害領域を検出できることが望ましい。そのため、短い処理時間が望まれている。

　参考文献で開示されている方法では、ステレオ画像に含まれる２枚の画像の各々が基準画像として設定され、同じ処理が２回繰り返される。そのため、処理が冗長であり、かつ長い処理時間が必要である。

　（２）検出精度の観点
　参考文献に開示された技術では、照明光の鏡面反射を原因とする注目要因が発生した領域を検出することは想定されていない。工業用内視鏡では、内視鏡と被写体との間の距離が様々である状態で撮影が実行されるため、参考文献に開示されている２枚の画像の位置合わせ処理が適している。

　工業用内視鏡では、照明光学系とステレオ観察光学系とが互いに物理的に近い。そのため、特に被写体が内視鏡に近い場合、ステレオ画像に含まれる２枚の画像の間で輝度の差が生じやすい。仮に、長い処理時間で実行される高精度な位置合わせ処理がその２枚の画像に適用された後、その２枚の画像の間で輝度の差は残る。そのため、その２枚の画像の間で輝度の差を持つ領域がマッチング阻害領域として誤って検出される可能性がある。

　その輝度の差を持つ領域の全体において注目要因が発生しているとは限らない。注目要因が発生した領域を検出するためには、その輝度の差を持つ領域の全体を検出する必要はない。

　被写体の特定の撮影条件において、位置合わせ処理が実行された２枚の画像の間で位置のズレが生じる可能性がある。このズレが生じた領域では、その２枚の画像の間で輝度の差が生じる。そのため、その輝度の差を持つ領域がマッチング阻害領域として誤って検出される可能性がある。

　関連発明は、照明光の鏡面反射を原因とする注目要因が発生した領域を短い処理時間でかつ高い精度で検出することができる方法を提供することを目的とする。

　（関連発明の実施形態）
　関連発明の実施形態を説明する。関連発明の実施形態の内視鏡装置１は、図８に示すＣＰＵ１８の代わりに図５９に示すＣＰＵ１８ｇを有する。図５９は、ＣＰＵ１８ｇの機能構成を示す。制御部２００、特徴点処理部２０１、分割部２０２、差分算出部２０３、判断部２０４、領域検出部２０５、および表示制御部２０６によってＣＰＵ１８ｇの機能が構成されている。図５９に示すブロックの少なくとも１つがＣＰＵ１８ｇとは別の回路で構成されてもよい。

　図５９に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図５９に示す各部は、１つまたは複数のプロセッサを含むことができる。図５９に示す各部は、１つまたは複数の論理回路を含むことができる。

　制御部２００は、被写体のステレオ画像（画像データ）を映像信号処理回路１２から取得し、かつ図５９に示す各部が実行する処理を制御する。ステレオ画像は、第１の視点から見た被写体の第１の画像と、第１の視点と異なる第２の視点から見た被写体の第２の画像とを含む。

　特徴点処理部２０１は、第１の画像上の３つ以上の特徴点を検出し、かつ各特徴点に対応する第２の画像上の点を検出する。特徴点処理部２０１は、第１の画像上の特徴点と第２の画像上の点とを関連付ける。

　分割部２０２は、第１の画像上の特徴点と関連付けられた第２の画像上の点に基づいて第２の画像にドロネー三角形分割を実行する。これにより、分割部２０２は、第２の画像に１つ以上の三角形の領域を設定する。分割部２０２は、２枚の画像の間で関連付けられた点の関係に基づいて第１の画像に１つ以上の三角形の領域を設定する。また、分割部２０２は、第１の画像における三角形の形状と第２の画像における三角形の形状とを一致させるために、第２の画像における三角形を変形させる。

　差分算出部２０３は、第１の画像の画素値と第２の画像の画素値との間の差分を画素毎に算出する。これにより、差分算出部２０３は、２枚の画像の間の輝度の差分を算出する。差分算出部２０３は、差分が所定の閾値を超えている画素を含む領域を第１の画像から抽出する。抽出された領域は、照明光の鏡面反射を原因とする注目要因が発生した領域の候補である。

　判断部２０４は、抽出された領域のうち似た特徴を持つ２つの領域のペアが存在するか否かを判断する。以下では、この判断はペアリング判断と呼ばれる。注目要因がステレオ画像において発生した場合、このペアが存在するという特徴がある。そのペアが存在する場合、判断部２０４は、そのペアに含まれる領域を、注目要因が発生した領域として検出する。

　また、判断部２０４は、第１の画像において、予め設定された輝度の基準値を超える輝度を持つ領域を検出する。その領域の少なくとも一部が、ペアリング判断において検出された２つの領域と重なる場合、判断部２０４は、ペアリング判断において検出された２つの領域と、高輝度を持つ領域とを、注目要因が発生した領域として検出する。

　表示制御部２０６は、ステレオ画像を表示部５に表示し、かつ注目要因が発生した領域をステレオ画像上に表示する。

　図６０を使用することにより、注目要因が発生した領域を検出する処理について説明する。図６０は、その処理の手順を示す。

　特徴点処理部２０１は、第１の画像上の特徴点を検出し、かつ各特徴点に対応する第２の画像上の点を検出する（ステップＳ２０１）。

　ステップＳ２０１の詳細を説明する。図６１は、ステレオ画像の例を示す。図６１に示すステレオ画像は、第１の画像Ｇ２０１および第２の画像Ｇ２０２を含む。特徴点処理部２０１は、第１の画像Ｇ２０１上の特徴点Ｐ２０１、特徴点Ｐ２０２、および特徴点Ｐ２０３を検出する。特徴点処理部２０１は、第２の画像Ｇ２０２上の点Ｐ２１１を検出し、かつ点Ｐ２１１を特徴点Ｐ２０１と関連付ける。特徴点処理部２０１は、第２の画像Ｇ２０２上の点Ｐ２１２を検出し、かつ点Ｐ２１２を特徴点Ｐ２０２と関連付ける。特徴点処理部２０１は、第２の画像Ｇ２０２上の点Ｐ２１３を検出し、かつ点Ｐ２１３を特徴点Ｐ２０３と関連付ける。図６１に示す例では、３つの特徴点が検出される。特徴点の数は３つに限らない。

　特徴点処理部２０１は、第１の画像および第２の画像を使用するマッチング処理における誤差が小さいことが期待される点を特徴点として検出する。特徴点処理部２０１は、その目的のために、以下の指標をチェックすることにより特徴点の適切性を判断する。例えば、特徴点処理部２０１は、ユニークネスレシオ、視差の連続性、画像の一貫性、および再投影誤差などを指標として使用する。

　ユニークネスレシオは、第２の画像上の２つの点の類似性を示す。具体的には、ユニークネスレシオは、第１の点と第２の点との類似性を示す。第１の点は、第１の画像上の特徴点と最も似ている点である。第２の点は、その特徴点と２番目に似ている点である。視差の連続性は、局所的な範囲において許容される視差の関係を示す。特徴点における視差と、その特徴点の周辺の点における視差とがほぼ同じである場合、視差の連続性がある。特徴点における視差と、その特徴点の周辺の点における視差とが大きく異なる場合、視差の連続性がない。

　画像の一貫性は、マッチング処理を通して関連付けられる２つの点の関係を示す。具体的には、２回のマッチング処理が実行される。第１の画像上の点に対応する第２の画像上の点が第１のマッチング処理を通して検出される。また、第２の画像上のその点に対応する第１の画像上の点が第２のマッチング処理を通して検出される。画像の一貫性は、２つの点が一致する程度を示す。２つの点の一方は、第１のマッチング処理に使用された第１の画像上の点である。２つの点の他方は、第２のマッチング処理を通して検出された第１の画像上の点である。２回のマッチング処理において、１枚の画像の全体を使用する必要はない。

　再投影誤差は、マッチング処理を通して検出された点とエピポーララインとの間のズレ量を示す。

　特徴点処理部２０１は、上記の指標の全てを使用する必要はない。特徴点処理部２０１は、１つ以上の指標に基づいて特徴点の適切性を判断する。

　特徴点処理部２０１は、何らかの特徴を持つ点を第１の画像から検出することにより特徴点を検出してもよい。あるいは、第１の画像が予め格子状に分割され、特徴点処理部２０１は、２つの境界線の交点を特徴点の候補として検出してもよい。

　ステップＳ２０１の後、分割部２０２は、第２の画像に１つ以上の三角形の領域を設定し、かつ２枚の画像の間における点の関係に基づいて第１の画像に１つ以上の三角形の領域を設定する（ステップＳ２０２）。

　ステップＳ２０２の詳細を説明する。分割部２０２は、第２の画像にドロネー三角形分割を実行することにより、第２の画像に１つ以上の三角形の領域を設定する。各三角形の頂点は、ステップＳ２０１において検出された第１の画像上の特徴点と関連付けられている。図６２は、三角形が設定された画像の例を示す。第２の画像Ｇ２０３の領域は、２つ以上の三角形の領域を含む。

　分割部２０２は、第２の画像上の１つの三角形の３つの頂点に対応する第１の画像上の３つの特徴点を特定する。分割部２０２は、その３つの特徴点を頂点として持つ三角形を第１の画像に設定する。分割部２０２は、第２の画像上の三角形と第１の画像上の三角形とを関連付ける。分割部２０２は、第２の画像上の全ての三角形を対象に上記の処理を実行する。

　図６３は、第１の画像および第２の画像の各々に設定された三角形を示す。第１の画像の一部である画像Ｇ２０４および第２の画像の一部である画像Ｇ２０５が図６３に示されている。画像Ｇ２０４上の三角形Ｔ２０１および画像Ｇ２０５上の三角形Ｔ２０２は互いに関連付けられている。分割部２０２は、三角形Ｔ２０２の形状を変形させ、三角形Ｔ２０１の形状と三角形Ｔ２０２の形状とを一致させる。分割部２０２は、この処理を第２の画像上の全ての三角形に施すことにより、第２の画像の変形画像を生成する。

　ステップＳ２０２の後、差分算出部２０３は、第１の画像および第２の画像の間の輝度の差分を算出する（ステップＳ２０３）。

　ステップＳ２０３の詳細を説明する。差分算出部２０３は、第１の画像と、ステップＳ２０２において生成された第２の画像の変形画像とを使用することにより輝度の差分を算出する。差分算出部２０３は、差分が所定の閾値を超えている画素を含む領域を第１の画像から抽出する。例えば、差分算出部２０３は、第１の画像の画素値から第２の画像の変形画像の画素値を減算することにより差分を算出する。差分算出部２０３は、正の差分が所定の閾値よりも大きな画素を含む領域を第１の画像から抽出する。また、差分算出部２０３は、負の差分が所定の閾値よりも小さな画素を含む領域を第１の画像から抽出する。

　図６４および図６５は、第１の画像の例を示す。図６４に示す第１の画像Ｇ２０６の領域は、領域Ｒ２０１および領域Ｒ２０２を含む。領域Ｒ２０１は、正の差分が所定の閾値よりも大きな画素を含む。領域Ｒ２０２は、負の差分が所定の閾値よりも小さな画素を含む。図６５に示す第１の画像Ｇ２０７の領域は、領域Ｒ２０３および領域Ｒ２０４を含む。領域Ｒ２０３は、正の差分が所定の閾値よりも大きな画素を含む。領域Ｒ２０４は、負の差分が所定の閾値よりも小さな画素を含む。

　ステップＳ２０３の後、判断部２０４は、ペアリング判断を実行する。これにより、判断部２０４は、ステップＳ２０３において抽出された領域のうち似た特徴を持つ２つの領域のペアが存在するか否かを判断する（ステップＳ２０４）。

　ステップＳ２０４の詳細を説明する。図６４に示す例では、判断部２０４は、領域Ｒ２０１および領域Ｒ２０２の特徴が互いに似ているか否かを判断する。図６５に示す例では、判断部２０４は、領域Ｒ２０３および領域Ｒ２０４の特徴が互いに似ているか否かを判断する。判断部２０４は、以下の指標を使用することによりペアリング判断を実行する。

　判断部２０４は、２つの領域の輝度の差分の符号が互いに異なるか否かを判断する。１つの領域の輝度の差分が正であり、かつ他の１つの領域の輝度の差分が負である場合、判断部２０４は、２つの領域の特徴が互いに似ていると判断する。

　判断部２０４は、２つの領域の間の距離を判断する。２つの領域が互いに近い場合、判断部２０４は、２つの領域の特徴が互いに似ていると判断する。

　判断部２０４は、２つの領域の形状を比較する。２つの領域の形状が互いに似ている場合、判断部２０４は、２つの領域の特徴が互いに似ていると判断する。

　判断部２０４は、２つの領域の方向（角度）を比較する。例えば、判断部２０４は、各領域を、各領域に外接する矩形に近似し、その矩形の長軸および短軸の角度を比較する。２つの領域の方向が互いに近い場合、判断部２０４は、２つの領域の特徴が互いに似ていると判断する。

　判断部２０４は、２つの領域の面積を比較する。２つの領域の面積が互いに近い場合、判断部２０４は、２つの領域の特徴が互いに似ていると判断する。

　判断部２０４は、上記の指標の全てを使用する必要はない。判断部２０４は、１つ以上の指標に基づいて２つの領域の特徴が互いに似ているか否かを判断する。判断部２０４は、そのペアに含まれる領域を、注目要因が発生した領域として検出する。

　ステップＳ２０４の後、判断部２０４は、第１の画像において、予め設定された輝度の基準値を超える輝度を持つ領域を検出する（ステップＳ２０５）。

　ステップＳ２０５の詳細を説明する。例えば、判断部２０４は、画素値が基準値を超えるか否かを画素毎に判断する。基準値の例は、２５０である。判断部２０４は、基準値を超える画素値を持つ画素が含まれる領域を検出する。検出された領域は、高輝度を持つ。判断部２０４は、高輝度を持つ領域の少なくとも一部が、ペアリング判断において検出された２つの領域と重なるか否かを判断する。高輝度を持つ領域が重なりを持つ場合、判断部２０４は、高輝度を持つ領域と、ペアリング判断において検出された２つの領域との和集合を、注目要因が発生した領域として検出する。高輝度を持つ領域が重なりを持たない場合、判断部２０４は、ペアリング判断において検出された２つの領域のみを、注目要因が発生した領域として検出する。

　図６６は、注目要因が発生した領域の例を示す。領域Ｒ２０５は、基準値を超える輝度を持つ画素を含む。領域Ｒ２０６および領域Ｒ２０７は、ペアリング判断において検出されたペアである。領域Ｒ２０５の一部は領域Ｒ２０６と重なり、かつ領域Ｒ２０５の他の一部は領域Ｒ２０７と重なる。そのため、判断部２０４は、領域Ｒ２０５、領域Ｒ２０６、および領域Ｒ２０７の和集合を、注目要因が発生した領域として検出する。

　ステップＳ２０５の後、判断部２０４は、注目要因が発生した領域を凸曲線（凸な閉曲線）で囲む。判断部２０４は、凸曲線で囲まれた領域を、注目要因が発生した領域として最終的に検出する（ステップＳ２０６）。

　図６６に示す例では、領域Ｒ２０５、領域Ｒ２０６、および領域Ｒ２０７は、凸曲線Ｌ２０１で囲まれる。判断部２０４は、凸曲線Ｌ２０１で囲まれた領域の全てを、注目要因が発生した領域として検出する。凸曲線Ｌ２０１で囲まれた領域は、領域Ｒ２０５、領域Ｒ２０６、および領域Ｒ２０７を含む。また、凸曲線Ｌ２０１で囲まれた領域は、領域Ｒ２０５、領域Ｒ２０６、および領域Ｒ２０７以外の領域を含む。

　ステップＳ２０５が実行されずにステップＳ２０６が実行されてもよい。高輝度を持つ領域が存在する場合、凸曲線で囲まれた領域は、高輝度を持つ領域の少なくとも一部を含む。

　ステップＳ２０６の後、表示制御部２０６は、ステレオ画像を表示部５に表示し、かつ注目要因が発生した領域をステレオ画像上に表示する（ステップＳ２０７）。ステップＳ２０７が実行されたとき、図６０に示す処理が終了する。

　具体的には、表示制御部２０６は、注目要因が発生した領域を表示するためのグラフィック画像信号を生成する。表示制御部２０６は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ｇから出力されたグラフィック画像信号とを合成する。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、注目要因が発生した領域が重畳されたステレオ画像を表示する。例えば、ステレオ画像に含まれる第１の画像が表示部５に表示され、かつ注目要因が発生した領域が第１の画像上に表示される。

　注目要因が発生した領域がステレオ画像上に表示される。そのため、ユーザーは、注目要因が発生した領域における点を入力することを避けることができる。マッチング阻害領域における点の入力が回避されるため、ステレオ計測の精度が向上する。

　高輝度を持つ領域はマッチング処理に適していない場合が多い。高輝度を持つ領域が、ペアリング判断において検出された２つの領域と重ならない場合であっても、表示制御部２０６は、ユーザーへの注意喚起のために高輝度を持つ領域をステレオ画像上に表示してもよい。ユーザーは、高輝度を持つ領域における点を入力することを避けることができる。

　関連発明の実施形態において、ステレオ画像に含まれる２枚の画像の各々が基準画像として設定され、かつマッチング処理が２回実行される必要はない。そのため、内視鏡装置１は、注目要因が発生した領域を短い処理時間で検出することができる。関連発明の実施形態において、ペアリング判断が実行される。そのため、内視鏡装置１は、注目要因が発生した領域を高精度に検出することができる。

　以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

　本発明の各実施形態によれば、面推定方法、面推定装置、および記録媒体は、基準面の精度を向上させることができる。

　１　内視鏡装置
　２　挿入部
　３　本体部
　４　操作部
　５，４５　表示部
　７　面推定装置
　８　内視鏡ユニット
　９　ＣＣＵ
　１０　制御装置
　１２　映像信号処理回路
　１３　ＲＯＭ
　１４　ＲＡＭ
　１５　カードインタフェース
　１６　外部機器インタフェース
　１７　制御インタフェース
　１８，１８ａ，１８ｂ，１８ｃ，１８ｄ，１８ｅ，１８ｆ，１８ｇ，４４　ＣＰＵ
　２０　先端
　２８　撮像素子
　４１　ＰＣ
　４２　メモリカード
　４３　通信部
　７０，１８１，４４１　生成部
　７１，１８２，４４２　領域設定部
　７２，１８６，４４６　面推定部
　１８０，２００，４４０　制御部
　１８３，２０６，４４３　表示制御部
　１８４，４４４　位置算出部
　１８５，４４５　点設定部
　１８７　計測部
　１８８　状態判断部
　１８９，２０２　分割部
　１９０　曲率算出部
　１９１　異常検出部
　１９２　偏差算出部
　２０１　特徴点処理部
　２０３　差分算出部
　２０４　判断部
　２０５　領域検出部
　４４７　通信制御部

Claims

　被写体の２次元画像に基づいて前記被写体上の３つ以上の点の３次元座標を算出し、かつ前記３つ以上の点の前記３次元座標を含む３次元画像データを生成する生成ステップと、
　３次元の領域および２次元の領域の一方である基準領域を設定し、前記３次元の領域は、３つ以上の点を含み、かつ３次元空間に設定され、前記３次元空間は、前記３次元画像データに含まれる前記３次元座標を含み、前記２次元の領域は、３つ以上の点を含み、かつ前記２次元画像に設定され、前記基準領域の前記３つ以上の点は、三角形を形成する３つの点で構成される１つ以上の組を含む領域設定ステップと、
　前記基準領域に含まれる前記３つ以上の点に対応する前記３次元画像データの３つ以上の点に基づいて、前記被写体の表面を近似する基準面を推定する推定ステップと、
　を有する面推定方法。
　前記領域設定ステップにおいて、前記３次元の領域である前記基準領域が前記３次元空間に設定される
　請求項１に記載の面推定方法。
　前記領域設定ステップにおいて、前記２次元の領域である前記基準領域が前記２次元画像に設定される
　請求項１に記載の面推定方法。
　前記領域設定ステップにおいて、前記３次元画像データに含まれる前記３次元座標に対応する前記３つ以上の点の連続性が判断され、
　前記基準領域は、前記連続性を持つと判断された前記３つ以上の点のみを含む
　請求項２に記載の面推定方法。
　前記基準領域は、凸集合ではない領域を含む
　請求項１に記載の面推定方法。
　前記基準領域は、２つ以上の領域を含む
　請求項１に記載の面推定方法。
　前記３次元画像データの画像および前記２次元画像の一方をディスプレイに表示する画像表示ステップと、
　入力装置を通して入力された位置情報を受け付け、前記位置情報は、前記ディスプレイに表示された前記３次元画像データの前記画像または前記２次元画像上の位置を示す位置入力ステップと、
　前記被写体の状態を判断する状態判断ステップと、
　をさらに有し、
　前記領域設定ステップにおいて、前記位置情報が示す前記位置と、前記状態とに基づいて前記基準領域の境界が判断される
　請求項１に記載の面推定方法。
　前記基準領域の境界は、第１の境界と、前記第１の境界よりも内側にある第２の境界とを含む
　請求項５に記載の面推定方法。
　前記領域設定ステップにおいて、前記３次元画像データに含まれる前記３次元座標に対応する前記３つ以上の点が２つ以上の領域に分割され、
　前記基準領域の境界は、前記２つ以上の領域に含まれる１つ以上の領域の境界を含む
　請求項６に記載の面推定方法。
　前記基準領域の大きさおよび前記基準領域の位置の少なくとも一方を示す領域情報が記録媒体に予め記録されており、
　前記領域設定ステップにおいて、前記領域情報に基づいて前記基準領域の前記大きさおよび前記基準領域の前記位置の少なくとも一方が設定される
　請求項６に記載の面推定方法。
　前記３次元画像データの画像および前記２次元画像の一方をディスプレイに表示する画像表示ステップをさらに有し、
　前記領域設定ステップにおいて、前記３次元画像データの前記画像または前記２次元画像上の３つ以上の点が入力装置を通して入力され、
　前記領域設定ステップにおいて、入力された前記３つ以上の点を含む前記基準領域が設定される
　請求項６に記載の面推定方法。
　前記領域設定ステップにおいて、入力された前記３つ以上の点を結ぶ線分に基づいて前記基準領域が設定される
　請求項１１に記載の面推定方法。
　前記３次元画像データの画像および前記２次元画像の一方をディスプレイに表示する画像表示ステップをさらに有し、
　前記領域設定ステップにおいて、ユーザーが前記３次元画像データの前記画像または前記２次元画像において指定した線上の３つ以上の点が入力装置を通して入力され、
　前記領域設定ステップにおいて、前記線上の前記３つ以上の点を含む前記基準領域が設定される
　請求項６に記載の面推定方法。
　前記推定ステップにおいて、前記基準領域に含まれる４つ以上の点から前記３つ以上の点が選択され、
　前記推定ステップにおいて、選択された前記３つ以上の点に対応する前記３次元画像データの３つ以上の点に基づいて、前記基準面が推定される
　請求項６に記載の面推定方法。
　前記３次元画像データの画像および前記２次元画像の一方をディスプレイに表示し、かつ前記基準領域を前記３次元画像データの前記画像または前記２次元画像上に表示する画像表示ステップをさらに有する
　請求項６に記載の面推定方法。
　前記３次元画像データの画像をディスプレイに表示し、かつ前記基準面の推定に使用された前記３次元画像データの前記３つ以上の点を前記３次元画像データの前記画像上に表示する画像表示ステップをさらに有する
　請求項６に記載の面推定方法。
　前記２次元画像をディスプレイに表示し、かつ前記基準面の推定に使用された前記３次元画像データの前記３つ以上の点に対応する３つ以上の点を前記２次元画像上に表示する画像表示ステップをさらに有する
　請求項６に記載の面推定方法。
　前記３次元画像データに含まれる前記３次元座標に対応する３つ以上の点を２つ以上の領域に分割する分割ステップと、
　前記３次元画像データの画像および前記２次元画像の一方をディスプレイに表示し、かつ前記２つ以上の領域の画像を前記ディスプレイに表示する画像表示ステップと、
　をさらに有する
　請求項６に記載の面推定方法。
　前記３次元画像データが示す前記被写体の３次元形状における曲率の分布を示す曲率マップを生成するマップ生成ステップと、
　前記３次元画像データの画像および前記２次元画像の一方をディスプレイに表示し、かつ前記曲率マップの画像を前記ディスプレイに表示する画像表示ステップと、
　をさらに有する
　請求項６に記載の面推定方法。
　前記３次元画像データの画像および前記２次元画像の一方をディスプレイに表示し、かつ前記基準面に対応する領域を前記３次元画像データの前記画像または前記２次元画像上に表示する画像表示ステップをさらに有する
　請求項６に記載の面推定方法。
　前記３次元画像データの画像および前記２次元画像の一方に基づいて前記被写体の前記表面における異常な領域を検出する異常検出ステップをさらに有し、
　前記領域設定ステップにおいて、前記異常な領域に対応する領域を除く前記基準領域が設定される
　請求項６に記載の面推定方法。
　前記基準面に基づいて前記被写体の大きさを計測する計測ステップをさらに有する
　請求項６に記載の面推定方法。
　前記計測ステップにおいて、前記基準面と前記被写体の前記表面上の点との間の３次元距離が計測される
　請求項２２に記載の面推定方法。
　前記推定ステップにおいて、前記基準面の幾何学的な特徴がさらに推定される
　請求項６に記載の面推定方法。
　被写体の２次元画像に基づいて算出された前記被写体上の３つ以上の点の３次元座標を含む３次元画像データを記録媒体から読み出す読み出しステップと、
　３次元の領域および２次元の領域の一方である基準領域を設定し、前記３次元の領域は、３つ以上の点を含み、かつ３次元空間に設定され、前記３次元空間は、前記３次元画像データに含まれる前記３次元座標を含み、前記２次元の領域は、３つ以上の点を含み、かつ前記２次元画像に設定され、前記基準領域の前記３つ以上の点は、三角形を形成する３つの点で構成される１つ以上の組を含む領域設定ステップと、
　前記基準領域に含まれる前記３つ以上の点に対応する前記３次元画像データの３つ以上の点に基づいて、前記被写体の表面を近似する基準面を推定する推定ステップと、
　を有する面推定方法。
　被写体の２次元画像に基づいて前記被写体上の３つ以上の点の３次元座標を算出し、かつ前記３つ以上の点の前記３次元座標を含む３次元画像データを生成する生成部と、
　３次元の領域および２次元の領域の一方である基準領域を設定し、前記３次元の領域は、３つ以上の点を含み、かつ３次元空間に設定され、前記３次元空間は、前記３次元画像データに含まれる前記３次元座標を含み、前記２次元の領域は、３つ以上の点を含み、かつ前記２次元画像に設定され、前記基準領域の前記３つ以上の点は、三角形を形成する３つの点で構成される１つ以上の組を含む領域設定部と、
　前記基準領域に含まれる前記３つ以上の点に対応する前記３次元画像データの３つ以上の点に基づいて、前記被写体の表面を近似する基準面を推定する推定部と、
　を有する面推定装置。
　被写体の２次元画像に基づいて前記被写体上の３つ以上の点の３次元座標を算出し、かつ前記３つ以上の点の前記３次元座標を含む３次元画像データを生成する生成ステップと、
　３次元の領域および２次元の領域の一方である基準領域を設定し、前記３次元の領域は、３つ以上の点を含み、かつ３次元空間に設定され、前記３次元空間は、前記３次元画像データに含まれる前記３次元座標を含み、前記２次元の領域は、３つ以上の点を含み、かつ前記２次元画像に設定され、前記基準領域の前記３つ以上の点は、三角形を形成する３つの点で構成される１つ以上の組を含む領域設定ステップと、
　前記基準領域に含まれる前記３つ以上の点に対応する前記３次元画像データの３つ以上の点に基づいて、前記被写体の表面を近似する基準面を推定する推定ステップと、
　をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。