WO2021181464A1

WO2021181464A1 - 計測方法、計測装置、および記録媒体

Info

Publication number: WO2021181464A1
Application number: PCT/JP2020/010021
Authority: WO
Inventors: 英弘宮屋敷
Original assignee: オリンパス株式会社
Priority date: 2020-03-09
Filing date: 2020-03-09
Publication date: 2021-09-16
Also published as: US20220020208A1; JP7423654B2; JPWO2021181464A1

Abstract

計測方法は、生成ステップ、領域検出ステップ、画像表示ステップ、点入力ステップ、および計測ステップを有する。前記生成ステップにおいて被写体上の２つ以上の点の３次元座標を含む３次元画像データが生成される。前記領域検出ステップにおいて、前記３次元画像データに基づいて前記被写体上の２つ以上の特徴領域が検出される。前記画像表示ステップにおいて、前記２つ以上の特徴領域の画像がディスプレイに表示される。前記点入力ステップにおいて、前記被写体上の点が、入力装置を通して受け付けられる。前記計測ステップにおいて、前記被写体上の２つ以上の点の３次元座標に基づいて前記被写体の大きさが計測される。

Description

計測方法、計測装置、および記録媒体

　本発明は、計測方法、計測装置、および記録媒体に関する。

　ボイラー、パイプ、および航空機エンジン等の内部の傷および腐食等の観察および検査に工業用の内視鏡装置が使用されている。この内視鏡装置では、多様な観察物を観察および検査するための複数種類の光学アダプターが用意されている。光学アダプターは、内視鏡の先端部分に装着され、かつ交換可能である。このような内視鏡装置を使用した検査において、被写体の欠陥および傷の大きさを定量的に計測したいという要望がある。この要望に応えるために、３次元計測機能が搭載された内視鏡装置が存在する。

　例えば、ユーザーによって画像上で指定された点の情報に基づいて被写体の幾何学的な大きさを計測する機能が内視鏡装置に搭載されている。例えば、２点間距離計測では、ユーザーによって指定された２つの計測点間の３次元距離が計測される。線基準計測では、ユーザーによって指定された２つの基準点に基づいて基準線が設定され、かつユーザーによって指定された計測点と基準線との間の３次元距離が計測される。面基準計測では、ユーザーによって指定された３つ以上の基準点に基づいて基準面が設定され、かつユーザーによって指定された計測点と基準面との間の３次元距離が計測される。

　ユーザーは、ディスプレイに表示された画像上の点を指定する。３次元計測の精度は、ユーザーによって指定された点の位置に依存する。例えば、２つの物体が重なっており、その２つの物体の間の境界が画像において識別しにくい場合がある。ユーザーが正しい点を指定したと自ら判断した場合であっても、実際には指定された位置は、その点が存在する物体とは異なる物体上にあるかもしれない。誤った点が指定されるため、内視鏡装置は正しい計測結果を得ることができない。

　特許文献１は、ユーザーが２次元画像において計測に適した位置にカーソルを移動させるときに使用される技術を開示している。この技術では、画像の特徴量に基づいてカーソルの動きが制御される。第１の例では、画像の特徴量が最大となる位置にカーソルが移動する。第２の例では、画像の特徴量に基づいてカーソルの移動速度が変化する。第３の例では、画像の特徴量に基づいてカーソルの移動方向が変化する。

日本国特開２０１０－１２７９６４号公報

　しかしながら、特許文献１に開示された技術では、被写体の３次元形状の特徴は考慮されていない。そのため、ユーザーが誤った点を指定する可能性がある。

　本発明は、被写体上の点の正確な指定を支援することができる計測方法、計測装置、および記録媒体を提供することを目的とする。

　本発明の第１の態様によれば、計測方法は、生成ステップ、領域検出ステップ、画像表示ステップ、点入力ステップ、および計測ステップを有する。前記生成ステップにおいて被写体の２次元画像に基づいて前記被写体上の２つ以上の点の３次元座標が算出され、かつ前記２つ以上の点の前記３次元座標を含む３次元画像データが生成される。前記領域検出ステップにおいて、前記３次元画像データに基づいて前記被写体上の２つ以上の特徴領域が検出される。前記被写体の３次元形状は前記２つ以上の特徴領域の各々において共通の特徴を持つ。前記画像表示ステップにおいて、前記２つ以上の特徴領域が互いに視覚的に区別されるように前記２つ以上の特徴領域の画像がディスプレイに表示される。前記画像表示ステップが実行された後、前記点入力ステップにおいて、前記被写体上の点が、入力装置を通して受け付けられ、かつ受け付けられた前記点を示す点情報が生成される。前記計測ステップにおいて、前記点情報が示す前記点を含む前記被写体上の２つ以上の点の３次元座標に基づいて前記被写体の大きさが計測される。

　本発明の第２の態様によれば、第１の態様において、前記計測方法は、領域選択ステップおよび情報制御ステップをさらに有してもよい。前記領域選択ステップにおいて、前記２つ以上の特徴領域のうちの１つが選択領域として選択されてもよい。前記選択領域における点が前記点入力ステップにおいて受け付けられた場合のみ、前記情報制御ステップにおいて前記点情報が有効にされてもよい。前記計測ステップにおいて、有効な前記点情報が示す前記点を含む前記２つ以上の点の３次元座標に基づいて前記被写体の前記大きさが計測されてもよい。

　本発明の第３の態様によれば、第１の態様において、前記画像表示ステップにおいて、前記３次元画像データの画像および前記２次元画像の一方が前記ディスプレイにさらに表示されてもよい。前記計測方法は、領域選択ステップ、マーク表示ステップ、および位置算出ステップをさらに有してもよい。前記領域選択ステップにおいて、前記２つ以上の特徴領域のうちの１つが選択領域として選択されてもよい。前記マーク表示ステップにおいて、マークが前記３次元画像データの前記画像および前記２次元画像の一方上に表示されてもよい。前記位置算出ステップにおいて、前記マークが表示される位置が、前記入力装置を通して受け付けられた情報に基づいて算出されてもよい。前記マークが表示される前記位置は前記選択領域に対応する領域内に制限されてもよい。前記点入力ステップにおいて、前記マークの位置に対応する前記点が受け付けられてもよい。

　本発明の第４の態様によれば、第１の態様において、前記計測方法は、領域選択ステップ、マーク表示ステップ、および位置算出ステップをさらに有してもよい。前記領域選択ステップにおいて、前記２つ以上の特徴領域のうちの１つが選択領域として選択されてもよい。前記マーク表示ステップにおいて、マークが前記２つ以上の特徴領域の前記画像上に表示されてもよい。前記位置算出ステップにおいて、前記マークが表示される位置が、前記入力装置を通して受け付けられた情報に基づいて算出されてもよい。前記マークが表示される前記位置は前記選択領域内に制限されてもよい。前記点入力ステップにおいて、前記マークの位置に対応する前記点が受け付けられてもよい。

　本発明の第５の態様によれば、第１の態様において、前記計測方法は、領域選択ステップおよび情報制御ステップをさらに有してもよい。前記領域選択ステップにおいて、前記２つ以上の特徴領域のうちの１つが選択領域として選択されてもよい。前記選択領域外の点が前記点入力ステップにおいて受け付けられた場合、前記情報制御ステップにおいて、受け付けられた前記点情報が無効にされ、かつ前記選択領域内の点を示す新たな前記点情報が生成されてもよい。前記計測ステップにおいて、無効な前記点情報を除く前記点情報が示す前記２つ以上の点の３次元座標に基づいて前記被写体の前記大きさが計測されてもよい。

　本発明の第６の態様によれば、第１の態様において、前記画像表示ステップにおいて、前記３次元画像データの画像および前記２次元画像の一方が前記ディスプレイにさらに表示されてもよい。前記計測方法は、領域選択ステップ、マーク表示ステップ、および位置算出ステップをさらに有してもよい。前記領域選択ステップにおいて、前記２つ以上の特徴領域のうちの１つが選択領域として選択されてもよい。前記マーク表示ステップにおいて、マークが前記３次元画像データの前記画像および前記２次元画像の一方上に表示されてもよい。前記位置算出ステップにおいて、前記マークが表示される位置が、前記入力装置を通して受け付けられた情報に基づいて算出されてもよい。前記選択領域に対応する領域内に前記マークが表示され、かつ前記マークの位置に対応する前記点が前記点入力ステップにおいて受け付けられた場合、前記計測ステップにおいて、前記点情報が示す前記点を含む前記２つ以上の点の前記３次元座標に基づいて前記被写体の前記大きさが計測されてもよい。前記選択領域に対応する前記領域外に前記マークが表示され、かつ前記マークの位置に対応する前記点が前記点入力ステップにおいて受け付けられた場合、前記マークが表示される位置は、前記選択領域に対応する前記領域内の位置に変更されてもよい。

　本発明の第７の態様によれば、前記計測方法は、領域選択ステップ、マーク表示ステップ、および位置算出ステップをさらに有してもよい。前記領域選択ステップにおいて、前記２つ以上の特徴領域のうちの１つが選択領域として選択されてもよい。前記マーク表示ステップにおいて、マークが前記２つ以上の特徴領域の前記画像上に表示されてもよい。前記位置算出ステップにおいて、前記マークが表示される位置が、前記入力装置を通して受け付けられた情報に基づいて算出されてもよい。前記選択領域内に前記マークが表示され、かつ前記マークの位置に対応する前記点が前記点入力ステップにおいて受け付けられた場合、前記計測ステップにおいて、前記点情報が示す前記点を含む前記２つ以上の点の前記３次元座標に基づいて前記被写体の前記大きさが計測されてもよい。前記選択領域外に前記マークが表示され、かつ前記マークの位置に対応する前記点が前記点入力ステップにおいて受け付けられた場合、前記マークが表示される位置は、前記選択領域内の位置に変更されてもよい。

　本発明の第８の態様によれば、第２の態様において、前記被写体上の第１の点が前記点入力ステップにおいて受け付けられた場合、前記第１の点を含む前記特徴領域が前記領域選択ステップにおいて選択されてもよい。前記選択領域における第２の点が前記点入力ステップにおいて受け付けられた場合、前記計測ステップにおいて、前記第１の点および前記第２の点を含む前記２つ以上の点の前記３次元座標に基づいて前記被写体の前記大きさが計測されてもよい。前記第２の点は前記第１の点と異なってもよい。

　本発明の第９の態様によれば、第２の態様において、前記２つ以上の特徴領域の前記画像上の位置が前記入力装置を通して受け付けられた場合、受け付けられた前記位置に対応する前記特徴領域が前記領域選択ステップにおいて選択されてもよい。

　本発明の第１０の態様によれば、第１の態様において、前記計測方法は、前記２つ以上の特徴領域のうちの１つを選択領域として選択する領域選択ステップをさらに有してもよい。前記画像表示ステップにおいて前記選択領域が第１の色で表示され、かつ前記画像表示ステップにおいて前記選択領域と異なる前記特徴領域が前記第１の色と異なる第２の色で表示されてもよい。

　本発明の第１１の態様によれば、第１の態様において、前記計測方法は、前記２つ以上の特徴領域のうちの１つを選択領域として選択する領域選択ステップをさらに有してもよい。前記画像表示ステップにおいて前記選択領域のみが表示されてもよい。

　本発明の第１２の態様によれば、第１の態様において、前記計測方法は、前記２つ以上の特徴領域のうちの１つを選択領域として選択する領域選択ステップをさらに有してもよい。前記画像表示ステップにおいて前記選択領域が強調表示されてもよい。

　本発明の第１３の態様によれば、計測方法は、生成ステップ、領域検出ステップ、画像表示ステップ、点入力ステップ、制御ステップ、および計測ステップを有する。前記生成ステップにおいて、被写体の２次元画像に基づいて前記被写体上の２つ以上の点の３次元座標が算出され、かつ前記２つ以上の点の前記３次元座標を含む３次元画像データが生成される。前記領域検出ステップにおいて、前記３次元画像データに基づいて前記被写体上の１つ以上の特徴領域が検出される。前記被写体の３次元形状は前記１つ以上の特徴領域の各々において共通の特徴を持つ。前記画像表示ステップにおいて、前記３次元画像データの画像、前記２次元画像、および前記１つ以上の特徴領域の画像のうちの１つがディスプレイに表示される。前記画像表示ステップが実行された後、前記点入力ステップにおいて、前記被写体上の点が、入力装置を通して受け付けられ、かつ受け付けられた前記点を示す点情報が生成される。前記制御ステップにおいて、第１の制御および第２の制御の一方が実行される。前記第１の制御において、前記点情報が前記１つ以上の特徴領域のうちの１つ内の点を示すように前記点情報が制御される。前記第２の制御において、前記３次元画像データの前記画像、前記２次元画像、および前記１つ以上の特徴領域の画像のうちの１つ上にマークが表示される。前記マークの位置は前記１つ以上の特徴領域のうちの１つに対応する領域内に制限される。前記点入力ステップにおいて、前記マークの位置に対応する前記点が受け付けられる。前記計測ステップにおいて、前記点情報が示す前記点を含む前記被写体上の２つ以上の点の３次元座標に基づいて前記被写体の大きさが計測される。

　本発明の第１４の態様によれば、計測装置は、生成部、領域検出部、表示制御部、点入力部、および計測部を有する。前記生成部は、被写体の２次元画像に基づいて前記被写体上の２つ以上の点の３次元座標を算出し、かつ前記２つ以上の点の前記３次元座標を含む３次元画像データを生成する。前記領域検出部は、前記３次元画像データに基づいて前記被写体上の２つ以上の特徴領域を検出する。前記被写体の３次元形状は前記２つ以上の特徴領域の各々において共通の特徴を持つ。前記表示制御部は、前記２つ以上の特徴領域が互いに視覚的に区別されるように前記２つ以上の特徴領域の画像をディスプレイに表示する。前記２つ以上の特徴領域の前記画像が表示された後、前記点入力部は、前記被写体上の点を、入力装置を通して受け付け、かつ受け付けられた前記点を示す点情報を生成する。前記計測部は、前記点情報が示す前記点を含む前記被写体上の２つ以上の点の３次元座標に基づいて前記被写体の大きさを計測する。

　本発明の第１５の態様によれば、生成ステップ、領域検出ステップ、画像表示ステップ、点入力ステップ、および計測ステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体が提供される。前記生成ステップにおいて被写体の２次元画像に基づいて前記被写体上の２つ以上の点の３次元座標が算出され、かつ前記２つ以上の点の前記３次元座標を含む３次元画像データが生成される。前記領域検出ステップにおいて、前記３次元画像データに基づいて前記被写体上の２つ以上の特徴領域が検出される。前記被写体の３次元形状は前記２つ以上の特徴領域の各々において共通の特徴を持つ。前記画像表示ステップにおいて、前記２つ以上の特徴領域が互いに視覚的に区別されるように前記２つ以上の特徴領域の画像がディスプレイに表示される。前記画像表示ステップが実行された後、前記点入力ステップにおいて、前記被写体上の点が、入力装置を通して受け付けられ、かつ受け付けられた前記点を示す点情報が生成される。前記計測ステップにおいて、前記点情報が示す前記点を含む前記被写体上の２つ以上の点の３次元座標に基づいて前記被写体の大きさが計測される。

　上記の各態様によれば、計測方法、計測装置、および記録媒体は、被写体上の点の正確な指定を支援することができる。

本発明の第１の実施形態による計測装置の構成を示すブロック図である。本発明の第１の実施形態における３次元計測の手順を示すフローチャートである。本発明の第１の実施形態における点群データの３次元画像の例を示す図である。本発明の第１の実施形態における特徴領域の画像の例を示す図である。本発明の第１の実施形態においてディスプレイに表示される画像の例を示す図である。本発明の第１の実施形態においてディスプレイに表示される画像の例を示す図である。本発明の第２の実施形態による計測装置の構成を示すブロック図である。本発明の第２の実施形態における３次元計測の手順を示すフローチャートである。本発明の第２の実施形態における３次元計測の手順を示すフローチャートである。本発明の第３の実施形態による内視鏡装置の全体構成を示す斜視図である。本発明の第３の実施形態による内視鏡装置の内部構成を示すブロック図である。本発明の第３の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第３の実施形態における３次元計測の手順を示すフローチャートである。本発明の第３の実施形態において表示部に表示される画像の例を示す図である。本発明の第３の実施形態において表示部に表示される画像の例を示す図である。本発明の第３の実施形態において表示部に表示される画像の例を示す図である。本発明の第３の実施形態において表示部に表示される画像の例を示す図である。本発明の第３の実施形態において表示部に表示される画像の例を示す図である。本発明の第３の実施形態において表示部に表示される画像の例を示す図である。本発明の第４の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第４の実施形態における３次元計測の手順を示すフローチャートである。本発明の第４の実施形態において表示部に表示される画像の例を示す図である。本発明の第４の実施形態において表示部に表示される画像の例を示す図である。本発明の第５の実施形態における３次元計測の手順を示すフローチャートである。本発明の第５の実施形態において表示部に表示される画像の例を示す図である。本発明の第５の実施形態において表示部に表示される画像の例を示す図である。本発明の第６の実施形態における３次元計測の手順を示すフローチャートである。本発明の第６の実施形態において表示部に表示される画像の例を示す図である。本発明の第６の実施形態において表示部に表示される画像の例を示す図である。本発明の第７の実施形態における３次元計測の手順を示すフローチャートである。本発明の第７の実施形態において表示部に表示される画像の例を示す図である。本発明の第７の実施形態において表示部に表示される画像の例を示す図である。本発明の第８の実施形態によるパーソナルコンピュータの構成を示すブロック図である。本発明の第８の実施形態によるパーソナルコンピュータが有するＣＰＵの機能構成を示すブロック図である。

　図面を参照し、本発明の実施形態を説明する。

　（第１の実施形態）
　図１は、本発明の第１の実施形態の計測装置７の構成を示す。図１に示す計測装置７は、生成部７０、領域検出部７１、表示制御部７２、点入力部７３、および計測部７４を有する。

　生成部７０は、被写体の２次元画像に基づいて被写体上の２つ以上の点の３次元座標を算出し、かつその２つ以上の点の３次元座標を含む点群データ（３次元画像データ）を生成する（生成ステップ）。領域検出部７１は、点群データに基づいて被写体上の２つ以上の特徴領域を検出する（領域検出ステップ）。被写体の３次元形状は２つ以上の特徴領域の各々において共通の特徴を持つ。表示制御部７２は、２つ以上の特徴領域が互いに視覚的に区別されるように２つ以上の特徴領域の画像をディスプレイに表示する（画像表示ステップ）。２つ以上の特徴領域の画像が表示された後、点入力部７３は、被写体上の点を、入力装置を通して受け付け、かつ受け付けられた点を示す点情報を生成する（点入力ステップ）。計測部７４は、点情報が示す点を含む被写体上の２つ以上の点の３次元座標に基づいて被写体の大きさを計測する（計測ステップ）。

　図１に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）の少なくとも１つである。図１に示す各部は、１つまたは複数のプロセッサを含むことができる。図１に示す各部は、１つまたは複数の論理回路を含むことができる。

　計測装置７のコンピュータがプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、生成部７０、領域検出部７１、表示制御部７２、点入力部７３、および計測部７４の動作を規定する命令を含む。つまり、生成部７０、領域検出部７１、表示制御部７２、点入力部７３、および計測部７４の機能はソフトウェアにより実現されてもよい。

　上記のプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により計測装置７に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。コンピュータに既に記録されているプログラムと差分プログラムとの組合せが、前述した機能を実現してもよい。

　図２を使用することにより、第１の実施形態における３次元計測について説明する。図２は、３次元計測の手順を示す。

　生成部７０は、被写体の２次元画像（２Ｄ画像）に基づいて被写体上の２つ以上の点の３次元座標（３Ｄ座標）を算出し、かつその２つ以上の点の３Ｄ座標を含む点群データを生成する（ステップＳ１）。ステップＳ１は、生成ステップに対応する。

　被写体の２Ｄ画像がステレオ画像である場合、１枚の２Ｄ画像は、第１の視点から見た被写体の画像と、第１の視点と異なる第２の視点から見た被写体の画像とを含む。生成部７０は、その２Ｄ画像の各画素に対応する３Ｄ座標を算出する。生成部７０は、被写体上の２つ以上の点の３Ｄ座標を含む点群データを生成する。点群データにおいて２つ以上の点の各々の３Ｄ座標は２Ｄ画像上の点と関連付けられている。具体的には、点群データにおける３Ｄ座標は、２Ｄ画像上の画素と関連付けられている。例えば、点群データは、３Ｄ座標と、２Ｄ画像上の画素の位置情報とを含む。

　生成部７０は、２枚以上の画像を使用することにより、かつＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）を適用することにより、被写体上の２つ以上の点の３Ｄ座標を算出してもよい。生成部７０は、空間的な位相が互いに異なる２つ以上の縞パターンが投影された被写体の２枚以上の２Ｄ画像を使用することにより、かつ位相シフト法を適用することにより、被写体上の２つ以上の点の３Ｄ座標を算出してもよい。生成部７０は、明部および暗部がランダムに配置されたパターン光が照射された被写体の１枚の２Ｄ画像を使用することにより、被写体上の２つ以上の点の３Ｄ座標を算出してもよい。点群データを生成する方法は上記の方法に限らない。

　生成部７０は、点群データをディスプレイに表示するための３次元画像（３Ｄ画像）を生成してもよい。３Ｄ画像は、点群データが示す３次元形状（３Ｄ形状）の画像である。３Ｄ画像は、各画素のカラーデータを含む。３Ｄ画像の各画素は、３Ｄ座標と関連付けられている。生成部７０は、互いに異なる２つ以上の視点の各々に対応する３Ｄ画像を生成してもよい。生成部７０は、特徴領域の画像を生成してもよい。特徴領域の画像は、各画素のカラーデータを含む。特徴領域の画像の各画素は、３Ｄ座標と関連付けられている。特徴領域の画像の各画素は、２Ｄ画像の画素または３Ｄ画像の画素と関連付けられている。

　ステップＳ１の後、領域検出部７１は、点群データに基づいて被写体上の２つ以上の特徴領域を検出する（ステップＳ２）。ステップＳ２は、領域検出ステップに対応する。

　領域検出部７１は、点群データを使用することにより、被写体の３Ｄ形状の特徴を抽出する。領域検出部７１は、抽出された特徴に従って、点群データにおける３Ｄ座標に対応する各点を２つ以上の特徴領域のうちの１つに割り当てる。被写体の３Ｄ形状は１つの特徴領域内において共通の特徴を持つ。被写体の３Ｄ形状の特徴は、異なる２つ以上の特徴領域間で互いに異なる。１つの点のみが１つの特徴領域に割り当てられてもよい。２つ以上の点が１つの特徴領域に割り当てられた場合、その２つ以上の点は、被写体の３Ｄ形状の特徴を示す共通の条件を満たす。第１の特徴領域内の点が満たすその条件と、第１の特徴領域と異なる第２の特徴領域内の点が満たすその条件とは、互いに異なる。

　点群データに対応する各点を分類する簡易的な方法としてセグメンテーションがある。例えば、領域検出部７１は、Ｅｕｃｌｉｄｅａｎ　Ｃｌｕｓｔｅｒ　Ｅｘｔｒａｃｔｉｏｎをセグメンテーションに使用することができる。これは、オープンソースであるＰＣＬ（Ｐｏｉｎｔ　Ｃｌｏｕｄ　Ｌｉｂｒａｒｙ）に搭載されている機能である。

　領域検出部７１は、この機能を使用することにより、各点から所定距離以内にある点を近傍点と判断する。１つの点およびその近傍点は、同じ物体上にある。例えば、被写体が、互いに離れた第１の物体および第２の物体を有する場合、点群データに対応する各点は、第１の物体上の点および第２の物体上の点のいずれか１つに分類される。第１の物体および第２の物体の各々は、特徴領域（セグメント）である。この場合、１つの特徴領域内の２つ以上の点は、同じ物体上にあるという特徴を持つ。

　領域検出部７１は、ＷａｔｅｒｓｈｅｄアルゴリズムまたはＤｅｅｐ　Ｌｅａｒｎｉｎｇ等をセグメンテーションに使用してもよい。領域検出部７１は、点群データに基づいて被写体の表面に垂直な法線を算出し、かつ法線方向の変化に基づいて被写体のエッジまたは段差を特徴領域として検出してもよい。例えば、領域検出部７１は、エッジまたは段差からなる第１の特徴領域と、そのエッジまたは段差以外の部分からなる第２の特徴領域とを検出してもよい。領域検出部７１は、被写体の２Ｄ画像に画像処理を施すことにより、被写体のエッジを検出してもよい。領域検出部７１は、被写体の２Ｄ画像上のエッジに対応する特徴領域を、点群データが示す被写体の３Ｄ形状から検出してもよい。領域検出部７１は、被写体の２Ｄ画像または点群データの３Ｄ画像の明るさまたは色に基づいて特徴領域を検出してもよい。領域検出部７１は、被写体のステレオ画像にマッチング処理を実行し、かつそのマッチング処理において得られた相関値に基づいて特徴領域を検出してもよい。

　図３は、点群データの３Ｄ画像の例を示す。生成部７０は、点群データをメッシュデータに変換し、かつそのメッシュデータにテクスチャを付加する。生成部７０は、この処理を実行することにより３Ｄ画像Ｇ１を生成する。

　図４は、特徴領域の画像の例を示す。生成部７０は、領域検出部７１によって検出された２つ以上の特徴領域の情報に基づいて特徴領域の画像Ｇ２を生成する。特徴領域Ｒ１、特徴領域Ｒ２、特徴領域Ｒ３、および特徴領域Ｒ４が画像Ｇ２上に表示される。

　ステップＳ２の後、表示制御部７２は、２つ以上の特徴領域が互いに視覚的に区別されるように２つ以上の特徴領域の画像をディスプレイに表示する（ステップＳ３）。ステップＳ３は、画像表示ステップに対応する。

　表示制御部７２は、領域検出部７１によって検出された２つ以上の特徴領域の画像をディスプレイに出力し、かつその画像をディスプレイに表示させる。例えば、表示制御部７２は、特徴領域の画像および被写体の２Ｄ画像をディスプレイに表示する。表示制御部７２は、特徴領域の画像および点群データの３Ｄ画像をディスプレイに表示してもよい。表示制御部７２は、被写体の２Ｄ画像および点群データの３Ｄ画像をディスプレイに表示せずに特徴領域の画像のみをディスプレイに表示してもよい。

　特徴領域の画像が被写体の２Ｄ画像に重畳されてもよい。表示制御部７２は、特徴領域の画像における各画素のデータを、特徴領域の画像における画素と関連付けられた被写体の２Ｄ画像における画素のデータに重畳してもよい。表示制御部７２は、特徴領域の画像が重畳された被写体の２Ｄ画像をディスプレイに表示してもよい。その２Ｄ画像において、被写体の表面の起伏および特徴領域の位置が視認できる。

　特徴領域の画像が点群データの３Ｄ画像に重畳されてもよい。表示制御部７２は、特徴領域の画像における各画素のデータを、特徴領域の画像における画素と関連付けられた点群データの３Ｄ画像における画素のデータに重畳してもよい。表示制御部７２は、特徴領域の画像が重畳された点群データの３Ｄ画像をディスプレイに表示してもよい。その３Ｄ画像において、被写体の表面の起伏および特徴領域の位置が視認できる。

　例えば、２つ以上の特徴領域は画像において互いに異なる色で表示される。２つ以上の特徴領域の境界を示す線が画像に重畳されてもよい。各特徴領域を示す文字、記号、またはマーク等が各特徴領域上に表示されてもよい。ユーザーは、ディスプレイに表示された画像上の２つ以上の特徴領域を視覚的に区別することができる。

　ステップＳ３の後、点入力部７３は、被写体上の点を、入力装置を通して受け付け、かつ受け付けられた点を示す点情報を生成する（ステップＳ４）。ステップＳ４は、点入力ステップに対応する。

　ユーザーは、入力装置を操作することにより、被写体上の点の情報を入力装置に入力する。入力装置は、ユーザーインタフェースである。例えば、入力装置は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つを含む。入力装置は、ユーザーが入力した点の情報を出力する。点入力部７３は、入力装置から出力されたその情報を取得することにより、被写体上の点を受け付ける。点入力部７３は、被写体の２Ｄ画像、点群データの３Ｄ画像、および特徴領域の画像の少なくとも１つにおける点の位置を示す点情報を生成する。

　点入力部７３が被写体の２Ｄ画像上の点を受け付けた場合、点情報はその点に対応する画素の座標を含む。その画素の座標は、点群データにおける３Ｄ座標と関連付けられている。点入力部７３が点群データの３Ｄ画像上の点を受け付けた場合、点情報はその点の３Ｄ座標を含む。点入力部７３が特徴領域の画像上の点を受け付けた場合、点情報はその点に対応する画素の座標を含む。その画素の座標は、点群データにおける３Ｄ座標と関連付けられている。特徴領域の画像が重畳された被写体の２Ｄ画像上の点を点入力部７３が受け付けた場合、点情報はその点に対応する画素の座標を含む。その画素の座標は、点群データにおける３Ｄ座標と関連付けられている。特徴領域の画像が重畳された点群データの３Ｄ画像上の点を点入力部７３が受け付けた場合、点情報はその点の３Ｄ座標を含む。

　例えば、２点間距離計測が実行される場合、点入力部７３は、２つの計測点の各々の位置を示す点情報を生成する。線基準計測が実行される場合、点入力部７３は、基準線を定義する２つの基準点と、１つの計測点との各々の位置を示す点情報を生成する。面基準計測が実行される場合、点入力部７３は、基準面を定義する３つ以上の基準点と、１つの計測点との各々の位置を示す点情報を生成する。面積計測または周長計測が実行される場合、点入力部７３は、３つ以上の計測点の各々の位置を示す点情報を生成する。線基準計測、面基準計測、面積計測、および周長計測の少なくとも１つが実行される場合、点群データは、被写体上の３つ以上の点の３Ｄ座標を含む。

　点入力部７３は、計測に使用される２つ以上の点の一部のみを受け付けてもよい。例えば、被写体の２Ｄ画像または点群データの３Ｄ画像において１つ以上の点が特徴点検出のような画像処理によって検出され、かつ検出された点の点情報が生成されてもよい。この例では、点入力部７３によって受け付けられた１つ以上の点と、画像処理によって検出された１つ以上の点とが計測に使用される。

　例えば、線基準計測が実行される場合、２つの基準点が画像処理によって検出され、かつ点入力部７３が１つの計測点を受け付けてもよい。あるいは、点入力部７３が２つの基準点を受け付け、かつ１つの計測点が画像処理によって検出されてもよい。例えば、基準線と計測点との３次元距離（３Ｄ距離）が最大となる１つの計測点が画像処理によって検出されてもよい。

　例えば、面基準計測が実行される場合、３つの基準点が画像処理によって検出され、かつ点入力部７３が１つの計測点を受け付けてもよい。あるいは、点入力部７３が３つの基準点を受け付け、かつ１つの計測点が画像処理によって検出されてもよい。例えば、基準面と計測点との３Ｄ距離が最大となる１つの計測点が画像処理によって検出されてもよい。

　点入力部７３が受け付ける点は画面上の１ピクセルに対応する１点である必要はない。点入力部７３が受け付ける点は、任意の大きさの領域を含んでもよい。点入力部７３が受け付ける点は、サブピクセル単位で指定できる領域を含んでもよい。

　図５は、ステップＳ４においてディスプレイに表示される画像の例を示す。図４に示す画像Ｇ２と同じ画像Ｇ２がディスプレイに表示される。例えば、図５に示されていないカーソルが画像Ｇ２上に表示される。ユーザーは、カーソルの位置を示す情報を入力装置に入力する。表示制御部７２は、画像Ｇ２においてその情報に対応する位置にカーソルを表示する。ユーザーが所定の操作を実行したとき、カーソルの位置に対応する点が入力装置に入力される。このとき、点入力部７３はその点を受け付ける。カーソルの表示は必須ではない。入力装置およびディスプレイがタッチパネルとして構成されている場合、ユーザーは、ディスプレイの画面をタッチすることにより点の情報を入力する。このとき、点入力部７３はその点を受け付ける。

　図５に示す例では、ユーザーは２つの点の情報を入力装置に入力する。点入力部７３は、図５に示す点Ｐ１および点Ｐ２を受け付ける。点Ｐ１および点Ｐ２は、特徴領域Ｒ１内にある。点Ｐ１および点Ｐ２を示すマークが画像Ｇ２上に表示される。点入力部７３が受け付けた点を示すマークの表示は必須ではない。図５に示す例では、画像Ｇ２において４つの特徴領域が視覚的に分かりやすい。そのため、ユーザーは、自身が望む特徴領域内の点を容易に指定することができる。

　図６は、ステップＳ４においてディスプレイに表示される画像の他の例を示す。図４に示す画像Ｇ２と同じ画像Ｇ２と、被写体の２Ｄ画像Ｇ３とがディスプレイに表示される。例えば、図６に示されていないカーソルが２Ｄ画像Ｇ３上に表示される。ユーザーは、カーソルの位置を示す情報を入力装置に入力する。表示制御部７２は、２Ｄ画像Ｇ３においてその情報に対応する位置にカーソルを表示する。

　ユーザーが所定の操作を実行したとき、カーソルの位置に対応する点が入力装置に入力される。このとき、点入力部７３はその点を受け付ける。カーソルの表示は必須ではない。入力装置およびディスプレイがタッチパネルとして構成されている場合、ユーザーは、ディスプレイの画面をタッチすることにより点の情報を入力する。このとき、点入力部７３はその点を受け付ける。点入力部７３は、２Ｄ画像Ｇ３上の受け付けられた点と関連付けられている点を点群データにおいて特定し、かつその点の点情報を生成する。

　図６に示す例では、ユーザーは２つの点の情報を入力装置に入力する。点入力部７３は、図６に示す点Ｐ３および点Ｐ４を受け付ける。点Ｐ３および点Ｐ４を示すマークが２Ｄ画像Ｇ３上に表示される。点入力部７３が受け付けた点を示すマークの表示は必須ではない。図６に示す例では、ユーザーは、画像Ｇ２を参考にして２Ｄ画像Ｇ３上の点を指定する。そのため、ユーザーは、自身が望む特徴領域に対応する領域上の点を容易に指定することができる。表示制御部７２は、点入力部７３が受け付けた点に対応する点を画像Ｇ２上に表示してもよい。

　図６に示す例では、画像Ｇ２および２Ｄ画像Ｇ３がディスプレイの画面の水平方向に並べられている。画像Ｇ２および２Ｄ画像Ｇ３の配置は、この例に限らない。例えば、画像Ｇ２および２Ｄ画像Ｇ３がディスプレイの画面の垂直方向に並べられてもよい。このとき、画像Ｇ２および２Ｄ画像Ｇ３は９０度回転してもよい。画像Ｇ２および２Ｄ画像Ｇ３の一部が互いに重なってもよい。

　ステップＳ４の後、計測部７４は、点情報が示す点を含む被写体上の２つ以上の点の３Ｄ座標に基づいて被写体の大きさを計測する（ステップＳ５）。ステップＳ５は、計測ステップに対応する。ステップＳ５が実行されたとき、３次元計測が終了する。

　計測部７４は、被写体上の２つ以上の点の各々の３Ｄ座標を取得する。点情報が被写体の２Ｄ画像における画素の座標を含む場合、計測部７４は、その座標と関連付けられた３Ｄ座標を点群データから取得する。点情報が点群データにおける点の３Ｄ座標を含む場合、計測部７４は、その３Ｄ座標を点情報から取得する。点情報が特徴領域の画像における画素の座標を含む場合、計測部７４は、その座標と関連付けられた３Ｄ座標を点群データから取得する。

　計測部７４は、被写体上の２つ以上の点の３Ｄ座標に基づいて被写体の大きさを計測する。例えば、２点間距離計測では、計測部７４は、点情報が示す２つの計測点間の３Ｄ距離を計測する。線基準計測では、計測部７４は、点情報が示す２つの基準点に基づいて基準線を算出し、かつその基準線と点情報が示す１つの計測点との間の３Ｄ距離を計測する。面基準計測では、計測部７４は、点情報が示す３つ以上の基準点に基づいて基準面を算出し、かつその基準面と点情報が示す１つの計測点との間の３Ｄ距離を計測する。面積計測では、計測部７４は、点情報が示す３つ以上の計測点で囲まれた領域の面積を算出する。周長計測では、計測部７４は、点情報が示す３つ以上の計測点で囲まれた領域の周長を計測する。計測部７４が実行する計測は、上記の例に限らない。

　図５に示す例では、特徴領域の画像がディスプレイに表示され、かつその画像上の点が入力装置に入力される。図６に示す例では、特徴領域の画像および被写体の２Ｄ画像がディスプレイに表示され、かつ被写体の２Ｄ画像上の点が入力装置に入力される。ディスプレイに表示される画像と、点の入力に使用される画像との組み合わせはこれらの例に限らない。

　被写体の２Ｄ画像がディスプレイに表示され、かつその２Ｄ画像上の点が入力装置に入力されてもよい。点群データの３Ｄ画像がディスプレイに表示され、かつその３Ｄ画像上の点が入力装置に入力されてもよい。

　特徴領域の画像および被写体の２Ｄ画像がディスプレイに表示され、かつ特徴領域の画像上の点が入力装置に入力されてもよい。特徴領域の画像および点群データの３Ｄ画像がディスプレイに表示され、かつその３Ｄ画像上の点が入力装置に入力されてもよい。特徴領域の画像および点群データの３Ｄ画像がディスプレイに表示され、かつ特徴領域の画像上の点が入力装置に入力されてもよい。

　特徴領域の画像が重畳された被写体の２Ｄ画像がディスプレイに表示され、かつその２Ｄ画像上の点が入力装置に入力されてもよい。特徴領域の画像が重畳された点群データの３Ｄ画像がディスプレイに表示され、かつその３Ｄ画像上の点が入力装置に入力されてもよい。

　被写体の２Ｄ画像と、特徴領域の画像が重畳された点群データの３Ｄ画像とがディスプレイに表示され、かつその２Ｄ画像上の点が入力装置に入力されてもよい。被写体の２Ｄ画像と、特徴領域の画像が重畳された点群データの３Ｄ画像とがディスプレイに表示され、かつその３Ｄ画像上の点が入力装置に入力されてもよい。

　点群データの３Ｄ画像と、特徴領域の画像が重畳された被写体の２Ｄ画像とがディスプレイに表示され、かつその３Ｄ画像上の点が入力装置に入力されてもよい。点群データの３Ｄ画像と、特徴領域の画像が重畳された被写体の２Ｄ画像とがディスプレイに表示され、かつその２Ｄ画像上の点が入力装置に入力されてもよい。

　第１の実施形態において、計測装置７は、２つ以上の特徴領域の画像をディスプレイに表示する。ユーザーは、ディスプレイに表示された画像を参考にして自身が望む特徴領域内の点を容易に指定することができる。そのため、計測装置７は、被写体上の点の正確な指定を支援することができる。

　（第２の実施形態）
　本発明の第２の実施形態を説明する。図７は、第２の実施形態の計測装置７ａの構成を示す。図７に示す計測装置７ａは、生成部７０、領域検出部７１ａ、表示制御部７２ａ、点入力部７３、計測部７４、および情報制御部７５を有する。図１に示す構成と同じ構成の説明を省略する。

　図７に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図７に示す各部は、１つまたは複数のプロセッサを含むことができる。図７に示す各部は、１つまたは複数の論理回路を含むことができる。

　計測装置７ａのコンピュータがプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、図１に示す計測装置７のコンピュータによって実行されるプログラムと同様に実現される。

　領域検出部７１ａは、点群データに基づいて被写体上の１つ以上の特徴領域を検出する（領域検出ステップ）。第１の実施形態における領域検出部７１は２つ以上の特徴領域を検出するが、第２の実施形態における領域検出部７１ａは１つの特徴領域を検出してもよい。例えば、被写体が１つの物体のみで構成されている場合、領域検出部７１ａは１つの特徴領域を検出する。被写体の３Ｄ形状は１つの特徴領域内において共通の特徴を持つ。被写体の３Ｄ形状の特徴は、異なる２つ以上の特徴領域間で互いに異なる。１つの点のみが１つの特徴領域に割り当てられてもよい。２つ以上の点が１つの特徴領域に割り当てられた場合、その２つ以上の点は、被写体の３Ｄ形状の特徴を示す共通の条件を満たす。第１の特徴領域内の点が満たすその条件と、第１の特徴領域と異なる第２の特徴領域内の点が満たすその条件とは、互いに異なる。

　表示制御部７２ａは、点群データの３Ｄ画像、被写体の２Ｄ画像、および１つ以上の特徴領域の画像のうちの１つをディスプレイに表示する（画像表示ステップ）。点群データの３Ｄ画像は、点群データが示す３Ｄ形状の画像である。

　情報制御部７５は、第１の制御および第２の制御の一方を実行する（制御ステップ）。情報制御部７５は、第１の制御において、点情報が１つ以上の特徴領域のうちの１つ内の点を示すように点情報を制御する。点情報は、点入力部７３によって受け付けられた点を示す。情報制御部７５は、第２の制御において、点群データの３Ｄ画像、被写体の２Ｄ画像、および１つ以上の特徴領域の画像のうちの１つ上にマークを表示する。マークは、アイコンまたはポインター等である。例えば、マークはカーソルである。情報制御部７５は、そのマークの位置を１つ以上の特徴領域のうちの１つに対応する領域内に制限する。点入力部７３は、そのマークの位置に対応する点を受け付ける。表示制御部７２ａが第２の制御を実行してもよい。この場合、表示制御部７２ａが情報制御部７５の機能を持つ。

　図８および図９を使用することにより、第２の実施形態における３次元計測について説明する。図８は、３次元計測の手順を示す。図２に示す処理と同じ処理の説明を省略する。

　ステップＳ１の後、領域検出部７１ａは、点群データに基づいて被写体上の１つ以上の特徴領域を検出する（ステップＳ２ａ）。ステップＳ２ａは、領域検出ステップに対応する。領域検出部７１ａは、第１の実施形態で説明した方法と同じ方法で特徴領域を検出することができる。

　ステップＳ２ａの後、表示制御部７２ａは、点群データの３Ｄ画像、被写体の２Ｄ画像、および１つ以上の特徴領域の画像のうちの１つをディスプレイに表示する（ステップＳ３ａ）。ステップＳ３ａは、画像表示ステップに対応する。

　例えば、表示制御部７２ａは、被写体の２Ｄ画像および特徴領域の画像を表示せずに点群データの３Ｄ画像をディスプレイに表示する。表示制御部７２ａは、点群データの３Ｄ画像および特徴領域の画像を表示せずに被写体の２Ｄ画像をディスプレイに表示してもよい。表示制御部７２ａは、点群データの３Ｄ画像および被写体の２Ｄ画像を表示せずに特徴領域の画像をディスプレイに表示してもよい。

　ステップＳ３ａにおいてディスプレイに表示される画像は、点群データの３Ｄ画像、被写体の２Ｄ画像、および特徴領域の画像のうちの１つで十分である。しかし、表示制御部７２ａは、点群データの３Ｄ画像、被写体の２Ｄ画像、および特徴領域の画像のうちの２つ以上をディスプレイに表示してもよい。例えば、表示制御部７２ａは、点群データの３Ｄ画像および特徴領域の画像をディスプレイに表示してもよい。表示制御部７２ａは、被写体の２Ｄ画像および特徴領域の画像をディスプレイに表示してもよい。表示制御部７２ａは、特徴領域の画像が重畳された点群データの３Ｄ画像または特徴領域の画像が重畳された被写体の２Ｄ画像をディスプレイに表示してもよい。

　ステップＳ３ａの後、点入力部７３は、ステップＳ４において、被写体上の点を、入力装置を通して受け付け、かつ受け付けられた点を示す点情報を生成する。ステップＳ４の後、情報制御部７５は、第１の制御を実行する。つまり、情報制御部７５は、ステップＳ４において生成された点情報が１つ以上の特徴領域のうちの１つ内の点を示すように点情報を制御する（ステップＳ６）。ステップＳ６は、制御ステップに対応する。

　例えば、１つの特徴領域内の点を示す点情報のみが有効となり、かつその点の３Ｄ座標が計測に使用される。あるいは、１つの特徴領域外の点を示す点情報は、その特徴領域内の点を示す点情報に更新される。第１の制御の具体例については第４および第６の実施形態において説明する。ステップＳ６の後、ステップＳ５が実行される。

　図９は、３次元計測の他の手順を示す。図２および図８に示す処理と同じ処理の説明を省略する。

　ステップＳ３ａの後、情報制御部７５は、第２の制御を実行する。つまり、情報制御部７５は、点群データの３Ｄ画像、被写体の２Ｄ画像、および１つ以上の特徴領域の画像のうちの１つ上にマークを表示する。ステップＳ３ａにおいて点群データの３Ｄ画像がディスプレイに表示された場合、マークはその３Ｄ画像上に表示される。ステップＳ３ａにおいて被写体の２Ｄ画像がディスプレイに表示された場合、マークはその２Ｄ画像上に表示される。ステップＳ３ａにおいて特徴領域の画像がディスプレイに表示された場合、マークはその画像上に表示される。情報制御部７５は、そのマークの位置を１つ以上の特徴領域のうちの１つに対応する領域内に制限する（ステップＳ７）。ステップＳ７は、制御ステップに対応する。

　例えば、マークは、１つの特徴領域に対応する領域内でのみ移動する。あるいは、マークが１つの特徴領域に対応する領域外に移動した場合、そのマークの位置はその１つの特徴領域内の位置に強制的に変更される。第２の制御の具体例については第５および第７の実施形態において説明する。表示制御部７２ａがステップＳ７を実行してもよい。

　ステップＳ７の後、点入力部７３は、ステップＳ４において、マークの位置に対応する点を受け付ける。

　３次元計測における処理の順番は、図８および図９に示す順番に限らない。例えば、ステップＳ２ａが実行される前に点群データの３Ｄ画像がディスプレイに表示されてもよい。ステップＳ１またはステップＳ２ａが実行される前に被写体の２Ｄ画像がディスプレイに表示されてもよい。点入力部７３がステップＳ４において点を受け付けた後、情報制御部７５は、ステップＳ７においてその点に基づいて第２の制御を実行してもよい。

　第２の実施形態において、計測装置７ａは、第１の制御および第２の制御の一方を実行する。第１の制御において、点情報が１つ以上の特徴領域のうちの１つ内の点を示すように点情報が制御される。第２の制御において、画像上のマークの位置は１つ以上の特徴領域のうちの１つに対応する領域内に制限される。１つの特徴領域内の点の３Ｄ座標が計測に使用される。そのため、計測装置７ａは、被写体上の点の正確な指定を支援することができる。

　（第３の実施形態）
　本発明の第３の実施形態を説明する。以下では、計測装置が内視鏡装置である例を説明する。計測装置は、計測機能を有する装置でありさえすればよく、内視鏡装置に限らない。計測装置は、特定の装置またはシステムに実装された組み込み機器であってもよい。計測装置は、クラウド上の環境であってもよい。被写体は、工業製品である。

　図１０は、第３の実施形態の内視鏡装置１の外観を示す。図１１は、内視鏡装置１の内部構成を示す。内視鏡装置１は、被写体を撮像し、画像を生成する。検査者は、種々の被写体の観察を実施するために、挿入部２の先端に装着される光学アダプターの交換と、内蔵された映像処理プログラムの選択と、映像処理プログラムの追加とを実施することが可能である。

　図１０に示す内視鏡装置１は、挿入部２、本体部３、操作部４、および表示部５を有する。

　挿入部２は、被写体の内部に挿入される。挿入部２は、先端２０から基端部にわたって屈曲可能な細長い管状である。挿入部２は、被写体を撮像し、かつ撮像信号を本体部３に出力する。挿入部２の先端２０には、光学アダプターが装着される。例えば、単眼の光学アダプターが挿入部２の先端２０に装着される。本体部３は、挿入部２を収納する収納部を備えた制御装置である。操作部４は、内視鏡装置１に対するユーザーの操作を受け付ける。表示部５は、表示画面を有し、かつ挿入部２で取得された被写体の画像および操作メニュー等を表示画面に表示する。

　操作部４は、ユーザーインタフェース（入力装置）である。例えば、操作部４は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。表示部５は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等のモニタ（ディスプレイ）である。表示部５は、タッチパネルであってもよい。その場合、操作部４および表示部５は一体化される。

　図１１に示す本体部３は、内視鏡ユニット８、ＣＣＵ（Ｃａｍｅｒａ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）９、および制御装置１０を有する。内視鏡ユニット８は、図示していない光源装置および湾曲装置を有する。光源装置は、観察に必要な照明光を供給する。湾曲装置は、挿入部２に内蔵された湾曲機構を湾曲させる。挿入部２の先端２０には撮像素子２８が内蔵されている。撮像素子２８は、イメージセンサである。撮像素子２８は、光学アダプターによって形成された被写体の光学像を光電変換し、かつ撮像信号を生成する。ＣＣＵ９は、撮像素子２８を駆動する。撮像素子２８から出力された撮像信号がＣＣＵ９に入力される。ＣＣＵ９は、撮像素子２８により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を施す。ＣＣＵ９は、前処理が施された撮像信号をＮＴＳＣ信号等の映像信号に変換する。

　制御装置１０は、映像信号処理回路１２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１４、カードインタフェース１５、外部機器インタフェース１６、制御インタフェース１７、およびＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１８を有する。

　映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路１２は、視認性向上に関わる映像処理を実行する。例えば、その映像処理は、色再現、階調補正、ノイズ抑制、および輪郭強調などである。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８によって生成されたグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像および計測情報等を含む。計測情報は、点群データの３Ｄ画像、特徴領域の画像、または計測結果等を含む。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。また、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に基づく画像データをＣＰＵ１８に出力する。

　ＲＯＭ１３は、ＣＰＵ１８が内視鏡装置１の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。ＲＡＭ１４は、ＣＰＵ１８が内視鏡装置１の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。ＣＰＵ１８は、ＲＯＭ１３に記録されたプログラムに基づいて内視鏡装置１の動作を制御する。

　着脱可能な記録媒体であるメモリカード４２がカードインタフェース１５に接続される。カードインタフェース１５は、メモリカード４２に記憶されている制御処理情報および画像情報等を制御装置１０に取り込む。また、カードインタフェース１５は、内視鏡装置１によって生成された制御処理情報および画像情報等をメモリカード４２に記録する。

　ＵＳＢ機器等の外部機器が外部機器インタフェース１６に接続される。例えば、パーソナルコンピュータ（ＰＣ）４１が外部機器インタフェース１６に接続される。外部機器インタフェース１６は、ＰＣ４１へ情報を送信し、かつＰＣ４１から情報を受信する。これによって、ＰＣ４１のモニタが情報を表示することができる。また、ユーザーは、ＰＣ４１に指示を入力することにより、内視鏡装置１の制御に関する操作を実施することができる。

　制御インタフェース１７は、操作部４、内視鏡ユニット８、およびＣＣＵ９と動作制御のための通信を実行する。制御インタフェース１７は、ユーザーによって操作部４に入力された指示をＣＰＵ１８に通知する。制御インタフェース１７は、光源装置および湾曲装置を制御するための制御信号を内視鏡ユニット８に出力する。制御インタフェース１７は、撮像素子２８を制御するための制御信号をＣＣＵ９に出力する。

　ＣＰＵ１８が実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを内視鏡装置１以外のコンピュータが読み込み、かつ実行してもよい。例えば、ＰＣ４１がプログラムを読み込んで実行してもよい。ＰＣ４１は、プログラムに従って、内視鏡装置１を制御するための制御情報を内視鏡装置１に送信することにより内視鏡装置１を制御してもよい。あるいは、ＰＣ４１は、内視鏡装置１から映像信号を取得し、かつ取得された映像信号を処理してもよい。

　上記のように、内視鏡装置１は、撮像素子２８およびＣＰＵ１８を有する。撮像素子２８は、被写体を撮像し、かつ撮像信号を生成する。撮像信号は、被写体の画像を含む。したがって、撮像素子２８は、被写体を撮像することにより生成された、その被写体の画像を取得する。撮像素子２８によって取得された画像は映像信号処理回路１２を経由してＣＰＵ１８に入力される。

　撮像素子２８は、被写体の画像を取得する画像取得部の機能を有する。画像取得部は、画像入力装置であってもよい。例えば、ＰＣ４１が計測装置として動作する場合、画像取得部は、内視鏡装置１と通信を実行する通信インタフェース（通信機）である。画像取得部は無線通信機であってもよい。画像取得部は、画像が記録された記録媒体から画像を読み出す読み出し回路であってもよい。

　図１２は、ＣＰＵ１８の機能構成を示す。制御部１８０、生成部１８１、領域検出部１８２、表示制御部１８３、カーソル算出部１８４、点入力部１８５、領域選択部１８６、および計測部１８７によってＣＰＵ１８の機能が構成されている。図１２に示すブロックの少なくとも１つがＣＰＵ１８とは別の回路で構成されてもよい。

　図１２に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図１２に示す各部は、１つまたは複数のプロセッサを含むことができる。図１２に示す各部は、１つまたは複数の論理回路を含むことができる。

　制御部１８０は、被写体の２Ｄ画像（画像データ）を映像信号処理回路１２から取得し、かつ図１２に示す各部が実行する処理を制御する。

　生成部１８１は、図１に示す生成部７０の機能と同じ機能を持つ。生成部１８１は、被写体の２Ｄ画像に基づいて被写体上の２つ以上の点の３Ｄ座標を算出し、かつその２つ以上の点の３Ｄ座標を含む点群データを生成する（生成ステップ）。生成部１８１は、第１の実施形態で説明した方法と同じ方法で点群データを生成することができる。また、生成部１８１は、特徴領域の画像を生成する。生成部１８１は、点群データを表示部５に表示するための３Ｄ画像を生成してもよい。

　領域検出部１８２は、図１に示す領域検出部７１と同じ機能を持つ。領域検出部１８２は、点群データに基づいて被写体上の２つ以上の特徴領域を検出する（領域検出ステップ）。領域検出部１８２は、第１の実施形態で説明した方法と同じ方法で特徴領域を検出することができる。

　表示制御部１８３は、撮像素子２８によって取得された被写体の２Ｄ画像と、生成部１８１によって生成された２つ以上の特徴領域の画像とを表示部５に表示する。表示制御部１８３は、２つ以上の特徴領域が互いに視覚的に区別されるように２つ以上の特徴領域の画像を表示部５に表示する（画像表示ステップ）。表示制御部１８３は、点群データの３Ｄ画像を表示部５に表示してもよい。表示制御部１８３は、特徴領域の画像が重畳された被写体の２Ｄ画像を表示部５に表示してもよい。表示制御部１８３は、特徴領域の画像が重畳された点群データの３Ｄ画像を表示部５に表示してもよい。

　例えば、表示制御部１８３は、映像信号処理回路１２によって実行される処理を制御する。表示制御部１８３は、映像信号処理回路１２によって処理された映像信号を映像信号処理回路１２から表示部５へ出力させる。その映像信号は、被写体の２Ｄ画像の各画素のカラーデータを含む。表示部５は、映像信号処理回路１２から出力された映像信号に基づいて被写体の２Ｄ画像を表示する。あるいは、表示制御部１８３は、特徴領域の画像を表示するための映像信号を、映像信号処理回路１２を経由して表示部５へ出力する。その映像信号は、特徴領域の画像の各画素のカラーデータを含む。表示部５は、映像信号処理回路１２から出力された映像信号に基づいて特徴領域の画像を表示する。

　具体的には、表示制御部１８３は、特徴領域の画像を表示するためのグラフィック画像信号を生成する。表示制御部１８３は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８から出力されたグラフィック画像信号とを合成する。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、被写体の２Ｄ画像および特徴領域の画像を表示する。

　表示制御部１８３は、３Ｄ映像信号を、映像信号処理回路１２を経由して表示部５へ出力してもよい。３Ｄ映像信号は、点群データの３Ｄ画像の各画素のカラーデータを含む。表示部５は、映像信号処理回路１２から出力された３Ｄ映像信号に基づいて点群データの３Ｄ画像を表示してもよい。

　表示制御部１８３は、各種情報を表示部５に表示する。つまり、表示制御部１８３は、画像上に各種情報を表示する。各種情報は、カーソルまたは計測結果等を含む。カーソルは、ユーザーが画像上の特定の点を指定するためのマークである。

　例えば、表示制御部１８３は、各種情報のグラフィック画像信号を生成する。表示制御部１８３は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８から出力されたグラフィック画像信号とを合成する。これにより、各種情報が画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、各種情報が重畳された画像を表示する。

　ユーザーは、操作部４を操作することにより、カーソルの位置情報を操作部４に入力する。操作部４は、ユーザーが操作部４に入力した位置情報を出力する。操作部４に入力された位置情報は、入力部である制御インタフェース１７に入力される。その位置情報は、制御インタフェース１７からＣＰＵ１８に出力される。カーソル算出部１８４は、操作部４に入力された位置情報に基づいて画像上の位置を算出する。表示制御部１８３は、カーソル算出部１８４によって算出された位置にカーソルを表示する。

　点入力部１８５は、図１に示す点入力部７３と同じ機能を持つ。点入力部１８５は、被写体上の点を、操作部４を通して受け付ける。例えば、ユーザーは、カーソルを画像上の所望の位置に移動させ、かつ所定の操作を実行する。このとき、点入力部１８５は、その位置に対応する点を受け付ける。表示部５および操作部４がタッチパネルとして構成されている場合、ユーザーは表示部５の画面をタッチすることにより画像上の点を操作部４に入力する。点入力部１８５は、その点を受け付ける。点入力部１８５は、受け付けられた点を示す点情報を生成する（点入力ステップ）。

　点入力部１８５が被写体の２Ｄ画像上の点を受け付けた場合、点情報はその点に対応する画素の座標を含む。その画素の座標は、点群データにおける３Ｄ座標と関連付けられている。点入力部１８５が特徴領域の画像上の点を受け付けた場合、点情報はその点に対応する画素の座標を含む。その画素の座標は、点群データにおける３Ｄ座標と関連付けられている。点入力部１８５が点群データの３Ｄ画像上の点を受け付けた場合、点情報はその点の３Ｄ座標を含む。特徴領域の画像が重畳された被写体の２Ｄ画像上の点を点入力部１８５が受け付けた場合、点情報はその点に対応する画素の座標を含む。その画素の座標は、点群データにおける３Ｄ座標と関連付けられている。特徴領域の画像が重畳された点群データの３Ｄ画像上の点を点入力部１８５が受け付けた場合、点情報はその点の３Ｄ座標を含む。

　点入力部１８５は、基準点および計測点を受け付ける。基準点は、線基準計測における基準線または面基準計測における基準面を算出するための基準位置を示す。計測点は、被写体の大きさを計測する位置を示す。

　点入力部１８５が被写体の２Ｄ画像上の点を受け付けた場合、点入力部１８５は、受け付けられた点をその２Ｄ画像に設定する。点入力部１８５が点群データの３Ｄ画像上の点を受け付けた場合、点入力部１８５は、受け付けられた点をその３Ｄ画像に設定する。点入力部１８５が特徴領域の画像上の点を受け付けた場合、点入力部１８５は、受け付けられた点をその画像に設定する。特徴領域の画像が重畳された被写体の２Ｄ画像上の点を点入力部１８５が受け付けた場合、点入力部１８５は、受け付けられた点をその２Ｄ画像に設定する。特徴領域の画像が重畳された点群データの３Ｄ画像上の点を点入力部１８５が受け付けた場合、点入力部１８５は、受け付けられた点をその３Ｄ画像に設定する。点入力部１８５によって設定された点の位置情報は、ＲＡＭ１４に保持される。点が特定の画像に関連付けられることにより、その点が設定される。

　領域選択部１８６は、領域検出部１８２によって検出された２つ以上の特徴領域のうちの１つを選択領域として選択する（領域選択ステップ）。例えば、ユーザーは、操作部４を操作することにより、カーソルを被写体の２Ｄ画像または点群データの３Ｄ画像上の所望の位置に移動させる。その位置は、ユーザーが点を指定したい特徴領域に対応する領域内にある。カーソルがその位置に表示されているとき、ユーザーは所定の操作を実行する。このとき、領域選択部１８６は、その位置に対応する特徴領域の画像上の位置を算出する。２Ｄ画像の各画素および３Ｄ画像の各画素は、特徴領域の画像の画素と関連付けられている。そのため、領域選択部１８６は、２Ｄ画像または３Ｄ画像上の位置に対応する特徴領域の画像上の位置を算出することができる。領域選択部１８６は、算出された位置を含む特徴領域を選択する。

　ユーザーは、操作部４を操作することにより、カーソルを特徴領域の画像上の所望の位置に移動させてもよい。その位置は、ユーザーが点を指定したい特徴領域内にある。カーソルがその位置に表示されているとき、ユーザーは所定の操作を実行する。このとき、領域選択部１８６は、その位置を含む特徴領域を選択する。

　表示部５および操作部４がタッチパネルとして構成されている場合、ユーザーは表示部５の画面をタッチすることにより画像上の位置を操作部４に入力してもよい。

　領域選択部１８６は、予め設定された基準を満たす特徴領域を選択してもよい。例えば、領域選択部１８６は、最も広い面積を持つ特徴領域を選択してもよい。領域選択部１８６は、特徴領域毎に画像の明るさを算出し、かつその明るさが所定の範囲にある特徴領域を選択してもよい。領域選択部１８６は、特徴領域毎にコントラストを算出し、かつそのコントラストが最も高い特徴領域を選択してもよい。領域選択部１８６は、計測モードに基づいて特徴領域を選択してもよい。例えば、計測モードが線基準計測である場合、領域選択部１８６は被写体のエッジを含む特徴領域を選択してもよい。特徴領域を選択する方法は上記の方法に限らない。

　計測部１８７は、図１に示す計測部７４と同じ機能を持つ。計測部１８７は、点情報が示す点を含む被写体上の２つ以上の点の３Ｄ座標に基づいて被写体の大きさを計測する（計測ステップ）。具体的には、計測部１８７は、被写体上の２つ以上の点の各々の３Ｄ座標を取得する。点情報が被写体の２Ｄ画像における画素の座標を含む場合、計測部１８７は、その座標と関連付けられた３Ｄ座標を点群データから取得する。点情報が点群データにおける点の３Ｄ座標を含む場合、計測部１８７は、その３Ｄ座標を点情報から取得する。点情報が特徴領域の画像における画素の座標を含む場合、計測部１８７は、その座標と関連付けられた３Ｄ座標を点群データから取得する。

　計測部１８７は、取得された３Ｄ座標を使用することにより計測を実行する。計測部１８７は、２点間距離計測、線基準計測、面基準計測、面積計測、および周長計測の少なくとも１つを実行する。計測部１８７が実行する計測は、これらに限らない。計測部１８７は、点入力部１８５によって受け付けられた１つ以上の点の３Ｄ座標と、画像処理において検出された１つ以上の点の３Ｄ座標とを使用することにより計測を実行してもよい。

　図１３を使用することにより、第３の実施形態における３次元計測について説明する。図１３は、３次元計測の手順を示す。

　生成部１８１は、被写体の２Ｄ画像に基づいて被写体上の２つ以上の点の３Ｄ座標を算出し、かつその２つ以上の点の３Ｄ座標を含む点群データを生成する（ステップＳ１０１）。ステップＳ１０１は、生成ステップに対応する。

　ステップＳ１０１の後、領域検出部１８２は、点群データを使用することにより、被写体の３Ｄ形状の特徴を抽出する（ステップＳ１０２）。ステップＳ１０２の後、領域検出部１８２は、抽出された特徴に従って、点群データにおける３Ｄ座標に対応する各点を２つ以上の特徴領域の各々に割り当てる。これにより、領域検出部１８２は、被写体の３Ｄ形状を２つ以上の特徴領域に分割する（ステップＳ１０３）。ステップＳ１０２およびステップＳ１０３は、領域検出ステップに対応する。

　ステップＳ１０３の後、表示制御部１８３は、被写体の２Ｄ画像および特徴領域の画像を表示部５に表示する（ステップＳ１０４）。ステップＳ１０４は、画像表示ステップに対応する。

　図１４は、ステップＳ１０４において表示部５に表示される画像の例を示す。被写体の２Ｄ画像Ｇ１１および特徴領域の画像Ｇ１２が表示部５に表示される。特徴領域Ｒ１１、特徴領域Ｒ１２、特徴領域Ｒ１３、および特徴領域Ｒ１４が画像Ｇ１２上に表示される。例えば、特徴領域Ｒ１１、特徴領域Ｒ１２、特徴領域Ｒ１３、および特徴領域Ｒ１４は画像において互いに異なる色で表示される。ユーザーは、表示部５に表示された画像上の２つ以上の特徴領域を視覚的に区別することができる。

　特徴領域Ｒ１１、特徴領域Ｒ１２、特徴領域Ｒ１３、および特徴領域Ｒ１４の境界を示す線が画像Ｇ１２に重畳されてもよい。各特徴領域を示す文字、記号、またはマーク等が各特徴領域上に表示されてもよい。

　図１４に示す例では、２Ｄ画像Ｇ１１および画像Ｇ１２が表示部５の画面の水平方向に並べられている。２Ｄ画像Ｇ１１および画像Ｇ１２の配置は、この例に限らない。例えば、２Ｄ画像Ｇ１１および画像Ｇ１２が表示部５の画面の垂直方向に並べられてもよい。このとき、２Ｄ画像Ｇ１１および画像Ｇ１２は９０度回転してもよい。２Ｄ画像Ｇ１１および画像Ｇ１２の一部が互いに重なってもよい。

　ステップＳ１０４の後、表示制御部１８３は、カーソルを被写体の２Ｄ画像上に表示する（ステップＳ１０５）。ユーザーは、操作部４を操作することにより、カーソルをその２Ｄ画像上で移動させることができる。カーソル算出部１８４は、操作部４に入力された位置情報に基づいてその２Ｄ画像上の位置を算出する。表示制御部１８３は、カーソル算出部１８４によって算出された位置にカーソルを表示することによりカーソルを更新する。

　図１５は、ステップＳ１０５において表示部５に表示される画像の例を示す。図１４に示す２Ｄ画像Ｇ１１と同じ２Ｄ画像Ｇ１１および図１４に示す画像Ｇ１２と同じ画像Ｇ１２が表示部５に表示される。カーソルＣ１１が２Ｄ画像Ｇ１１上に表示される。例えば、カーソルＣ１１は最初に２Ｄ画像Ｇ１１上の所定の位置に表示される。その所定の位置は、２Ｄ画像Ｇ１１の中心等である。

　ステップＳ１０５の後、領域選択部１８６は、領域検出部１８２によって検出された２つ以上の特徴領域のうちの１つを選択領域として選択する（ステップＳ１０６）。ステップＳ１０６は、領域選択ステップに対応する。

　例えば、領域選択部１８６は、カーソルの位置を含む領域に対応する特徴領域を選択する。あるいは、領域選択部１８６は、所定の基準を満たす特徴領域を選択する。

　図１６は、ステップＳ１０６において表示部５に表示される画像の例を示す。図１４に示す２Ｄ画像Ｇ１１と同じ２Ｄ画像Ｇ１１および図１４に示す画像Ｇ１２と同じ画像Ｇ１２が表示部５に表示される。図１５に示すカーソルＣ１１と同じカーソルＣ１１が２Ｄ画像Ｇ１１上に表示される。ユーザーは、カーソルＣ１１を２Ｄ画像Ｇ１１上で移動させる。ユーザーが所定の操作を実行したとき、領域選択部１８６は、カーソルＣ１１の位置に対応する画像Ｇ１２上の位置を算出する。領域選択部１８６は、算出された位置を含む特徴領域を選択する。

　図１６に示す例では、ユーザーが所定の操作を実行したとき、カーソルＣ１１は、特徴領域Ｒ１１内の位置に対応する２Ｄ画像Ｇ１１上の位置にある。そのため、領域選択部１８６は特徴領域Ｒ１１を選択領域として選択する。

　表示制御部１８３は、ステップＳ１０６において、選択領域である特徴領域Ｒ１１を強調表示する。ステップＳ１０６は、画像表示ステップに対応する。図１６に示す例では、特徴領域Ｒ１１は太い線で囲まれる。その線は、表示制御部１８３によって生成されるグラフィック画像信号に含まれる。特徴領域Ｒ１２、特徴領域Ｒ１３、および特徴領域Ｒ１４は強調表示されない。

　ユーザーの注目を引く色または模様が特徴領域Ｒ１１に付加されてもよい。選択領域を示す文字、記号、またはマーク等が特徴領域Ｒ１１上に表示されてもよい。選択領域を強調表示する方法は上記の方法に限らない。選択領域が強調表示されるため、ユーザーは、点を指定すべき２Ｄ画像Ｇ１１上の領域を容易に確認することができる。

　表示制御部１８３は、ステップＳ１０６において、選択領域である特徴領域Ｒ１１のみを表示してもよい。この場合、特徴領域Ｒ１２、特徴領域Ｒ１３、および特徴領域Ｒ１４は表示されない。選択領域のみが表示されるため、ユーザーは、点を指定すべき２Ｄ画像Ｇ１１上の領域を容易に確認することができる。

　表示制御部１８３は、ステップＳ１０６において、選択領域を第１の色で表示し、かつステップＳ１０６において選択領域と異なる特徴領域を第１の色と異なる第２の色で表示してもよい。例えば、特徴領域Ｒ１１は赤などの色で表示され、特徴領域Ｒ１２、特徴領域Ｒ１３、および特徴領域Ｒ１４はグレーなどの色で表示される。特徴領域Ｒ１２、特徴領域Ｒ１３、および特徴領域Ｒ１４は同じ色で表示される。選択領域とそれ以外の特徴領域とが互いに異なる色で表示されるため、ユーザーは、点を指定すべき２Ｄ画像Ｇ１１上の領域を容易に確認することができる。

　ステップＳ１０６の後、カーソル算出部１８４は、操作部４に入力された位置情報に基づいて被写体の２Ｄ画像上の位置を算出する（ステップＳ１０７）。ステップＳ１０７の後、表示制御部１８３は、カーソル算出部１８４によって算出された位置にカーソルを表示することによりカーソルを更新する（ステップＳ１０８）。

　ステップＳ１０８の後、点入力部１８５は、被写体の２Ｄ画像上の１つの点を、操作部４を通して受け付け、かつ受け付けられた点を示す点情報を生成する（ステップＳ１０９）。ステップＳ１０９は、点入力ステップに対応する。

　図１７は、ステップＳ１０９において表示部５に表示される画像の例を示す。図１４に示す２Ｄ画像Ｇ１１と同じ２Ｄ画像Ｇ１１および図１４に示す画像Ｇ１２と同じ画像Ｇ１２が表示部５に表示される。図１５に示すカーソルＣ１１と同じカーソルＣ１１が２Ｄ画像Ｇ１１上に表示される。ユーザーは、カーソルＣ１１を２Ｄ画像Ｇ１１上の所望の位置に移動させ、かつ所定の操作を実行する。このとき、点入力部１８５は、その位置に対応する点を受け付ける。

　図１７に示す例では、点入力部１８５は点Ｐ１１を受け付ける。点Ｐ１１を示すマークが２Ｄ画像Ｇ１１上に表示される。点入力部１８５が受け付けた点を示すマークの表示は必須ではない。図１７に示す例では、ユーザーは、画像Ｇ１２を参考にして、特徴領域Ｒ１１内の位置に対応する２Ｄ画像Ｇ１１上の点を指定する。そのため、ユーザーは、自身が望む特徴領域に対応する領域上の点を容易に指定することができる。表示制御部１８３は、点入力部１８５が受け付けた点に対応する点を画像Ｇ１２上に表示してもよい。

　点入力部１８５が点を受け付けた後、その点が修正されてもよい。例えば、ユーザーは、自身が指定した点が誤っていると判断し、かつその点の修正の指示を操作部４に入力してもよい。この場合、ユーザーは、新しい点を操作部４に入力する。点入力部１８５は、その指示および新しい点を受け付ける。点入力部１８５は、修正が指示された点をその新しい点で更新する。

　ステップＳ１０９の後、制御部１８０は、点入力部１８５が必要な数の点を受け付けたか否かを判断する（ステップＳ１１０）。２つの計測点が２点間距離計測に必要である。２つの基準点および１つの計測点を含む３つの点が線基準計測に必要である。３つ以上の基準点および１つの計測点を含む４つ以上の点が面基準計測に必要である。３つ以上の計測点が面積計測および周長計測に必要である。

　点入力部１８５が必要な数の点を受け付けていないと制御部１８０がステップＳ１１０において判断した場合、ステップＳ１０７が実行される。その後、ステップＳ１０８およびステップＳ１０９が再度実行される。そのため、点入力部１８５は２つ以上の点を受け付ける。

　図１８は、ステップＳ１０９が２回以上実行された後に表示部５に表示される画像の例を示す。図１４に示す２Ｄ画像Ｇ１１と同じ２Ｄ画像Ｇ１１および図１４に示す画像Ｇ１２と同じ画像Ｇ１２が表示部５に表示される。図１５に示すカーソルＣ１１と同じカーソルＣ１１が２Ｄ画像Ｇ１１上に表示される。図１８では、線基準計測の例が示されており、点入力部１８５は２Ｄ画像Ｇ１１上の３つの点を受け付ける。点Ｐ１１が指定された後、ユーザーは、カーソルＣ１１を移動させ、かつ点Ｐ１２および点Ｐ１３を順に指定する。点入力部１８５は、１回目のステップＳ１０９において点Ｐ１１を受け付ける。その後、点入力部１８５は、２回目のステップＳ１０９において点Ｐ１２を受け付け、かつ３回目のステップＳ１０９において点Ｐ１３を受け付ける。

　点入力部１８５が点Ｐ１３を受け付ける前、制御部１８０は、点入力部１８５が必要な数の点を受け付けていないとステップＳ１１０において判断する。点入力部１８５が点Ｐ１３を受け付けた後、制御部１８０は、点入力部１８５が必要な数の点を受け付けたとステップＳ１１０において判断する。

　点入力部１８５が必要な数の点を受け付けたと制御部１８０がステップＳ１１０において判断した場合、計測部１８７は、点情報が示す点を含む被写体上の２つ以上の点の３Ｄ座標に基づいて被写体の大きさを計測する（ステップＳ１１１）。ステップＳ１１１は、計測ステップに対応する。ステップＳ１１１が実行されたとき、３次元計測が終了する。

　ステップＳ１１１が実行された後、表示制御部１８３は、計測結果を表示部５に表示してもよい。計測結果は、表示制御部１８３によって生成されるグラフィック画像信号に含まれる。

　図１９は、表示部５に表示される画像の他の例を示す。図１９に示す例では、ステップＳ１０４において被写体の２Ｄ画像は表示されない。図１４に示す画像Ｇ１２と同じ画像Ｇ１２が表示部５に表示される。図１５に示すカーソルＣ１１と同じカーソルＣ１１が画像Ｇ１２上に表示される。ステップＳ１０６において画像Ｇ１２上の位置が操作部４を通して受け付けられた場合、領域選択部１８６は、ステップＳ１０６においてその位置に対応する特徴領域を選択する。図１９では、特徴領域Ｒ１１が選択された例が示されており、特徴領域Ｒ１１は強調表示される。図１９では、線基準計測の例が示されており、点入力部１８５は画像Ｇ１２上の３つの点を受け付ける。ユーザーは、カーソルＣ１１を移動させ、かつ点Ｐ１４、点Ｐ１５、および点Ｐ１６を順に指定する。点入力部１８５は、点Ｐ１４、点Ｐ１５、および点Ｐ１６を受け付ける。

　図１３から図１８に示す例では、被写体の２Ｄ画像および特徴領域の画像が表示部５に表示され、かつその２Ｄ画像が点の入力に使用される。図１９に示す例では、特徴領域の画像が表示部５に表示され、かつその画像が点の入力に使用される。表示部５に表示される画像と、点の入力に使用される画像との組み合わせはこの例に限らない。

　被写体の２Ｄ画像が表示部５に表示され、かつその２Ｄ画像上の点が操作部４に入力されてもよい。点群データの３Ｄ画像が表示部５に表示され、かつその３Ｄ画像上の点が操作部４に入力されてもよい。

　特徴領域の画像および被写体の２Ｄ画像が表示部５に表示され、かつ特徴領域の画像上の点が操作部４に入力されてもよい。特徴領域の画像および点群データの３Ｄ画像が表示部５に表示され、かつその３Ｄ画像上の点が操作部４に入力されてもよい。特徴領域の画像および点群データの３Ｄ画像が表示部５に表示され、かつ特徴領域の画像上の点が操作部４に入力されてもよい。

　特徴領域の画像が重畳された被写体の２Ｄ画像が表示部５に表示され、かつその２Ｄ画像上の点が操作部４に入力されてもよい。特徴領域の画像が重畳された点群データの３Ｄ画像が表示部５に表示され、かつその３Ｄ画像上の点が操作部４に入力されてもよい。

　被写体の２Ｄ画像と、特徴領域の画像が重畳された点群データの３Ｄ画像とが表示部５に表示され、かつその２Ｄ画像上の点が操作部４に入力されてもよい。被写体の２Ｄ画像と、特徴領域の画像が重畳された点群データの３Ｄ画像とが表示部５に表示され、かつその３Ｄ画像上の点が操作部４に入力されてもよい。

　点群データの３Ｄ画像と、特徴領域の画像が重畳された被写体の２Ｄ画像とが表示部５に表示され、かつその３Ｄ画像上の点が操作部４に入力されてもよい。点群データの３Ｄ画像と、特徴領域の画像が重畳された被写体の２Ｄ画像とが表示部５に表示され、かつその２Ｄ画像上の点が操作部４に入力されてもよい。

　表示部５および操作部４がタッチパネルとして構成されている場合、ユーザーは表示部５の画面をタッチすることにより点を操作部４に入力することができる。そのため、カーソルの表示は必須ではない。したがって、ステップＳ１０５、ステップＳ１０７、およびステップＳ１０８が実行される必要はない。ＣＰＵ１８は、カーソル算出部１８４の機能を有する必要はない。

　図１６に示す特徴領域の強調表示は必須ではない。したがって、ステップＳ１０６が実行される必要はない。ＣＰＵ１８は、領域選択部１８６の機能を有する必要はない。

　３次元計測における処理の順番は、図１３に示す順番に限らない。例えば、ステップＳ１０１、ステップＳ１０２、またはステップＳ１０３が実行される前に被写体の２Ｄ画像が表示部５に表示されてもよい。被写体の２Ｄ画像の代わりに点群データの３Ｄ画像が使用される場合、ステップＳ１０２またはステップＳ１０３が実行される前にその３Ｄ画像が表示部５に表示されてもよい。

　第３の実施形態において、内視鏡装置１は、２つ以上の特徴領域の画像を表示部５に表示する。ユーザーは、表示部５に表示された画像を参考にして自身が望む特徴領域内の点を容易に指定することができる。そのため、内視鏡装置１は、被写体上の点の正確な指定を支援することができる。

　（第４の実施形態）
　本発明の第４の実施形態を説明する。第４の実施形態において、１つの選択領域内の点のみが有効であり、有効な点の３Ｄ座標が計測に使用される。

　第４の実施形態において、図１２に示すＣＰＵ１８は、図２０に示すＣＰＵ１８ａに変更される。図２０は、ＣＰＵ１８ａの機能構成を示す。制御部１８０、生成部１８１、領域検出部１８２、表示制御部１８３、カーソル算出部１８４、点入力部１８５、領域選択部１８６、計測部１８７、および情報制御部１８８によってＣＰＵ１８ａの機能が構成されている。図２０に示すブロックの少なくとも１つがＣＰＵ１８ａとは別の回路で構成されてもよい。図１２に示す構成と同じ構成の説明を省略する。

　図２０に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図２０に示す各部は、１つまたは複数のプロセッサを含むことができる。図２０に示す各部は、１つまたは複数の論理回路を含むことができる。

　領域検出部１８２は、点群データに基づいて被写体上の１つ以上の特徴領域を検出する。第３の実施形態における領域検出部１８２は２つ以上の特徴領域を検出するが、第４の実施形態における領域検出部１８２は１つの特徴領域を検出してもよい。領域検出部１８２が１つの特徴領域を検出した場合、領域検出部１８２は、点群データにおける全ての点をその特徴領域に割り当てる。

　情報制御部１８８は、第１の制御を実行する。情報制御部１８８は、点入力部１８５によって生成された点情報が１つ以上の特徴領域のうちの１つ内の点を示すように点情報を制御する。

　領域選択部１８６は、領域検出部１８２によって検出された１つ以上の特徴領域のうちの１つを選択領域として選択する（領域選択ステップ）。領域検出部１８２が２つ以上の特徴領域を検出した場合、領域選択部１８６は、その２つ以上の特徴領域のうちの１つを選択領域として選択する。領域検出部１８２が１つのみの特徴領域を検出した場合、領域選択部１８６はその特徴領域を選択する。点入力部１８５が選択領域における点を受け付けた場合のみ、情報制御部１８８は、その点を示す点情報を有効にする（情報制御ステップ）。計測部１８７は、有効な点情報が示す点を含む２つ以上の点の３Ｄ座標に基づいて被写体の大きさを計測する。

　計測部１８７は、有効な点情報が示す１つ以上の点の３Ｄ座標を計測に使用する。計測部１８７が使用する２つ以上の点の全ての点情報が有効である必要はない。計測部１８７が使用する２つ以上の点の一部の点情報は有効でなくてもよい。例えば、面基準計測が実行される場合、基準面を定義する３つの基準点の点情報のみが有効であってもよく、かつ１つの計測点の点情報は有効でなくてもよい。あるいは、１つの計測点の点情報は、その計測点の位置に関わらず有効であってもよい。

　領域選択部１８６は、領域検出部１８２によって検出された２つ以上の特徴領域のうちの１つを第１の選択領域として選択し、かつ第１の選択領域を除く１つ以上の特徴領域のうちの１つを第２の選択領域として選択してもよい。点入力部１８５が第１の選択領域または第２の選択領域における点を受け付けた場合のみ、情報制御部１８８は、その点を示す点情報を有効にしてもよい。例えば、面基準計測が実行される場合、点入力部１８５が第１の選択領域における３つの基準点を受け付け、かつ点入力部１８５が第２の選択領域における１つの計測点を受け付けてもよい。

　図２１を使用することにより、第４の実施形態における３次元計測について説明する。図２１は、３次元計測の手順を示す。図１３に示す処理と同じ処理の説明を省略する。

　ステップＳ１０５の後、点入力部１８５は、被写体の２Ｄ画像上の１つの点を、操作部４を通して受け付け、かつ受け付けられた点を示す点情報を生成する。情報制御部１８８は、その点情報を有効にする（ステップＳ１２１）。ステップＳ１２１は、点入力ステップに対応する。

　例えば、情報制御部１８８は、点情報が有効であることを示す情報を生成し、かつその情報を点情報に付加する。情報制御部１８８は、点情報と、その点情報が有効であることを示す情報とを含むテーブルを管理してもよい。

　ステップＳ１２１の後、領域選択部１８６は、ステップＳ１２１において受け付けられた点に対応する特徴領域の画像上の位置を検出する。領域選択部１８６は、その位置を含む特徴領域を選択領域として選択する（ステップＳ１２２）。ステップＳ１２２は、領域選択ステップに対応する。

　被写体の２Ｄ画像の各画素は、特徴領域の画像の画素と関連付けられている。そのため、領域選択部１８６は、被写体の２Ｄ画像上の位置に対応する特徴領域の画像上の位置を算出することができる。領域選択部１８６は、算出された位置を含む特徴領域を選択する。ステップＳ１２２の後、ステップＳ１０７が実行される。

　ステップＳ１０９の後、情報制御部１８８は、ステップＳ１０９において受け付けられた点に対応する特徴領域の画像上の位置を算出する。情報制御部１８８は、被写体の２Ｄ画像上の位置に対応する特徴領域の画像上の位置を算出することができる。情報制御部１８８は、算出された位置が選択領域内にあるか否かを判断する（ステップＳ１２３）。選択領域と他の特徴領域との境界上の点は選択領域内の点として扱われる。選択領域と他の特徴領域との境界上の点は選択領域外の点として扱われてもよい。

　その点が選択領域内にないと情報制御部１８８がステップＳ１２３において判断した場合、ステップＳ１０７が実行される。その場合、その点の点情報は有効ではない。情報制御部１８８は、その点の点情報を破棄してもよい。表示制御部１８３は、受け付けられた点が有効ではないことを示す情報を表示部５に表示してもよい。これにより、内視鏡装置１は、有効な点の指定をユーザーに促すことができる。

　その点が選択領域内にあると情報制御部１８８がステップＳ１２３において判断した場合、情報制御部１８８は、その点の点情報を有効にする（ステップＳ１２４）。ステップＳ１２４は、情報制御ステップに対応する。点情報を有効にする方法は、ステップＳ１２１における方法と同様である。ステップＳ１２４の後、ステップＳ１１０が実行される。

　計測部１８７は、ステップＳ１１１において、有効な点情報が示す点のみの３Ｄ座標に基づいて被写体の大きさを計測する。有効な点情報が示す点は、選択領域内にある。選択領域内の点が計測に使用されるため、内視鏡装置１は、ユーザーが意図しない点の使用を避けることができる。

　図２２は、表示部５に表示される画像の例を示す。図１４に示す２Ｄ画像Ｇ１１と同じ２Ｄ画像Ｇ１１および図１４に示す画像Ｇ１２と同じ画像Ｇ１２が表示部５に表示される。図１５に示すカーソルＣ１１と同じカーソルＣ１１が２Ｄ画像Ｇ１１上に表示される。図２２は、ステップＳ１２２において特徴領域Ｒ１１が選択された後の状態を示す。

　ユーザーは、カーソルＣ１１を移動させ、かつ２Ｄ画像Ｇ１１上の点を指定する。例えば、ユーザーは点Ｐ２１を指定し、かつ点入力部１８５は点Ｐ２１を受け付ける。点Ｐ２１は、特徴領域Ｒ１２内の点に対応する。情報制御部１８８は、ステップＳ１２３において、点Ｐ２１に対応する画像Ｇ１２上の点が特徴領域Ｒ１１内にないと判断する。そのため、点Ｐ２１の点情報は有効でなく、計測部１８７は点Ｐ２１の３Ｄ座標を計測に使用しない。

　その後、ユーザーは点Ｐ２２を指定し、かつ点入力部１８５は点Ｐ２２を受け付ける。点Ｐ２２は、特徴領域Ｒ１１内の点に対応する。情報制御部１８８は、ステップＳ１２３において、点Ｐ２２に対応する画像Ｇ１２上の点が特徴領域Ｒ１１内にあると判断する。そのため、情報制御部１８８は、ステップＳ１２４において点Ｐ２２の点情報を有効にする。計測部１８７は点Ｐ２２の３Ｄ座標を計測に使用する。

　図２３は、表示部５に表示される画像の他の例を示す。図２３に示す例では、ステップＳ１０４において被写体の２Ｄ画像は表示されない。図１４に示す画像Ｇ１２と同じ画像Ｇ１２が表示部５に表示される。図１５に示すカーソルＣ１１と同じカーソルＣ１１が画像Ｇ１２上に表示される。ステップＳ１２１において画像Ｇ１２上の位置が操作部４を通して受け付けられた場合、領域選択部１８６は、ステップＳ１２２においてその位置に対応する特徴領域を選択する。図２３は、ステップＳ１２２において特徴領域Ｒ１１が選択された後の状態を示す。

　ユーザーは、カーソルＣ１１を移動させ、かつ画像Ｇ１２上の点を指定する。例えば、ユーザーは点Ｐ２３を指定し、かつ点入力部１８５は点Ｐ２３を受け付ける。点Ｐ２３は、特徴領域Ｒ１２内にある。情報制御部１８８は、ステップＳ１２３において、点Ｐ２３が特徴領域Ｒ１１内にないと判断する。そのため、点Ｐ２３の点情報は有効でなく、計測部１８７は点Ｐ２３の３Ｄ座標を計測に使用しない。

　その後、ユーザーは点Ｐ２４を指定し、かつ点入力部１８５は点Ｐ２４を受け付ける。点Ｐ２４は、特徴領域Ｒ１１内にある。情報制御部１８８は、ステップＳ１２３において、点Ｐ２４が特徴領域Ｒ１１内にあると判断する。そのため、情報制御部１８８は、ステップＳ１２４において点Ｐ２４の点情報を有効にする。計測部１８７は点Ｐ２４の３Ｄ座標を計測に使用する。

　点入力部１８５が、特徴領域Ｒ１１、特徴領域Ｒ１２、特徴領域Ｒ１３、および特徴領域Ｒ１４のいずれでもない領域（背景）内の点を受け付ける場合がある。その場合、情報制御部１８８は、ステップＳ１２３において、その点が特徴領域Ｒ１１内にないと判断する。そのため、その点の点情報は有効でなく、計測部１８７はその点の３Ｄ座標を計測に使用しない。

　図２１に示す３次元計測では、点入力部１８５が被写体上の第１の点をステップＳ１２１において受け付けた場合、領域選択部１８６は、その第１の点を含む特徴領域を選択領域としてステップＳ１２２において選択する。点入力部１８５が選択領域における第２の点をステップＳ１０９において受け付けた場合、計測部１８７は、ステップＳ１１１において、第１の点および第２の点を含む２つ以上の点の３Ｄ座標に基づいて被写体の大きさを計測する。第２の点は第１の点と異なる。点入力部１８５が３つ以上の点を受け付けた場合、その３つ以上の点は上記の第１の点および第２の点を含む。選択領域内の２つ以上の点が計測に使用されるため、内視鏡装置１は、ユーザーが意図しない点の使用を避けることができる。

　図２２に示す例では、被写体の２Ｄ画像および特徴領域の画像が表示部５に表示され、かつその２Ｄ画像が点の入力に使用される。図２３に示す例では、特徴領域の画像が表示部５に表示され、かつその画像が点の入力に使用される。表示部５に表示される画像と、点の入力に使用される画像との組み合わせはこの例に限らない。その組み合わせは、第３の実施形態と同様である。第４の実施形態において、特徴領域の画像の表示は必須ではない。

　図２１に示す３次元計測では、計測部１８７は、ステップＳ１２１において受け付けられた点を計測に使用する。その点は、特徴領域の選択のみに使用されてもよい。計測部１８７がその点を計測に使用する必要はない。

　表示制御部１８３は、ステップＳ１２２において選択領域を強調表示してもよい。あるいは、表示制御部１８３は、ステップＳ１２２において選択領域のみを表示部５に表示してもよい。

　表示部５および操作部４がタッチパネルとして構成されている場合、カーソルの表示は必須ではない。したがって、ステップＳ１０５、ステップＳ１０７、およびステップＳ１０８が実行される必要はない。ＣＰＵ１８は、カーソル算出部１８４の機能を有する必要はない。

　３次元計測における処理の順番は、図２１に示す順番に限らない。例えば、ステップＳ１０１、ステップＳ１０２、またはステップＳ１０３が実行される前に被写体の２Ｄ画像が表示部５に表示されてもよい。被写体の２Ｄ画像の代わりに点群データの３Ｄ画像が使用される場合、ステップＳ１０２またはステップＳ１０３が実行される前にその３Ｄ画像が表示部５に表示されてもよい。

　第４の実施形態において、内視鏡装置１は、第１の制御を実行する。第１の制御において、点情報が選択領域内の点を示すように点情報が制御される。内視鏡装置１は、選択領域内の点の３Ｄ座標を計測に使用する。そのため、内視鏡装置１は、被写体上の点の正確な指定を支援することができる。ユーザーは、選択領域の境界上の点を容易に指定することができる。

　（第５の実施形態）
　本発明の第５の実施形態を説明する。第５の実施形態の内視鏡装置１は、図１２に示すＣＰＵ１８を有する。第５の実施形態において、画像上のマークの位置が１つの特徴領域内に制限される。

　表示制御部１８３およびカーソル算出部１８４は、第２の制御を実行する。表示制御部１８３は、マークを画像上に表示する。カーソル算出部１８４は、マークの位置を１つ以上の特徴領域のうちの１つに対応する領域内に制限する。

　表示制御部１８３は、点群データの３Ｄ画像および被写体の２Ｄ画像の一方を表示部５に表示する（画像表示ステップ）。領域選択部１８６は、領域検出部１８２によって検出された１つ以上の特徴領域のうちの１つを選択領域として選択する（領域選択ステップ）。領域検出部１８２が２つ以上の特徴領域を検出した場合、領域選択部１８６は、その２つ以上の特徴領域のうちの１つを選択領域として選択する。領域検出部１８２が１つのみの特徴領域を検出した場合、領域選択部１８６はその特徴領域を選択する。表示制御部１８３は、マークを点群データの３Ｄ画像および被写体の２Ｄ画像の一方上に表示する（マーク表示ステップ）。カーソル算出部１８４は、マークが表示される位置を、操作部４を通して受け付けられた情報に基づいて算出する（位置算出ステップ）。マークが表示される位置は、選択領域に対応する領域内に制限される。点入力部１８５は、マークの位置に対応する点を受け付ける（点入力ステップ）。

　表示制御部１８３は、マークを１つ以上の特徴領域の画像上に表示してもよい（マーク表示ステップ）。マークが特徴領域の画像上に表示される場合、表示制御部１８３は、点群データの３Ｄ画像および被写体の２Ｄ画像を表示部５に表示する必要はない。

　領域選択部１８６は、領域検出部１８２によって検出された２つ以上の特徴領域のうちの１つを第１の選択領域として選択し、かつ第１の選択領域を除く１つ以上の特徴領域のうちの１つを第２の選択領域として選択してもよい。マークが表示される位置は、第１の選択領域または第２の選択領域に対応する領域内に制限されてもよい。例えば、面基準計測が実行される場合、マークの位置は第１の選択領域に対応する領域内に制限され、かつ点入力部１８５が第１の選択領域における３つの基準点を受け付けてもよい。その後、マークの位置は第２の選択領域に対応する領域内に制限され、かつ点入力部１８５が第２の選択領域における１つの計測点を受け付けてもよい。

　図２４を使用することにより、第５の実施形態における３次元計測について説明する。図２４は、３次元計測の手順を示す。図１３および図２１に示す処理と同じ処理の説明を省略する。

　表示制御部１８３は、ステップＳ１０４において被写体の２Ｄ画像および特徴領域の画像を表示部５に表示する。ステップＳ１０５の後、点入力部１８５は、被写体の２Ｄ画像上の１つの点を、操作部４を通して受け付け、かつ受け付けられた点を示す点情報を生成する（ステップＳ１３１）。ステップＳ１３１は、点入力ステップに対応する。

　ステップＳ１３１の後、領域選択部１８６は、ステップＳ１２２において１つの特徴領域を選択領域として選択する。カーソル算出部１８４は、ステップＳ１０７において、操作部４に入力された位置情報に基づいて被写体の２Ｄ画像上の位置を算出する。ステップＳ１０７は、位置算出ステップに対応する。

　ステップＳ１０７の後、カーソル算出部１８４は、ステップＳ１０７において算出された位置に対応する特徴領域の画像上の位置を算出する。被写体の２Ｄ画像の各画素は、特徴領域の画像の画素と関連付けられている。そのため、カーソル算出部１８４は、被写体の２Ｄ画像上の位置に対応する特徴領域の画像上の位置を算出することができる。カーソル算出部１８４は、算出された位置が選択領域内にあるか否かを判断する（ステップＳ１３２）。選択領域と他の特徴領域との境界上の点は選択領域内の点として扱われる。選択領域と他の特徴領域との境界上の点は選択領域外の点として扱われてもよい。

　その位置が選択領域内にないとカーソル算出部１８４がステップＳ１３２において判断した場合、ステップＳ１０７が実行される。その位置が選択領域内にあるとカーソル算出部１８４がステップＳ１３２において判断した場合、表示制御部１８３は、ステップＳ１０８において、その位置にカーソルを表示する。ステップＳ１０８は、マーク表示ステップに対応する。カーソルは、選択領域に対応する２Ｄ画像の領域内に表示される。ユーザーは、その領域内でのみカーソルを移動させることができる。

　点入力部１８５は、ステップＳ１０９において、選択領域に対応する２Ｄ画像の領域内の点を受け付ける。計測部１８７は、ステップＳ１１１において、選択領域に対応する２Ｄ画像の領域内の点のみの３Ｄ座標に基づいて被写体の大きさを計測する。選択領域内の点が計測に使用されるため、内視鏡装置１は、ユーザーが意図しない点の使用を避けることができる。

　図２５は、表示部５に表示される画像の例を示す。図１４に示す２Ｄ画像Ｇ１１と同じ２Ｄ画像Ｇ１１および図１４に示す画像Ｇ１２と同じ画像Ｇ１２が表示部５に表示される。図１５に示すカーソルＣ１１と同じカーソルＣ１１が２Ｄ画像Ｇ１１上に表示される。図２５は、ステップＳ１２２において特徴領域Ｒ１１が選択された後の状態を示す。

　ユーザーは、カーソルＣ１１を移動させ、かつ２Ｄ画像Ｇ１１上の点を指定する。ユーザーがカーソルＣ１１を特徴領域Ｒ１１に対応する２Ｄ画像Ｇ１１上の領域外に移動させようとしたとき、カーソル算出部１８４は、ステップＳ１３２において、カーソルＣ１１の位置に対応する画像Ｇ１２上の位置が特徴領域Ｒ１１内にないと判断する。そのため、ステップＳ１０８は実行されない。例えば、ユーザーは、特徴領域Ｒ１２内の位置に対応する２Ｄ画像Ｇ１１上の位置にカーソルＣ１１を移動させることができない。一方、ユーザーは、特徴領域Ｒ１１内の位置に対応する２Ｄ画像Ｇ１１上の位置にカーソルＣ１１を移動させることができる。例えば、ユーザーは点Ｐ３１を指定し、かつ点入力部１８５は点Ｐ３１を受け付ける。点Ｐ３１は、特徴領域Ｒ１１内の点に対応する。計測部１８７は点Ｐ３１の３Ｄ座標を計測に使用する。

　図２６は、表示部５に表示される画像の他の例を示す。図２６に示す例では、ステップＳ１０４において被写体の２Ｄ画像は表示されない。図１４に示す画像Ｇ１２と同じ画像Ｇ１２が表示部５に表示される。図１５に示すカーソルＣ１１と同じカーソルＣ１１が画像Ｇ１２上に表示される。ステップＳ１３１において画像Ｇ１２上の位置が操作部４を通して受け付けられた場合、領域選択部１８６は、ステップＳ１２２においてその位置に対応する特徴領域を選択する。図２６は、ステップＳ１２２において特徴領域Ｒ１１が選択された後の状態を示す。

　ユーザーは、カーソルＣ１１を移動させ、かつ画像Ｇ１２上の点を指定する。ユーザーがカーソルＣ１１を特徴領域Ｒ１１外に移動させようとしたとき、カーソル算出部１８４は、ステップＳ１３２において、カーソルＣ１１の位置が特徴領域Ｒ１１内にないと判断する。そのため、ステップＳ１０８は実行されない。例えば、ユーザーは、特徴領域Ｒ１２内の位置にカーソルＣ１１を移動させることができない。一方、ユーザーは、特徴領域Ｒ１１内の位置にカーソルＣ１１を移動させることができる。例えば、ユーザーは点Ｐ３２を指定し、かつ点入力部１８５は点Ｐ３２を受け付ける。点Ｐ３２は、特徴領域Ｒ１１内にある。計測部１８７は点Ｐ３２の３Ｄ座標を計測に使用する。

　図２４に示す３次元計測では、点入力部１８５が被写体上の第１の点をステップＳ１３１において受け付けた場合、領域選択部１８６は、その第１の点を含む特徴領域を選択領域としてステップＳ１２２において選択する。点入力部１８５が選択領域における第２の点をステップＳ１０９において受け付けた場合、計測部１８７は、ステップＳ１１１において、第１の点および第２の点を含む２つ以上の点の３Ｄ座標に基づいて被写体の大きさを計測する。第２の点は第１の点と異なる。点入力部１８５が３つ以上の点を受け付けた場合、その３つ以上の点は上記の第１の点および第２の点を含む。選択領域内の２つ以上の点が計測に使用されるため、内視鏡装置１は、ユーザーが意図しない点の使用を避けることができる。

　図２５に示す例では、被写体の２Ｄ画像および特徴領域の画像が表示部５に表示され、かつその２Ｄ画像が点の入力に使用される。図２６に示す例では、特徴領域の画像が表示部５に表示され、かつその画像が点の入力に使用される。表示部５に表示される画像と、点の入力に使用される画像との組み合わせはこの例に限らない。その組み合わせは、第３の実施形態と同様である。第５の実施形態において、特徴領域の画像の表示は必須ではない。

　図２４に示す３次元計測では、計測部１８７は、ステップＳ１３１において受け付けられた点を計測に使用する。その点は、特徴領域の選択のみに使用されてもよい。計測部１８７がその点を計測に使用する必要はない。

　３次元計測における処理の順番は、図２４に示す順番に限らない。例えば、ステップＳ１０１、ステップＳ１０２、またはステップＳ１０３が実行される前に被写体の２Ｄ画像が表示部５に表示されてもよい。被写体の２Ｄ画像の代わりに点群データの３Ｄ画像が使用される場合、ステップＳ１０２またはステップＳ１０３が実行される前にその３Ｄ画像が表示部５に表示されてもよい。

　第５の実施形態において、内視鏡装置１は、第２の制御を実行する。第２の制御において、マークが画像上に表示され、かつマークの位置は選択領域に対応する領域内に制限される。内視鏡装置１は、選択領域内の点の３Ｄ座標を計測に使用する。そのため、内視鏡装置１は、被写体上の点の正確な指定を支援することができる。ユーザーは、選択領域の境界上の点を容易に指定することができる。

　（第６の実施形態）
　本発明の第６の実施形態を説明する。第６の実施形態の内視鏡装置１は、図２０に示すＣＰＵ１８ａを有する。第６の実施形態において、１つの特徴領域外の点が受け付けられた場合、その点はその特徴領域内の点に変更される。

　領域選択部１８６は、領域検出部１８２によって検出された１つ以上の特徴領域のうちの１つを選択領域として選択する（領域選択ステップ）。領域検出部１８２が２つ以上の特徴領域を検出した場合、領域選択部１８６は、その２つ以上の特徴領域のうちの１つを選択領域として選択する。領域検出部１８２が１つのみの特徴領域を検出した場合、領域選択部１８６はその特徴領域を選択する。点入力部１８５が、選択領域外の点を受け付けた場合、情報制御部１８８は、その点を示す点情報を無効にする。さらに、情報制御部１８８は、選択領域内の点を示す新たな点情報を生成する（情報制御ステップ）。計測部１８７は、無効な点情報を除く点情報が示す２つ以上の点の３Ｄ座標に基づいて被写体の大きさを計測する（計測ステップ）。

　計測部１８７は、無効である点情報が示す１つ以上の点の３Ｄ座標を計測に使用しない。計測部１８７は、無効ではない点情報が示す１つ以上の点の３Ｄ座標を計測に使用する。計測部１８７が使用する２つ以上の点の一部の点情報は、上記の処理の対象でなくてもよい。例えば、面基準計測が実行される場合、基準面を定義する３つの基準点の点情報は上記の処理の対象であってもよく、かつ１つの計測点の点情報は上記の処理の対象でなくてもよい。

　領域選択部１８６は、領域検出部１８２によって検出された２つ以上の特徴領域のうちの１つを第１の選択領域として選択し、かつ第１の選択領域を除く１つ以上の特徴領域のうちの１つを第２の選択領域として選択してもよい。点入力部１８５が第１の選択領域および第２の選択領域以外の領域における点を受け付けた場合のみ、情報制御部１８８は、その点を示す点情報を無効にしてもよい。例えば、面基準計測が実行される場合、点入力部１８５が第１の選択領域における３つの基準点を受け付け、かつ点入力部１８５が第２の選択領域における１つの計測点を受け付けてもよい。

　図２７を使用することにより、第６の実施形態における３次元計測について説明する。図２７は、３次元計測の手順を示す。図１３、図２１、および図２４に示す処理と同じ処理の説明を省略する。

　表示制御部１８３は、ステップＳ１０４において被写体の２Ｄ画像および特徴領域の画像を表示部５に表示する。点入力部１８５は、ステップＳ１３１において、被写体の２Ｄ画像上の点を受け付ける。領域選択部１８６は、ステップＳ１２２において１つの特徴領域を選択領域として選択する。

　点入力部１８５は、ステップＳ１０９において、被写体の２Ｄ画像上の点を受け付ける。情報制御部１８８は、ステップＳ１２３において、その点に対応する特徴領域の画像上の位置を算出する。情報制御部１８８は、ステップＳ１２３において、その位置が選択領域内にあるか否かを判断する。

　その位置が選択領域内にないと情報制御部１８８がステップＳ１２３において判断した場合、情報制御部１８８は、その点の点情報を無効にする（ステップＳ１４１）。ステップＳ１４１は、情報制御ステップに対応する。

　例えば、情報制御部１８８は、点情報が無効であることを示す情報を生成し、かつその情報を点情報に付加する。情報制御部１８８は、点情報と、その点情報が無効であることを示す情報とを含むテーブルを管理してもよい。無効な点情報は、計測においてその点情報が示す点の使用の禁止を示す。情報制御部１８８は、点情報を破棄することによりその点情報を無効にしてもよい。

　ステップＳ１４１の後、情報制御部１８８は、選択領域内の点を示す新たな点情報を生成する（ステップＳ１４２）。ステップＳ１４２は、情報制御ステップに対応する。

　情報制御部１８８は、ステップＳ１２３において算出された位置に基づいて選択領域内の位置を算出する。例えば、情報制御部１８８は、ステップＳ１２３において算出された位置に最も近い位置を算出する。情報制御部１８８は、その位置を示す点情報を生成する。情報制御部１８８は、ステップＳ１２３において算出された位置と選択領域内の位置との間の距離、選択領域内の位置における明るさ、選択領域内の位置におけるコントラスト、およびマッチング処理において得られた相関値などに基づいて新たな点の位置を算出してもよい。ステップＳ１４２の後、ステップＳ１１０が実行される。

　計測部１８７は、ステップＳ１１１において、無効ではない点情報が示す点のみの３Ｄ座標に基づいて被写体の大きさを計測する。無効ではない点情報が示す点は、選択領域内にある。選択領域内の点が計測に使用されるため、内視鏡装置１は、ユーザーが意図しない点の使用を避けることができる。

　図２８は、表示部５に表示される画像の例を示す。図１４に示す２Ｄ画像Ｇ１１と同じ２Ｄ画像Ｇ１１および図１４に示す画像Ｇ１２と同じ画像Ｇ１２が表示部５に表示される。図１５に示すカーソルＣ１１と同じカーソルＣ１１が２Ｄ画像Ｇ１１上に表示される。図２８は、ステップＳ１２２において特徴領域Ｒ１１が選択された後の状態を示す。

　ユーザーは、カーソルＣ１１を移動させ、かつ２Ｄ画像Ｇ１１上の点を指定する。例えば、ユーザーは点Ｐ４１を指定し、かつ点入力部１８５は点Ｐ４１を受け付ける。点Ｐ４１は、特徴領域Ｒ１２内の点に対応する。情報制御部１８８は、ステップＳ１２３において、点Ｐ４１に対応する画像Ｇ１２上の点が特徴領域Ｒ１１内にないと判断する。そのため、情報制御部１８８は、ステップＳ１４１において点Ｐ４１の点情報を無効にする。さらに、情報制御部１８８は、ステップＳ１４２において、特徴領域Ｒ１１に対応する領域内の点Ｐ４２を示す新たな点情報を生成する。このとき、点Ｐ４１のマークは表示されずに点Ｐ４２のマークが表示されてもよい。図２８に示す例では、点Ｐ４２は、特徴領域Ｒ１１に対応する領域内の点のうち点Ｐ４１に最も近い。計測部１８７は点Ｐ４１の３Ｄ座標を計測に使用せずに点Ｐ４２の３Ｄ座標を計測に使用する。

　図２９は、表示部５に表示される画像の他の例を示す。図２９に示す例では、ステップＳ１０４において被写体の２Ｄ画像は表示されない。図１４に示す画像Ｇ１２と同じ画像Ｇ１２が表示部５に表示される。図１５に示すカーソルＣ１１と同じカーソルＣ１１が画像Ｇ１２上に表示される。ステップＳ１３１において画像Ｇ１２上の位置が操作部４を通して受け付けられた場合、領域選択部１８６は、ステップＳ１２２においてその位置に対応する特徴領域を選択する。図２９は、ステップＳ１２２において特徴領域Ｒ１１が選択された後の状態を示す。

　ユーザーは、カーソルＣ１１を移動させ、かつ画像Ｇ１２上の点を指定する。例えば、ユーザーは点Ｐ４３を指定し、かつ点入力部１８５は点Ｐ４３を受け付ける。点Ｐ４３は、特徴領域Ｒ１２内にある。情報制御部１８８は、ステップＳ１２３において、点Ｐ４３が特徴領域Ｒ１１内にないと判断する。そのため、情報制御部１８８は、ステップＳ１４１において点Ｐ４３の点情報を無効にする。さらに、情報制御部１８８は、ステップＳ１４２において、特徴領域Ｒ１１内の点Ｐ４４を示す新たな点情報を生成する。このとき、点Ｐ４３のマークは表示されずに点Ｐ４４のマークが表示されてもよい。図２９に示す例では、点Ｐ４４は、特徴領域Ｒ１１内の点のうち点Ｐ４３に最も近い。計測部１８７は点Ｐ４３の３Ｄ座標を計測に使用せずに点Ｐ４４の３Ｄ座標を計測に使用する。

　点入力部１８５が、特徴領域Ｒ１１、特徴領域Ｒ１２、特徴領域Ｒ１３、および特徴領域Ｒ１４のいずれでもない領域（背景）内の点を受け付ける場合がある。その場合、情報制御部１８８は、ステップＳ１２３において、その点が特徴領域Ｒ１１内にないと判断する。そのため、その点の点情報は無効であり、計測部１８７はその点の３Ｄ座標を計測に使用しない。

　図２７に示す３次元計測では、点入力部１８５が被写体上の第１の点をステップＳ１３１において受け付けた場合、領域選択部１８６は、その第１の点を含む特徴領域を選択領域としてステップＳ１２２において選択する。点入力部１８５が選択領域における第２の点をステップＳ１０９において受け付けた場合、計測部１８７は、ステップＳ１１１において、第１の点および第２の点を含む２つ以上の点の３Ｄ座標に基づいて被写体の大きさを計測する。第２の点は第１の点と異なる。点入力部１８５が３つ以上の点を受け付けた場合、その３つ以上の点は上記の第１の点および第２の点を含む。選択領域内の２つ以上の点が計測に使用されるため、内視鏡装置１は、ユーザーが意図しない点の使用を避けることができる。

　図２８に示す例では、被写体の２Ｄ画像および特徴領域の画像が表示部５に表示され、かつその２Ｄ画像が点の入力に使用される。図２９に示す例では、特徴領域の画像が表示部５に表示され、かつその画像が点の入力に使用される。表示部５に表示される画像と、点の入力に使用される画像との組み合わせはこの例に限らない。その組み合わせは、第３の実施形態と同様である。第６の実施形態において、特徴領域の画像の表示は必須ではない。

　図２７に示す３次元計測では、計測部１８７は、ステップＳ１３１において受け付けられた点を計測に使用する。その点は、特徴領域の選択のみに使用されてもよい。計測部１８７がその点を計測に使用する必要はない。

　３次元計測における処理の順番は、図２７に示す順番に限らない。例えば、ステップＳ１０１、ステップＳ１０２、またはステップＳ１０３が実行される前に被写体の２Ｄ画像が表示部５に表示されてもよい。被写体の２Ｄ画像の代わりに点群データの３Ｄ画像が使用される場合、ステップＳ１０２またはステップＳ１０３が実行される前にその３Ｄ画像が表示部５に表示されてもよい。

　第６の実施形態において、内視鏡装置１は、第１の制御を実行する。第１の制御において、点情報が選択領域内の点を示すように点情報が制御される。内視鏡装置１は、選択領域内の点の３Ｄ座標を計測に使用する。そのため、内視鏡装置１は、被写体上の点の正確な指定を支援することができる。ユーザーは、選択領域の境界上の点を容易に指定することができる。

　（第７の実施形態）
　本発明の第７の実施形態を説明する。第７の実施形態の内視鏡装置１は、図２０に示すＣＰＵ１８ａを有する。第７の実施形態において、画像上のマークが１つの特徴領域外にあり、かつそのマークの位置にある点が受け付けられた場合、そのマークの位置はその特徴領域内の位置に変更される。

　表示制御部１８３は、点群データの３Ｄ画像および被写体の２Ｄ画像の一方を表示部５に表示する（画像表示ステップ）。領域選択部１８６は、領域検出部１８２によって検出された１つ以上の特徴領域のうちの１つを選択領域として選択する（領域選択ステップ）。領域検出部１８２が２つ以上の特徴領域を検出した場合、領域選択部１８６は、その２つ以上の特徴領域のうちの１つを選択領域として選択する。領域検出部１８２が１つのみの特徴領域を検出した場合、領域選択部１８６はその特徴領域を選択する。表示制御部１８３は、マークを点群データの３Ｄ画像および被写体の２Ｄ画像の一方上に表示する（マーク表示ステップ）。カーソル算出部１８４は、マークが表示される位置を、操作部４を通して受け付けられた情報に基づいて算出する（位置算出ステップ）。

　選択領域に対応する領域内にマークが表示され、かつ点入力部１８５がそのマークの位置に対応する点を受け付けた場合、計測部１８７は、点情報が示す点を含む２つ以上の点の３Ｄ座標に基づいて被写体の大きさを計測する（計測ステップ）。選択領域に対応する領域外にマークが表示され、かつ点入力部１８５がそのマークの位置に対応する点を受け付けた場合、そのマークは選択領域に対応する領域内に表示される。

　表示制御部１８３は、マークを１つ以上の特徴領域の画像上に表示してもよい（マーク表示ステップ）。選択領域内にマークが表示され、かつ点入力部１８５がそのマークの位置に対応する点を受け付けた場合、計測部１８７は、点情報が示す点を含む２つ以上の点の３Ｄ座標に基づいて被写体の大きさを計測してもよい（計測ステップ）。選択領域外にマークが表示され、かつ点入力部１８５がそのマークの位置に対応する点を受け付けた場合、そのマークは選択領域内に表示されてもよい。マークが特徴領域の画像上に表示される場合、表示制御部１８３は、点群データの３Ｄ画像および被写体の２Ｄ画像を表示部５に表示する必要はない。

　図３０を使用することにより、第７の実施形態における３次元計測について説明する。図３０は、３次元計測の手順を示す。図１３、図２１、図２４、および図２７に示す処理と同じ処理の説明を省略する。

　その位置が選択領域内にないと情報制御部１８８がステップＳ１２３において判断した場合、情報制御部１８８は、ステップＳ１４１においてその点の点情報を無効にする。

　ステップＳ１４１の後、カーソル算出部１８４は、被写体の２Ｄ画像上のカーソルの新たな位置を算出する（ステップＳ１５１）。ステップＳ１５１は、位置算出ステップに対応する。

　カーソル算出部１８４は、ステップＳ１２３において算出された位置に基づいて選択領域内の位置を算出する。例えば、カーソル算出部１８４は、ステップＳ１２３において算出された位置に最も近い位置を算出する。カーソル算出部１８４は、ステップＳ１２３において算出された位置と選択領域内の位置との間の距離、選択領域内の位置における明るさ、選択領域内の位置におけるコントラスト、およびマッチング処理において得られた相関値などに基づいてカーソルの新たな位置を算出してもよい。ステップＳ１５１の後、ステップＳ１０８が実行される。

　表示制御部１８３は、ステップＳ１０８において、カーソル算出部１８４によって算出された位置にカーソルを表示することによりカーソルを更新する。ステップＳ１０８が実行されたとき、カーソルは、選択領域に対応する２Ｄ画像の領域外の位置から選択領域に対応する２Ｄ画像の領域内の位置に移動する。

　図３１は、表示部５に表示される画像の例を示す。図１４に示す２Ｄ画像Ｇ１１と同じ２Ｄ画像Ｇ１１および図１４に示す画像Ｇ１２と同じ画像Ｇ１２が表示部５に表示される。図１５に示すカーソルＣ１１と同じカーソルＣ１１が２Ｄ画像Ｇ１１上に表示される。図３１は、ステップＳ１２２において特徴領域Ｒ１１が選択された後の状態を示す。

　ユーザーは、カーソルＣ１１を移動させ、かつ２Ｄ画像Ｇ１１上の点を指定する。例えば、ユーザーは点Ｐ５１を指定し、かつ点入力部１８５は点Ｐ５１を受け付ける。点Ｐ５１は、特徴領域Ｒ１２内の点に対応する。情報制御部１８８は、ステップＳ１２３において、点Ｐ５１に対応する画像Ｇ１２上の点が特徴領域Ｒ１１内にないと判断する。そのため、情報制御部１８８は、ステップＳ１４１において点Ｐ５１の点情報を無効にする。カーソル算出部１８４は、ステップＳ１５１においてカーソルＣ１１の新たな位置を算出する。その位置は、特徴領域Ｒ１１内に対応する領域内にある。表示制御部１８３は、ステップＳ１５１においてその位置にカーソルＣ１１を表示する。計測部１８７は点Ｐ５１の３Ｄ座標を計測に使用しない。

　図３２は、表示部５に表示される画像の他の例を示す。図３２に示す例では、ステップＳ１０４において被写体の２Ｄ画像は表示されない。図１４に示す画像Ｇ１２と同じ画像Ｇ１２が表示部５に表示される。図１５に示すカーソルＣ１１と同じカーソルＣ１１が画像Ｇ１２上に表示される。ステップＳ１３１において画像Ｇ１２上の位置が操作部４を通して受け付けられた場合、領域選択部１８６は、ステップＳ１２２においてその位置に対応する特徴領域を選択する。図３２は、ステップＳ１２２において特徴領域Ｒ１１が選択された後の状態を示す。

　ユーザーは、カーソルＣ１１を移動させ、かつ画像Ｇ１２上の点を指定する。例えば、ユーザーは点Ｐ５２を指定し、かつ点入力部１８５は点Ｐ５２を受け付ける。点Ｐ５２は、特徴領域Ｒ１２内にある。情報制御部１８８は、ステップＳ１２３において、点Ｐ５２が特徴領域Ｒ１１内にないと判断する。そのため、情報制御部１８８は、ステップＳ１４１において点Ｐ５２の点情報を無効にする。カーソル算出部１８４は、ステップＳ１５１においてカーソルＣ１１の新たな位置を算出する。その位置は、特徴領域Ｒ１１内にある。表示制御部１８３は、ステップＳ１０８においてその位置にカーソルＣ１１を表示する。計測部１８７は点Ｐ５２の３Ｄ座標を計測に使用しない。

　図３０に示す３次元計測では、点入力部１８５が被写体上の第１の点をステップＳ１３１において受け付けた場合、領域選択部１８６は、その第１の点を含む特徴領域を選択領域としてステップＳ１２２において選択する。点入力部１８５が選択領域における第２の点をステップＳ１０９において受け付けた場合、計測部１８７は、ステップＳ１１１において、第１の点および第２の点を含む２つ以上の点の３Ｄ座標に基づいて被写体の大きさを計測する。第２の点は第１の点と異なる。点入力部１８５が３つ以上の点を受け付けた場合、その３つ以上の点は上記の第１の点および第２の点を含む。選択領域内の２つ以上の点が計測に使用されるため、内視鏡装置１は、ユーザーが意図しない点の使用を避けることができる。

　図３１に示す例では、被写体の２Ｄ画像および特徴領域の画像が表示部５に表示され、かつその２Ｄ画像が点の入力に使用される。図３２に示す例では、特徴領域の画像が表示部５に表示され、かつその画像が点の入力に使用される。表示部５に表示される画像と、点の入力に使用される画像との組み合わせはこの例に限らない。その組み合わせは、第３の実施形態と同様である。第７の実施形態において、特徴領域の画像の表示は必須ではない。

　図３０に示す３次元計測では、計測部１８７は、ステップＳ１３１において受け付けられた点を計測に使用する。その点は、特徴領域の選択のみに使用されてもよい。計測部１８７がその点を計測に使用する必要はない。

　３次元計測における処理の順番は、図３０に示す順番に限らない。例えば、ステップＳ１０１、ステップＳ１０２、またはステップＳ１０３が実行される前に被写体の２Ｄ画像が表示部５に表示されてもよい。被写体の２Ｄ画像の代わりに点群データの３Ｄ画像が使用される場合、ステップＳ１０２またはステップＳ１０３が実行される前にその３Ｄ画像が表示部５に表示されてもよい。

　第７の実施形態において、内視鏡装置１は、第２の制御を実行する。第２の制御において、マークが画像上に表示され、かつマークの位置は選択領域に対応する領域内に制限される。内視鏡装置１は、選択領域内の点の３Ｄ座標を計測に使用する。そのため、内視鏡装置１は、被写体上の点の正確な指定を支援することができる。ユーザーは、選択領域の境界上の点を容易に指定することができる。

　（第８の実施形態）
　本発明の第８の実施形態を説明する。以下では、図１１に示すＰＣ４１が計測装置である例を説明する。ＰＣ４１は、被写体の２Ｄ画像を内視鏡装置１から取得し、かつ３次元計測を実行する。

　内視鏡装置１の外部機器インタフェース１６は、ＰＣ４１と通信を実行する。具体的には、外部機器インタフェース１６は、１枚以上の被写体の２Ｄ画像をＰＣ４１に送信する。ＰＣ４１は、その２Ｄ画像を内視鏡装置１から受信する。

　例えば、外部機器インタフェース１６はケーブルあるいは無線でＰＣ４１と接続される。外部機器インタフェース１６とＰＣ４１との間の通信は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）またはインターネットを経由して実行されてもよい。

　図３３は、ＰＣ４１の構成を示す。図３３に示すＰＣ４１は、通信部４３、ＣＰＵ４４、および表示部４５を有する。

　通信部４３は、内視鏡装置１の外部機器インタフェース１６と通信を実行する。具体的には、通信部４３は、１枚以上の被写体の２Ｄ画像を外部機器インタフェース１６から受信する。ＣＰＵ４４は、３次元計測のための処理を実行する。表示部４５は、ＬＣＤ等のモニタ（ディスプレイ）である。表示部４５は、表示画面を有し、かつ画像および操作メニュー等を表示画面に表示する。

　図３４は、ＣＰＵ４４の機能構成を示す。制御部４４０、生成部４４１、領域検出部４４２、表示制御部４４３、カーソル算出部４４４、点入力部４４５、領域選択部４４６、計測部４４７、および通信制御部４４８によってＣＰＵ４４の機能が構成されている。図３４に示すブロックの少なくとも１つがＣＰＵ４４とは別の回路で構成されてもよい。

　図３４に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図３４に示す各部は、１つまたは複数のプロセッサを含むことができる。図３４に示す各部は、１つまたは複数の論理回路を含むことができる。

　制御部４４０は、各部が実行する処理を制御する。生成部４４１は、図１２に示す生成部１８１の機能と同じ機能を持つ。領域検出部４４２は、図１２に示す領域検出部１８２の機能と同じ機能を持つ。表示制御部４４３は、図１２に示す表示制御部１８３の機能と同じ機能を持つ。カーソル算出部４４４は、図１２に示すカーソル算出部１８４の機能と同じ機能を持つ。点入力部４４５は、図１２に示す点入力部１８５の機能と同じ機能を持つ。領域選択部４４６は、図１２に示す領域選択部１８６の機能と同じ機能を持つ。計測部４４７は、図１２に示す計測部１８７の機能と同じ機能を持つ。通信制御部４４８は、通信部４３を制御することにより、内視鏡装置１の外部機器インタフェース１６と通信を実行する。

　ＣＰＵ４４は、図１３または図２４に示す３次元計測を実行する。ＣＰＵ４４は、図２０に示す情報制御部１８８の機能を持ってもよい。ＣＰＵ４４が情報制御部１８８の機能を持つ場合、ＣＰＵ４４は、図２１、図２７、または図３０に示す３次元計測を実行してもよい。

　ＣＰＵ４４は、ＣＰＵ４４の動作を規定する命令を含むプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。つまり、ＣＰＵ４４の機能はソフトウェアにより実現されてもよい。

　内視鏡装置１が被写体の２Ｄ画像に基づいて点群データを生成し、かつ内視鏡装置１の外部機器インタフェース１６がその２Ｄ画像およびその点群データをＰＣ４１に送信してもよい。ＰＣ４１の通信部４３は、その２Ｄ画像およびその点群データを外部機器インタフェース１６から受信してもよい。したがって、ＣＰＵ４４が生成部１８１を有する必要はない。

　第８の実施形態において、ＰＣ４１は、被写体上の点の正確な指定を支援することができる。

　以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

　本発明の各実施形態によれば、計測方法、計測装置、および記録媒体は、被写体上の点の正確な指定を支援することができる。

　１　内視鏡装置
　２　挿入部
　３　本体部
　４　操作部
　５，４５　表示部
　７，７ａ　計測装置
　８　内視鏡ユニット
　９　ＣＣＵ
　１０　制御装置
　１２　映像信号処理回路
　１３　ＲＯＭ
　１４　ＲＡＭ
　１５　カードインタフェース
　１６　外部機器インタフェース
　１７　制御インタフェース
　１８，１８ａ，４４　ＣＰＵ
　２０　先端
　２８　撮像素子
　４１　ＰＣ
　４２　メモリカード
　４３　通信部
　７０，１８１，４４１　生成部
　７１，７１ａ，１８２，４４２　領域検出部
　７２，７２ａ，１８３，４４３　表示制御部
　７３，１８５，４４５　点入力部
　７４，１８７，４４７　計測部
　７５，１８８　情報制御部
　１８０，４４０　制御部
　１８４，４４４　カーソル算出部
　１８６，４４６　領域選択部
　４４８　通信制御部

Claims

　被写体の２次元画像に基づいて前記被写体上の２つ以上の点の３次元座標を算出し、かつ前記２つ以上の点の前記３次元座標を含む３次元画像データを生成する生成ステップと、
　前記３次元画像データに基づいて前記被写体上の２つ以上の特徴領域を検出し、前記被写体の３次元形状は前記２つ以上の特徴領域の各々において共通の特徴を持つ領域検出ステップと、
　前記２つ以上の特徴領域が互いに視覚的に区別されるように前記２つ以上の特徴領域の画像をディスプレイに表示する画像表示ステップと、
　前記画像表示ステップが実行された後、前記被写体上の点を、入力装置を通して受け付け、かつ受け付けられた前記点を示す点情報を生成する点入力ステップと、
　前記点情報が示す前記点を含む前記被写体上の２つ以上の点の３次元座標に基づいて前記被写体の大きさを計測する計測ステップと、
　を有する計測方法。
　前記２つ以上の特徴領域のうちの１つを選択領域として選択する領域選択ステップと、
　前記選択領域における点が前記点入力ステップにおいて受け付けられた場合のみ、前記点情報を有効にする情報制御ステップと、
　をさらに有し、
　前記計測ステップにおいて、有効な前記点情報が示す前記点を含む前記２つ以上の点の３次元座標に基づいて前記被写体の前記大きさが計測される
　請求項１に記載の計測方法。
　前記画像表示ステップにおいて、前記３次元画像データの画像および前記２次元画像の一方が前記ディスプレイにさらに表示され、
　前記計測方法は、
　前記２つ以上の特徴領域のうちの１つを選択領域として選択する領域選択ステップと、
　マークを前記３次元画像データの前記画像および前記２次元画像の一方上に表示するマーク表示ステップと、
　前記マークが表示される位置を、前記入力装置を通して受け付けられた情報に基づいて算出し、前記マークが表示される前記位置は前記選択領域に対応する領域内に制限される位置算出ステップと、
　をさらに有し、
　前記点入力ステップにおいて、前記マークの位置に対応する前記点が受け付けられる
　請求項１に記載の計測方法。
　前記２つ以上の特徴領域のうちの１つを選択領域として選択する領域選択ステップと、
　マークを前記２つ以上の特徴領域の前記画像上に表示するマーク表示ステップと、
　前記マークが表示される位置を、前記入力装置を通して受け付けられた情報に基づいて算出し、前記マークが表示される前記位置は前記選択領域内に制限される位置算出ステップと、
　をさらに有し、
　前記点入力ステップにおいて、前記マークの位置に対応する前記点が受け付けられる
　請求項１に記載の計測方法。
　前記２つ以上の特徴領域のうちの１つを選択領域として選択する領域選択ステップと、
　前記選択領域外の点が前記点入力ステップにおいて受け付けられた場合、受け付けられた前記点情報を無効にし、かつ前記選択領域内の点を示す新たな前記点情報を生成する情報制御ステップと、
　をさらに有し、
　前記計測ステップにおいて、無効な前記点情報を除く前記点情報が示す前記２つ以上の点の３次元座標に基づいて前記被写体の前記大きさが計測される
　する請求項１に記載の計測方法。
　前記画像表示ステップにおいて、前記３次元画像データの画像および前記２次元画像の一方が前記ディスプレイにさらに表示され、
　前記計測方法は、
　前記２つ以上の特徴領域のうちの１つを選択領域として選択する領域選択ステップと、
　マークを前記３次元画像データの前記画像および前記２次元画像の一方上に表示するマーク表示ステップと、
　前記マークが表示される位置を、前記入力装置を通して受け付けられた情報に基づいて算出する位置算出ステップと、
　をさらに有し、
　前記選択領域に対応する領域内に前記マークが表示され、かつ前記マークの位置に対応する前記点が前記点入力ステップにおいて受け付けられた場合、前記計測ステップにおいて、前記点情報が示す前記点を含む前記２つ以上の点の前記３次元座標に基づいて前記被写体の前記大きさが計測され、
　前記選択領域に対応する前記領域外に前記マークが表示され、かつ前記マークの位置に対応する前記点が前記点入力ステップにおいて受け付けられた場合、前記マークが表示される位置は、前記選択領域に対応する前記領域内の位置に変更される
　請求項１に記載の計測方法。
　前記２つ以上の特徴領域のうちの１つを選択領域として選択する領域選択ステップと、
　マークを前記２つ以上の特徴領域の前記画像上に表示するマーク表示ステップと、
　前記マークが表示される位置を、前記入力装置を通して受け付けられた情報に基づいて算出する位置算出ステップと、
　をさらに有し、
　前記選択領域内に前記マークが表示され、かつ前記マークの位置に対応する前記点が前記点入力ステップにおいて受け付けられた場合、前記計測ステップにおいて、前記点情報が示す前記点を含む前記２つ以上の点の前記３次元座標に基づいて前記被写体の前記大きさが計測され、
　前記選択領域外に前記マークが表示され、かつ前記マークの位置に対応する前記点が前記点入力ステップにおいて受け付けられた場合、前記マークが表示される位置は、前記選択領域内の位置に変更される
　請求項１に記載の計測方法。
　前記被写体上の第１の点が前記点入力ステップにおいて受け付けられた場合、前記第１の点を含む前記特徴領域が前記領域選択ステップにおいて選択され、
　前記選択領域における第２の点が前記点入力ステップにおいて受け付けられた場合、前記計測ステップにおいて、前記第１の点および前記第２の点を含む前記２つ以上の点の前記３次元座標に基づいて前記被写体の前記大きさが計測され、前記第２の点は前記第１の点と異なる
　請求項２に記載の計測方法。
　前記２つ以上の特徴領域の前記画像上の位置が前記入力装置を通して受け付けられた場合、受け付けられた前記位置に対応する前記特徴領域が前記領域選択ステップにおいて選択される
　請求項２に記載の計測方法。
　前記２つ以上の特徴領域のうちの１つを選択領域として選択する領域選択ステップをさらに有し、
　前記画像表示ステップにおいて前記選択領域が第１の色で表示され、かつ前記画像表示ステップにおいて前記選択領域と異なる前記特徴領域が前記第１の色と異なる第２の色で表示される
　請求項１に記載の計測方法。
　前記２つ以上の特徴領域のうちの１つを選択領域として選択する領域選択ステップをさらに有し、
　前記画像表示ステップにおいて前記選択領域のみが表示される
　請求項１に記載の計測方法。
　前記２つ以上の特徴領域のうちの１つを選択領域として選択する領域選択ステップをさらに有し、
　前記画像表示ステップにおいて前記選択領域が強調表示される
　請求項１に記載の計測方法。
　被写体の２次元画像に基づいて前記被写体上の２つ以上の点の３次元座標を算出し、かつ前記２つ以上の点の前記３次元座標を含む３次元画像データを生成する生成ステップと、
　前記３次元画像データに基づいて前記被写体上の１つ以上の特徴領域を検出し、前記被写体の３次元形状は前記１つ以上の特徴領域の各々において共通の特徴を持つ領域検出ステップと、
　前記３次元画像データの画像、前記２次元画像、および前記１つ以上の特徴領域の画像のうちの１つをディスプレイに表示する画像表示ステップと、
　前記画像表示ステップが実行された後、前記被写体上の点を、入力装置を通して受け付け、かつ受け付けられた前記点を示す点情報を生成する点入力ステップと、
　第１の制御および第２の制御の一方を実行し、前記第１の制御において、前記点情報が前記１つ以上の特徴領域のうちの１つ内の点を示すように前記点情報が制御され、前記第２の制御において、前記３次元画像データの前記画像、前記２次元画像、および前記１つ以上の特徴領域の画像のうちの１つ上にマークが表示され、前記マークの位置は前記１つ以上の特徴領域のうちの１つに対応する領域内に制限され、前記点入力ステップにおいて、前記マークの位置に対応する前記点が受け付けられる制御ステップと、
　前記点情報が示す前記点を含む前記被写体上の２つ以上の点の３次元座標に基づいて前記被写体の大きさを計測する計測ステップと、
　を有する計測方法。
　被写体の２次元画像に基づいて前記被写体上の２つ以上の点の３次元座標を算出し、かつ前記２つ以上の点の前記３次元座標を含む３次元画像データを生成する生成部と、
　前記３次元画像データに基づいて前記被写体上の２つ以上の特徴領域を検出し、前記被写体の３次元形状は前記２つ以上の特徴領域の各々において共通の特徴を持つ領域検出部と、
　前記２つ以上の特徴領域が互いに視覚的に区別されるように前記２つ以上の特徴領域の画像をディスプレイに表示する表示制御部と、
　前記２つ以上の特徴領域の前記画像が表示された後、前記被写体上の点を、入力装置を通して受け付け、かつ受け付けられた前記点を示す点情報を生成する点入力部と、
　前記点情報が示す前記点を含む前記被写体上の２つ以上の点の３次元座標に基づいて前記被写体の大きさを計測する計測部と、
　を有する計測装置。
　被写体の２次元画像に基づいて前記被写体上の２つ以上の点の３次元座標を算出し、かつ前記２つ以上の点の前記３次元座標を含む３次元画像データを生成する生成ステップと、
　前記３次元画像データに基づいて前記被写体上の２つ以上の特徴領域を検出し、前記被写体の３次元形状は前記２つ以上の特徴領域の各々において共通の特徴を持つ領域検出ステップと、
　前記２つ以上の特徴領域が互いに視覚的に区別されるように前記２つ以上の特徴領域の画像をディスプレイに表示する画像表示ステップと、
　前記画像表示ステップが実行された後、前記被写体上の点を、入力装置を通して受け付け、かつ受け付けられた前記点を示す点情報を生成する点入力ステップと、
　前記点情報が示す前記点を含む前記被写体上の２つ以上の点の３次元座標に基づいて前記被写体の大きさを計測する計測ステップと、
　をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。