WO2024048049A1

WO2024048049A1 - 画像処理システム、寸法測定システム、画像処理方法、及びプログラム

Info

Publication number: WO2024048049A1
Application number: PCT/JP2023/023967
Authority: WO
Inventors: 大輔西村; 祥平鎌田; 稔博秋山; 哲夫石田
Original assignee: パナソニックＩｐマネジメント株式会社
Priority date: 2022-08-29
Filing date: 2023-06-28
Publication date: 2024-03-07

Abstract

本開示の課題は、設置面に設置された器具の寸法を精度よく測定することができる画像処理システム、寸法測定システム、画像処理方法、及びプログラムを提供することである。画像処理システム（１）では、データ取得部（１１）は、設置面（９）に設置されている器具（８）を撮像することで生成された２次元画像のデータ、及び器具（８）の３次元形状の測定データを取得する。外形設定部（１２）は、２次元画像における器具（８）の外形に対応する領域を器具領域として設定する。平面推定部（１３）は、測定データに基づいて、設置面（９）に対応する検出平面を推定する。投影部（１４）は、検出平面に器具領域を投影することで、検出平面上に投影領域を形成する。測定部（１５）は、投影領域に基づいて、器具（８）の寸法を測定する。

Description

画像処理システム、寸法測定システム、画像処理方法、及びプログラム

　本開示は、画像処理システム、寸法測定システム、画像処理方法、及びプログラムに関する。

　特許文献１は、対象物に光学的に目印となる色、模様、マーカ類を必要とせずに、対象物上の長方形や正方形など矩形平面の寸法を計測する３次元情報計測・表示装置を開示している。

　３次元情報計測・表示装置は、デプス画像撮像部と、平面検出部と、平面輪郭抽出部と、寸法・位置姿勢算出部と、を備える。デプス画像撮像部は、対象物を撮影し、２次元画像の画素ごとに深さ情報を備えたデプス画像を取得する。平面検出部は、デプス画像撮像部により取得されたデプス画像から平面領域を抽出し、抽出した平面領域を含む平面の方程式を計算する。平面輪郭抽出部は、平面検出部により抽出された平面領域を上記２次元画像に射影した領域を四角形に近似した輪郭を抽出する。寸法・位置姿勢算出部は、平面輪郭抽出部により抽出された２次元画像上の輪郭を、透視投影変換により上記方程式で特定される平面上の輪郭に変換し、変換後の輪郭で囲まれた領域の縦横の辺の長さを検出する。

　上述の特許文献１は、対象物上の矩形平面の寸法を求める技術を開示している。

　しかしながら、特許文献１の技術では、設置面に設置された器具の寸法を測定しようとすると、器具の平面と設置面とを区別することが難しく、設置面に設置された器具の寸法を測定することは困難であった。例えば、特許文献１の技術では、器具の表面を占める平面の割合が低いときには、設置面に設置された器具の寸法を測定することは困難であった。

国際公開２０１４／１４７８６３号

　本開示の目的は、設置面に設置された器具の寸法を精度よく測定することができる画像処理システム、寸法測定システム、画像処理方法、及びプログラムを提供することにある。

　本開示の一態様に係る画像処理システムは、データ取得部と、外形設定部と、平面推定部と、投影部と、測定部と、を備える。前記データ取得部は、設置面に設置されている器具を撮像することで生成された２次元画像のデータ、及び前記器具の３次元形状の測定データを取得する。前記外形設定部は、前記２次元画像における前記器具の外形に対応する領域を器具領域として設定する。前記平面推定部は、前記測定データに基づいて、前記設置面に対応する検出平面を推定する。前記投影部は、前記検出平面に前記器具領域を投影することで、前記検出平面上に投影領域を形成する。前記測定部は、前記投影領域に基づいて、前記器具の寸法を測定する。

　本開示の一態様に係る寸法測定システムは、上述の画像処理システムと、前記２次元画像のデータ及び前記測定データを生成する撮像部と、を備える。

　本開示の一態様に係る画像処理方法は、データ取得ステップと、外形設定ステップと、平面推定ステップと、投影ステップと、測定ステップと、を含む。前記データ取得ステップは、設置面に設置されている器具を撮像することで生成された２次元画像のデータ、及び前記器具の３次元形状の測定データを取得する。前記外形設定ステップは、前記２次元画像における前記器具の外形に対応する領域を器具領域として設定する。前記平面推定ステップは、前記測定データに基づいて、前記設置面に対応する検出平面を推定する。前記投影ステップは、前記検出平面に前記器具領域を投影することで、前記検出平面上に投影領域を形成する。前記測定ステップは、前記投影領域に基づいて、前記器具の寸法を測定する。

　本開示の一態様に係るプログラムは、コンピュータシステムに上述の画像処理方法を実行させる。

図１は、実施形態の画像処理システムを備える寸法測定システムを示すブロック図である。図２は、同上の寸法測定システムの測定対象となる器具の一例を示す斜視図である。図３は、同上の画像処理システムにおける２次元画像の第１例を示す図である。図４は、同上の２次元画像に設定された器具領域を示す図である。図５は、同上の画像処理システムにおける２次元画像の第２例を示す図である。図６は、同上の２次元画像に設定された器具領域を示す図である。図７は、同上の画像処理システムにおける検出平面上の投影領域を示す図である。図８は、同上の画像処理システムにおける別の検出平面上の投影領域を示す図である。図９Ａは、第１変形例の画像処理システムにおける２次元画像を示す図である。図９Ｂは、２次元画像から抽出された器具の輪郭を示す図である。図１０は、同上の２次元画像に設定された器具領域を示す図である。図１１は、第２変形例の画像処理システムの外形設定部を示すブロック図である。図１２は、同上の画像処理システムにおいて２次元画像に設定された補助器具領域を示す図である。図１３は、同上の画像処理システムにおける検出平面上の等高線画像を示す図である。図１４は、第３変形例の寸法測定システムの具体構成を示すブロック図である。図１５は、第４変形例の第１操作画面を示す図である。図１６は、同上の第２操作画面を示す図である。図１７は、画像処理システムが実行する画像処理方法を示すフローチャートである。

　以下の実施形態は、一般に画像処理システム、寸法測定システム、画像処理方法、及びプログラムに関する。より詳細に、以下の実施形態は、設置面に設置された器具の寸法を測定する画像処理システム、寸法測定システム、画像処理方法、及びプログラムに関する。

　以下、実施形態に係る画像処理システム、寸法測定システム、画像処理方法、及びプログラムについて、図面を参照して詳細に説明する。ただし、下記の実施形態において説明する各図は模式的な図であり、各構成要素の大きさや厚さそれぞれの比が必ずしも実際の寸法比を反映しているとは限らない。

　また、以下に説明する実施形態は、本開示の実施形態の一例にすぎない。本開示は、以下の実施形態に限定されず、本開示の効果を奏することができれば、設計等に応じて種々の変更が可能である。

　（１）概要
　建築物には、天井面、壁面、床面などの設置面に、様々な器具が設置されている。器具８は、照明器具、空調装置、電気器具、及びガス器具などである。また、器具は、設置面に埋込設置されたり、設置面の表面に設置されたりしている。

　そして、建築物の改修工事（リフォーム、リノベーション、改築、及び増築など）では、器具の置換（交換を含む）を検討することがある。このような改修工事における器具の置換を検討する際には、現在設置されている器具の寸法に関する情報を容易、かつ、精度よく測定できることが好ましい。

　そこで、画像処理システム１は、図１に示す構成を備えて、設置面９に設置された器具８の寸法を測定する。

　画像処理システム１は、データ取得部１１と、外形設定部１２と、平面推定部１３と、投影部１４と、測定部１５と、を備える。データ取得部１１は、設置面９に設置されている器具８を撮像することで生成された２次元画像のデータ、及び器具８の３次元形状の測定データを取得する。外形設定部１２は、２次元画像における器具８の外形に対応する領域を器具領域として設定する。平面推定部１３は、測定データに基づいて、設置面９に対応する検出平面を推定する。投影部１４は、検出平面に器具領域を投影することで、検出平面上に投影領域を形成する。測定部１５は、投影領域に基づいて、器具８の寸法を測定する。

　上述の構成を備える画像処理システム１は、設置面９に設置された器具８の寸法を精度よく測定することができる。特に、画像処理システム１は、例えば器具８の表面を占める平面の割合が低くても、設置面９に設置された器具８の寸法を容易、かつ、高精度に測定することができる。

　また、寸法測定システム１００は、画像処理システム１と、撮像部２と、を備える。撮像部２は、器具８を撮像して、２次元画像のデータ及び器具８の３次元形状の測定データを生成する。

　上述の構成を備える寸法測定システム１００も、設置面９に設置された器具８の寸法を精度よく測定することができる。

　（２）詳細
　以下、本実施形態の画像処理システム１を備える寸法測定システム１００の詳細を説明する。

　寸法測定システム１００は、画像処理システム１、撮像部２、表示部３、及び操作部４を更に備える。画像処理システム１は、データ取得部１１、外形設定部１２、平面推定部１３、投影部１４、及び測定部１５を備える。

　寸法測定システム１００は、例えばタブレット端末又はスマートフォンなどの携行型の情報端末を用いて実現されることが好ましい。本実施形態では、画像処理システム１、撮像部２、表示部３、及び操作部４の各機能は、１つの情報端末で実現される。情報端末は、器具８の寸法を測定する寸法測定処理のためのアプリケーションを予めインストールしており、当該アプリケーションを起動することで、寸法測定処理を開始する。そして、作業者などのユーザは、情報端末を携行して建築物内を移動し、測定対象となる器具８を撮像する。画像処理システム１は、器具８の撮像画像に基づいて、器具８の寸法を測定する。

　（２．１）器具
　器具８は、設置面９に設置されている。

　設置面９は、天井面、壁面、又は床面などであり、平面、又は凹凸が少ない面である。例えば天井パネル、壁パネル、床パネルの表面が、設置面９に相当する。

　器具８は、照明器具、空調装置、電気器具、又はガス器具などである。器具８は、設置面９に埋込設置される構成、及び設置面９の表面に設置される構成のいずれでもよい。また、器具８の形状は特定の形状に限定されない。

　図２は、器具８の一例として、天井面に埋込設置された長尺の矩形体形状の照明器具を例示する。この場合、器具８は照明器具であり、設置面９は天井面である。

　（２．２）撮像部
　撮像部２は、２次元カメラ２１、及びデプスカメラ２２を備える。撮像部２は、２次元カメラ２１とデプスカメラ２２とを同時（又はほぼ同時）に駆動する。２次元カメラ２１とデプスカメラ２２とが近接して配置されており、２次元カメラ２１の撮像範囲及び撮像方向とデプスカメラ２２の撮像範囲及び撮像方向とは同一（又はほぼ同一）である、とみなせる。また、撮像部２は、２次元カメラ２１の撮像範囲及び撮像方向とデプスカメラ２２の撮像範囲及び撮像方向とがずれている場合には、当該ずれを補正する機能を有する。すなわち、２次元カメラ２１及びデプスカメラ２２のそれぞれの撮像範囲、撮像方向、及び撮像タイミングは、同一（又はほぼ同一）になる。

　２次元カメラ２１は、２次元画像のデータを生成するカメラである。２次元画像を構成する各画素の画素値は、濃淡値を示す。２次元画像がモノクロ画像であれば、画素値はグレースケールの濃淡値を示す。２次元画像がカラー画像であれば、画素値は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色の濃淡値を示す。

　デプスカメラ２２は、デプス画像を生成するカメラである。デプス画像を構成する各画素の画素値は、デプスカメラ２２からの距離を示す。すなわち、デプス画像は、撮像対象の３次元形状の測定データを含んでいる。デプスカメラ２２がデプス画像を生成する方式には、ＴＯＦ（Time of Flight）方式、ステレオカメラ方式、構造化照明方式、及びＬｉＤＡＲ（Light Detection and Ranging）方式などがある。

　なお、撮像部２は、情報端末Ｔ１に一体に設けられていることが好ましいが、情報端末Ｔ１とは別体に設けられていてもよい。

　（２．３）表示部及び操作部
　表示部３は、液晶ディスプレイ又は有機ＥＬディスプレイなどであり、画像処理システム１から画像データを受け取り、画像データを表示する。画像データは、例えば器具８の寸法を測定する寸法測定処理の実行及び停止などの操作画面、並びに寸法測定処理の実行過程、実行結果などの通知画面のデータである。

　操作部４は、ユーザの操作を受け付けるユーザインタフェース機能を有する。操作部４、タッチパネルディスプレイ、キーボード、及びマウスなどの少なくとも１つのユーザインタフェースを有する。ユーザは、画像処理システム１に寸法測定処理を実行させるための操作を、操作部４に対して行う。

　そして、ユーザは、表示部３に表示された画面を見ながら操作部４を操作することで、寸法測定処理の実行及び停止などの操作、並びに寸法測定処理の過程及び結果の確認を行う。

　なお、表示部３及び操作部４は、情報端末Ｔ１に一体に設けられていることが好ましいが、情報端末Ｔ１とは別体に設けられていてもよい。

　（２．４）画像処理システム
　画像処理システム１は、コンピュータシステムを備えることが好ましい。コンピュータシステムは、プログラムを実行することによって、画像処理システム１の一部又は全部を実現する。コンピュータシステムは、プログラムに従って動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、又はＬＳＩ（Large Scale Integration）を含む一つ又は複数の電子回路で構成される。ここでは、ＩＣやＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ(Very Large Scale Integration)、若しくはＵＬＳＩ(Ultra Large Scale Integration) と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、フィールド・プログラマブル・ゲート・アレイ(FPGA)、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができる再構成可能な論理デバイスも同じ目的で使うことができる。複数の電子回路は、一つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは一つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータシステムが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、非一時的記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して非一時的記録媒体に供給されてもよい。

　本実施形態では、タブレット端末又はスマートフォンなどの携行型の情報端末がコンピュータシステムを構成している。

　なお、コンピュータシステムは、１台のコンピュータ装置に限らず、互いに連携した複数台のコンピュータ装置で実現されていてもよい。また、コンピュータシステムは、クラウドコンピューティングシステムとして構築されていてもよい。

　（２．４．１）データ取得部
　データ取得部１１は、撮像部２から、２次元画像のデータ、及びデプス画像のデータを取得する。２次元画像のデータは、撮像部２の２次元カメラ２１が生成した画像データである。デプス画像のデータは、撮像部２のデプスカメラ２２が生成した画像データであり、撮像対象の３次元形状の測定データを含んでいる。

　（２．４．２）外形設定部
　外形設定部１２は、２次元画像における器具８の外形に対応する領域を器具領域として設定する。本実施形態では、外形設定部１２は、ユーザの操作によって２次元画像に設定された少なくとも２つの座標に基づいて、器具領域を設定する。

　以下、図３に示す２次元画像Ｇａ１、及び図５に示す２次元画像Ｇａ２を用いて説明する。

　図３は、２次元画像の第１例として、２次元画像Ｇａ１を示す。２次元画像Ｇａ１は、例えば、図２に示す長尺の矩形体形状の照明器具を、器具８として斜め下方から撮像した画像である。この場合、器具８は下端面が長方形となる照明器具であり、設置面９は天井面である。２次元画像Ｇａ１は、器具８の撮像領域Ｒａ１、及び設置面９の撮像領域Ｒａ２を含む。２次元画像Ｇａ１は、モノクロ画像又はカラー画像であり、各画素の画素値は濃淡値を示す。

　外形設定部１２は、２次元画像Ｇａ１を表示部３に表示する。ユーザは、表示部３に表示された２次元画像Ｇａ１を見ながら操作部４を操作することで、２次元画像Ｇａ１にピンＰｎ（ｎは自然数）を配置する。ピンＰｎは、２次元画像Ｇａ１の一点を指し、２次元画像Ｇａ１における１つの座標を指定する。２次元画像Ｇａ１では、撮像領域Ｒａ１は、器具８の下端面に対応する長尺の四角形であり、２つの長辺と２つの短辺とを有する。ピンＰ１、Ｐ２は、撮像領域Ｒａ１の２つの長辺のうちより長い長辺Ｌ１の両端をそれぞれ指し、２次元画像Ｇａ１における長辺Ｌ１の両端に対応する２つの座標を指定する。ピンＰ３、Ｐ４は、撮像領域Ｒａ１の２つの短辺のうちより長い短辺Ｌ２の両端をそれぞれ指し、２次元画像Ｇａ１における短辺Ｌ２の両端に対応する２つの座標を指定する。

　次に、外形設定部１２は、図４に示すように、ピンＰ１－Ｐ４（図３参照）で指定された各座標を含むように平行四辺形をフィッティング（平行四辺形近似）することで、２次元画像Ｇａ１に平行四辺形の器具領域Ｒａ３を設定する。例えば、外形設定部１２は、長辺Ｌ１と短辺Ｌ２を含むように近似される平行四辺形をフィッティングによって生成する。そして、外形設定部１２は、平行四辺形の器具領域Ｒａ３について、２次元画像Ｇａ１における器具領域Ｒａ３の長辺Ｌ３の始端Ｑ１及び終端Ｑ２、短辺Ｌ４の始端Ｑ３及び終端Ｑ４の各座標を求める。

　図５は、２次元画像の第２例として、２次元画像Ｇａ２を示す。２次元画像Ｇａ２は、例えば、天井面に埋込設置されたダウンライトを斜め下方から撮像した画像である。この場合、器具８は下端面が円形となる照明器具であり、設置面９は天井面である。２次元画像Ｇａ２は、器具８の撮像領域Ｒａ１１、及び設置面９の撮像領域Ｒａ１２を含む。２次元画像Ｇａ２は、モノクロ画像又はカラー画像であり、各画素の画素値は濃淡値を示す。

　外形設定部１２は、２次元画像Ｇａ２を表示部３に表示する。ユーザは、表示部３に表示された２次元画像Ｇａ２を見ながら操作部４を操作することで、２次元画像Ｇａ２にピンＰｎ（ｎは自然数）を配置する。ピンＰｎは、２次元画像Ｇａ２の一点を指し、２次元画像Ｇａ２における１つの座標を指定する。２次元画像Ｇａ２では、撮像領域Ｒａ１１は楕円形である。ピンＰ１１、Ｐ１２は、撮像領域Ｒａ１１の長径Ｌ１１（器具８の円形状の下端面の直径に相当する）の両端をそれぞれ指し、２次元画像Ｇａ２における長径Ｌ１１の両端に対応する２つの座標を指定する。

　次に、外形設定部１２は、図６に示すように、ピンＰ１１－Ｐ１２（図５参照）で示される各座標を含むように楕円形をフィッティング（楕円近似）することで、２次元画像Ｇａ２に楕円形の器具領域Ｒａ１３を設定する。例えば、外形設定部１２は、長径Ｌ１１を含むように近似される楕円形をフィッティングによって生成する。そして、外形設定部１２は、楕円形の器具領域Ｒａ１３について、２次元画像Ｇａ２における器具領域Ｒａ１３の長径Ｌ１２の始端Ｑ１１及び終端Ｑ１２の各座標を求める。

　（２．４．３）平面推定部
　平面推定部１３は、器具８の３次元形状の測定データに基づいて、設置面９に対応する平面である検出平面を推定する。測定データは、撮像部２のデプスカメラ２２が撮像したデプス画像に含まれている。デプス画像を構成する各画素の画素値は、デプスカメラ２２からの距離を示す。すなわち、デプス画像は、器具８の３次元形状の測定データを含んでいる。

　平面推定部１３は、デプス画像に器具領域を重ね合わせて、器具領域の周囲（器具領域の外側）の測定データに基づいて、設置面９に対応する検出平面のデータを作成する。検出平面の各画素の画素値は、デプスカメラ２２からの距離を示し、器具８の３次元形状の測定データを含んでいる。したがって、平面推定部１３は、精度のよい検出平面のデータを作成できる。

　例えば、平面推定部１３は、２次元画像Ｇａ１に対応するデプス画像に器具領域Ｒａ３（図４参照）を重ね合わせて、器具領域Ｒａ３の周囲の測定データに基づいて、設置面９に対応する検出平面Ｍ１（図７参照）のデータを作成する。

　また、平面推定部１３は、２次元画像Ｇａ２に対応するデプス画像に器具領域Ｒａ１３（図６参照）を重ね合わせて、器具領域Ｒａ１３の周囲の測定データに基づいて、設置面９に対応する検出平面Ｍ１１（図８参照）のデータを作成する。

　（２．４．４）投影部
　投影部１４は、平面推定部１３が推定した検出平面に器具領域を投影することで、検出平面上に投影領域を形成する。

　以下、図７及び図８を用いて説明する。

　図７では、投影部１４は、平面推定部１３が推定した検出平面Ｍ１に器具領域Ｒａ３を投影している。例えば、投影部１４は、２次元画像Ｇａ１における器具領域Ｒａ３の長辺Ｌ３の始端Ｑ１及び終端Ｑ２、短辺Ｌ４の始端Ｑ３及び終端Ｑ４の各座標を、測定座標Ｑ１ｂ、Ｑ２ｂ、Ｑ３ｂ、Ｑ４ｂとして検出平面Ｍ１に投影する。この結果、検出平面Ｍ１上には、測定座標Ｑ１ｂ、Ｑ２ｂ、Ｑ３ｂ、Ｑ４ｂを頂点とする平行四辺形の投影領域Ｒｂ３が形成される。測定座標Ｑ１ｂ、Ｑ２ｂ、Ｑ３ｂ、Ｑ４ｂは、投影領域Ｒｂ３の輪郭上の座標である。

　図８では、投影部１４は、平面推定部１３が推定した検出平面Ｍ１１に器具領域Ｒａ１３を投影している。例えば、投影部１４は、２次元画像Ｇａ２における器具領域Ｒａ１３の長径Ｌ１２の始端Ｑ１１及び終端Ｑ１２の各座標を、測定座標Ｑ１１ｂ、Ｑ１２ｂとして検出平面Ｍ１１に投影する。この結果、検出平面Ｍ１１上には、測定座標Ｑ１１ｂ、Ｑ１２ｂを長径とする楕円形の投影領域Ｒｂ１３が形成される。測定座標Ｑ１１ｂ、Ｑ１２ｂは、投影領域Ｒｂ１３の輪郭上の座標である。

　（２．４．５）測定部
　測定部１５は投影領域に基づいて、器具８の寸法を測定する。測定部１５は、検出平面における一対の測定座標のそれぞれに対応するデプス画像の各画素の画素値も一対の測定座標に併せて用いて、一対の測定座標間の長さ寸法を求める。すなわち、測定部１５は、一対の測定座標のそれぞれに対応する３次元形状の測定データも一対の測定座標に併せて用いて、一対の測定座標間の長さ寸法を求める。測定座標に３次元形状の測定データを組み合わせたものは、３次元空間における位置を指定する３次元座標に相当する。

　図７では、測定部１５は、検出平面Ｍ１上に投影された投影領域Ｒｂ３の測定座標Ｑ１ｂ－Ｑ２ｂ間の長さ寸法Ｗ１を、器具８の長辺寸法として測定する。具体的に、測定部１５は、測定座標Ｑ１ｂ、測定座標Ｑ２ｂ、測定座標Ｑ１ｂにおける３次元の測定データ、及び測定座標Ｑ２ｂにおける３次元の測定データを用いて、測定座標Ｑ１ｂ－Ｑ２ｂ間の３次元空間における距離を長さ寸法Ｗ１として求める。また、測定部１５は、検出平面Ｍ１上に投影された投影領域Ｒｂ３の測定座標Ｑ３ｂ－Ｑ４ｂ間の長さ寸法Ｗ２を、器具８の短辺寸法として検出する。具体的に、測定部１５は、測定座標Ｑ３ｂ、測定座標Ｑ４ｂ、測定座標Ｑ３ｂにおける３次元の測定データ、及び測定座標Ｑ４ｂにおける３次元の測定データを用いて、測定座標Ｑ３ｂ－Ｑ４ｂ間の３次元空間における距離を長さ寸法Ｗ２として求める。すなわち、測定部１５は、検出平面Ｍ１における投影領域Ｒｂ３の輪郭上の複数の測定座標Ｑ１ｂ、Ｑ２ｂ、Ｑ３ｂ、Ｑ４ｂ、及び複数の測定座標Ｑ１ｂ、Ｑ２ｂ、Ｑ３ｂ、Ｑ４ｂにそれぞれ対応する測定データに基づいて、器具８の長さ寸法Ｗ１、Ｗ２を測定する。測定部１５は、器具８の長さ寸法Ｗ１、Ｗ２を高精度に測定できる。

　図８では、測定部１５は、検出平面Ｍ１１上に投影された投影領域Ｒｂ１３の測定座標Ｑ１１ｂ－Ｑ１２ｂ間の長さ寸法Ｗ１１を、器具８の直径寸法として測定する。具体的に、測定部１５は、測定座標Ｑ１１ｂ、測定座標Ｑ１２ｂ、測定座標Ｑ１１ｂにおける３次元の測定データ、及び測定座標Ｑ１２ｂにおける３次元の測定データを用いて、測定座標Ｑ１１ｂ－Ｑ１２ｂ間の３次元空間における距離を長さ寸法Ｗ１１として求める。すなわち、測定部１５は、検出平面Ｍ１１における投影領域Ｒｂ１３の輪郭上の複数の測定座標Ｑ１１ｂ、Ｑ１２ｂ、及び複数の測定座標Ｑ１１ｂ、Ｑ１２ｂにそれぞれ対応する測定データに基づいて、器具８の長さ寸法Ｗ１１を測定する。測定部１５は、器具８の長さ寸法Ｗ１１を高精度に測定できる。

　そして、測定部１５は、器具８の寸法の測定結果を表示部３へ出力する。表示部３は、器具８の寸法の測定結果を表示する。

　なお、測定部１５は、図７に示す投影領域Ｒｂ３、及び測定座標Ｑ１ｂ－Ｑ４ｂを含む画面、又は図８に示す投影領域Ｒｂ１３、及び測定座標Ｑ１１ｂ－Ｑ１２ｂを含む画面を表示部３に表示してもよい。この場合、ユーザは、操作部４を操作して画面内の測定座標Ｑ１ｂ－Ｑ４ｂ、Ｑ１１ｂ－Ｑ１２ｂの各位置を変更して、測定結果を補正できる。

　また、測定部１５は、図７に示す検出平面Ｍ１を含む画面、又は図８に示す検出平面Ｍ１１を含む画面を表示部３に表示してもよい。この場合、ユーザは、操作部４を操作して、画面内における検出平面Ｍ１、Ｍ１１の表示の可否を切り替えることができる。

　（２．４．６）小括
　上述のように、画像処理システム１は、設置面９に対応する検出平面Ｍ１、Ｍ１１を推定し、検出平面Ｍ１、Ｍ１１に器具領域Ｒａ３、Ｒａ１３を投影することで、検出平面Ｍ１、Ｍ１１上に投影領域Ｒｂ３、Ｒｂ１３を形成する。そして、画像処理システム１は、投影領域Ｒｂ３、Ｒｂ１３に基づいて、器具８の寸法を測定する。したがって、画像処理システム１は、設置面９に設置された器具８の寸法を精度よく測定することができる。画像処理システム１は、例えば器具８の表面を占める平面の割合が低くても、設置面９に設置された器具８の寸法を容易、かつ、高精度に測定することができる。

　（３）第１変形例
　第１変形例では、外形設定部１２の変形例について説明する。

　本変形例では、外形設定部１２は、学習モデルを用いて器具領域を設定する。すなわち、外形設定部１２は、２次元画像のデータを入力されて、器具領域を設定した２次元画像のデータを出力する学習モデルを備える。

　学習モデルは、２次元画像を入力されて、２次元画像に設定した器具領域のデータを出力するモデルである。学習モデルは、多数の２次元画像を教師データとして用いた機械学習によって構築される。例えば、学習モデルは、ニューラルネットワークを用いたディープラーニング（Deep Learning）などの機械学習によって構築されることが好ましい。

　例えば、学習モデルは、ＦＣＮ（Fully Convolutional Networks）を用いたディープラーニングによって構築される。機械学習は、２次元画像、及び２次元画像のセグメンテーション画像を教師データとする。２次元画像のセグメンテーション画像は、セマンティックセグメンテーション（Semantic Segmentation）の処理によって、２次元画像を構成する全ての画素にラベルを対応付けて、２次元画像内を複数のクラスに分割した画像である。本実施形態では、セマンティックセグメンテーションによって分割される複数のクラスに「器具」が含まれている。この結果、学習モデルは、２次元画像を入力されると、２次元画像にセマンティックセグメンテーションの処理を施して、２次元画像を複数のクラスに分割することができる。

　そして、学習モデルは、２次元画像に「器具」のクラスが存在すれば、「器具」のクラスに対応する領域を器具領域として設定する。学習モデルは、２次元画像に「器具」のクラスが存在しなければ、器具未検出と判定して、当該判定結果を出力する。

　具体的には、図９Ａに示す２次元画像Ｇａ３は、図２に示す長尺の矩形体形状の照明器具を、器具８として斜め下方から撮像した画像である。この場合、器具８は下端面が長方形となる照明器具であり、設置面９は天井面である。２次元画像Ｇａ３は、器具８の撮像領域Ｒａ２１、及び設置面９の撮像領域Ｒａ２２を含む。２次元画像Ｇａ３は、モノクロ画像又はカラー画像であり、各画素の画素値は濃淡値を示す。

　外形設定部１２は、２次元画像Ｇａ３を学習モデルに入力する。学習モデルは、２次元画像Ｇａ３にセマンティックセグメンテーションの処理を施し、図９Ｂに示すように２次元画像Ｇａ３から「器具」のクラスの輪郭Ｌ２０を抽出する。次に、学習モデルは、輪郭Ｌ２０に四角形をフィッティング（四角形近似）することで、図１０に示すように２次元画像Ｇａ３に四角形の器具領域Ｒａ２３を設定する。

　器具領域Ｒａ２３は長尺の四角形であり、２つの長辺と２つの短辺とを有する。そこで、学習モデルは、四角形の器具領域Ｒａ２３の２つの長辺から、より長い長辺Ｌ２１を選択し、長辺Ｌ２１の始端Ｑ２１及び終端Ｑ２２の各座標を求める。また、学習モデルは、四角形の器具領域Ｒａ２３の２つの短辺から、より長い短辺Ｌ２２を選択し、短辺Ｌ２２の始端Ｑ２３及び終端Ｑ２４の各座標を求める。

　そして、投影部１４は、２次元画像Ｇａ３における器具領域Ｒａ２３の長辺Ｌ２１の始端Ｑ２１及び終端Ｑ２２、短辺Ｌ２２の始端Ｑ２３及び終端Ｑ２４の各座標を、測定座標として検出平面に投影する。

　また、学習モデルは、重回帰分析、サポートベクターマシン（Support Vector Machine）などの他のアルゴリズムを用いたモデルであってもよい。

　上述のように、画像処理システム１は、学習モデルを用いることで、器具領域Ｒａ２３を簡易、かつ、高精度に設定することができる。

　（４）第２変形例
　第２変形例では、外形設定部１２の変形例である外形設定部１２Ａについて説明する。

　図１１に示すように、外形設定部１２Ａは、補助外形設定部１２１、補助投影部１２２、等高線生成部１２３、及び外形決定部１２４を備える。補助外形設定部１２１は、２次元画像に器具８の外形に対応する領域を補助器具領域として設定する。補助投影部１２２は、検出平面に補助器具領域を投影することで、検出平面上に補助投影領域を形成する。等高線生成部１２３は、測定データに基づいて、検出平面を基準とした補助投影領域の等高線画像を生成する。外形決定部１２４は、等高線画像に基づいて器具領域を設定する。

　具体的に、図１２及び図１３を用いて説明する。

　平面推定部１３は、器具８の３次元形状の測定データに基づいて、設置面９に対応する平面である検出平面Ｍ１（図１３参照）を推定する。

　補助外形設定部１２１は、図１２に示すように、２次元画像Ｇａ１に器具８の外形に対応する領域を補助器具領域Ｒｃ１として設定する。補助外形設定部１２１は、上述の実施形態で説明したユーザの操作による器具領域Ｒａ３（図４参照）の設定、又は第１変形例で説明した学習モデルによる器具領域Ｒａ２３（図１０参照）の設定と同様に、２次元画像Ｇａ１における器具８の外形に対応する領域を、補助器具領域Ｒｃ１として設定する。

　補助投影部１２２は、検出平面Ｍ１に補助器具領域Ｒｃ１を投影することで、図１３に示すように検出平面Ｍ１上に補助投影領域Ｒｄ１を形成する。補助投影領域Ｒｄ１は、上述の投影領域Ｒｂ３（図７参照）と同様に形成された領域である。

　等高線生成部１２３は、器具８の３次元形状の測定データに基づいて、検出平面Ｍ１を基準とした補助投影領域Ｒｄ１の等高線画像Ｇｂ１（図１３参照）を生成する。測定データは、デプス画像に含まれている。等高線画像Ｇｂ１は、補助投影領域Ｒｄ１の内部に等高線Ｌ３１～Ｌ３３を形成した画像である。等高線Ｌ３１～Ｌ３３は、検出平面Ｍ１を基準として、正方向（凸部）及び負方向（凹部）の両方に設定可能である。すなわち、等高線画像Ｇｂ１は、補助投影領域Ｒｄ１の内部に形成された等高線Ｌ３１～Ｌ３３によって、器具８の凹凸などの３次元形状を視覚的に表している。具体的に、等高線画像Ｇｂ１は、等高線Ｌ３１～Ｌ３３の各間の色又は濃淡の少なくとも一方を異ならせることで、器具８の凹凸を視覚的に容易に把握できるように構成されている。

　そして、外形決定部１２４は、等高線画像Ｇｂ１に基づいて器具領域を設定する。例えば、外形決定部１２４は、２次元画像Ｇａ１に等高線画像Ｇｂ１を重ね合わせる。外形決定部１２４は、上述の実施形態で説明したユーザの操作による器具領域Ｒａ３の設定、又は第１変形例で説明した学習モデルによる器具領域Ｒａ３の設定と同様に、等高線画像Ｇｂ１を含む２次元画像Ｇａ１に器具領域を設定する。

　外形決定部１２４が用いる学習モデルは、機械学習においては、等高線画像、及び等高線画像のセグメンテーション画像を教師データとする。この結果、外形決定部１２４が用いる学習モデルは、等高線画像を入力されると、等高線画像にセマンティックセグメンテーションの処理を施して、等高線画像を複数のクラスに分割することができる。そして、外形決定部１２４が用いる学習モデルは、等高線画像に「器具」のクラスが存在すれば、「器具」のクラスに対応する領域を器具領域として決定する。学習モデルは、等高線画像に「器具」のクラスが存在しなければ、器具未検出と判定して、当該判定結果を出力する。

　そして、上述の実施形態と同様に、投影部１４は、検出平面Ｍ１に器具領域を投影することで、検出平面Ｍ１上に投影領域を形成する。測定部１５は、投影領域に基づいて、器具８の寸法を測定する。

　本変形例の外形設定部１２Ａは、器具８の３次元形状（凹凸形状）を視覚的に表した等高線画像Ｇｂ１を用いて器具領域を設定する。したがって、２次元画像Ｇａ１における器具８の撮像領域Ｒａ１の輪郭が不鮮明であっても、等高線画像Ｇｂ１を用いることで、器具８の撮像領域Ｒａ１の輪郭を精度よく見極められる。この結果、外形決定部１２４は、器具領域を精度よく設定できる。

　例えば、器具８が照明器具であるときに、撮像部２が点灯中の照明器具を撮像すると、２次元画像Ｇａ１では、器具８の撮像領域Ｒａ１の輪郭が光膨張（ハレーション）によって不鮮明になることがある。しかしながら、本変形例の外形設定部１２Ａは、等高線画像Ｇｂ１を用いることで、器具８の撮像領域Ｒａ１の輪郭を精度よく見極めて器具領域を精度よく設定できる。

　（５）第３変形例
　図１４は、寸法測定システム１００の具体的な構成例を示す。寸法測定システム１００は、ユーザが携行可能な情報端末Ｔ１、及びサーバ装置Ｔ２によって実現されることが好ましい。情報端末Ｔ１は、例えばタブレット端末又はスマートフォンなどである。情報端末Ｔ１は、データ取得部１１、平面推定部１３、投影部１４、測定部１５、撮像部２、表示部３、及び操作部４の各機能を備える。そして、ユーザは、情報端末Ｔ１を携行して、建築物内を移動する。サーバ装置Ｔ２は、建築物から離れた遠隔地に設置されており、外形設定部１２の機能を備える。

　情報端末Ｔ１は、器具８の寸法を測定する寸法測定処理のためのアプリケーションを予めインストールしており、当該アプリケーションを実行することで、サーバ装置Ｔ２との間でインターネット等を含む広域通信網ＮＴ１を介して通信可能に構成されている。アプリケーションを実行している情報端末Ｔ１は、サーバ装置Ｔ２との間で各種データの送信及び受信を行うことができる。

　そして、情報端末Ｔ１は、データ取得部１１が取得した２次元画像のデータを、サーバ装置Ｔ２へ送信する。サーバ装置Ｔ２の外形設定部１２は、２次元画像に器具８の外形に対応する領域を器具領域として設定する。サーバ装置Ｔ２は、設定した器具領域のデータを情報端末Ｔ１へ送信する。情報端末Ｔ１では、平面推定部１３、投影部１４、及び測定部１５が上記同様の処理を行う。

　ここで、本変形例の外形設定部１２は、上述の第１変形例と同様に、学習モデルを用いて器具領域を設定することが好ましい。この場合、外形設定部１２をサーバ装置Ｔ２に設けることで、外形設定部１２が学習モデルを用いた処理を実行するためのリソースを容易に確保することができ、情報端末Ｔ１の負荷を低減できる。

　（６）第４変形例
　第４変形例では、表示部３に表示する画面（表示画面）について説明する。

　図１５は、撮像部２が器具８を撮像するときに表示部３に表示される第１操作画面Ｆ１を示す。表示部３は矩形状のディスプレイを有し、矩形状の第１操作画面Ｆ１には、撮像部２の２次元カメラ２１の撮像画像Ｇｃ１がリアルタイムで表示される。

　さらに、表示部３は、タッチパネルディスプレイであり、第１操作画面Ｆ１には操作部４も形成されている。具体的に、操作部４としての操作部４１－４３が、第１操作画面Ｆ１の右辺に沿って並んで配置されている。操作部４１は撮影設定ボタンであり、操作部４１の操作によって、撮影用ライトの使用の可否、及び保存データの選択などが行われる。操作部４２は撮影ボタンであり、操作部４２が操作されると、２次元カメラ２１及びデプスカメラ２２が駆動し、撮像部２は、２次元画像及びデプス画像の各データを生成する。操作部４３は測定モード設定ボタンであり、操作部４３の操作によって、器具８の寸法を測定するモード（測定モード）の選択が行われる。測定モードには、直線測定モード、矩形測定モード、直径測定モードなどが含まれる。直線測定モードは、器具８の輪郭に含まれる直線状の１辺の寸法を測定するモードである。矩形測定モードは、器具８の矩形状の輪郭の長辺及び短辺の各寸法を測定するモードである。直径測定モードは、器具８の円形の輪郭の直径の寸法を測定するモードである。

　図１６は、撮像部２が器具８を撮像した後に表示部３に表示される第２操作画面Ｆ２を示す。表示部３は矩形状のディスプレイを有し、矩形状の第２操作画面Ｆ２には、撮像部２の２次元カメラ２１が撮像した２次元画像Ｇａ４が表示される。

　さらに、表示部３は、タッチパネルディスプレイであり、第２操作画面Ｆ２には操作部４も形成されている。具体的に、操作部４としての操作部４４が、２次元画像Ｇａ４の右辺の外側に配置されている。操作部４４は測定設定ボタンであり、寸法測定処理の経過に伴う表示内容の選択、及び保存データの選択などが行われる。

　さらに、第２操作画面Ｆ２には結果表示領域Ｒｘも形成されている。結果表示領域Ｒｘは、２次元画像Ｇａ４の右辺の外側に配置されている。結果表示領域Ｒｘは、測定部１５による器具８の寸法の測定結果が表示される。

　また、第２操作画面Ｆ２は、第１操作画面Ｆ１の操作部４３（測定モード設定ボタン）の操作によって選択された測定モード毎に異なる画面構成であることが好ましい。すなわち、第１操作画面Ｆ１からの遷移先となる第２操作画面Ｆ２は、第１操作画面Ｆ１の操作部４３の操作によって選択された測定モード毎に異なる。

　また、第１操作画面Ｆ１で操作部４２の操作によって２次元画像及びデプス画像の各データを生成すると、第２操作画面Ｆ２に遷移することなく、２次元画像及びデプス画像の各データを画像処理システム１に保存することも可能である。

　（７）第５変形例
　データ取得部１１は、器具８の２次元画像のデータ、及び器具８の３次元形状の測定データを、撮像部２から取得する構成に限定されない。例えば、２次元画像のデータ及び３次元形状の測定データを、データサーバに予め格納しておき、データ取得部１１は、２次元画像のデータ及び３次元形状の測定データをデータサーバから取得（読み込み）してもよい。

　また、本変形例においても、測定モードを選択することで、２次元画像のデータ及び３次元形状の測定データを読み込んだ後に表示部３に表示される第２操作画面Ｆ２を、測定モード毎に異なる画面構成とすることが好ましい。

　（８）第６変形例
　器具８の２次元画像のデータ及び３次元形状の測定データの組み合わせには、オブジェクトＩＤ（識別情報）が付与されることが好ましい。この場合、２次元画像のデータ及び３次元形状の測定データは、オブジェクトＩＤを用いて管理される。

　器具８の形状は、上述の形状に限定されず、例えば半球形、角柱、円柱、及び不規則形状などの他の形状であってもよい。

　器具８は、照明器具に限定されず、例えば空調装置、電気器具、及びガス器具などの他の器具であってもよい。

　撮像部２は、３次元レーザスキャナ、又はＬｉＤＡＲ（Light Detection and Ranging）などのように、レーザを用いて点群データを生成する構成を備えていてもよい。この場合、器具８の３次元形状の測定データは、点群データに含まれる。

　また、撮像部２は、２つ以上のレンズを有するステレオカメラであってもよい。

　また、上述の実施形態及び各変形例の構成を適宜組み合わせることも可能である。

　（９）画像処理方法
　上述の画像処理システム１が行う画像処理方法をまとめると、画像処理方法は、図１７のフローチャートに示される。

　画像処理方法は、データ取得ステップＳ１と、外形設定ステップＳ２と、平面推定ステップＳ３と、投影ステップＳ４と、測定ステップＳ５と、を含む。データ取得ステップＳ１では、データ取得部１１が、設置面９に設置されている器具８を撮像することで生成された２次元画像Ｇａ１、Ｇａ２のデータ、及び器具８の３次元形状の測定データを取得する。外形設定ステップＳ２では、外形設定部１２（又は１２Ａ）が、２次元画像Ｇａ１、Ｇａ２における器具８の外形に対応する領域を器具領域Ｒａ３、Ｒａ１３として設定する。平面推定ステップＳ３では、平面推定部１３が、測定データに基づいて、設置面９に対応する検出平面Ｍ１、Ｍ１１を推定する。投影ステップＳ４では、投影部１４が、検出平面Ｍ１、Ｍ１１に器具領域Ｒａ３、Ｒａ１３を投影することで、検出平面Ｍ１、Ｍ１１上に投影領域Ｒｂ３、Ｒｂ１３を形成する。測定ステップＳ５では、測定部１５が、投影領域Ｒｂ３、Ｒｂ１３に基づいて、器具８の寸法を測定する。

　上述の各ステップを含む画像処理方法は、設置面９に設置された器具８の寸法を精度よく測定することができる。画像処理方法は、例えば器具８の表面を占める平面の割合が低くても、設置面９に設置された器具８の寸法を容易、かつ、高精度に測定することができる。

　（１０）まとめ
　実施形態に係る第１の態様の画像処理システム（１）は、データ取得部（１１）と、外形設定部（１２、１２Ａ）と、平面推定部（１３）と、投影部（１４）と、測定部（１５）と、を備える。データ取得部（１１）は、設置面（９）に設置されている器具（８）を撮像することで生成された２次元画像（Ｇａ１、Ｇａ２、Ｇａ３）のデータ、及び器具（８）の３次元形状の測定データを取得する。外形設定部（１２、１２Ａ）は、２次元画像（Ｇａ１、Ｇａ２、Ｇａ３）に器具（８）の外形に対応する領域を器具領域（Ｒａ３、Ｒａ１３、Ｒａ２３）として設定する。平面推定部（１３）は、測定データに基づいて、設置面（９）に対応する検出平面（Ｍ１、Ｍ１１）を推定する。投影部（１４）は、検出平面（Ｍ１、Ｍ１１）に器具領域（Ｒａ３、Ｒａ１３、Ｒａ２３）を投影することで、検出平面（Ｍ１、Ｍ１１）上に投影領域（Ｒｂ３、Ｒｂ１３）を形成する。測定部（１５）は、投影領域（Ｒｂ３、Ｒｂ１３）に基づいて、器具（８）の寸法を測定する。

　上述の画像処理システム（１）は、設置面（９）に設置された器具（８）の寸法を精度よく測定することができる。特に、画像処理システム（１）は、例えば器具（８）の表面を占める平面の割合が低くても、設置面（９）に設置された器具（８）の寸法を容易、かつ、高精度に測定することができる。

　実施形態に係る第２の態様の画像処理システム（１）では、第１の態様において、外形設定部（１２）は、ユーザの操作によって２次元画像（Ｇａ１、Ｇａ２）に設定された少なくとも２つの座標に基づいて、器具領域（Ｒａ３、Ｒａ１３）を設定することが好ましい。

　上述の画像処理システム（１）は、ユーザの操作に基づいて器具領域（Ｒａ３、Ｒａ１３）を設定できる。

　実施形態に係る第３の態様の画像処理システム（１）では、第１の態様において、外形設定部（１２）は、２次元画像（Ｇａ３）のデータを入力されて、２次元画像（Ｇａ３）に設定した器具領域（Ｒａ２３）のデータを出力する学習モデルを備える。

　上述の画像処理システム（１）は、学習モデルを用いることで、器具領域（Ｒａ２３）を簡易、かつ、高精度に設定することができる。

　実施形態に係る第４の態様の画像処理システム（１）では、第１乃至第３の態様のいずれか１つにおいて、外形設定部（１２Ａ）は、補助外形設定部（１２１）と、補助投影部（１２２）と、等高線生成部（１２３）と、外形決定部（１２４）と、を備える。補助外形設定部（１２１）は、２次元画像（Ｇａ１）に器具（８）の外形に対応する領域を補助器具領域（Ｒｃ１）として設定する。補助投影部（１２２）は、検出平面（Ｍ１）に補助器具領域（Ｒｃ１）を投影することで、検出平面（Ｍ１）上に補助投影領域（Ｒｄ１）を形成する。等高線生成部（１２３）は、測定データに基づいて、検出平面（Ｍ１）を基準とした補助投影領域（Ｒｄ１）の等高線画像（Ｇｂ１）を生成する。外形決定部（１２４）は、等高線画像（Ｇｂ１）に基づいて器具領域を設定する。

　上述の画像処理システム（１）は、等高線画像（Ｇｂ１）を用いることで、器具（８）の撮像領域の輪郭を精度よく見極めて器具領域を精度よく設定できる。

　実施形態に係る第５の態様の画像処理システム（１）では、第１乃至第４の態様のいずれか１つにおいて、測定データはデプス画像に含まれる。平面推定部（１３）は、デプス画像に器具領域（Ｒａ３、Ｒａ１３、Ｒａ２３）を重ね合わせて、器具領域（Ｒａ３、Ｒａ１３、Ｒａ２３）の周囲の測定データに基づいて、検出平面（Ｍ１、Ｍ１１）のデータを作成することが好ましい。

　上述の画像処理システム（１）は、精度のよい検出平面（Ｍ１、Ｍ１１）のデータを作成できる。

　実施形態に係る第６の態様の画像処理システム（１）では、第１乃至第５の態様のいずれか１つにおいて、測定部（１５）は、検出平面（Ｍ１、Ｍ１１）における投影領域（Ｒｂ３、Ｒｂ１３）の輪郭上の複数の座標（Ｑ１ｂ、Ｑ２ｂ、Ｑ３ｂ、Ｑ４ｂ、Ｑ１１ｂ、Ｑ１２ｂ）、及び複数の座標（Ｑ１ｂ、Ｑ２ｂ、Ｑ３ｂ、Ｑ４ｂ、Ｑ１１ｂ、Ｑ１２ｂ）にそれぞれ対応する測定データに基づいて、器具（８）の寸法（Ｗ１、Ｗ２、Ｗ１１）を測定することが好ましい。

　上述の画像処理システム（１）は、器具（８）の寸法（Ｗ１、Ｗ２、Ｗ１１）を高精度に測定できる。

　実施形態に係る第７の態様の寸法測定システム（１００）は、第１乃至第６の態様のいずれか１つの画像処理システム（１）と、２次元画像（Ｇａ１、Ｇａ２、Ｇａ３）のデータ及び測定データを生成する撮像部（２）と、を備える。

　上述の寸法測定システム（１００）は、設置面（９）に設置された器具（８）の寸法を精度よく測定することができる。

　上述の実施形態に係る第８の態様の画像処理方法は、データ取得ステップ（Ｓ１）と、外形設定ステップ（Ｓ２）と、平面推定ステップ（Ｓ３）と、投影ステップ（Ｓ４）と、測定ステップ（Ｓ５）と、を含む。データ取得ステップ（Ｓ１）は、設置面（９）に設置されている器具（８）を撮像することで生成された２次元画像（Ｇａ１、Ｇａ２、Ｇａ３）のデータ、及び器具（８）の３次元形状の測定データを取得する。外形設定ステップ（Ｓ２）は、２次元画像（Ｇａ１、Ｇａ２、Ｇａ３）に器具（８）の外形に対応する領域を器具領域（Ｒａ３、Ｒａ１３、Ｒａ２３）として設定する。平面推定ステップ（Ｓ３）は、測定データに基づいて、設置面（９）に対応する検出平面（Ｍ１、Ｍ１１）を推定する。投影ステップ（Ｓ４）は、検出平面（Ｍ１、Ｍ１１）に器具領域（Ｒａ３、Ｒａ１３、Ｒａ２３）を投影することで、検出平面（Ｍ１、Ｍ１１）上に投影領域（Ｒｂ３、Ｒｂ１３）を形成する。測定ステップ（Ｓ５）は、投影領域（Ｒｂ３、Ｒｂ１３）に基づいて、器具（８）の寸法を測定する。

　上述の画像処理方法は、設置面（９）に設置された器具（８）の寸法を精度よく測定することができる。

　実施形態に係る第９の態様のプログラムは、コンピュータシステムに第８の態様の画像処理方法を実行させる。

　上述のプログラムは、設置面（９）に設置された器具（８）の寸法を精度よく測定することができる。

　１００　寸法測定システム
　１　画像処理システム
　１１　データ取得部
　１２、１２Ａ　外形設定部
　１２１　補助外形設定部
　１２２　補助投影部
　１２３　等高線生成部
　１２４　外形決定部
　１３　平面推定部
　１４　投影部
　１５　測定部
　２　撮像部
　８　器具
　９　設置面
　Ｇａ１、Ｇａ２、Ｇａ３　２次元画像
　Ｒａ３、Ｒａ１３、Ｒａ２３　器具領域
　Ｍ１、Ｍ１１　検出平面
　Ｒｂ３、Ｒｂ１３　投影領域
　Ｒｃ１　補助器具領域
　Ｒｄ１　補助投影領域
　Ｇｂ１　等高線画像
　Ｑ１ｂ、Ｑ２ｂ、Ｑ３ｂ、Ｑ４ｂ、Ｑ１１ｂ、Ｑ１２ｂ　測定座標（座標）
　Ｗ１、Ｗ２、Ｗ１１　長さ寸法（寸法）
　Ｓ１　データ取得ステップ
　Ｓ２　外形設定ステップ
　Ｓ３　平面推定ステップ
　Ｓ４　投影ステップ
　Ｓ５　測定ステップ

Claims

　設置面に設置されている器具を撮像することで生成された２次元画像のデータ、及び前記器具の３次元形状の測定データを取得するデータ取得部と、
　前記２次元画像における前記器具の外形に対応する領域を器具領域として設定する外形設定部と、
　前記測定データに基づいて、前記設置面に対応する検出平面を推定する平面推定部と、
　前記検出平面に前記器具領域を投影することで、前記検出平面上に投影領域を形成する投影部と、
　前記投影領域に基づいて、前記器具の寸法を測定する測定部と、を備える
　画像処理システム。
　前記外形設定部は、ユーザの操作によって前記２次元画像に設定された少なくとも２つの座標に基づいて、前記器具領域を設定する
　請求項１の画像処理システム。
　前記外形設定部は、前記２次元画像のデータを入力されて、前記２次元画像に設定した前記器具領域のデータを出力する学習モデルを備える
　請求項１の画像処理システム。
　前記外形設定部は、
　　前記２次元画像に前記器具の外形に対応する領域を補助器具領域として設定する補助外形設定部と、
　　前記検出平面に前記補助器具領域を投影することで、前記検出平面上に補助投影領域を形成する補助投影部と、
　　前記測定データに基づいて、前記検出平面を基準とした前記補助投影領域の等高線画像を生成する等高線生成部と、
　　前記等高線画像に基づいて前記器具領域を設定する外形決定部と、を備える
　請求項１乃至３のいずれか１つの画像処理システム。
　前記測定データはデプス画像に含まれ、
　前記平面推定部は、前記デプス画像に前記器具領域を重ね合わせて、前記器具領域の周囲の前記測定データに基づいて、前記検出平面のデータを作成する
　請求項１乃至４のいずれか１つの画像処理システム。
　前記測定部は、前記検出平面における前記投影領域の輪郭上の複数の座標、及び前記複数の座標にそれぞれ対応する測定データに基づいて、前記器具の寸法を測定する
　請求項１乃至５のいずれか１つの画像処理システム。
　請求項１乃至６のいずれか１つの画像処理システムと、
　前記２次元画像のデータ及び前記測定データを生成する撮像部と、を備える
　寸法測定システム。
　設置面に設置されている器具を撮像することで生成された２次元画像のデータ、及び前記器具の３次元形状の測定データを取得するデータ取得ステップと、
　前記２次元画像における前記器具の外形に対応する領域を器具領域として設定する外形設定ステップと、
　前記測定データに基づいて、前記設置面に対応する検出平面を推定する平面推定ステップと、
　前記検出平面に前記器具領域を投影することで、前記検出平面上に投影領域を形成する投影ステップと、
　前記投影領域に基づいて、前記器具の寸法を測定する測定ステップと、を含む
　画像処理方法。
　コンピュータシステムに請求項８の画像処理方法を実行させる
　プログラム。