JP6913123B2 - 配筋計測システム、配筋計測方法およびプログラム - Google Patents

配筋計測システム、配筋計測方法およびプログラム Download PDF

Info

Publication number
JP6913123B2
JP6913123B2 JP2019068483A JP2019068483A JP6913123B2 JP 6913123 B2 JP6913123 B2 JP 6913123B2 JP 2019068483 A JP2019068483 A JP 2019068483A JP 2019068483 A JP2019068483 A JP 2019068483A JP 6913123 B2 JP6913123 B2 JP 6913123B2
Authority
JP
Japan
Prior art keywords
reinforcing bars
unit
information
stereo image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019068483A
Other languages
English (en)
Other versions
JP2020165886A5 (ja
JP2020165886A (ja
Inventor
佐藤 佐一
佐一 佐藤
寿一 林
寿一 林
雅樹 東山
雅樹 東山
絢 山下
絢 山下
横川 恒
横川  恒
博久 早川
博久 早川
智彦 酒匂
智彦 酒匂
平 陽兵
陽兵 平
奨 桑島
奨 桑島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kajima Corp
Original Assignee
Kajima Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kajima Corp filed Critical Kajima Corp
Priority to JP2019068483A priority Critical patent/JP6913123B2/ja
Publication of JP2020165886A publication Critical patent/JP2020165886A/ja
Publication of JP2020165886A5 publication Critical patent/JP2020165886A5/ja
Application granted granted Critical
Publication of JP6913123B2 publication Critical patent/JP6913123B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、配筋検査を支援する配筋計測システム、配筋計測方法およびプログラムに関する。
鉄筋コンクリート造の建築物の工事において、配筋図や設計図等に基づいて鉄筋が正しく配置されているか否かを検査する配筋検査が行われている。この配筋検査では、検査の効率化および検査者の負担軽減のため、配筋検査を支援する配筋計測支援システムの導入が行われている。例えば、ステレオ撮影可能な撮像装置によって生成された複数の鉄筋を写す撮影画像上において、鉄筋の種類や鉄筋の間隔等の撮像することによって計測する鉄筋計測処理を行う前に計測可能な領域を表示する技術が知られている(例えば特許文献1参照)。この技術によれば、ステレオ撮影可能な撮像装置によって生成された複数の鉄筋を写す撮影画像上において、配筋検査における鉄筋計測に用いられる計測対象領域と、この計測対象領域に用いられない計測対象領域外領域と、を識別する識別情報を撮影画像上に重畳して表示することによって、鉄筋計測処理を行う前に計測可能な領域を直感的に把握させる。
特開2018−173277号公報
ところで、上述した特許文献1では、鉄筋計測処理を行う前に計測可能な領域を表示するのみであるため、さらなる配筋検査の作業効率を向上させることができる技術が望まれていた。
本開示は、上記に鑑みてなされたものであって、配筋検査の作業効率を向上させた配筋計測システム、配筋計測方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示に係る配筋計測システムは、複数の鉄筋が配置された検査現場を撮像することによって生成された視差を有する第1の画像データと第2の画像データであるステレオ画像データを取得する取得部と、設計情報に基づき、少なくとも複数の鉄筋の種別の各々に対応する識別情報と、前記複数の鉄筋の種別の各々に対応する、少なくとも寸法及び配置間隔を含む鉄筋情報と、を対応付けた検査情報を作成する作成部と、前記ステレオ画像データに基づいて、前記ステレオ画像データに対応する第1の画像または第2の画像内であるステレオ画像内における前記複数の鉄筋の位置を検出する検出部と、前記複数の鉄筋の位置と前記ステレオ画像とに基づいて、少なくとも前記ステレオ画像内における前記複数の鉄筋の各々の寸法または配置間隔を計測する計測部と、前記検査情報と前記計測部の計測した計測結果である前記複数の鉄筋の各々の当該寸法又は当該配置間隔とに基づいて、前記検出部によって位置が検出された前記複数の鉄筋の前記鉄筋情報に一致する前記鉄筋の種別を割り当てる割り当て部と、前記ステレオ画像内の前記複数の鉄筋の位置に基づいて、前記複数の鉄筋と、前記割り当て部が割り当てた前記複数の鉄筋の種別の各々に対応する前記識別情報とを対応付けた計測情報を生成する生成部と、を備える。
また、本開示に係る配筋計測システムは、上記開示において、前記計測部は、前記複数の鉄筋の各々の寸法および前記複数の鉄筋の各々の配置間隔を計測し、前記割り当て部は、前記検査情報と前記計測部の計測結果とに基づいて、前記検出部によって位置が検出された前記複数の鉄筋の各々の寸法に一致する前記鉄筋番号または前記複数の鉄筋の各々の配置間隔に一致する前記鉄筋番号を割り当てる。
また、本開示に係る配筋計測システムは、上記開示において、前記識別情報を選択する指示信号の入力を受け付ける入力部をさらに備え、前記表示制御部は、前記指示信号に応じた前記識別情報を強調表示する。
また、本開示に係る配筋計測システムは、上記開示において、前記ステレオ画像データに基づいて、前記計測部が計測可能な計測範囲を特定する特定部をさらに備え、前記表示制御部は、前記計測範囲を前記ステレオ画像上に重畳して前記表示部に表示させる。
また、本開示に係る配筋計測システムは、上記開示において、前記表示制御部は、前記複数の鉄筋番号の各々に対応する前記識別情報を識別可能な表示態様で前記表示部に表示させる。
また、本開示に係る配筋計測システムは、上記開示において、前記検査情報は、検査場所の図面情報、設計情報および位置情報を含む黒板情報であり、前記表示制御部は、前記検査情報を前記ステレオ画像上に重畳することによって前記表示部に表示させる、または前記ステレオ画像の周辺領域に前記表示部に表示させる。
また、本開示に係る配筋計測システムは、上記開示において、前記複数の鉄筋の各々の配置間隔を示す設計値と、前記複数の鉄筋の配置の本数を示す本数情報と、を含む設計情報を記録する設計情報記録部と、前記設計情報に基づいて、前記複数の鉄筋の各々の配置間隔を判定する判定部と、をさらに備え、前記計測部は、前記複数の鉄筋の位置と前記ステレオ画像とに基づいて、前記複数の鉄筋の各々の配置間隔を示す実測値をさらに計測し、前記判定部は、前記実測値が前記設計値の許容範囲外であるか否かを判定し、前記表示制御部は、前記判定部によって前記実測値が前記許容範囲外であると判定された場合、前記許容範囲外であると判定された前記鉄筋に対応する前記識別情報を前記表示部に強調表示させる。
また、本開示に係る配筋計測システムは、上記開示において、前記複数の鉄筋の各々の配置間隔を示す設計値と、前記複数の鉄筋の配置の本数を示す本数情報と、を含む設計情報を記録する設計情報記録部と、前記設計情報に基づいて、前記複数の鉄筋の各々の配置間隔を判定する判定部と、をさらに備え、前記計測部は、前記複数の鉄筋の位置と前記ステレオ画像とに基づいて、前記複数の鉄筋の各々の配置間隔を示す実測値をさらに計測し、前記判定部は、前記実測値が前記設計値の許容範囲外であるか否かを判定し、前記表示制御部は、前記判定部によって前記実測値が前記許容範囲外であると判定された場合、前記許容範囲外であると判定された前記鉄筋に対応する前記識別情報を前記表示部に強調表示させる。
また、本開示に係る配筋計測システムは、上記開示において、互いに視野領域の一部が重なる2つの光学系を有する撮像部をさらに備える。
また、本開示に係る配筋計測システムは、上記開示において、前記表示部と、前記表示部の表示領域上に重畳して設けられ、外部からの接触位置に応じた信号を出力するタッチパネルと、をさらに備える。
また、本開示に係る配筋計測方法は、配筋計測システムが実行する配筋計測方法であって、複数の鉄筋が配置された検査現場を撮像することによって生成された視差を有するステレオ画像データを取得し、少なくとも複数の鉄筋番号の各々に対応する識別情報と、前記複数の鉄筋番号の各々に対応する、少なくとも寸法および配置間隔を含む鉄筋情報と、を対応付けた検査情報を作成し、前記ステレオ画像データに基づいて、前記ステレオ画像データに対応するステレオ画像内における前記複数の鉄筋の位置を検出し、前記複数の鉄筋の位置と前記ステレオ画像とに基づいて、少なくとも前記ステレオ画像内における前記複数の鉄筋の各々を計測し、前記検査情報と前記複数の鉄筋の各々の寸法の計測結果とに基づいて、前記複数の鉄筋の各々の前記鉄筋情報に一致する前記鉄筋番号を割り当て、前記複数の鉄筋の位置に基づいて、前記ステレオ画像内における前記複数の鉄筋の各々を通過する位置に複数の鉄筋検出仮想線を生成し、かつ、該複数の鉄筋検出仮想線と割り当てた前記複数の鉄筋番号の各々に対応する前記識別情報とを対応付けた計測情報を生成し、前記ステレオ画像上に前記計測情報を重畳して表示部に表示させる。
また、本開示に係るプログラムは、複数の鉄筋が配置された検査現場を撮像することによって生成された視差を有するステレオ画像データを取得し、少なくとも複数の鉄筋番号の各々に対応する識別情報と、前記複数の鉄筋番号の各々に対応する、少なくとも寸法および配置間隔を含む鉄筋情報と、を対応付けた検査情報を作成し、前記ステレオ画像データに基づいて、前記ステレオ画像データに対応するステレオ画像内における前記複数の鉄筋の位置を検出し、前記複数の鉄筋の位置と前記ステレオ画像とに基づいて、少なくとも前記ステレオ画像内における前記複数の鉄筋の各々を計測し、前記検査情報と前記複数の鉄筋の各々の寸法の計測結果とに基づいて、前記複数の鉄筋の各々の前記鉄筋情報に一致する前記鉄筋番号を割り当て、前記複数の鉄筋の位置に基づいて、前記ステレオ画像内における前記複数の鉄筋の各々を通過する位置に複数の鉄筋検出仮想線を生成し、かつ、該複数の鉄筋検出仮想線と割り当てた前記複数の鉄筋番号の各々に対応する前記識別情報とを対応付けた計測情報を生成し、前記ステレオ画像上に前記計測情報を重畳して表示部に表示させる。
本開示によれば、配筋検査の作業効率を向上させることができるという効果を奏する。
図1は、一実施の形態に係る配筋計測システムの概略構成を示す模式図である。 図2は、一実施の形態に係る配筋計測システムの機能構成を示すブロック図である。 図3は、一実施の形態に係る配筋計測システムが実行する処理の概要を示すフローチャートである。 図4は、一実施の形態に係る作成部が作成する黒板情報の一例を模式的に示す図である。 図5は、使用者が配筋計測システムを用いて検査現場を撮影している状況を模式的に示す図である。 図6は、一実施の形態に係る生成部が生成する計測情報の一例を模式的に示す図である。 図7は、一実施の形態に係る表示部が表示する画像の一例を示す図である。
以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。
〔配筋計測システムの構成〕
図1は、一実施の形態に係る配筋計測システムの概略構成を示す模式図である。図2は、一実施の形態に係る配筋計測システムの機能構成を示すブロック図である。
図1および図2に示す配筋計測システム1は、視差を有する2つの光学系を有し、ステレオ画像データを生成する撮像部10と、撮像部10によって生成されたステレオ画像データに対して各種処理を行って表示する端末部20と、を備える。
〔撮像部の構成〕
まず、撮像部10の構成について説明する。
撮像部10は、第1の光学系101と、第1の撮像素子102と、第2の光学系103と、第2の撮像素子104と、撮像制御部105と、通信部106と、を備える。
第1の光学系101は、一または複数のレンズ、絞りおよびシャッタ等を用いて構成され、所定の視野領域から集光することによって被写体像を第1の撮像素子102の受光面に結像する。また、第1の光学系101は、光軸L1方向に沿って移動可能に設けられ、ピント位置を調整するAF(Auto Focus)機能を有する。
第1の撮像素子102は、撮像制御部105の制御のもと、第1の光学系101が受光面に結像した被写体像を受光することによって第1の画像データを生成し、この第1の画像データを撮像制御部105へ出力する。第1の撮像素子102は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサとA/D変換回路等の信号処理回路等を用いて構成される。
第2の光学系103は、第1の光学系101と同一の構成を有し、一または複数のレンズ、絞りおよびシャッタ等を用いて構成され、第1の光学系101の視野領域の一部と重なる視野領域から集光して被写体像を第2の撮像素子104の受光面に結像する。第2の光学系103は、光軸L2方向に沿って移動可能に設けられ、ピント位置を調整するAF機能を有する。
第2の撮像素子104は、撮像制御部105の制御のもと、第2の光学系103が受光面に結像した被写体像を受光することによって第2の画像データを生成し、この第2の画像データを撮像制御部105へ出力する。第2の撮像素子104は、CCDやCMOS等のイメージセンサとA/D変換回路等の信号処理回路等を用いて構成される。
撮像制御部105は、第1の撮像素子102および第2の撮像素子104の各々の撮像を制御する。撮像制御部105は、第1の撮像素子102および第2の撮像素子104を同期させて同じタイミングで第1の画像データおよび第2の画像データを生成させ、この第1の画像データおよび第2の画像データを、視差を有するステレオ画像データ(以下、単に「ストレオ画像データ」という)として第1の撮像素子102および第2の撮像素子104から取得する。撮像制御部105は、通信部106から入力された各種情報や同期信号等に基づいて、第1の撮像素子102および第2の撮像素子104を制御し、通信部106を経由して端末部20へ第1の撮像素子102および第2の撮像素子104の各々によって生成されたステレオ画像データを出力する。撮像制御部105は、メモリとCPU(Central Processing Unit)やASIC(Application Specific Integrated Circuit)等のハードウェアを有するプロセッサを用いて構成される。
通信部106は、撮像制御部105の制御のもと、端末部20から入力された各種信号やデータを撮像制御部105へ出力するとともに、撮像制御部105から入力されたストレオ画像データを含む各種信号やデータを出力する。通信部106は、有線または無線によって端末部20に接続される。通信部106は、例えば入出力インターフェース回路またはWi-Fi(Wireless Fidelity)(登録商標)やBluetooth(登録商標)等の無線通信可能な通信回路等を用いて構成される。
このように構成された撮像部10は、第1の光学系101と第2の光学系103とが所定の距離D1を離して光軸が同一平面内において平行となるように配置される。これにより、撮像部10は、視差を有するステレオ画像データを生成し、このステレオ画像データを端末部20へ有線または無線によって出力する。
〔端末部の構成〕
次に、端末部20の構成について説明する。
端末部20は、通信部201と、記録部202と、表示部203と、タッチパネル204と、入力部205と、制御部206と、を備える。
通信部201は、制御部206の制御のもと、制御部206から入力された各種信号やデータを撮像部10へ出力するとともに、撮像部10から入力された各種信号や視差を有するステレオ画像データを取得することによって制御部206へ出力する。通信部201は、有線または無線によって撮像部10に接続される。通信部201は、例えば入出力インターフェース回路またはWi-FiやBluetooth等の無線通信可能な通信回路等を用いて構成される。
記録部202は、配筋計測システム1が実行する各種のプログラムを記憶するプログラム記録部202aと、検査場所の図面情報、複数の鉄筋の各々の配置間隔や公差を含む設計値、複数の鉄筋の配置の本数を示す本数情報および検査場所を示す検査場所情報(測定位値)を含む設計情報を記録する設計情報記録部202bと、後述する制御部206が生成した検査情報を記録する検査情報記録部202cと、配筋計測システム1による検査結果を記録する検査結果記録部202dと、を有する。記録部202は、揮発性メモリ、不揮発性メモリ等を用いて構成される。なお、記録部202は、端末部20の外部から着脱自在なメモリカード等の記録媒体を用いて構成してもよい。さらに、設計情報記録部202が記憶する設計情報は、通信部201を経由して外部のサーバや端末装置から取得してもよいし、着脱自在なメモリカード等の記録媒体に記録されたものから取得できるようにしてもよい。
表示部203は、制御部206の制御のもと、制御部206から入力された画像データに対応する画像や配筋計測システム1に関する各種情報を表示する。表示部203は、液晶や有機EL(Electro Luminescence)等の表示パネルを用いて構成される。
タッチパネル204は、表示部203の表示領域上に重畳して設けられ、外部からの接触位置に応じた信号の入力を受け付け、この入力を受け付けた信号を制御部206へ出力する。
入力部205は、配筋計測システム1に関する各種の指示信号の入力を受け付け、この入力を受け付けた指示信号を制御部206へ出力する。入力部205は、スイッチ、ボタンおよびレバー等を用いて構成される。
制御部206は、配筋計測システム1を構成する各部を統括的に制御する。制御部206は、メモリと、CPU、ASICおよびFPGA(Field Programmable Gate Array)等のハードウェアを有するプロセッサを用いて構成される。ここで、制御部206は、作成部206aと、特定部206bと、検出部206cと、計測部206dと、割り当て部206eと、生成部206fと、表示制御部206gと、判定部206hと、記録制御部206iと、を有する。
作成部206aは、少なくとも鉄筋の種別を示す複数の鉄筋番号の各々に対応する識別情報と、この複数の鉄筋番号の各々に対応する寸法と、少なくとも寸法および配置間隔を含む鉄筋情報と、を対応付けた検査情報を作成する。具体的には、作成部206aは、設計情報記録部202bが記録する設計情報に基づいて、検査現場において使用される鉄筋の種別毎の鉄筋番号に識別可能なマークや図形等の識別情報と、この鉄筋番号に対応する鉄筋の寸法(径)と、複数の鉄筋の各々の配置間隔と、を対応付けた検査情報を作成する。なお、鉄筋情報には、鉄筋の長さ、鉄筋の材質、鉄筋の形状等を含めてもよい。
特定部206bは、通信部201から入力されたステレオ画像データに基づいて、計測部206dが鉄筋の寸法を計測可能な計測範囲を特定する。具体的には、特定部206bは、ステレオ画像データを構成する第1の画像データに対応する第1の画像と第2の画像データに対応する第2の画像との視野領域が重なる領域を計測可能な計測範囲として特定する。
検出部206cは、ステレオ画像データに基づいて、ステレオ画像データに対応するステレオ画像内における複数の鉄筋の位置を検出する。具体的には、検出部206cは、周知のパターンマッチングやエッジ抽出等の技術を用いてステレオ画像内における複数の鉄筋の位置を検出する。
計測部206dは、検出部206cが検出したステレオ画像内における複数の鉄筋の位置とステレオ画像とに基づいて、少なくともステレオ画像内における複数の鉄筋の各々を計測する。具体的には、計測部206dは、周知のパターンマッチングを用いることによって、ステレオ画像内における複数の鉄筋の各々の寸法(径)を計測する。さらに、計測部206dは、検出部206cが検出した複数の鉄筋の位置とステレオ画像とに基づいて、複数の鉄筋の各々の配置間隔を示す実測値をさらに計測する。
割り当て部206eは、作成部206aが作成した検査情報と計測部206dの計測結果とに基づいて、検出部206cによって位置が検出された複数の鉄筋の鉄筋情報に一致する鉄筋番号を割り当てる。具体的には、割り当て部206eは、作成部206aが作成した検査情報と計測部206dの計測結果とに基づいて、検出部206cによって位置が検出された複数の鉄筋の各々の寸法(径)に一致する鉄筋番号または複数の鉄筋の各々の配置間隔に一致する鉄筋番号を割り当てる。
生成部206fは、複数の鉄筋の位置に基づいて、ステレオ画像内における複数の鉄筋の各々を通過する位置に複数の鉄筋検出仮想線を生成し、かつ、この複数の鉄筋検出仮想線と割り当て部206eが割り当てた複数の鉄筋番号の各々に対応する識別情報とを対応付けた計測情報を生成する。
表示制御部206gは、ステレオ画像上に生成部206fが生成した計測情報を重畳して表示部203に表示させる。表示制御部206gは、入力部205またはタッチパネル204から識別情報を選択する指示信号が入力された場合、指示信号に応じた識別情報を強調表示する。また、表示制御部206gは、特定部206bが特定した計測範囲をステレオ画像上に重畳して表示部203に表示させる。さらに、表示制御部206gは、複数の鉄筋番号の各々に対応する識別情報を識別可能な表示態様で表示部203に表示させる。
判定部206hは、設計情報記録部202bが記録する設計情報に基づいて、複数の鉄筋の各々の配置間隔を判定する。具体的には、判定部206hは、計測部206dが計測した実測値が設計値の許容範囲外であるか否かを判定する。
記録制御部206iは、タッチパネル204または入力部205から計測情報を記録する指示信号が入力された場合、計測情報を検査結果記録部202dに記録する。
〔配筋計測システムの処理〕
次に、配筋計測システム1が実行する処理について説明する。図3は、配筋計測システム1が実行する処理の概要を示すフローチャートである。
図3に示すように、まず、作成部206aは、入力部205またはタッチパネル204から入力される指示信号と設計情報記録部202bが記録する設計情報とに基づいて、少なくとも鉄筋の種別を示す複数の鉄筋番号の各々に対応する識別情報と複数の鉄筋番号の各々に対応する寸法とを対応付けた検査情報を、鉄筋が施工された検査現場に関する黒板情報として生成する(ステップS101)。
図4は、作成部206aが作成する黒板情報の一例を模式的に示す図である。図4に示すように、作成部206aは、入力部205またはタッチパネル204から入力される指示信号と設計情報記録部202bが記録する設計情報とに基づいて、鉄筋が施工された検査現場に関する黒板情報Q1を生成する。黒板情報Q1には、工事名、工種、測点、複数の鉄筋番号の各々に対応するマーク等の識別情報、複数の鉄筋番号の各々に対応する寸法(径)、鉄筋の配置間隔、鉄筋の長さ、鉄筋の材質、鉄筋の形状、配置本数および設置値等が記載されている。
図3に戻り、ステップS102以降の説明を続ける。
ステップS102において、撮像部10は、入力部205またはタッチパネル204から入力される指示信号に応じて、検査現場を撮影する。図5は、使用者が配筋計測システム1を用いて検査現場を撮影している状況を模式的に示す図である。図5に示すように、使用者U1は、配筋計測システム1を用いて配筋が施工された検査現場A1を撮影する。
その後、特定部206bは、撮像部10が生成したステレオ画像に基づいて、第1の光学系101と第2の光学系103との視野領域が重なる計測範囲を特定する(ステップS103)。例えば、特定部206bは、撮像部10が生成したステレオ画像に対して、周知のパターンマッチングやエッジ抽出等を行うことによって被写体が重なる領域を基準に計測範囲を特定する。もちろん、特定部206bは、第1の光学系101および第2の光学系103の各々の焦点距離に基づいて、第1の光学系101と第2の光学系103との視野領域が重なる計測範囲を特定してもよい。
続いて、検出部206cは、撮像部10が生成したステレオ画像に基づいて、ステレオ画像内における複数の鉄筋の位置を検出する(ステップS104)。具体的には、検出部206cは、ステレオ画像に対して、周知のパターンマッチングを行うことによって、特定部206bが特定したステレオ画像の計測範囲内における複数の鉄筋の位置を検出する。
その後、計測部206dは、検出部206cが検出した複数の鉄筋の位置と一対の画像とに基づいて、少なくともステレオ画像上における複数の鉄筋の各々の寸法(径)を鉄筋情報として計測する(ステップS105)。具体的には、計測部206dは、周知のパターンマッチングや測距を用いて、少なくともステレオ画像上における鉄筋毎の寸法を計測する。この場合、計測部206dは、複数の鉄筋の各々の寸法に加えて、検出部206cが検出した複数の鉄筋の位置とステレオ画像とに基づいて、複数の鉄筋の各々の配置間隔を示す実測値をさらに計測する。
続いて、割り当て部206eは、作成部206aが作成した検査情報と計測部206dの計測結果とに基づいて、複数の鉄筋の各々の寸法(径)に一致する鉄筋番号を割り当てる(ステップS106)。この場合、割り当て部206eは、作成部206aが作成した検査情報と計測部206dの計測結果とに基づいて、複数の鉄筋の各々の配置間隔に一致する鉄筋番号を割り当てる。
その後、生成部206fは、検出部206cが検出した複数の鉄筋の位置に基づいて、ステレオ画像内における前記複数の鉄筋の各々を通過する位置に複数の鉄筋検出仮想線を生成し、かつ、この複数の鉄筋検出仮想線と割り当て部206eが割り当てた複数の鉄筋番号の各々に対応する識別情報とを対応付けた計測情報を生成する(ステップS107)。
図6は、生成部206fが生成する計測情報の一例を模式的に示す図である。図6に示すように、生成部206fは、検出部206cが検出した複数の鉄筋の位置に基づいて、ステレオ画像内における複数の鉄筋の各々を通過する位置に複数の鉄筋検出仮想線B1を生成する。例えば、図6に示すように、生成部206fは、複数の鉄筋の各々の略中心を通るように鉄筋検出仮想線B1を生成する。そして、生成部206fは、複数の鉄筋検出仮想線B1と、複数の鉄筋検出仮想線B1に割り当て部206eが割り当てた複数の鉄筋番号の各々に対応する識別情報と、鉄筋の種類を示す番号と、各鉄筋の設計値、各鉄筋の実測値と、を対応付けた計測情報を生成する。ここで、図6において、生成部206fは、識別情報として鉄筋の番号および種類を示すマークD19およびD25を付しているが、文字、形状および色を適宜変更することができ、例えば四角等の多角形、図形、文字、スタンプおよびキャラクター等であってもよい。さらに、生成部206fは、互いに異なる色によってマークD19およびD25を付してもよい。具体的には、生成部206fは、鉄筋の番号毎、鉄筋径の種類毎、鉄筋の本数、鉄筋の角度度(縦横斜め)、鉄筋の間隔、鉄筋の長さ(重なり量)および材質毎に色や形状を異ならせて鉄筋検出仮想線B1、識別情報としてのマークを対応付けて計測情報を生成してもよい。さらに、生成部206fは、作成部206aが生成した黒板情報Q1における鉄筋番号と割り当て部206eが割り当てた鉄筋番号の色とを同じとする計測情報を生成してもよい。また、生成部206fは、計測範囲W1と計測結果とを互いに異なる色によって計測情報を生成してもよい。
図3に戻り、ステップS108以降の説明を続ける。
ステップS108において、表示制御部206gは、ステレオ画像上に生成部206fが生成した計測情報を重畳して表示部203に表示させる。この場合、表示制御部206gは、作成部206aが作成した黒板情報を表示部203に表示させる。具体的には、図7に示すように、ステレオ画像P1上に黒板情報Q1を重畳して表示部203に表示させる。このとき、表示制御部206gは、黒板情報Q1に各実測値を反映させて表示部203に表示させる。さらに、表示制御部206は、ステレオ画像P1上に計測範囲W1を重畳して表示部203に表示させる。これにより、使用者は、鉄筋の位置、鉄筋の種類、鉄筋の配置間隔の実測値と設計値および鉄筋毎の本数を比較しながら検査することができるので、さらなる配筋検査の作業効率を向上させることができる。さらに、使用者は、計測範囲W1を確認することができるので、実際の計測場所を把握することができる。
その後、表示部203が表示する画像に対して、使用者がタッチパネル204をタッチすることで、タッチパネル204から鉄筋を選択する指示信号が入力された場合(ステップS109:Yes)、表示制御部206gは、タッチパネル204から入力された指示信号に応じた鉄筋を表示部203に強調表示させる(ステップS110)。例えば、表示制御部206gは、タッチパネル204から入力された指示信号に応じた鉄筋に対応する鉄筋検出仮想線を表示部203にハイライト表示または点滅表示させる。なお、表示制御部206gは、使用者がタッチパネル204をタッチすることで、黒板情報Q1の鉄筋番号を選択する指示信号が入力された場合、黒板情報Q1の鉄筋番号に対応する計測情報の鉄筋を表示部203に強調表示させてもよい。ステップS110の後、配筋計測システム1は、後述するステップS111へ移行する。これに対して、表示部203が表示する画像に対して、使用者がタッチパネル204をタッチせず、タッチパネル204から鉄筋を選択する選択指示信号が入力されていない場合(109:No)、配筋計測システム1は、後述するステップS111へ移行する。
ステップS111において、入力部205またはタッチパネル204から計測情報を記録する指示信号が入力された場合(ステップS111:Yes)、配筋計測システム1は、後述するステップS112へ移行する。これに対して、入力部205またはタッチパネル204から計測情報を記録する指示信号が入力されていない場合(ステップS111:No)、配筋計測システム1は、上述したステップS108へ戻る。
ステップS112において、判定部206hは、設計値と実測値との差が許容範囲内であるか否かを判定する。判定部206hによって設計値と実測値との差が許容範囲外であると判定された場合(ステップS112:Yes)、配筋計測システム1は、後述するステップS113へ移行する。これに対して、判定部206hによって設計値と実測値との差が許容範囲外でないと判定された場合(ステップS112:No)、配筋計測システム1は、後述するステップS114へ移行する。
ステップS113において、表示制御部206gは、鉄筋の間隔における設計値と実測値との差が共用範囲外である異常が生じていることを示す警告を表示部203に表示させる。これにより、使用者は、鉄筋の配置に間違いが生じていることを直感的に把握することができる。
続いて、記録制御部206iは、計測情報を検査結果記録部202dに記録する(ステップS114)。ステップS114の後、配筋計測システム1は、本処理を終了する。
以上説明した一実施の形態によれば、生成部206fが複数の鉄筋の位置に基づいて、ステレオ画像内における複数の鉄筋の各々を通過する位置に複数の鉄筋検出仮想線B1を生成し、かつ、複数の鉄筋検出仮想線B1と割り当て部206eが割り当てた複数の鉄筋番号の各々に対応する識別情報(例えばマークD25やマークD19)とを対応付けた計測情報を生成し、表示制御部206gが黒板情報Q1に各実測値を反映させて表示部203に表示させるので、使用者が鉄筋の位置、鉄筋の種類、鉄筋の配置間隔の実測値と設計値および鉄筋毎の本数を比較しながら検査することができるので、さらなる配筋検査の作業効率を向上させることができる。
また、一実施の形態によれば、入力部205またはタッチパネル204から識別情報を選択する指示信号が入力された場合、表示制御部206gが指示信号に応じた識別情報を表示部203に強調表示させるので、使用者は、選択した鉄筋を直感的に把握することができる。
また、一実施の形態によれば、表示制御部206gが特定部206bによって特定された計測範囲W1をステレオ画像P1上に重畳して表示部203に表示させるので、使用者は、現在の計測範囲W1を直感的に把握することができる。
また、一実施の形態によれば、表示制御部206gが複数の鉄筋番号の各々に対応する識別情報を識別可能な表示態様で表示部203に表示させるので、使用者は、鉄筋番号毎に直感的に把握することができる。
また、一実施の形態によれば、検査情報としての黒板情報Q1をステレオ画像P1に重畳して表示部203に表示させるので、使用者は、黒板情報Q1と計測結果とを見比べながら検査することができる。
また、一実施の形態によれば、表示制御部206gが判定部206hによって鉄筋の配置間隔の実測値が許容範囲外であると判定された場合、許容範囲外であると判定された鉄筋に対応する識別情報を表示部203に強調表示させるので、使用者は、直感的に鉄筋の配置間違いを把握することができる。
また、一実施の形態によれば、表示制御部206gが記録制御部206iによって記録部202にステレオ画像と計測情報とを記録させる場合において、判定部206hによって実測値が許容範囲外であると判定されたとき、表示部203に実測値が許容範囲外であることを示す警告を表示部203に表示させるので、使用者が誤って計測情報を記録することを防止することができる。
上述した本開示の一実施の形態に係る配筋計測システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態に係る配筋計測システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る情報提供システムで説明した構成要素を適宜組み合わせてもよい。
また、本開示の一実施の形態に係る配筋計測システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
また、本開示の一実施の形態に係る配筋計測システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本開示の一実施の形態に係る配筋計測システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、ユーザにマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
1 配筋計測システム
10 撮像部
20 端末部
101 第1の光学系
102 第1の撮像素子
103 第2の光学系
104 第2の撮像素子
105 撮像制御部
106,201 通信部
202 記録部
202a プログラム記録部
202b 設計情報記録部
202c 検査情報記録部
202d 検査結果記録部
203 表示部
204 タッチパネル
205 入力部
206 制御部
206a 作成部
206b 特定部
206c 検出部
206d 計測部
206e 割り当て部
206f 生成部
206g 表示制御部
206h 判定部
206i 記録制御部
A1 検査現場
B1 鉄筋検出仮想線
M1,M2 マーク
Q1 黒板情報

Claims (10)

  1. 複数の鉄筋が配置された検査現場を撮像することによって生成された視差を有する第1の画像データと第2の画像データであるステレオ画像データを取得する取得部と、
    設計情報に基づき、少なくとも複数の鉄筋の種別の各々に対応する識別情報と、前記複数の鉄筋の種別の各々に対応する、少なくとも寸法及び配置間隔を含む鉄筋情報と、を対応付けた検査情報を作成する作成部と、
    前記ステレオ画像データに基づいて、前記ステレオ画像データに対応する第1の画像または第2の画像内であるステレオ画像内における前記複数の鉄筋の位置を検出する検出部と、
    前記複数の鉄筋の位置と前記ステレオ画像とに基づいて、少なくとも前記ステレオ画像内における前記複数の鉄筋の各々の寸法または配置間隔を計測する計測部と、
    前記検査情報と前記計測部の計測した計測結果である前記複数の鉄筋の各々の当該寸法又は当該配置間隔とに基づいて、前記検出部によって位置が検出された前記複数の鉄筋の前記鉄筋情報に一致する前記鉄筋の種別を割り当てる割り当て部と、
    前記ステレオ画像内の前記複数の鉄筋の位置に基づいて、前記複数の鉄筋と、前記割り当て部が割り当てた前記複数の鉄筋の種別の各々に対応する前記識別情報とを対応付けた計測情報を生成する生成部と、
    を備える配筋計測システム。
  2. 請求項1に記載の配筋計測システムであって、
    前記計測部は、
    前記複数の鉄筋の各々の寸法および前記複数の鉄筋の各々の配置間隔を計測し、
    前記割り当て部は、
    前記検査情報と前記計測部の計測結果とに基づいて、前記検出部によって位置が検出された前記複数の鉄筋の各々の寸法に一致する前記鉄筋の種別または前記複数の鉄筋の各々の配置間隔に一致する前記鉄筋の種別を割り当てる配筋計測システム。
  3. 請求項1または2に記載の配筋計測システムであって、
    前記ステレオ画像上に前記計測情報を重畳して表示部に表示させる表示制御部を更に備える配筋計測システム。
  4. 請求項3に記載の配筋計測システムであって、
    前記識別情報を選択する指示信号の入力を受け付ける入力部をさらに備え、
    前記表示制御部は、
    前記指示信号に応じた前記識別情報を強調表示する
    配筋計測システム。
  5. 請求項3または4に記載の配筋計測システムであって、
    前記ステレオ画像データに基づいて、前記計測部が計測可能な計測範囲を特定する特定部をさらに備え、
    前記表示制御部は、
    前記計測範囲を前記ステレオ画像上に重畳して前記表示部に表示させる配筋計測システム。
  6. 請求項3〜5のいずれか一つに記載の配筋計測システムであって、
    前記検査情報は、検査場所の図面情報、設計情報および位置情報を含む黒板情報であり、
    前記表示制御部は、
    前記検査情報を前記ステレオ画像上に重畳することによって前記表示部に表示させる、または前記ステレオ画像の周辺領域に前記表示部に表示させる配筋計測システム。
  7. 請求項3〜6のいずれか一つに記載の配筋計測システムであって、
    前記複数の鉄筋の各々の配置間隔を示す設計値と、前記複数の鉄筋の配置の本数を示す本数情報と、を含む設計情報を記録する設計情報記録部と、
    前記設計情報に基づいて、前記複数の鉄筋の各々の配置間隔を判定する判定部と、
    をさらに備え、
    前記計測部は、前記複数の鉄筋の位置と前記ステレオ画像とに基づいて、前記複数の鉄筋の各々の配置間隔を示す実測値をさらに計測し、
    前記判定部は、前記実測値が前記設計値の許容範囲外であるか否かを判定し、
    前記表示制御部は、前記判定部によって前記実測値が前記許容範囲外であると判定された場合、前記許容範囲外であると判定された前記鉄筋に対応する前記識別情報を前記表示部に強調表示させる配筋計測システム。
  8. 複数の鉄筋が配置された検査現場を撮像することによって生成された視差を有する第1の画像データと第2の画像データであるステレオ画像データを取得する取得部と、
    少なくとも複数の鉄筋の種別の各々に対応する識別情報と、前記複数の鉄筋の種別の各々に対応する、少なくとも寸法または配置間隔を含む鉄筋情報と、を対応付けた検査情報を作成する作成部と、
    前記ステレオ画像データに基づいて、前記ステレオ画像データに対応する第1の画像または第2の画像内であるステレオ画像内における前記複数の鉄筋の位置を検出する検出部と、
    前記複数の鉄筋の位置と前記ステレオ画像とに基づいて、少なくとも前記ステレオ画像内における前記複数の鉄筋の各々の寸法または配置間隔を計測する計測部と、
    前記検査情報と前記計測部の計測結果とに基づいて、前記検出部によって位置が検出された前記複数の鉄筋の前記鉄筋情報に一致する前記鉄筋の種別を割り当てる割り当て部と、
    前記ステレオ画像内の前記複数の鉄筋の位置に基づいて、前記割り当て部が割り当てた前記複数の鉄筋の種別の各々に対応する前記識別情報とを対応付けた計測情報を生成する生成部と、
    前記ステレオ画像上に前記計測情報を重畳して表示部に表示させる表示制御部と、を備え、
    前記検査情報は、検査場所の図面情報、設計情報および位置情報を含む黒板情報であり、
    前記表示制御部は、
    前記検査情報を前記ステレオ画像上に重畳することによって前記表示部に表示させる、または前記ステレオ画像の周辺領域に前記表示部に表示させる
    配筋計測システム。
  9. 配筋計測システムが実行する配筋計測方法であって、
    複数の鉄筋が配置された検査現場を撮像することによって生成された視差を有する第1の画像データと第2の画像データであるステレオ画像データを取得し、
    設計情報に基づき、少なくとも複数の鉄筋の種別の各々に対応する識別情報と、前記複数の鉄筋の種別の各々に対応する、少なくとも寸法及び配置間隔を含む鉄筋情報と、を対応付けた検査情報を作成し、
    前記ステレオ画像データに基づいて、前記ステレオ画像データに対応する第1の画像または第2の画像内であるステレオ画像内における前記複数の鉄筋の位置を検出し、
    前記複数の鉄筋の位置と前記ステレオ画像とに基づいて、少なくとも前記ステレオ画像内における前記複数の鉄筋の各々の寸法または配置間隔を計測し、
    前記検査情報と測結果である前記複数の鉄筋の各々の当該寸法又は当該配置間隔とに基づいて、前記複数の鉄筋の各々の前記鉄筋情報に一致する前記鉄筋の種別を割り当て、
    前記ステレオ画像内の前記複数の鉄筋の位置に基づいて、前記複数の鉄筋と、割り当てた前記複数の鉄筋の種別の各々に対応する前記識別情報とを対応付けた計測情報を生成する配筋計測方法。
  10. 配筋計測システムに実行させるプログラムであって、
    複数の鉄筋が配置された検査現場を撮像することによって生成された視差を有する第1の画像データと第2の画像データであるステレオ画像データを取得し、
    設計情報に基づき、少なくとも複数の鉄筋の種別の各々に対応する識別情報と、前記複数の鉄筋の種別の各々に対応する、少なくとも寸法及び配置間隔を含む鉄筋情報と、を対応付けた検査情報を作成し、
    前記ステレオ画像データに基づいて、前記ステレオ画像データに対応する第1の画像または第2の画像内であるステレオ画像内における前記複数の鉄筋の位置を検出し、
    前記複数の鉄筋の位置と前記ステレオ画像とに基づいて、少なくとも前記ステレオ画像内における前記複数の鉄筋の各々の寸法または配置間隔を計測し、
    前記検査情報と測結果である前記複数の鉄筋の各々の当該寸法又は当該配置間隔とに基づいて、前記複数の鉄筋の各々の前記鉄筋情報に一致する前記鉄筋の種別を割り当て、
    前記ステレオ画像内の前記複数の鉄筋の位置に基づいて、前記複数の鉄筋と、割り当てた前記複数の鉄筋の種別の各々に対応する前記識別情報とを対応付けた計測情報を生成するプログラム。
JP2019068483A 2019-03-29 2019-03-29 配筋計測システム、配筋計測方法およびプログラム Active JP6913123B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019068483A JP6913123B2 (ja) 2019-03-29 2019-03-29 配筋計測システム、配筋計測方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019068483A JP6913123B2 (ja) 2019-03-29 2019-03-29 配筋計測システム、配筋計測方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2020165886A JP2020165886A (ja) 2020-10-08
JP2020165886A5 JP2020165886A5 (ja) 2021-01-21
JP6913123B2 true JP6913123B2 (ja) 2021-08-04

Family

ID=72717337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019068483A Active JP6913123B2 (ja) 2019-03-29 2019-03-29 配筋計測システム、配筋計測方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6913123B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113701821B (zh) * 2021-09-01 2024-03-05 西南科技大学 一种基于局部特征的建筑铝模板识别结构及其方法
CN115434529B (zh) * 2022-09-09 2023-07-21 武汉容晟吉美科技有限公司 一种智能打孔位置判断方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010108384A (ja) * 2008-10-31 2010-05-13 Takenaka Komuten Co Ltd 施工検証装置
JP6083091B2 (ja) * 2013-06-18 2017-02-22 株式会社竹中工務店 鉄筋検査支援装置およびプログラム
JP2018173277A (ja) * 2017-03-31 2018-11-08 オリンパス株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2018173274A (ja) * 2017-03-31 2018-11-08 オリンパス株式会社 データ算出装置、データ算出方法、及びデータ算出プログラム
JP6827886B2 (ja) * 2017-06-13 2021-02-10 鹿島建設株式会社 配筋検査装置及び配筋検査方法
JP6939195B2 (ja) * 2017-07-27 2021-09-22 株式会社大林組 検査処理システム、検査処理方法及び検査処理プログラム

Also Published As

Publication number Publication date
JP2020165886A (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
JP5714232B2 (ja) キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法
JP6296477B2 (ja) 対象物の三次元座標を決定する方法および装置
JP5270971B2 (ja) 画像計測装置、画像計測方法及びコンピュータプログラム
JP6913123B2 (ja) 配筋計測システム、配筋計測方法およびプログラム
JP2012058076A (ja) 3次元計測装置及び3次元計測方法
CN104833342B (zh) 一种多点测距建立立体模型的移动终端及方法
US20170028648A1 (en) 3d data generation apparatus and method, and storage medium
JP6572099B2 (ja) 撮像装置及びその制御方法、ならびにプログラム
JP2019196992A (ja) 配筋検査方法及び配筋検査システム
JP5222430B1 (ja) 寸法計測装置、寸法計測方法及び寸法計測装置用のプログラム
JP2005077385A (ja) 画像対応付け方法ならびに測量方法およびそれらを利用する計測システム
JP6614954B2 (ja) ひび割れ幅計測装置
JP2018173277A (ja) 情報処理装置、情報処理方法、及び、プログラム
JP5867210B2 (ja) 鉄筋規格判別装置及び鉄筋規格情報作成装置
JP2010060528A (ja) 画像計測装置及びコンピュータプログラム
JP2006329684A (ja) 画像計測装置及び方法
JP6936271B2 (ja) 配筋計測システム、および配筋計測方法
JP2020193820A5 (ja)
JP5445064B2 (ja) 画像処理装置および画像処理プログラム
JP6381262B2 (ja) 情報処理装置、情報処理方法、プログラム
CN109816712A (zh) 基于图像的边缘测量
JP7340434B2 (ja) 配筋検査システム、配筋検査方法、及び配筋検査プログラム
JP2024520169A (ja) 安全診断対象建築物における亀裂線に対する連続撮影画像を用いた亀裂線長演算方法及びその方法を実行させるプログラムがインストールされた作業者端末
JP2016021725A (ja) 土木構造物の損傷診断用カメラ
JP5531071B2 (ja) 画像計測装置及びコンピュータプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20190425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190425

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201207

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201207

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210709

R150 Certificate of patent or registration of utility model

Ref document number: 6913123

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250