JP7407194B2 - 情報表示装置、情報表示方法、及び情報表示プログラム - Google Patents

情報表示装置、情報表示方法、及び情報表示プログラム Download PDF

Info

Publication number
JP7407194B2
JP7407194B2 JP2021534573A JP2021534573A JP7407194B2 JP 7407194 B2 JP7407194 B2 JP 7407194B2 JP 2021534573 A JP2021534573 A JP 2021534573A JP 2021534573 A JP2021534573 A JP 2021534573A JP 7407194 B2 JP7407194 B2 JP 7407194B2
Authority
JP
Japan
Prior art keywords
damage
display
information
display device
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021534573A
Other languages
English (en)
Other versions
JPWO2021014758A5 (ja
JPWO2021014758A1 (ja
Inventor
一磨 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021014758A1 publication Critical patent/JPWO2021014758A1/ja
Publication of JPWO2021014758A5 publication Critical patent/JPWO2021014758A5/ja
Application granted granted Critical
Publication of JP7407194B2 publication Critical patent/JP7407194B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、構造物の3次元モデルを表示する情報表示装置、情報表示方法、及び情報表示プログラムに関する。
近年、構造物(橋梁、道路、ビル等)の「社会インフラストラクチャ」(あるいは、省略して「社会インフラ」)と呼ばれる設備に関し、構造物の3次元モデルを表示する3次元ビューアの開発が進められている。このような3次元ビューアにより、ユーザは構造物を構成する部材の認識、画像や損傷図の添付、部材に添付した情報の参照等を行うことができる。例えば、特許文献1には、建築物の平面図上で視点の位置及び方向を設定することにより、3次元ビューの視点を変更することが記載されている。
特開2003-242524号公報
上述した特許文献1のような従来の技術では、関心のある部材を3次元モデル上でする操作や、観察しやすい視点を設定する操作(モデルの移動、拡大、回転等)は困難であり、着目した部分の確認が困難であった。
本発明はこのような事情に鑑みてなされたもので、着目した損傷の位置を3次元モデル上で迅速かつ容易に把握できる情報表示装置、情報表示方法、及び情報表示プログラムを提供することを目的とする。
上述した目的を達成するため、本発明の第1の態様に係る情報表示装置は、構造物の3次元モデルと構造物の管理区分ごとの損傷情報とを対応付けて記憶する記憶部と、損傷情報を表示装置に一覧表示させる第1表示制御部と、一覧表示された損傷情報の選択を受け付ける受付部と、3次元モデルにおける3次元位置であって選択を受け付けた損傷情報に対応する3次元位置を特定し、特定された3次元位置を含む管理区分を特定する管理区分特定部と、3次元モデルの少なくとも特定された管理区分を含む範囲を、3次元位置を識別可能に表示装置に表示させる第2表示制御部と、を備える。
第1の態様によれば、損傷情報を一覧表示し、選択された損傷情報に対応する3次元位置を特定して3次元モデルの管理区分を特定し、特定された管理区分を含む範囲を、3次元位置を識別可能に表示させるので、ユーザは着目した損傷の位置を3次元モデル上で迅速かつ容易に把握することができる。
第1の態様において、「管理区分」は構造物の保守や点検の単位となる範囲である。損傷の「位置」は損傷の代表位置(始点、終点、中心、端点、縁部の点等)でもよい。なお、「構造物」の例としてビル、橋梁、トンネル、ダム、舗装道路、配管等を挙げることができる。
第2の態様に係る情報表示装置は第1の態様において、第2表示制御部は、範囲を、3次元位置及び/または範囲を識別表示した第2の表示状態、かつ/または3次元位置に対する視点位置及び/または視線方向を制御した第1の表示状態により表示させる。第2の態様は特定された3次元位置を識別可能にするための具体的態様を規定するものである。第1の表示状態と第2の表示状態は、いずれか一方を用いてもよいし、両方を同時に用いてもよい。
第3の態様に係る情報表示装置は第2の態様において、第2表示制御部は、第1の表示状態において、3次元位置及び/または範囲を示す指標を3次元モデルに重畳表示させる。第3の態様によれば、ユーザは選択した損傷の位置を容易に視認、判別することができる。
第4の態様に係る情報表示装置は第2または第3の態様において、第2表示制御部は、第2の表示状態において、3次元位置に正対する視点位置及び視線方向により3次元モデルを表示する。第4の態様によれば、3次元モデルに対する視点位置及び視点方向が特定された3次元位置(選択された損傷情報の位置)に正対するので、ユーザは3次元モデルにおける損傷の位置を正確に確認することができる。
第5の態様に係る情報表示装置は第2から第4の態様のいずれか1つにおいて、第2表示制御部は、第1の表示状態及び/または第2の表示状態において、3次元位置に基づいて3次元モデルを拡大、縮小、平行移動、または回転移動させる。これにより、ユーザは所望の損傷の位置を3次元モデル上で容易に確認することができる。
第6の態様に係る情報表示装置は第1から第5の態様のいずれか1つにおいて、第1表示制御部は表示装置の第1表示領域に損傷情報を表示させ、第2表示制御部は表示装置の第2表示領域に3次元モデルを表示させる。第6の態様によれば、ユーザは損傷情報及び3次元モデルを並行して確認することができる。なお、1台の表示装置に第1表示領域と第2表示領域とを設けてもよいし、複数の表示装置をそれぞれ第1表示領域、第2表示領域として用いてもよい。
第7の態様に係る情報表示装置は第1から第6の態様のいずれか1つにおいて、第1表示制御部による損傷情報の表示と第2表示制御部による3次元モデルの表示とを切り替える表示切替部を備える。第7の態様は、損傷情報及び3次元モデルの表示の他の態様を規定するものである。
第8の態様に係る情報表示装置は第1から第7の態様のいずれか1つにおいて、受付部は一覧表示の表示条件の設定操作を受け付け、第1表示制御部は、受け付けた設定操作に基づいて表示条件を満たす損傷情報を表示装置に表示させる。
第8の態様によれば、ユーザは所望の表示条件を設定して損傷情報を表示させることができる。
第9の態様に係る情報表示装置は第8の態様において、受付部は、構造物の部位及び/または部材、損傷の種類、損傷の程度、損傷情報が取得された日時、のうち少なくとも1つに対する設定を設定操作として受け付ける。第9の態様によれば、例えば、ユーザは特定の部位や部材についての損傷、特定種類の損傷、程度が一定以上の損傷、対象期間内に取得された情報等を設定して表示させることができる。
第10の態様に係る情報表示装置は第1から第9の態様のいずれか1つにおいて、損傷情報は、管理区分に対応する損傷画像、損傷を示す情報が重畳された損傷画像、損傷図、損傷数量表、補修図、及び補修数量表のうち少なくとも1つ以上である。第10の態様は、損傷情報の具体例を規定するものである。損傷画像はオルソ画像でもよい。また、損傷や補修の数量表は、損傷が存在する部材、損傷種類、損傷寸法、損傷程度等の情報を含んでいてよい。
第11の態様に係る情報表示装置は第1から第10の態様のいずれか1つにおいて、管理区分は、構造物を構成する部位、及び構造物の部材の点検単位の区分、及び構造物の3次元座標のうち少なくとも1つである。例えば構造物が橋梁の場合、橋脚、床版、主桁、横桁、格間等を管理区分とすることができる。
第12の態様に係る情報表示装置は第1から第11の態様のいずれか1つにおいて、受付部は3次元モデルにおける3次元位置の指定を受け付け、第1表示制御部は指定を受け付けた3次元位置に対応する損傷情報を表示装置に表示させる。第1~第11の態様では、ユーザが選択した損傷情報に応じて3次元モデルを表示する。これに対し第12の態様では、3次元モデルにおける位置の指定を受け付け、指定に対応する損傷情報を表示する。
上述した目的を達成するため、本発明の第13の態様に係る情報表示方法は構造物の管理区分ごとの損傷情報を表示装置に一覧表示させる第1表示制御工程と、一覧表示された損傷情報の選択を受け付ける受付工程と、構造物の3次元モデルにおける3次元位置であって選択を受け付けた損傷情報に対応する3次元位置を特定し、特定された3次元位置を含む管理区分を特定する管理区分特定工程と、3次元モデルの少なくとも特定された管理区分を含む範囲を、3次元位置を識別可能に表示装置に表示させる第2表示制御工程と、を有する。第13の態様によれば、第1の態様と同様に、ユーザは着目した損傷の位置を3次元モデル上で迅速かつ容易に把握することができる。なお、第13の態様に係る情報表示方法は、第2~第12と同様の構成をさらに有していてもよい。
上述した目的を達成するため、本発明の第14の態様に係る情報表示プログラムは構造物の管理区分ごとの損傷情報を表示装置に一覧表示させる第1表示制御機能と、一覧表示された損傷情報の選択を受け付ける受付機能と、構造物の3次元モデルにおける3次元位置であって選択を受け付けた損傷情報に対応する3次元位置を特定し、特定された3次元位置を含む管理区分を特定する管理区分特定機能と、3次元モデルの少なくとも特定された管理区分を含む範囲を、3次元位置を識別可能に表示装置に表示させる第2表示制御機能と、をコンピュータに実行させる。第14の態様によれば、第1の態様と同様に、ユーザは着目した損傷の位置を3次元モデル上で迅速かつ容易に把握することができる。なお、第14の態様に係る情報表示方法は、第2~第12と同様の構成をさらに有していてもよい。また、これら態様のプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の態様として挙げることができる。
以上説明したように、本発明の情報表示装置、情報表示方法、及び情報表示プログラムによれば、ユーザは着目した損傷の位置を3次元モデル上で迅速かつ容易に把握できる
図1は、情報表示システムの構成を示す図である。 図2は、処理部の機能構成を示す図である。 図3は、記憶部に記憶される情報を示す図である。 図4は、情報表示方法の処理を示すフローチャートである。 図5は、損傷画像を一覧表示した例を示す図である。 図6は、損傷情報を一覧表示した例を示す図である。 図7は、損傷情報の表示条件設定の様子を示す図である。 図8は、損傷情報の並べ替え表示の例を示す図である。 図9は、損傷情報と3次元位置の対応付けの様子を示す図である。 図10は、3次元位置をハイライト表示した例を示す図である。 図11は、3次元位置を正対表示した例を示す図である。 図12は、識別表示の他の例を示す図である。 図13は、損傷情報の他の例を示す図である。 図14は、3次元モデル上で選択した位置における損傷情報を表示させるフローチャートである。 図15は、3次元モデル上で選択した位置における損傷情報を表示した様子を示す図である。 図16は、損傷情報と3次元モデルの切り替え表示の様子を示す図である。
本発明に係る情報表示装置、情報表示方法、及び情報表示プログラムの実施形態についての詳細な説明は以下の通りである。説明においては、添付図面が参照される。
<第1の実施形態>
図1は第1の実施形態に係る情報表示システム1の構成を示すブロック図である。情報表示システム1は、情報表示装置10(情報表示装置)と、表示装置20(表示装置)と、を備える。情報表示装置10は処理部100、記憶部200、及び操作部400を備え、互いに接続されて必要な情報が送受信される。また、情報表示システム1は通信制御部114(図2参照)及び不図示のネットワークを介して不図示の外部サーバや外部データベース等に接続し、必要に応じて画像や損傷情報を取得することができる。
図2は処理部100の構成を示す図である。処理部100は記憶制御部102(記憶制御部)、第1表示制御部104(第1表示制御部)、第2表示制御部106(第2表示制御部)、受付部108(受付部)、管理区分特定部110(管理区分特定部)、表示切替部112(表示切替部)、及び通信制御部114(通信制御部)を備える。これらの各部は、本発明に係る情報表示プログラムの機能のうち、記憶制御機能、第1表示制御機能、第2表示制御機能、受付機能、管理区分特定機能、及び通信制御機能にそれぞれ対応する。処理部100は、さらに不図示のCPU(CPU:Central Processing Unit)、ROM(ROM:Read Only Memory)、及びRAM(RAM:Random Access Memory)を備える。なお、これらの各部による処理はCPUの制御の下で行われる。
上述した処理部100の各部の機能は、各種のプロセッサ(processor)を用いて実現できる。各種のプロセッサには、例えばソフトウェア(プログラム)を実行して各種の機能を実現する汎用的なプロセッサであるCPUが含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)も含まれる。さらに、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
各部の機能は1つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ)で実現されてもよい。また、1つのプロセッサが複数の機能を実現してもよい。複数の機能を1つのプロセッサで構成する例としては、第1に、クライアント、サーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、システム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを1つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
上述したプロセッサあるいは電気回路がソフトウェア(プログラム)を実行する際は、実行するソフトウェアのコンピュータ(例えば、処理部100を構成する各種のプロセッサや電気回路、及び/またはそれらの組み合わせ)で読み取り可能なコードをROM等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る情報表示方法を実行するためのプログラム(第1表示制御機能、受付機能、管理区分特定機能、第2表示制御機能を有する情報表示プログラム)を含む。プログラムのコードは、ROMではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体に記録されていてもよい。ソフトウェアを用いた処理の際には例えばRAMが一時的記憶領域として用いられ、また例えば不図示のEEPROM(Electronically Erasable and Programmable Read Only Memory)に記憶されたデータを参照することもできる。
記憶部200(記憶部)はDVD(Digital Versatile Disk)、ハードディスク(Hard Disk)、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成され、図3に示すように、構造物(ビル、橋梁、道路、トンネル、ダム等)の3次元モデル202(3次元モデル)と構造物の管理区分ごとの損傷情報204(損傷情報)とが対応付けて記憶される。3次元モデル202は構造物の3次元形状を示し、構造物の表面上の多数の点の3次元点群で表したもの、3次元点群に基づいて多角形のポリゴン(例えば、三角パッチ)の集合体で構造物の表面を表したもの、または多角形のポリゴンに構造物を撮影した撮影画像(テクスチャ)をテクスチャーマッピングしたものが利用可能である。損傷情報204は、管理区分に対応する損傷画像、損傷を示す情報が重畳された損傷画像、損傷図、損傷数量表、補修図、及び補修数量表のうち少なくとも1つ以上である。
<表示装置及び操作部の構成>
表示装置20は、情報表示装置10の制御により、損傷情報や構造物の3次元モデルを表示する。操作部400は入力デバイスあるいはポインティングデバイスとしてのキーボード410及びマウス420を含んでおり、ユーザはこれらのデバイス及び表示装置20の画面を介して、本発明に係る情報表示方法及び情報表示プログラムの実行に必要な操作を行うことができる(後述)。表示装置20をタッチパネルにより構成し、ユーザがそのタッチパネルを介して操作を行えるようにしてもよい。
<情報表示方法の処理>
以下、図4のフローチャートを参照しつつ、上述した構成の情報表示システム1による情報表示方法について説明する。
第1表示制御部104(第1表示制御部、第1表示制御機能)は、操作部400を介したユーザの操作に基づいて、表示する情報を選択する(ステップS100:第1表示制御工程)。具体的には、第1表示制御部104は、記憶部200に記憶された損傷情報(損傷画像、損傷を示す情報が重畳された損傷画像、損傷図、損傷数量表、補修図、及び補修数量表のうちいずれを表示するか)を選択する。なお、これらの損傷情報は通信制御部114を介して外部のサーバや記憶装置、撮像装置等から取得してもよいし、記録媒体を介して取得してもよい。
<損傷情報の一覧表示>
<損傷画像の表示>
第1表示制御部104は、選択された損傷情報を表示装置20(表示装置)に一覧表示させる(ステップS110:第1表示制御工程)。図5は損傷情報の一例としての損傷画像500~510を一覧表示した様子を示す図である。損傷画像は損傷を示す情報(例えば、ひび割れを示す線分、剥離範囲の外接円や外接矩形、損傷の位置を示す図形や記号等)が重畳された画像でもよい。また、記憶部200が画像とその画像が示す損傷の情報(種類、部材や区分、位置、大きさ、程度等)を関連付けて記憶し、第1表示制御部104が画像とその画像に関連する情報とを合わせて表示してもよい。
<損傷数量表の表示>
図6は損傷情報の一例としての損傷数量表を表示した様子を示す図である。図6では、損傷が生じた部材、損傷の種類、及び損傷の程度が関連付けて表示されている。なお、損傷の程度は、例えば国土交通省の「橋梁定期点検要領」に基づいて判断することができる。
<その他の損傷情報>
図5,6では損傷情報の一態様として損傷画像、損傷表の例を示したが、一覧表示する損傷画像はオルソ画像(図13の(a)部分参照)でもよいし、損傷図(同図の(b)部分参照)、「オルソ画像+損傷図」(同図の(c)部分)でもよい。また、損傷情報は補修図、補修数量表でもよい。
<損傷情報の再表示>
第1表示制御部104は、一覧表示された損傷情報の表示条件を再設定するか否か判断する(ステップS120:第1表示制御工程)。第1表示制御部104は、受付部108(受付部、受付機能)が操作部400を介した表示条件の設定操作を受け付けた場合に「表示条件を再設定する」と判断することができる。ユーザは、例えば表示装置20に表示された図7のような画面を介して表示条件の設定操作を行うことができる。図7の例では、構造物の部位及び/または部材、損傷の種類、損傷の程度、損傷情報が取得された日時(撮影日時等)、のうち少なくとも1つについて昇順または降順での並べ替え、しきい値以上または以下の損傷の抽出を行うことができる。
表示条件を再設定する場合(ステップS120でYES)、第1表示制御部104は受付部108が受け付けた設定操作に基づいて、再設定された表示条件を満たす損傷情報を表示装置20に表示させる(ステップS130:第1表示制御工程)。図8は、図6の表から程度がc,dの損傷を抽出した例を示す図である。このように、表示条件の再設定及び再表示により、ユーザは3次元モデルに関連付けられた損傷情報のうち自らが関心のある情報のみを表示させることができる。
<損傷情報の選択>
受付部108は、ステップS110,S130で一覧表示された損傷情報の選択を受け付けたか否か判断する(ステップS140:受付工程)。受付部108は操作部400を介したユーザの選択操作(例えば、画像や損傷情報をマウス420でクリックする操作)があった場合に「選択を受け付けた」と判断することができる。
<3次元位置の特定>
管理区分特定部110(管理区分特定部、管理区分特定機能)は、3次元モデルにおける3次元位置であって、選択を受け付けた損傷情報に対応する3次元位置を特定する(ステップS150:3次元位置特定工程、管理区分特定工程)。管理区分特定部110は、例えば、図9に示すような損傷情報と損傷の代表点の3次元座標とを対応付けた表を記憶部200に記憶しておき、この表を参照することにより3次元位置を特定することができる。図6のような損傷情報の表に代表点や管理区分の欄を設けてもよく、損傷情報の表と管理区分特定の表とを共用してもよい。なお、例えば損傷の始点、終点、中間点、外接矩形や外接円の中心等を損傷の代表点とすることができ、ステレオカメラ、GPS(Global Positioning System)、レーザを用いたTOF法(TOF:Time of Flight)等により代表点を測定することができる。
<管理区分の特定>
管理区分特定部110は、ステップS150で特定された3次元位置を含む管理区分を特定する(ステップS160:管理区分特定工程)。管理区分とは、構造物を構成する部位、部材の点検単位の区分、及び構造物の3次元座標のうち少なくとも1つであり、例えば橋梁の場合、床版、橋脚、橋台、主桁、横桁等の部材を管理区分とすることができる。また、例えば床版についての格間のように部材を細かく分けた点検単位や、橋梁上の点の3次元座標を管理区分としてもよい。同一の部材が複数存在する場合(橋脚等)、個々の部材について管理区分を設定してもよい。管理区分特定部110は、例えば図9のような3次元位置と管理区分との対応表を参照することにより、管理区分を特定することができる。
<損傷情報及び3次元モデルの表示>
第2表示制御部106(第2表示制御部、第2表示制御機能)は、3次元モデルの、少なくともステップS160で特定された管理区分を含む範囲を、特定された3次元位置を識別可能に表示装置20に表示させる(ステップS170:第2表示制御工程)。ここで「識別可能に」とは、ステップS150で特定された3次元位置をピンポイントで(1点で正確に)識別する場合に限らず、特定された3次元位置の大まかな位置、あるいは3次元位置を含む領域が分かるように表示する場合も含む。情報表示システム1は、操作部400を介したユーザの指示等により処理を終了するまで(ステップS180でYESになるまで)ステップS100~S170の処理を繰り返す。
<第1,第2の表示状態>
第2表示制御部106は、3次元モデルを、3次元位置及び/または範囲を識別表示した第1の表示状態、かつ/または3次元位置に対する視点位置及び/または視線方向を制御した第2の表示状態により表示する(ステップS170:第2の表示制御工程)。第1の表示状態はステップS150で特定された3次元位置及び/または管理区分を含む範囲を示す指標を3次元モデルに重畳表示させる態様であり、第2の表示状態はステップS150で特定された3次元位置に正対する視点位置及び視線方向により3次元モデルを表示する。
<3次元モデルの表示例>
図10は第1の表示状態により損傷情報及び3次元モデルを表示した例を示す図である。図10の例では、第1表示制御部104が表示装置20の第1表示領域21(第1表示領域)に損傷情報を表示し(損傷情報21Aが選択されているものとする)、第2表示制御部106は表示装置20の第2表示領域22(第2表示領域)に橋梁の3次元モデル30を表示している。第2表示領域22に表示されるのは、橋梁の3次元モデル30の、ステップS160で特定された管理区分を含む範囲である。また、第2表示制御部106は、特定された3次元位置を示す指標32を3次元モデルに重畳表示している。このような重畳表示により、ユーザは選択した損傷の位置を3次元モデルにおいて容易に視認、判別することができる。なお、第2表示制御部106は、3次元モデルとして、例えば多角形のポリゴンに構造物を撮影した撮影画像(テクスチャ)をテクスチャーマッピングしたものを表示させることができる。ユーザは、このような3次元モデルを拡大表示させて、橋梁(格間)の表面の性状を確認することができる。
図11は第2の表示状態による表示例を示す図である。図11の例では、第2表示制御部106が、特定された3次元位置に基づいて3次元モデルを拡大または縮小、平行移動、または回転移動させることにより3次元位置に対する視点位置及び/または視線方向を制御し、特定された3次元位置22Bに正対する視点位置及び視線方向により、3次元モデルを第2表示領域22に表示している。なお、第2表示制御部106は、以下の式(1)のように、3次元位置(x,y,z)及び面情報(法線ベクトル)に基づいて座標変換行列の乗算等の演算を行うことにより、視点位置及び/または視線方向を制御することができる。
Figure 0007407194000001
式(1)において、回転角度は(α,β,γ)であり、(x,y,z)は元の座標であり、(X,Y,Z)は変換後の座標である。
上述した第1の表示状態、第2の表示状態はいずれか一方のみを用いてもよいし、両方を同時に用いてもよい。例えば、図12の(a)部分に示すように、3次元位置22Bに正対した視点位置及び視線方向(すなわち、3次元モデルを移動、拡大等した状態)において、3次元位置22Bを含む管理区分を示す枠22C(指標の一態様)を重畳表示してもよい。また、図12の(b)部分に示すように、3次元位置22Bに正対した視点位置及び視線方向において、3次元位置22Bを示す指標22Dを重畳表示してもよい。なお、図12では第2表示領域22のみを図示している。
なお、図4のフローチャートに示す態様ではステップS170で3次元モデルを表示しているが、処理開始の時点(ステップS100またはステップS110)で初期設定の位置、大きさ、向きにより3次元モデルを表示しておき、損傷情報の選択に応じて再表示(初期状態の3次元モデルを移動、回転、拡大/縮小等)してもよい。
<3次元位置の指定に応じた損傷情報の表示>
本発明では、図4等について上述したように損傷情報の選択に基づいて3次元モデルを表示するだけでなく、その逆に3次元モデルにおける3次元位置の指定に基づいて損傷情報を表示させることができる。以下、図14のフローチャートを参照しつつ説明する。
受付部108は、3次元位置の指定を受け付けたか否か判断する(ステップS200)。この判断は、操作部400を介した3次元位置指定操作(例えば、3次元モデルの位置をマウス420でクリック)の有無により行うことができる。受付部108が指定を受け付けた場合(ステップS200でYES)、管理区分特定部110は、指定された3次元位置と最も近い代表点を有する損傷が属する管理区分を特定する(ステップS210)。管理区分特定部110は、図9のような対応表を参照することによりこの判断を行うことができる。第1表示制御部104は、特定した管理区分に存在する損傷情報(指定された3次元位置に対応する損傷情報)を表示装置20に表示させる(ステップS220)。特定した管理区分の近傍(隣接する区分等)における損傷情報を合わせて表示させてもよい。図15は3次元位置の指定に応じた損傷情報の表示例を示す図である。同図右側の第2表示領域24に表示されている3次元モデル30に対し、ユーザがカーソル24Aにより3次元位置を指定する操作(マウス420等により行うことができる)を行うと、第1表示制御部104は同図左側の第1表示領域23に損傷情報23Aを表示させる。なお、損傷情報23Aのうち、枠23Bで囲んだものが、指定された3次元位置に最も近い損傷である。このような表示により、ユーザは3次元モデルで指定した位置を含む管理区分の損傷情報を確認することができる。
<表示の切り替え>
図10~12では損傷情報と3次元モデルの双方を同時に表示する態様について説明したが、表示切替部112(図2参照)がこれらの表示を切り替えてもよい。図16は切り替え表示の例を示す図であり、損傷情報が一覧表示される第1表示領域21と3次元モデルが表示される第2表示領域22とが重ね合わされた状態(第2表示領域22が前面の場合)を示している。ユーザが操作部400を介した操作によりいずれかの表示領域のタブを選択すると、表示切替部112が、その選択に応じて表示装置20における表示を切り替える。
以上説明したように、本発明によれば、ユーザは着目した損傷の位置を3次元モデル上で迅速かつ容易に把握することができる。
以上で本発明の実施形態に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
1 情報表示システム
10 情報表示装置
20 表示装置
21 第1表示領域
21A 損傷情報
22 第2表示領域
22B 3次元位置
22C 枠
22D 指標
23 第1表示領域
23A 損傷情報
23B 枠
24 第2表示領域
24A カーソル
30 3次元モデル
32 指標
100 処理部
102 記憶制御部
104 第1表示制御部
106 第2表示制御部
108 受付部
110 管理区分特定部
112 表示切替部
114 通信制御部
200 記憶部
202 3次元モデル
204 損傷情報
400 操作部
410 キーボード
420 マウス
500 損傷画像
502 損傷画像
504 損傷画像
506 損傷画像
508 損傷画像
510 損傷画像
S100~S180 情報表示方法の各ステップ
S200~S230 情報表示方法の各ステップ

Claims (13)

  1. 構造物の3次元モデルと前記構造物の管理区分ごとの損傷情報とを対応付けて記憶する記憶部と、
    前記損傷情報を表示装置に一覧表示させる第1表示制御部と、
    前記一覧表示された前記損傷情報の選択を受け付ける受付部と、
    前記3次元モデルにおける3次元位置であって前記選択を受け付けた前記損傷情報に対応する3次元位置を特定し、前記特定された前記3次元位置を含む前記管理区分を特定する管理区分特定部と、
    前記3次元モデルの少なくとも前記特定された前記管理区分を含む範囲を、前記3次元位置を識別可能に前記表示装置に表示させる第2表示制御部と、
    を備え、
    前記第2表示制御部は、前記選択を受け付けた前記損傷情報の前記3次元位置に基づいて前記3次元モデルを拡大、縮小、平行移動、または回転移動させ、前記範囲を、前記3次元位置及び/または前記範囲を識別表示した第1の表示状態、かつ/または前記3次元位置に対する視点位置及び/または視線方向を制御した第2の表示状態により表示させ、
    前記損傷情報は、前記管理区分に対応する損傷画像、損傷を示す情報が重畳された損傷画像、損傷図、損傷数量表、補修図、及び補修数量表のうち少なくとも1つ以上であり、
    前記第1表示制御部は、前記一覧表示において、損傷の種類、損傷の程度、損傷の寸法、及び損傷の画像のうち1つ以上を表示させる情報表示装置。
  2. 前記第2表示制御部は、前記第1の表示状態において、前記3次元位置及び/または前記範囲を示す指標を前記3次元モデルに重畳表示させる請求項1に記載の情報表示装置。
  3. 前記第2表示制御部は、前記第2の表示状態において、前記3次元位置に正対する視点位置及び視線方向により前記3次元モデルを表示する請求項1または2に記載の情報表示装置。
  4. 前記第1表示制御部は前記表示装置の第1表示領域に前記損傷情報を表示させ、
    前記第2表示制御部は前記表示装置の第2表示領域に前記3次元モデルを表示させる請求項1から3のいずれか1項に記載の情報表示装置。
  5. 前記第1表示制御部による前記損傷情報の表示と前記第2表示制御部による前記3次元モデルの表示とを切り替える表示切替部を備える請求項1から4のいずれか1項に記載の情報表示装置。
  6. 前記受付部は前記一覧表示の表示条件の設定操作を受け付け、
    前記第1表示制御部は、前記受け付けた前記設定操作に基づいて前記表示条件を満たす前記損傷情報を前記表示装置に表示させる請求項1から5のいずれか1項に記載の情報表示装置。
  7. 前記受付部は、前記構造物の部位及び/または部材、損傷の種類、損傷の程度、前記損傷情報が取得された日時、のうち少なくとも1つに対する設定を前記設定操作として受け付ける請求項6に記載の情報表示装置。
  8. 前記管理区分は、前記構造物を構成する部位、前記構造物の部材の点検単位の区分、及び前記構造物の3次元座標のうち少なくとも1つである請求項1から7のいずれか1項に記載の情報表示装置。
  9. 前記受付部は前記3次元モデルにおける3次元位置の指定を受け付け、前記第1表示制御部は前記指定を受け付けた前記3次元位置に対応する前記損傷情報を前記表示装置に表示させる請求項1から8のいずれか1項に記載の情報表示装置。
  10. 第1表示制御部は、前記一覧表示された前記損傷情報の表示条件について再設定の操作を受け付け、前記受け付けた前記操作に基づいて、前記再設定された前記表示条件を満たす前記損傷情報を前記表示装置に表示させる請求項1から9のいずれか1項に記載の情報表示装置。
  11. 前記第1表示制御部は、構造物の部位及び/または部材、損傷の種類、損傷の程度、損傷情報が取得された日時、のうち少なくとも1つについて、昇順または降順での並べ替え、及び/または、しきい値以上または以下の損傷の抽出を行う、請求項10に記載の情報表示装置。
  12. 構造物の管理区分ごとの損傷情報を表示装置に一覧表示させる第1表示制御工程と、前記一覧表示された前記損傷情報の選択を受け付ける受付工程と、
    前記構造物の3次元モデルにおける3次元位置であって前記選択を受け付けた前記損傷情報に対応する3次元位置を特定し、前記特定された前記3次元位置を含む前記管理区分を特定する管理区分特定工程と、
    前記3次元モデルの少なくとも前記特定された前記管理区分を含む範囲を、前記3次元位置を識別可能に前記表示装置に表示させる第2表示制御工程と、
    を有し、
    前記第2表示制御工程は、前記選択を受け付けた前記損傷情報の前記3次元位置に基づいて前記3次元モデルを拡大、縮小、平行移動、または回転移動させ、前記範囲を、前記3次元位置及び/または前記範囲を識別表示した第1の表示状態、かつ/または前記3次元位置に対する視点位置及び/または視線方向を制御した第2の表示状態により表示させ、
    前記損傷情報は、前記管理区分に対応する損傷画像、損傷を示す情報が重畳された損傷画像、損傷図、損傷数量表、補修図、及び補修数量表のうち少なくとも1つ以上であり、
    前記第1表示制御工程は、前記一覧表示において、損傷の種類、損傷の程度、損傷の寸法、及び損傷の画像のうち1つ以上を表示させる情報表示方法。
  13. 構造物の管理区分ごとの損傷情報を表示装置に一覧表示させる第1表示制御機能と、
    前記一覧表示された前記損傷情報の選択を受け付ける受付機能と、
    前記構造物の3次元モデルにおける3次元位置であって前記選択を受け付けた前記損傷情報に対応する3次元位置を特定し、前記特定された前記3次元位置を含む前記管理区分を特定する管理区分特定機能と、
    前記3次元モデルの少なくとも前記特定された前記管理区分を含む範囲を、前記3次元位置を識別可能に前記表示装置に表示させる第2表示制御機能と、
    をコンピュータに実行させる情報表示プログラムであって、
    前記第2表示制御機能は、前記コンピュータに、前記選択を受け付けた前記損傷情報の前記3次元位置に基づいて前記3次元モデルを拡大、縮小、平行移動、または回転移動させ、前記範囲を、前記3次元位置及び/または前記範囲を識別表示した第1の表示状態、かつ/または前記3次元位置に対する視点位置及び/または視線方向を制御した第2の表示状態により表示させ、
    記損傷情報は、前記管理区分に対応する損傷画像、損傷を示す情報が重畳された損傷画像、損傷図、損傷数量表、補修図、及び補修数量表のうち少なくとも1つ以上であり、
    前記第1表示制御機能は、前記コンピュータに、前記一覧表示において、損傷の種類、損傷の程度、損傷の寸法、及び損傷の画像のうち1つ以上を表示させる、情報表示プログラム。
JP2021534573A 2019-07-22 2020-05-29 情報表示装置、情報表示方法、及び情報表示プログラム Active JP7407194B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019134584 2019-07-22
JP2019134584 2019-07-22
PCT/JP2020/021338 WO2021014758A1 (ja) 2019-07-22 2020-05-29 情報表示装置、情報表示方法、及び情報表示プログラム

Publications (3)

Publication Number Publication Date
JPWO2021014758A1 JPWO2021014758A1 (ja) 2021-01-28
JPWO2021014758A5 JPWO2021014758A5 (ja) 2022-05-25
JP7407194B2 true JP7407194B2 (ja) 2023-12-28

Family

ID=74194157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021534573A Active JP7407194B2 (ja) 2019-07-22 2020-05-29 情報表示装置、情報表示方法、及び情報表示プログラム

Country Status (3)

Country Link
US (1) US11887268B2 (ja)
JP (1) JP7407194B2 (ja)
WO (1) WO2021014758A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002042172A (ja) 2000-07-25 2002-02-08 Matsushita Electric Works Ltd 仮想物体の選択方法、この方法が適用される記録媒体およびサービス
JP2006244335A (ja) 2005-03-07 2006-09-14 Toshiba Corp 設備位置提示システム
WO2017043275A1 (ja) 2015-09-10 2017-03-16 富士フイルム株式会社 健全度判定装置、健全度判定方法および健全度判定プログラム
JP2019049951A (ja) 2017-09-12 2019-03-28 西日本旅客鉄道株式会社 構造物管理装置、構造物管理方法、及び構造物管理プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242524A (ja) 2002-02-19 2003-08-29 Fukui Computer Kk 画像表示装置、画像表示方法、画像表示プログラムおよび画像表示プログラムが格納された記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002042172A (ja) 2000-07-25 2002-02-08 Matsushita Electric Works Ltd 仮想物体の選択方法、この方法が適用される記録媒体およびサービス
JP2006244335A (ja) 2005-03-07 2006-09-14 Toshiba Corp 設備位置提示システム
WO2017043275A1 (ja) 2015-09-10 2017-03-16 富士フイルム株式会社 健全度判定装置、健全度判定方法および健全度判定プログラム
JP2019049951A (ja) 2017-09-12 2019-03-28 西日本旅客鉄道株式会社 構造物管理装置、構造物管理方法、及び構造物管理プログラム

Also Published As

Publication number Publication date
US20220130129A1 (en) 2022-04-28
WO2021014758A1 (ja) 2021-01-28
US11887268B2 (en) 2024-01-30
JPWO2021014758A1 (ja) 2021-01-28

Similar Documents

Publication Publication Date Title
US9542770B1 (en) Automatic method for photo texturing geolocated 3D models from geolocated imagery
CN108549579B (zh) 基于gpu的多目标区域限制预警方法与装置
US8294710B2 (en) Extensible map with pluggable modes
US11042961B2 (en) Spatial processing for map geometry simplification
TW200935352A (en) Geospatial modeling system providing building generation based upon user input on 3D model and related methods
JP2015528145A (ja) 仮想サーフェス割り当て
CN116628123B (zh) 基于空间数据库的动态切片生成方法和系统
CN110704915A (zh) 视线分析方法、装置、计算机设备和存储介质
US20220141441A1 (en) Image display apparatus, image display method, and image display program
US20210201522A1 (en) System and method of selecting a complementary image from a plurality of images for 3d geometry extraction
US20090128554A1 (en) Method and apparatus for determining view impact
JP7407194B2 (ja) 情報表示装置、情報表示方法、及び情報表示プログラム
JP2024012527A (ja) 情報表示装置、方法及びプログラム
AU2018203392B2 (en) Placemat: a ui for 2d/3d composition
US9275481B2 (en) Viewport-based contrast adjustment for map features
WO2018201663A1 (zh) 一种立体图形显示的方法、装置及设备
JP7188798B2 (ja) 座標算出装置、座標算出方法、及びプログラム
US20220130029A1 (en) Image display apparatus, image display method, and image display program
US9230364B2 (en) Zebra lights
KR100751397B1 (ko) 영상 처리 방법
US10372835B2 (en) Simplification of data for representing an environment, based on the heights and elevations of polyhedrons that define structures represented in the data
US10366181B2 (en) Simplification of data for representing an environment, via the reduction of vertices that define structures represented in the data
CN118278784A (zh) 工程进展评估方法、装置及存储介质
CN117893702A (zh) 一种在Cesium三维场景的多边形可视域分析方法、设备及存储介质
Lu et al. Preliminary Investigations into the Usability of 3D Environments for 2D GIS Users

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20211223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R150 Certificate of patent or registration of utility model

Ref document number: 7407194

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150