JP7253044B2 - 図面検証システム、クライアント装置、プログラム、記録媒体、サーバ装置及び制御方法 - Google Patents

図面検証システム、クライアント装置、プログラム、記録媒体、サーバ装置及び制御方法 Download PDF

Info

Publication number
JP7253044B2
JP7253044B2 JP2021511740A JP2021511740A JP7253044B2 JP 7253044 B2 JP7253044 B2 JP 7253044B2 JP 2021511740 A JP2021511740 A JP 2021511740A JP 2021511740 A JP2021511740 A JP 2021511740A JP 7253044 B2 JP7253044 B2 JP 7253044B2
Authority
JP
Japan
Prior art keywords
information
session
verification
dimensional space
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021511740A
Other languages
English (en)
Other versions
JPWO2020202366A1 (ja
JPWO2020202366A5 (ja
Inventor
真麻 泉田
裕二 野中
洋子 大隅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hirata Corp
Original Assignee
Hirata Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hirata Corp filed Critical Hirata Corp
Publication of JPWO2020202366A1 publication Critical patent/JPWO2020202366A1/ja
Publication of JPWO2020202366A5 publication Critical patent/JPWO2020202366A5/ja
Priority to JP2023048508A priority Critical patent/JP7505073B2/ja
Priority to JP2023048518A priority patent/JP7506789B2/ja
Application granted granted Critical
Publication of JP7253044B2 publication Critical patent/JP7253044B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/02CAD in a network environment, e.g. collaborative CAD or distributed simulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/141Setup of application sessions
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Operations Research (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Processing Or Creating Images (AREA)
  • Debugging And Monitoring (AREA)
  • Recording Measured Values (AREA)

Description

本発明は、図面検証システム、クライアント装置、プログラム、記録媒体、サーバ装置及び制御方法に関し、特に設備仕様に基づいて設計された図面情報の検証を両眼立体視映像の提示を用いて実現する技術に関する。
工場に設置する設備機械を新たに導入する、あるいは設備機械を導入した新規の工場を設立する際には、該設備機械を用いて生産される製品や生産工場内の設置場所等を考慮した上で設備仕様書が予め作成され、設備機械の製造企業に対しての発注が行われる。製造企業は、このような生産設備等の設備仕様書に基づいて、要求される仕様を満たすように設備機械やその配置を含めた設計図面を作成する。
生産設備の設計図面は、CAD等の設計ツールを用いて電子データ(図面データ:図面情報)として作成され、注文主との間で共有され、該図面データを元に、要求した設備仕様が満たされているか等の検証が、注文主と製造企業との間で行われることになる。このような検証をより建設的に行うべく、近年ではネットワークを介してリアルタイムに注文主と製造企業がコミュニケーションをとりつつ、図面情報を変更していくシステムも存在する(特許文献1)。
特開2001-195438号公報
ところで、上述したような図面データを参照しての検証は、設備機械導入に係る施工よりも前に行われるものであるが、特に図面データが2次元の設計図面である場合等、複数の設備機械の配置感や動線等を把握することは、設計図面に精通していない者にとって困難となり得る。この点、導入予定の生産設備を注文主が直接見ることができれば、多少は改善し得るが、例えば受発注が国を跨いで行われることも考慮すると、移動にかかる費用や移動にかかる時間等のコストを要する等、現実的ではない。
本発明は、上述の問題点に鑑みてなされたものであり、設備仕様に基づいて構成された図面情報の検証を好適に実現する図面検証システム、クライアント装置、プログラム、記録媒体、サーバ装置及び制御方法を提供することを目的とする。
前述の目的を達成するために、本発明の図面検証システムは、設備仕様に基づいて構成された図面情報の検証に係るセッションを確立するサーバ装置と、ネットワークを介して該セッションに接続して情報通信を行う複数のクライアント装置と、を有する図面検証システムであって、セッションにおける検証は、図面情報に含まれるオブジェクトの描画に用いられる描画オブジェクト情報を、該図面情報に対応する、該オブジェクトの位置及び姿勢を示す配置情報に基づいて、仮想の3次元空間に配置することで行われるものであり、サーバ装置は、検証対象の図面情報を格納する複数のクライアント装置のうちのいずれかからセッション開始要求を受信したことに応じて、セッションを確立する確立手段と、確立手段により確立されたセッションについて、該セッションに係る検証対象の図面情報に対応する3次元空間の状態を示す状態情報を管理する管理手段と、セッションに参加する複数のクライアント装置の各々においてなされた、検証用入力の情報を受信する第1の受信手段と、第1の受信手段による検証用入力の情報の受信に応じて、状態情報を変更する変更手段と、状態情報に基づく3次元空間の描画に必要な共有情報を、セッションに接続中のクライアント装置に送信する第1の送信手段と、を有し、複数のクライアント装置の各々は、第1の記録手段と、第1の記録手段に検証対象の図面情報が格納されていることを条件としてセッションに接続し、第1の送信手段により送信された共有情報を受信する第2の受信手段と、第2の受信手段により受信された共有情報と、描画オブジェクト情報及び配置情報とに基づいて、3次元空間の少なくとも一部を構築する構築手段と、構築された3次元空間を描画する視点の位置及び方向を決定する決定手段と、構築された3次元空間を、決定手段により決定された視点に基づいて描画した、両眼立体視の映像を順次描画出力する出力手段と、出力手段により描画出力された両眼立体視の映像を提示する提示手段と、検証用入力を受け付ける入力手段と、入力手段により受け付けられた検証用入力の情報をサーバ装置に送信する第2の送信手段と、を有することを特徴とする。
このような構成により本発明によれば、設備仕様に基づいて構成された図面情報の検証を好適に実現することが可能となる。
本発明の実施形態及び変形例に係る図面検証システムの構成を示したシステム図 本発明の実施形態及び変形例に係るサーバ装置100の機能構成を示したブロック図 本発明の実施形態及び変形例に係るクライアント装置200の機能構成を示したブロック図 本発明の実施形態及び変形例に係る図面検証システムで図面情報の検証に係り実行される検証処理を例示したフローチャート
[実施形態1]
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
以下に説明する一実施形態は、図面検証システムの一例としての、設備仕様に基づいて構成された図面情報の検証に係るセッションを確立するサーバ装置と、ネットワークを介した該セッションに接続して情報通信を行う複数のクライアント装置とを含んで構成される図面検証システムに、本発明を適用した例を説明する。しかし、本発明は、通信接続された複数の機器に対して、図面情報の検証に係る機能を提供する任意の機器で構成されるシステムに適用可能である。
《図面検証システムの構成》
図1は、本発明の実施形態に係る図面検証システムの構成を示した図である。
図示されるように、図面検証システムでは、サーバ装置100に対して、複数のクライアント装置200がネットワーク300を介して接続可能に構成されている。また本実施形態では、サーバ装置100は、任意のクライアント装置200からセッション開始要求を受信したことに応じて、複数のクライアント装置200が参加可能なセッションを確立することで、該セッションに参加中のクライアント装置200間で情報の送受信を実現する。また詳細は後述するが、サーバ装置100は、セッション中にいずれか一のクライアント装置200から情報を受信して所定の処理を行った後、必要に応じて処理後の情報をセッション参加中の他のクライアント装置200に送信することで、参加中のクライアント装置200間での情報通信や情報同期を実現し、同じ情報の共有を可能にする。
本実施形態の図面検証システムで確立されるセッションは、所定の設備仕様に基づいて設備仕様を満たす様に構成(作図)された図面情報の検証を行う検証セッションである。図面情報とは、例えば対象の施設について、設置する設備機械の情報と、該設備機械の施設内における配置の情報とを少なくとも含んで構成(作図)される図面データである。検証セッションでは、図面情報により示される施設をシミュレーションした仮想の3次元空間の鑑賞を、両眼立体視の態様で各クライアント装置200のユーザが視認できるように構成されている。従って、各クライアント装置200は、両眼立体視での情報提示を実現する装置として、HMD(Head-mounted Display)210が接続されているものとする。
また検証セッションに複数のクライアント装置200が参加している場合、これらのクライアント装置200間において、同一の図面情報を基に複製した図面情報で検証が可能である。このとき、参加しているクライアント装置200の各々では、図面情報に係る3次元空間を独立した視点で視認することができ、複数のユーザの同時検証を実現する。複数のクライアント装置200が参加しての検証では、例えば音声通話も可能に構成されるものであってよい。
このような検証を可能ならしめるべく、本実施形態の図面検証システムにおいてクライアント装置200は、検証対象の設備に係る図面情報を保持している。図面情報は、対象の施設に設置される設備機械に係る3次元CADデータもしくはこれを変換した3次元モデルデータであってよい描画オブジェクト情報、設置される各設備機械の配置を示す配置情報、及び検証セッションへの参加許可権限や参加必要権限などの権限情報とで構成される。即ち、セッション開始要求及び検証セッションに参加可能なクライアント装置200は、参加が許可されていることを示す権限情報を含む図面情報を保持していることが前提となる。セッション開始要求及び検証セッションの参加に必要な権限情報は、図面情報と共に例えば、USBメモリ、CD―RやDVD-Rなどの持ち運び可能な記録メディアや電気通信回線を介して入手可能に準備または提供されることによって、クライアント装置200の記録媒体202に記録される。
検証セッションに参加中のクライアント装置200では、図面情報に係る3次元空間を提示すべく、両眼立体視の映像の各眼球に対応する視点で該3次元空間が描画される。より詳しくは、図面情報に含まれる描画オブジェクト情報に係る3次元モデルデータを配置情報に基づいて3次元空間に配置されることで、図面情報と対応する3次元空間の少なくとも一部が構築される。また、別途決定された各眼球用の視点の位置及び方向に基づいて、該構築された3次元空間を描画することで、HMD210を用いて提示される、両眼立体視を実現する画像群が生成される。
ここで、描画オブジェクト情報に係る3次元モデルデータは、設備機械のそれぞれについて設けられるものであり、描画オブジェクト情報が3次元CADデータである場合には、該3次元CADデータをクライアント装置200において変換することで生成されるものであってよい。3次元CADデータは、その用途上、精細な形状定義が行われ、かつ、設備機械を構成する全ての部品が分離可能に構成されているため、例えば頂点数が多い等、情報量が多いデータとなっている。故に、複数の設備機械を配置した3次元空間を描画する際、3次元CADデータは、描画が不要な面や外部からは見えない部品を過大に含んでおり、また描画する面の頂点も多いことから、描画処理の演算量が膨大であり、処理時間が長大化し、現実的でない。従って、外観の表現に影響のない部品の除去、頂点数の間引き及び結束情報の変更、簡易立体形状への置換、複数部品の統合による部品数及び頂点数の削減等の変換処理を3次元CADデータに対して行うことで、簡素化された3次元モデルデータを得、これを描画処理に用いるものとする。
なお、描画オブジェクト情報は、3次元CADデータや3次元モデルデータに限られるものでなく、該3次元モデルデータに適用される各種テクスチャデータ、少なくとも一部のパーツの作動時の動作を規定した動作情報等を含むものであってよい。また描画オブジェクト情報は、3次元モデルデータに対して適用されるシェーダ等の描画用プログラムや、光源種別、光源強度、光源ベクトル等の、該描画用プログラムで用いられる演算用データの指定情報を含んでいてよい。また配置情報は、施設に設置される光源の情報を含むものであってよい。
一方、サーバ装置100は、検証セッションに参加しているクライアント装置200間での検証内容の同期をとるべく、図面情報に係る3次元空間の情報を管理する。本実施形態では、図面情報に係る3次元空間の描画をクライアント装置200において行うため、サーバ装置100は、検証の同期に係る情報のみを管理する。従って、サーバ装置100は、検証セッションの開始に先立っては、該当の図面情報のうちの配置情報を少なくとも保持していればよい。
また、サーバ装置100は、検証セッション中は図面情報に係る3次元空間の状態を示す状態情報を管理し、順次、クライアント装置200において検証用になされた操作(検証用入力)に基づいて状態情報を更新する。状態情報に生じた変化の情報(共有情報)は、検証セッションに参加しているクライアント装置200に送信され、クライアント装置200において構築されている3次元空間に反映される。これにより、参加中の全てのクライアント装置200において、同様の状態の3次元空間を基にしてクライアント装置200に保存される図面情報を同期させた描画オブジェクト情報の鑑賞が実現される。
〈サーバ装置の構成〉
次に、このような本実施形態のサーバ装置100の機能構成について、図2のブロック図を用いて詳細を説明する。なお、以下の説明では、サーバ装置100とクライアント装置200において同様の機能を実現する構成要素については、前者の構成要素に対して「サーバ」の接頭文字を付して峻別するものとする。
サーバ制御部101は、例えばCPUであり、サーバ装置100が有する各ブロックの動作を制御する。具体的にはサーバ制御部101は、例えばサーバ記録媒体102に記録されている各ブロックの動作プログラムや検証セッション提供に係るプログラムを読み出し、サーバメモリ103に展開して実行することにより各ブロックの動作を制御する。
サーバ記録媒体102は、例えば不揮発性メモリやHDD等の恒久的にデータを保持可能な記録装置である。サーバ記録媒体102は、サーバ装置100が有する各ブロックの動作プログラムや検証セッション提供に係るプログラムに加え、各ブロックの動作において必要となるパラメータ等を記録する。サーバメモリ103は、例えば揮発性メモリ等の一時的なデータ記憶に使用される記憶装置である。サーバメモリ103は、各プログラムの展開領域としてだけでなく、各ブロックの動作において出力されたデータ等を一時的に記憶する格納領域としても用いられる。
管理部104は、確立中の検証セッション及び終了した検証セッションについて、対応する図面情報に係る3次元空間の状態情報を管理する。状態情報の詳細については後述するが、管理部104は、図面情報に基づく配置情報に基づいて構成された初期の状態情報に対し、検証セッション中になされた検証用入力の情報に基づく変更を順次加えた情報を管理する。また管理部104は、管理中の状態情報に変更が生じた場合に、各クライアント装置200に構築されている図面情報に係る3次元空間を同期させるべく、共有情報を生成する。
状態変更部105は、検証セッションにおいて、参加中のクライアント装置200においてなされた検証用入力の情報に基づいて、管理部104で管理されている状態情報の変更を行う。
サーバ通信部106は、サーバ装置100が有する、他の装置との通信を行うための通信インタフェースである。サーバ通信部106は、有線無線を問わず、所定の通信方式でネットワーク300を介して外部機器に接続し、データの送受信を行う。
〈クライアント装置の構成〉
次に、本実施形態のクライアント装置200の機能構成について、図3のブロック図を用いて詳細を説明する。
制御部201は、例えばCPUであり、クライアント装置200が有する各ブロックの動作を制御する。具体的には制御部201は、例えば記録媒体202に記録されている各ブロックの動作プログラムや検証セッション参加に係るプログラムを読み出し、メモリ203に展開して実行することにより各ブロックの動作を制御する。
記録媒体202は、例えば不揮発性メモリやHDD等の恒久的にデータを保持可能な記録装置である。記録媒体202は、クライアント装置200が有する各ブロックの動作プログラムや検証セッション参加に係るプログラムに加え、各ブロックの動作において必要となるパラメータ等を記録する。メモリ203は、例えば揮発性メモリ等の一時的なデータ記憶に使用される記憶装置である。メモリ203は、各プログラムの展開領域としてだけでなく、各ブロックの動作において出力されたデータ等を一時的に記憶する格納領域としても用いられる。
構築部204は、検証セッション参加中における、描画用の図面情報に係る3次元空間の構築を行う。構築部204により構築される3次元空間は、図面情報に示される全てを含むものである必要はなく、少なくとも描画を行う視点の視野範囲に含まれる描画オブジェクト群を配置した状態であってよい。具体的には、構築部204は、まず設定された視点位置の情報に基づき、予め定められた、視点に応じた構築範囲に配置することが配置情報で規定されているオブジェクト(設備機械、照明等)を特定する。そして構築部204は、特定したオブジェクトに係る描画オブジェクト情報を例えばメモリ203に展開し、配置情報に基づいて仮想的な3次元空間に配置することで、サーバ装置100で管理されている3次元空間の少なくとも一部を構築する。
上述したように、本実施形態の図面検証システムでは、検証セッションにおいて参加中の複数のクライアント装置200のそれぞれでなされた検証用入力に基づいて3次元空間の状態が変化する。このため、構築部204は、サーバ装置100において3次元空間の状態に変更が生じた場合に受信する共有情報も反映した上で、3次元空間の構築を行うものとする。3次元空間の構築は、クライアント装置200毎にそれぞれの視点方向に合わせて行われる。
なお、本実施形態では、構築部204が3次元空間の構築を行うものとして説明するが、本発明の実施はこれに限られるものではない。3次元空間の構築は、後述する描画部206によって行われるものであってもよいし、他の構成により実現されるものであってもよい。
決定部205は、構築された3次元空間について描画を行う視点の位置及び方向を決定する。本実施形態では、検証セッションにおける3次元空間の鑑賞は、両眼立体視の映像で行われるため、決定部205は、左眼用及び右眼用の視点のそれぞれについて位置及び方向を決定する。視点の位置及び方向は、例えば視点移動(並進及び回転の少なくともいずれかの変更)に係る操作入力の検出、及び、HMD210を装着したユーザの頭部動作(実空間における並進及び回転)の検出の少なくともいずれかに応じて決定されるものであってよい。このとき、例えば2つの視点の中間点に対して検出された移動分を反映させ、基線長方向に眼間距離の半分量ずつシフトさせることで、決定部205は左眼用及び右眼用の視点の位置及び方向を決定すればよい。
描画部206は、例えばGPU等の描画装置である。描画部206は、決定部205により決定された視点に基づいて、図面情報に係り構築されている3次元空間を描画し、両眼立体視用の映像の1フレームに係る画像を生成する。描画部206により生成された1フレームの画像群は、後述のHMD210に順次出力されて提示される。
操作入力部207は、例えば検証セッションにおける検証用入力用に設けられたコントローラ、マウスやキーボード等の、クライアント装置200が有するユーザインタフェースである。操作入力部207は、ユーザによりなされた操作入力を検出すると、該操作入力に対応する制御信号を制御部201に伝送する。なお、本実施形態では、HMD210を装着したクライアント装置200のユーザの頭部位置に応じて、視点変更がなされるものとして説明するため、操作入力部207は、HMD210が有するセンサ211のセンサ出力、もしくは該センサ出力を所定の形式に変換した情報も検出するものとする。
通信部208は、クライアント装置200が有する、他の装置との通信を行うための通信インタフェースである。通信部208は、有線無線を問わず、所定の通信方式でネットワーク300を介して外部機器に接続し、データの送受信を行う。
HMD210は、本実施形態の検証セッションにおいて、図面情報の検証に係る両眼立体視の映像を提示する表示装置である。本実施形態では、両眼立体視の映像を提示する表示装置としてHMD210を用いるものとして説明するが、本発明の実施はこれに限られるものではなく、両眼立体視での情報提示を可能ならしめる装置であれば、いずれであってもよい。また本実施形態ではHMD210は、例えば加速度センサ及びジャイロセンサであってよいセンサ211を有し、検証セッションに係る映像提示中における(HMD210を装着した)ユーザの頭部動作を検出可能に構成されているものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、ユーザの頭部動作は、HMD210に設けられたマーカを、撮像装置等の外部に設けられた検出デバイスによって検出して解析することにより導出されるものであってよい。
《検証セッション》
以下、このような構成を持つ本実施形態の図面検証システムにおいて、検証セッションにおいて提供される機能やその動作態様について説明する。
検証セッションでは、該セッションに接続しているクライアント装置200に対して、共通の図面情報について、該図面情報に係る3次元空間における設備機械の配置変更や別の設備機械への変更を含む各種の検証及び調整に係る機能が提供される。本実施形態では、該機能により、図面情報に係る3次元空間の状態が一時的に変更され、検証セッションに接続中のクライアント装置200の間で共有される。
検証セッションに参加する各クライアント装置200のユーザは、アバターとして3次元空間中に配置され、他のクライアント装置200の視点において視認可能な描画オブジェクトとして表現される。ここで、少なくともアバターの頭部の3次元空間における位置及び姿勢は、該アバターに対応するクライアント装置200において両眼立体視を提供している視点と連動するよう構成されているものとする。このように構成することで、検証及び調整に係る機能の提供にあたり、各ユーザが注目している箇所や協議の対象としている描画オブジェクトの把握が容易になる等、円滑なユーザ間のコミュニケーションが実現される。
各アバターの挙動制御は、クライアント装置200において設定されている視点を示す視点情報がサーバ装置100に送信され、状態変更部105が該視点情報に基づいて、管理部104が管理している状態情報のうちの対応するアバターの状態を変更し、該変更内容が共有情報として各クライアント装置200に送信されることにより実現される。即ち、共有情報を受信したクライアント装置200において、構築部204が、該共有情報により示される状態となるように、対応するアバターの位置及び姿勢を変更して配置した3次元空間を構築(変更)し、該3次元空間が描画部206によって描画されることになる。このような情報共有により、検証セッション参加中のクライアント装置200において行われている検証の様子が、他のクライアント装置200にも提示されることになる。
この他、本実施形態の検証セッションでは、各クライアント装置200において、3次元空間に配置されている描画オブジェクトまたは描画オブジェクトの任意の部位を指示選択する機能が提供される。指示選択された対象は、識別可能なように提示態様が制御され、該提示態様の変化もアバターと同様に共有情報として共有されることで、検証セッション参加中の全てのクライアント装置200で提示可能になる。該機能により、検証の状況が、他のクライアント装置200に、より伝わりやすくなる。指示選択された対象を識別可能にならしめる提示態様は、例えば該対象の描画色を異ならせる(色を変えたり、色調を明るくしたり、発光させたりすることも含む)ものであってもよいし、ポインタ等の所定の指標オブジェクトを付近に配置するものであってもよいし、アバターの手等を用いて指し示すものであってもよい。
なお、本実施形態の図面検証システムでは、検証対象とする図面情報は、設備仕様に基づく、設備機械群が配置された状態の施設を検証するものとし、クライアント装置200のユーザには、両眼立体視の映像を介して、あたかも該施設内で検証しているかの如き鑑賞体験を提供する。つまり、HMD210を介してユーザに提示される両眼立体視の映像において、施設及び配置される設備機械の描画オブジェクトは、実寸大、即ち、現実世界と同等の大きさで鑑賞される。具体的には、各クライアント装置200における描画のカメラパラメータ(画角)、及び描画オブジェクトの3次元モデルデータのスケーリングの少なくともいずれかが調整されることで、現実世界における該当のオブジェクトが、視点と対応する位置関係から見た場合と同サイズで、ユーザの視界に提示されるよう、本実施形態の図面検証システムは構成されているものとする。
〈検証用入力〉
続いて、このような検証セッションに参加するクライアント装置200において、図面情報に係る3次元空間の状態を変更せしめる入力を示す検証用入力について説明する。
検証用入力は、図面情報で定められた施設に配置されるオブジェクトの、別のオブジェクトへの変更を指示するための操作入力を含む。該操作入力は、例えば3次元空間中に配置されたオブジェクトの選択、及び、例えばオブジェクトリストからの、選択されたオブジェクトに代えて配置するオブジェクトの選択を含む。ここで、オブジェクトは、1つの設備機械の全体を変更するものに限られるものでなく、例えば設備機械の一部のアセンブリを、互換性のある別のアセンブリに変更する態様が含まれるものであってもよい。あるいは、本検証用入力は、オブジェクトの配置されていない領域に対する、新たなオブジェクトの配置を指示するための操作入力であってもよい。
また検証用入力は、図面情報で定められた施設に配置されるオブジェクトの、位置及び姿勢の少なくともいずれかの変更を指示するための操作入力を含む。該操作入力は、例えば3次元空間中に配置されたオブジェクトの選択、及び該オブジェクトの変更後の位置や姿勢の指示を含む。変更にあたっては、例えばオブジェクトが配置される床面の高さ変更や壁面の形状変更等、施設の内装要素の変更を含むものであってもよい。
また検証用入力は、図面情報で定められた施設に配置されるオブジェクトや施設の内装要素について、例えばテキストチャットや音声通話等、検証セッションで行われたユーザ間の協議に係る各入力(テキストや音声)の情報(協議情報)を含む。換言すれば、本態様の検証用入力(協議情報)は、図面情報に係る3次元空間を鑑賞しながら行われた協議内容のログに相当するものであり、例えば図面情報に係る設備仕様の評価、上記変更に係る検証用入力に基づく3次元空間の状態変化についての意見交換の内容等を含むものであってよい。
この他、図面情報には直接的に示されるものではないが、各クライアント装置200に対応するアバターも、検証セッションにおいて3次元空間に配置されて管理される要素である。従って、検証用入力は、対応するクライアント装置200における視点変更に係る入力(直接的に視点変更を行う操作入力、または、センサ211のセンシング出力)に基づいて決定された描画用の視点情報(あるいは、視点変更に係る入力そのもの)、及び検証対象の指示選択状況を示す情報を含む。
このように、各クライアント装置200においてなされた検証用入力の情報は、該クライアント装置200(もしくはそのユーザ)を識別する識別情報を関連付けて、サーバ装置100に対して送信される。即ち、検証用入力の情報は、いずれのクライアント装置200においてなされた入力であるかを識別可能な状態で、サーバ装置100に対して送信される。
〈状態情報の管理〉
このように送信された検証用入力の情報を受信すると、状態変更部105は、管理部104により管理されている、本検証セッションに係る状態情報を変更する。即ち、協議情報以外の検証用入力の情報については、3次元空間に配置される設備機械やアバターの描画オブジェクトの状態を、該情報により指示される状態に変更するよう制御される。また協議情報の検証用入力の情報については、例えばリスト形式で協議内容を表示するオブジェクトが、3次元空間中の対応する位置に配置されることで提示され、確認可能となるよう制御される。
ところで、本実施形態の図面検証システムでは、サーバ装置100では、検証セッションの検証対象である図面情報について3次元空間の状態のみを管理し、図面情報自体についての変更は行わない。即ち、状態情報の変更は行うが、該変更は図面情報に反映されるものではなく、あくまでも図面情報の検証のために行われる一時的なものである。ここで、検証の位置づけは、現状構成されている図面情報で設備仕様が好適に満たされるか否か、または、図面情報に基づいて施設の施工が行われた場合に不具合(例えば、干渉等)が生じるか否か、または、検証を行った上での改善点が存在するか否かの確認を行うためのものになる。
故に、本実施形態の図面検証システムでは、1つの図面情報について行われた検証セッションについて、状態情報は、検証用入力に基づいて行われた変更履歴等を示す履歴情報を含んで構成され、該セッションの終了後に、検証に基づく図面情報の変更や要検討事項が確認可能となるように、該履歴情報が図面情報を識別する情報に関連付けられて管理されるものとする。
履歴情報は、上述したように、本実施形態の図面検証システムでは、オブジェクトの変更履歴、オブジェクトの位置及び方向の変更履歴、協議情報に基づく議事録の少なくともいずれかを含んで構成される。また履歴情報は、いずれのクライアント装置200でなされた検証用入力に起因する変更や発言等であるかを時系列順に参照可能に構成されており、該情報に基づいて後に図面情報を変更する際に、変更内容の確認先の特定や、該変更に係る責任の所在を明らかにすることができる。
また履歴情報は、1回の検証セッションごとに、図面情報と対応する状態情報への変更履歴を管理するように構成される態様に限られるものではない。例えば一度終了した検証セッションについて構成された履歴情報は、再度同一の図面情報に基づいて検証セッションを行う際に、履歴ごとに状態情報への反映/非反映を切り替えながら検証できるように構成してもよい。
〈共有情報〉
検証用入力の情報に基づいて管理部104が管理する状態情報が変更されると、該変更を検証セッションに接続中のクライアント装置200の構築部204が、描画のために構築している3次元空間に反映すべく、サーバ装置100から各クライアント装置200に共有情報が送信される。共有情報は、図面情報の配置情報に基づいて管理される初期の状態情報からの変更の全てを示すものである必要はなく、各状態情報の変更タイミングにおいて、直前の状態の状態情報からの差分を示すものであってよい。各クライアント装置200の構築部204は、受信した共有情報に基づいて既に構築している3次元空間を更新することで、検証セッションに接続中のクライアント装置200による検証用入力に基づいて生じた変更を反映した状態で、ローカルの3次元空間を構築することができる。このようにすることで、検証セッションに接続中のクライアント装置200間で同期した状態の3次元空間に基づいてそれぞれのクライアント装置200に保存された図面情報を同期させながら検証を行うことが可能となる。
検証セッション確立の時点では、図面情報の配置情報のみに基づけば共有情報の送信は必要ないが、検証セッションにクライアント装置200が参加して検証を行う際には、各クライアント装置200のユーザに係るアバターの状態を更新する必要がある。このため、検証セッション中、基本的には検証用入力の情報として、視点情報や指示選択状況の情報が各クライアント装置200からサーバ装置100に送信され、状態情報のうちの対応するアバターの状態が該情報に基づいて更新される。そして、該更新に係る共有情報が各クライアント装置200に送信されることになる。
加えて、図面情報の検証に係るその他の検証用入力がなされると、状態変更部105は、該検証用入力の情報に基づいて状態情報を更新し、管理部104は状態情報に生じた変更を示す情報を共有情報に含め、各クライアント装置200に送信させる。
本実施形態では本仕組みの内容を理解しやすくするため、各クライアント装置200においてなされた検証用入力の情報はまずサーバ装置100に送信され、状態変更部105によって状態情報に反映された後、その変化分を示す共有情報が検証セッションに接続中の全てのクライアント装置200に送信され、構築部204によって構築されている3次元空間に反映されるという例を一態様として説明する。即ち、各クライアント装置200において描画される3次元空間を完全同期すべく、検証セッションにおいて生じた状態情報を変更させる全ての情報は、一度、サーバ装置100において管理されている状態情報に反映され、各クライアント装置200のローカルに構築された3次元空間が、該状態情報に同期するように更新されるものとして説明する。しかしながら、クライアント装置200においてなされた検証用入力については、ローカルに構築された3次元空間には共有情報を介さずに適用される構成とし、該検証用入力の情報に基づいて生じる状態情報の変更に係る共有情報は、該クライアント装置200を除いた他のクライアント装置200に対してのみ送信される構成としてもよい。
《検証処理》
以下、本実施形態の図面検証システムにおいて検証セッションが確立された際に、該セッションに接続中のクライアント装置200とサーバ装置100とで検証に係り実行される検証処理について、図4のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、サーバ制御部101及び制御部201が、例えばサーバ記録媒体102と記録媒体202とのそれぞれに記憶されている対応する処理プログラムを読み出し、サーバメモリ103またはメモリ203に展開して実行することにより実現することができる。なお、本検証処理は、例えば確立された検証セッションにクライアント装置200が接続され、該クライアント装置200において図面情報に基づく3次元空間が構築され、両眼立体視の映像が提示可能なシーケンスまで処理が進行した際に開始されるものとして説明する。
S401で、制御部201は、検証用入力がなされたか否かを判断する。検証用入力がなされたか否かは、別のオブジェクトへの変更を指示するための操作入力、オブジェクトの位置及び姿勢の変更を指示するための操作入力、協議情報の入力については、それぞれに対応する入力がなされたか否かに応じて判断されるものであってよい。また視点情報や検証対象の指示選択状況に係る検証用入力については、例えば前フレームにおける状態からの変更を生じさせる入力がなされたか否かに応じて判断されるものであってよい。制御部201は、検証用入力がなされたと判断した場合は処理をS402に移し、なされていないと判断した場合は処理をS406に移す。
S402で、制御部201は、なされた検証用入力の情報にクライアント装置200の識別情報を関連付けて通信部208に伝送し、サーバ装置100に送信させる。
一方、サーバ装置100では、サーバ制御部101はS403で、検証セッションに接続中のクライアント装置200から、例えば1フレーム等の所定の処理期間中に検証用入力の情報を受信したか否かを判断する。サーバ制御部101は、所定の処理期間中に、いずれかのクライアント装置200から検証用入力の情報を受信したと判断した場合は処理をS404に移す。またサーバ制御部101は、所定の処理期間中にいずれのクライアント装置200からも検証用入力の情報を受信していないと判断した場合は、本フレームに係るサーバ装置100側の処理が完了したものとして、次のフレームに係る処理を開始するタイミングまで待機した後、次のフレームについての本ステップの処理を再度行う。
なお、例えば所定の処理期間中に複数のクライアント装置200から受信した検証用入力の情報が、同一のオブジェクトを対象として行われる内容である等、状態変更が競合するケースも存在し得る。このような場合、サーバ制御部101は、所定の処理期間中に、複数のクライアント装置200から受信した該当の検証用入力の情報のうちの最初に受信した検証用入力の情報を優先して処理し、他のクライアント装置200から受信したそれ以外検証用入力の情報による処理は実行しないものとして制御すればよい。
S404で、状態変更部105はサーバ制御部101の制御の下、受信した検証用入力の情報に基づいて、管理部104により管理されている状態情報を変更する。具体的には状態変更部105は、受信した検証用入力の情報に基づいて3次元空間中の対象のオブジェクトの状態を変更すると共に、該検証用入力の情報に関連付けられた識別情報と検証用入力の情報とに基づく変更履歴を履歴情報に追加して状態情報を変更する。
S405で、管理部104はサーバ制御部101の制御の下、S404において行われた状態情報の変更に係る共有情報を構成してサーバ通信部106に伝送し、検証セッションに接続中の各クライアント装置200に送信させる。
またクライアント装置200では、共有情報の受信が行われるものとして予め定められた処理タイミングまで待機した後、制御部201はS406で、サーバ装置100から共有情報を受信したか否かを判断する。制御部201は、共有情報を受信したと判断した場合は処理をS407に移し、受信していないと判断した場合は処理をS408に移す。
S407で、構築部204は制御部201の制御の下、受信した共有情報に基づく変更を加えた状態の3次元空間を構築する。
S408で、決定部205は制御部201の制御の下、本フレームに係る描画を行う視点を決定する。本ステップの処理は、視点変更に係る入力がなされている場合は、該入力を反映した状態に視点を変更して決定し、なされていない場合は、前のフレームに係り描画を行った視点に決定する。
S409で、描画部206は制御部201の制御の下、S408において決定された視点に基づいて、構築されている3次元空間の描画を行い、両眼立体視の映像の1フレームに係る画像群を生成する。
S410で、制御部201は、S409において生成された画像群をHMD210に伝送して提示させ、次のフレームについての処理を行うべく、処理をS401に戻す。
以上説明したように、本実施形態の図面検証システムでは、複数のクライアント装置200を参加させた検証セッションにおいて、同期させた3次元空間の両眼立体視の映像の提示を介した図面情報の検証を好適に実現することができる。
なお、本実施形態では図面情報に係る3次元空間の状態を変更せしめる検証用入力が、配置オブジェクトへの変更、オブジェクトの配置位置及び姿勢の変更、協議情報の入力、視点情報及び指示選択状況の変更であるものとして説明したが、本発明の実施はこれに限られるものではない。例えば、図面情報の検証に係り、視覚的な検証を行う複数種類の検証項目を予め設ける態様では、検証項目の選択に係る操作入力を検証用入力としてもよい。該態様において、検証セッション参加中のクライアント装置200において、検証項目の選択に係る操作入力がなされると、該検証項目用のグラフィカルインタフェースを含んだ両眼立体視用の映像提示が行われるように、状態変更部105は状態情報を変更すればよい。
検証項目としては例えば、配置される設備機器等のオブジェクトの変更、オブジェクトの配置、オブジェクトが配置される領域の設定(ゾーニング)、オブジェクトの配置に基づく製造物やオブジェクト使用者の動線の確認、オブジェクトの動作環境の温度条件の設定、施設における空調配置、オブジェクトの作動時に設定する照明条件、施設における照明配置、オブジェクト群のメンテナンス性、施設におけるカメラ設置箇所、及び設置されるカメラ画角設定の少なくともいずれかが含まれるものであってよい。例えば、オブジェクトの変更に係る検証項目が選択された場合、変更後のオブジェクトをいずれとするかを決定するためのグラフィカルユーザインタフェースが3次元空間中に配置され、両眼立体視の映像として各クライアント装置200のユーザに提示されるものであってよい。
[実施形態2]
上述した実施形態1では、サーバ装置100は図面情報のうちの配置情報を保持し、図面情報に係る3次元空間の情報のみを管理するものとし、検証セッションの終了時には、履歴情報を図面情報を識別する情報に関連付けて管理するものとして説明したが、本発明の実施はこれに限られるものではない。
例えばサーバ装置100において図面情報を管理し、検証用入力の情報を受信した際、あるいはセッションの終了時には、状態情報に生じた変更を反映した状態に該図面情報を更新するように構成されていてもよい。即ち、検証セッションにおいて行われた検証に基づく図面情報の変更は、実施形態1のように、検証セッションの終了後に履歴情報を参照して例えば設計者が作業するのではなく、行われた検証内容を正として設計者の作業等を要さずにサーバ制御部101が図面情報に反映するよう構成されていてもよい。
[変形例1]
上述した実施形態2のように、サーバ装置100に図面情報が保持され、図面情報の変更が可能に構成されている態様では、該変更のために、設置機械のCADデータ等がサーバ装置100に格納されている必要がある。換言すれば、このような態様ではサーバ装置100に図面情報及び図面情報の構成に必要な3次元CADデータが保持されているため、クライアント装置200のそれぞれが図面情報を格納し、配置オブジェクトの変更があった場合にも対応可能なように描画オブジェクト情報を保持している必要はない。
従って、クライアント装置200には検証セッションに係る権限情報のみが、該権限情報が含まれる記録媒体を介して提供され、本検証システムで使用される両眼立体視の映像を提示するために必要となる描画オブジェクト情報及び配置情報は、サーバ装置100から都度必要に応じて、通信部208を介して受信する構成としてもよい。該態様において、例えば配置オブジェクトの別オブジェクトへの変更があった場合には、共有情報に該別オブジェクトに係る描画オブジェクト情報が含められてクライアント装置200に提供される構成としてもよい。
[変形例2]
上述した実施形態2及び変形例1のように、検証セッションにより実質的に図面情報の編集が可能に構成されている態様では、図面情報の検証において配置可能なように、例えば特定の生産機能を実現するために必要な複数種類のオブジェクトについて、これらの描画オブジェクトの組み合わせ及び配置によって構成されたレイアウト情報をテンプレートとして予め設けておくものとしてもよい。該レイアウト情報は、検証時において、他のオブジェクトに差し替える態様で、あるいは新規に配置する態様で、3次元空間中に配置可能に構成される。
一方で、このようなレイアウト情報は、設計仕様に必ずしも合致するものでない、あるいは設置する領域の大きさに適合するよう構成されたものではない可能性があり、配置に係る検証用入力がなされた後も、該当の組み合わせに係る描画オブジェクトの位置及び姿勢の変更や、一部オブジェクトの差し替え等の調整がなされ得る。特に、一部の設備機械について規模の異なるバリエーションが提供される、あるいはアップデートされた最新機種等が提供される態様を考慮すると、常に変化する注文主のニーズにレイアウト情報が適合しなくなる可能性も十分あり得る。
このため、サーバ制御部101は、同一のテンプレートに係るレイアウト情報に基づいて配置された描画オブジェクトに対して、同一内容の変更が所定数を超えてなされる場合には、レイアウト情報に該変更を反映し、反映したものを検証において配置可能に構成するものとしてもよい。また既に該レイアウト情報を採用して構成された図面情報について検証セッションが行われる場合には、該セッションにおいて、該当箇所のオブジェクトの変更提案を行うよう調整してもよい。
[その他の実施形態]
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から逸脱することなく、発明の要旨の範囲内で種々の変形・変更が可能である。また本発明に係る図面検証システムは、1以上のコンピュータを該図面検証システムの各機器として機能させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供/配布することができる。

Claims (23)

  1. 設備仕様に基づいて構成された図面情報の検証に係るセッションを確立するサーバ装置と、ネットワークを介して該セッションに接続して情報通信を行う複数のクライアント装置と、を有する図面検証システムであって、
    前記セッションにおける検証は、前記図面情報に含まれるオブジェクトの描画に用いられる描画オブジェクト情報を、該図面情報に対応する、該オブジェクトの位置及び姿勢を示す配置情報に基づいて、仮想の3次元空間に配置することで行われるものであり、
    前記サーバ装置は、
    検証対象の前記図面情報を格納する前記複数のクライアント装置のうちのいずれかからセッション開始要求を受信したことに応じて、前記セッションを確立する確立手段と、
    前記確立手段により確立された前記セッションについて、該セッションに係る前記検証対象の図面情報に対応する前記3次元空間の状態を示す状態情報を管理する管理手段と、
    前記セッションに参加する前記複数のクライアント装置の各々においてなされた、検証用入力の情報を受信する第1の受信手段と、
    前記第1の受信手段による前記検証用入力の情報の受信に応じて、前記状態情報を変更する変更手段と、
    前記状態情報に基づく前記3次元空間の描画に必要な共有情報を、前記セッションに接続中のクライアント装置に送信する第1の送信手段と、
    を有し、
    前記複数のクライアント装置の各々は、
    第1の記録手段と、
    前記第1の記録手段に前記検証対象の図面情報が格納されていることを条件として前記セッションに接続し、前記第1の送信手段により送信された前記共有情報を受信する第2の受信手段と、
    前記第2の受信手段により受信された前記共有情報と、前記描画オブジェクト情報及び前記配置情報とに基づいて、前記3次元空間の少なくとも一部を構築する構築手段と、
    構築された前記3次元空間を描画する視点の位置及び方向を決定する決定手段と、
    前記構築された3次元空間を、前記決定手段により決定された前記視点に基づいて描画した、両眼立体視の映像を順次描画出力する出力手段と、
    前記出力手段により描画出力された前記両眼立体視の映像を提示する提示手段と、
    前記検証用入力を受け付ける入力手段と、
    前記入力手段により受け付けられた前記検証用入力の情報を前記サーバ装置に送信する第2の送信手段と、
    を有することを特徴とする図面検証システム。
  2. 前記入力手段が受け付ける前記検証用入力は、前記構築された3次元空間に配置されるオブジェクトの変更指示、前記3次元空間に配置されているオブジェクトの位置及び姿勢の少なくともいずれかの変更指示、及び前記図面情報の検証に係り行われた協議内容を示す協議情報の少なくともいずれかを含み、
    前記管理手段は、前記変更手段による前記検証用入力の情報に基づく前記状態情報の変更に基づいて、前記3次元空間に配置されるオブジェクトの変更履歴、前記3次元空間に配置されているオブジェクトの位置及び姿勢の少なくともいずれかの変更履歴、及び前記協議情報に基づいて生成された議事録、の少なくともいずれかを示す履歴情報を前記状態情報に含めて管理する
    ことを特徴とする請求項1に記載の図面検証システム。
  3. 前記第2の送信手段は、前記検証用入力の情報に、該検証用入力が入力されたクライアント装置または該クライアント装置を利用していたユーザを示す識別情報を関連付けて送信し、
    前記履歴情報において各検証用入力に係る情報は、該検証用入力に対応する前記識別情報が関連付けられる
    ことを特徴とする請求項2に記載の図面検証システム。
  4. 前記描画オブジェクト情報は、該描画オブジェクト情報により表現されるオブジェクトの3次元モデルデータであって、前記図面情報に含まれる該オブジェクトのCADデータを基に構成された3次元モデルデータを含むことを特徴とする請求項1乃至3のいずれか1項に記載の図面検証システム。
  5. 前記描画オブジェクト情報は、該描画オブジェクト情報により表現されるオブジェクトの少なくとも一部の動作を規定した動作情報を含んで構成されることを特徴とする請求項1乃至4のいずれか1項に記載の図面検証システム。
  6. 前記図面情報は、該図面情報に対応する前記描画オブジェクト情報及び前記配置情報を少なくとも含み、 前記構築手段は、前記共有情報と、前記第1の記録手段に格納されている前記描画オブジェクト情報及び前記配置情報とに基づいて、前記3次元空間の少なくとも一部を構築する
    ことを特徴とする請求項1乃至5のいずれか1項に記載の図面検証システム。
  7. 前記図面情報は、前記セッションへの参加を許可するか否かを示す権限情報を含み、
    前記複数のクライアント装置の各々は、前記セッションへの参加を許可する前記権限情報が含まれる前記図面情報が前記第1の記録手段に格納されている場合に、前記セッションに接続するよう制御される
    ことを特徴とする請求項6に記載の図面検証システム。
  8. 前記サーバ装置は、前記図面情報に対応する前記配置情報を格納する第2の記録手段をさらに有し、
    前記管理手段は、前記第2の記録手段に格納されている前記配置情報と前記状態情報とに基づいて、前記3次元空間の状態を管理する
    ことを特徴とする請求項6に記載の図面検証システム。
  9. 前記図面情報は、該図面情報に対応する前記描画オブジェクト情報及び前記配置情報を少なくとも含み、
    前記サーバ装置は、
    前記図面情報を格納する第2の記録手段と、
    前記第1の受信手段により受信された前記検証用入力の情報に基づいて、前記第2の記録手段に格納された前記図面情報を更新する更新手段と、
    をさらに有することを特徴とする請求項1乃至5のいずれか1項に記載の図面検証システム。
  10. 前記セッションにおける検証にて使用可能なように、複数種類のオブジェクトの前記描画オブジェクト情報の組み合わせ及び配置によって構成されたレイアウト情報が、テンプレートとして予め定義されており、
    前記サーバ装置は、複数の前記セッションにおいて、同一の前記テンプレートに基づくレイアウト情報に対して同一の変更が所定数を超えてなされた場合に、該レイアウト情報の変更、及び該レイアウト情報を採用した前記図面情報を検証するセッションにおける変更の提案、の少なくともいずれかを行う調整手段をさらに有する
    ことを特徴とする請求項9に記載の図面検証システム。
  11. サーバ装置により確立された、設備仕様に基づいて設計された図面情報の検証に係るセッションであって、複数のクライアント装置が接続可能なセッションに、ネットワークを介して接続して情報通信を行うクライアント装置であって、
    前記セッションにおける検証は、前記図面情報に含まれるオブジェクトの描画に用いられる描画オブジェクト情報を、該図面情報に対応する、該オブジェクトの位置及び姿勢を示す配置情報に基づいて、仮想の3次元空間に配置することで行われるものであり、
    前記クライアント装置は、
    記録手段と、
    確立された前記セッションにおける検証対象の前記図面情報が前記記録手段に格納されていることを条件として前記セッションに接続する接続手段と、
    前記セッションにて検証を行う前記3次元空間の描画に必要な共有情報を受信する受信手段と、
    前記受信手段により受信された前記共有情報と、前記描画オブジェクト情報及び前記配置情報とに基づいて、前記3次元空間の少なくとも一部を構築する構築手段と、
    構築された前記3次元空間を描画する視点の位置及び方向を決定する決定手段と、
    前記構築された3次元空間を、前記決定手段により決定された前記視点に基づいて描画した、両眼立体視の映像を順次描画出力する出力手段と、
    前記出力手段により描画出力された前記両眼立体視の映像を提示する提示手段と、
    検証用入力を受け付ける入力手段と、
    前記入力手段により受け付けられた前記検証用入力の情報を送信する送信手段と、
    を有することを特徴とするクライアント装置。
  12. 前記図面情報は、該図面情報に対応する前記描画オブジェクト情報及び前記配置情報と、前記セッションへの参加を許可するか否かを示す権限情報を少なくとも含み、 前記接続手段は、前記記録手段に格納されている前記検証対象の図面情報に、前記セッションへの参加を許可する前記権限情報が含まれる場合に、前記セッションに接続するよう制御し、
    前記構築手段は、前記共有情報と、前記記録手段に格納されている前記描画オブジェクト情報及び前記配置情報とに基づいて、前記3次元空間の少なくとも一部を構築する
    ことを特徴とする請求項11に記載のクライアント装置。
  13. 前記図面情報は、前記3次元空間の異なる位置に配置される複数のオブジェクトを含み、
    前記検証用入力は、前記複数のオブジェクトの一部を指示する入力を含み、
    前記共有情報は、前記複数のクライアント装置のうちのいずれかにおいて指示された前記一部のオブジェクトの提示態様を異ならせる情報を含み、
    前記送信手段は、前記検証用入力の情報に、該検証用入力が入力されたクライアント装置または該クライアント装置を利用していたユーザを示す識別情報を関連付けて送信する、
    ことを特徴とする請求項11に記載のクライアント装置。
  14. コンピュータを、請求項11乃至13のいずれか1項に記載のクライアント装置の各手段として機能させるためのプログラム。
  15. 請求項14に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
  16. 設備仕様に基づいて構成された図面情報の検証に係るセッションを確立し、ネットワークを介して該セッションに接続された複数のクライアント装置間での情報通信を実現させるサーバ装置であって、
    前記セッションにおける検証は、前記図面情報に含まれるオブジェクトの描画に用いられる描画オブジェクト情報を、該図面情報に対応する、該オブジェクトの位置及び姿勢を示す配置情報に基づいて、仮想の3次元空間に配置することで行われるものであり、
    前記サーバ装置は、
    前記複数のクライアント装置のうちのいずれかからセッション開始要求を受信したことに応じて確立した前記セッションについて、該セッションにおける検証対象である前記3次元空間の状態を示す状態情報を管理する管理手段と、
    前記セッションに参加する前記複数のクライアント装置の各々においてなされた、検証用入力の情報を受信する受信手段と、
    前記受信手段による前記検証用入力の情報の受信に応じて、前記状態情報を変更する変更手段と、
    前記状態情報に基づく前記3次元空間の描画に必要な共有情報を、前記セッションに接続中のクライアント装置に送信する送信手段と、
    を有し、
    前記検証用入力は、前記3次元空間に配置されるオブジェクトの変更指示、前記3次元空間に配置されているオブジェクトの位置及び姿勢の少なくともいずれかの変更指示、及び前記図面情報の検証に係り行われた協議内容を示す協議情報の少なくともいずれかを含み、
    前記管理手段は、前記変更手段による前記検証用入力の情報に基づく前記状態情報の変更に基づいて、前記3次元空間に配置されるオブジェクトの変更履歴、前記3次元空間に配置されているオブジェクトの位置及び姿勢の少なくともいずれかの変更履歴、及び前記協議情報に基づいて生成された議事録、の少なくともいずれかを示す履歴情報を前記状態情報に含めて管理する
    ことを特徴とするサーバ装置。
  17. 設備仕様に基づいて構成された図面情報の検証に係るセッションを確立し、ネットワークを介して該セッションに接続された複数のクライアント装置間での情報通信を実現させるサーバ装置であって、
    前記セッションにおける検証は、前記図面情報に含まれるオブジェクトの描画に用いられる描画オブジェクト情報を、該図面情報に対応する、該オブジェクトの位置及び姿勢を示す配置情報に基づいて、仮想の3次元空間に配置することで行われるものであり、
    前記図面情報は、該図面情報に対応する前記描画オブジェクト情報及び前記配置情報を少なくとも含み、
    前記サーバ装置は、
    前記複数のクライアント装置のうちのいずれかからセッション開始要求を受信したことに応じて確立した前記セッションについて、該セッションにおける検証対象である前記3次元空間の状態を示す状態情報を管理する管理手段と、
    前記セッションに参加する前記複数のクライアント装置の各々においてなされた、検証用入力の情報を受信する受信手段と、
    前記受信手段による前記検証用入力の情報の受信に応じて、前記状態情報を変更する変更手段と、
    前記状態情報に基づく前記3次元空間の描画に必要な共有情報を、前記セッションに接続中のクライアント装置に送信する送信手段と、
    前記受信手段により受信された前記検証用入力の情報に基づいて、前記図面情報を更新する更新手段と、
    複数の前記セッションにおいて、同一のオブジェクトに係る同一内容の前記図面情報の更新が所定数を超えてなされた場合に、該オブジェクトに対応する描画オブジェクト情報の変更、及び該描画オブジェクト情報を採用した前記図面情報を検証するセッションにおける変更の提案、の少なくともいずれかを行う調整手段と、
    を有することを特徴とするサーバ装置。
  18. 前記サーバ装置は、前記図面情報を格納する記録手段をさらに有し、
    前記更新手段は、前記記録手段に格納された前記図面情報を更新する
    ことを特徴とする請求項17に記載のサーバ装置。
  19. 設備仕様に基づいて構成された図面情報の検証に係るセッションを確立し、ネットワークを介して該セッションに接続された複数のクライアント装置間での情報通信を実現させるサーバ装置であって、
    前記セッションにおける検証は、前記図面情報に含まれるオブジェクトの描画に用いられる描画オブジェクト情報を、該図面情報に対応する、該オブジェクトの位置及び姿勢を示す配置情報に基づいて、仮想の3次元空間に配置することで行われるものであり、
    前記サーバ装置は、
    検証対象の前記図面情報を格納する前記複数のクライアント装置のうちのいずれかからセッション開始要求を受信したことに応じて、該図面情報を格納する前記クライアント装置が接続可能な前記セッションを確立する確立手段と、
    前記確立手段により確立された前記セッションについて、該セッションに係る前記検証対象の図面情報に対応する前記3次元空間の状態を示す状態情報を管理する管理手段と、
    前記セッションに参加する前記複数のクライアント装置の各々においてなされた、検証用入力の情報を受信する受信手段と、
    前記受信手段による前記検証用入力の情報の受信に応じて、前記状態情報を変更する変更手段と、
    前記状態情報に基づく前記3次元空間の描画に必要な共有情報を、前記セッションに接続中のクライアント装置に送信する送信手段と、
    を有することを特徴とするサーバ装置。
  20. 前記図面情報は、前記セッションへの参加を許可するか否かを示す権限情報を含み、
    前記クライアント装置の前記セッションへの接続は、該セッションへの参加を許可する前記権限情報が含まれる前記検証対象の図面情報を格納していることを条件として実現される
    ことを特徴とする請求項19に記載のサーバ装置。
  21. 設備仕様に基づいて構成された図面情報の検証に係るセッションを確立し、ネットワークを介して該セッションに接続された複数のクライアント装置間での情報通信を実現させるサーバ装置の制御方法であって、
    前記セッションにおける検証は、前記図面情報に含まれるオブジェクトの描画に用いられる描画オブジェクト情報を、該図面情報に対応する、該オブジェクトの位置及び姿勢を示す配置情報に基づいて、仮想の3次元空間に配置することで行われるものであり、
    前記制御方法は、
    検証対象の前記図面情報を格納する前記複数のクライアント装置のうちのいずれかからセッション開始要求を受信したことに応じて、該図面情報を格納する前記クライアント装置が接続可能な前記セッションを確立する確立工程と、
    前記確立工程において確立された前記セッションについて、該セッションに係る前記検証対象の図面情報に対応する前記3次元空間の状態を示す状態情報を管理する管理工程と、
    前記セッションに参加する前記複数のクライアント装置の各々においてなされた、検証用入力の情報を受信する受信工程と、
    前記受信工程における前記検証用入力の情報の受信に応じて、前記状態情報を変更する変更工程と、
    前記状態情報に基づく前記3次元空間の描画に必要な共有情報を、前記セッションに接続中のクライアント装置に送信する送信工程と、
    を有することを特徴とする制御方法。
  22. 前記図面情報は、前記セッションへの参加を許可するか否かを示す権限情報を含み、
    前記クライアント装置の前記セッションへの接続は、該セッションへの参加を許可する前記権限情報が含まれる前記検証対象の図面情報を格納していることを条件として実現される
    ことを特徴とする請求項21に記載の制御方法。
  23. コンピュータを、請求項16乃至20のいずれか1項に記載のサーバ装置の各手段として機能させるためのプログラム。
JP2021511740A 2019-03-29 2019-03-29 図面検証システム、クライアント装置、プログラム、記録媒体、サーバ装置及び制御方法 Active JP7253044B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023048508A JP7505073B2 (ja) 2023-03-24 サーバ装置、制御方法、プログラム及び記録媒体
JP2023048518A JP7506789B2 (ja) 2023-03-24 サーバ装置、制御方法、プログラム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/014290 WO2020202366A1 (ja) 2019-03-29 2019-03-29 図面検証システム、クライアント装置、プログラム及び記録媒体

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2023048518A Division JP7506789B2 (ja) 2023-03-24 サーバ装置、制御方法、プログラム及び記録媒体
JP2023048508A Division JP7505073B2 (ja) 2023-03-24 サーバ装置、制御方法、プログラム及び記録媒体

Publications (3)

Publication Number Publication Date
JPWO2020202366A1 JPWO2020202366A1 (ja) 2020-10-08
JPWO2020202366A5 JPWO2020202366A5 (ja) 2022-02-02
JP7253044B2 true JP7253044B2 (ja) 2023-04-05

Family

ID=72666667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021511740A Active JP7253044B2 (ja) 2019-03-29 2019-03-29 図面検証システム、クライアント装置、プログラム、記録媒体、サーバ装置及び制御方法

Country Status (7)

Country Link
US (1) US11843761B2 (ja)
EP (1) EP3926495A4 (ja)
JP (1) JP7253044B2 (ja)
CN (1) CN113632089B (ja)
SG (1) SG11202109682WA (ja)
TW (1) TWI805903B (ja)
WO (1) WO2020202366A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215230A (ja) 1998-11-20 2000-08-04 Matsushita Electric Works Ltd 物件情報編集支援システム
JP2001022958A (ja) 1999-07-06 2001-01-26 Nippon Telegr & Teleph Corp <Ntt> 仮想空間システムにおけるオブジェクト表示方法およびオブジェクト表示プログラムを記録した記録媒体
JP2008003935A (ja) 2006-06-23 2008-01-10 Ntt Facilities Inc データ編集方法及び装置、データ編集プログラム及び該プログラムを記録した記録媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091057A (ja) * 1996-09-17 1998-04-10 Mitsubishi Electric Corp 技術相談支援システム
US7458013B2 (en) * 1999-05-12 2008-11-25 The Board Of Trustees Of The Leland Stanford Junior University Concurrent voice to text and sketch processing with synchronized replay
JP3536758B2 (ja) 2000-01-11 2004-06-14 松下電工株式会社 インターネットを用いた協調設計の方法およびそのためのシステム
US8457930B2 (en) * 2009-04-15 2013-06-04 James Schroeder Personalized fit and functional designed medical prostheses and surgical instruments and methods for making
KR101329935B1 (ko) * 2011-01-27 2013-11-14 주식회사 팬택 이종 마커를 이용해서 원격으로 증강현실 서비스를 공유하는 증강현실 시스템 및 그 방법
JP6014615B2 (ja) * 2011-03-17 2016-10-25 アディタッズ,インク. 建築システムを実現するためのシステムおよび方法
JP5755007B2 (ja) * 2011-04-08 2015-07-29 株式会社セイコーアイ・インフォテック 図面管理サーバ、図面管理プログラム、及び図面管理システム
KR20160149959A (ko) * 2015-06-19 2016-12-28 라인 가부시키가이샤 사용자들간의 협업을 통해 컨텐츠를 생성하는 방법 및 시스템
US10778855B2 (en) 2015-06-19 2020-09-15 Line Corporation System and method for creating contents by collaborating between users
JP2018106297A (ja) * 2016-12-22 2018-07-05 キヤノンマーケティングジャパン株式会社 複合現実感提示システム、及び、情報処理装置とその制御方法、並びに、プログラム
CN108881784B (zh) * 2017-05-12 2020-07-03 腾讯科技(深圳)有限公司 虚拟场景实现方法、装置、终端及服务器
US20200073532A1 (en) * 2017-05-25 2020-03-05 Mitsubishi Electric Corporation Design review device, design review method, and program
KR102027856B1 (ko) * 2017-12-28 2019-11-04 (주)연우피씨엔지니어링 2d 도면과 bim모델을 기반으로, 건설용 골조 3d도면·3d형상을 생성하고 건설정보를 운용하는 가상·증강현실 시스템 및 모바일 어플리케이션
GB2582932B (en) * 2019-04-08 2022-07-27 Arrival Ltd System and method for flexible manufacturing
WO2021024270A1 (en) * 2019-08-05 2021-02-11 Root's Decor India Pvt. Ltd. A system and method for an interactive access to project design and space layout planning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215230A (ja) 1998-11-20 2000-08-04 Matsushita Electric Works Ltd 物件情報編集支援システム
JP2001022958A (ja) 1999-07-06 2001-01-26 Nippon Telegr & Teleph Corp <Ntt> 仮想空間システムにおけるオブジェクト表示方法およびオブジェクト表示プログラムを記録した記録媒体
JP2008003935A (ja) 2006-06-23 2008-01-10 Ntt Facilities Inc データ編集方法及び装置、データ編集プログラム及び該プログラムを記録した記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI, M. et al.,Real-time collaborative design with heterogeneous CAD systems based on neutral modeling commands,ASME Journal of Computing and Information Science in Engineering [online],2007年,Vol. 7, No. 2,[検索日 2022.11.10], インターネット,URL:https://mewangcl.github.io/publication2010.html

Also Published As

Publication number Publication date
EP3926495A1 (en) 2021-12-22
TW202044092A (zh) 2020-12-01
JP2023097444A (ja) 2023-07-07
JP2023097445A (ja) 2023-07-07
WO2020202366A1 (ja) 2020-10-08
JPWO2020202366A1 (ja) 2020-10-08
SG11202109682WA (en) 2021-10-28
US20220007004A1 (en) 2022-01-06
EP3926495A4 (en) 2022-08-24
US11843761B2 (en) 2023-12-12
TWI805903B (zh) 2023-06-21
CN113632089A (zh) 2021-11-09
CN113632089B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
KR101918262B1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
US11198064B2 (en) Systems and methods for rendering a virtual content object in an augmented reality environment
CN110770798B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
EP2161692B1 (en) Mixed reality space image providing apparatus
WO2017143303A1 (en) Apparatuses, methods and systems for sharing virtual elements
JP7208549B2 (ja) 仮想空間制御装置、その制御方法、及びプログラム
WO2020048441A1 (zh) 通信连接方法、终端设备及无线通信系统
CN108037826B (zh) 信息处理方法及用于使计算机实施该信息处理方法的程序
CN110765518A (zh) 室内环境模拟方法及相关设备
RU2656584C1 (ru) Система проектирования объектов в среде виртуальной реальности в реальном времени
EP3776185B1 (en) Optimizing viewing assets
JP7234264B2 (ja) 複合現実表示装置および複合現実表示方法
CN109478342A (zh) 图像显示装置及图像显示系统
KR101651777B1 (ko) 사물인터넷 기반의 카메라 입력방식을 적용한 증강현실 3d 콘텐츠 디스플레이 모니터링 기능을 갖는 3d 프린팅 시스템 및 이를 이용한 3d 콘텐츠 제작방법
JP7253044B2 (ja) 図面検証システム、クライアント装置、プログラム、記録媒体、サーバ装置及び制御方法
CN112774183B (zh) 鉴赏系统、模型构成装置、控制方法以及记录介质
JP7506789B2 (ja) サーバ装置、制御方法、プログラム及び記録媒体
JP7505073B2 (ja) サーバ装置、制御方法、プログラム及び記録媒体
KR20190034860A (ko) 결합형 사이버 모델 하우스 제공 시스템, 서버 및 방법
KR20220080885A (ko) 혼합현실을 활용한 bim 기반의 원격협업 공사관리 시뮬레이션 서버
JP2022181131A (ja) 情報処理システム、情報処理方法及びプログラム
WO2023190091A1 (ja) 仮想現実会議システム
JP2015121892A (ja) 画像処理装置、画像処理方法
JPWO2020202366A5 (ja) 図面検証システム、クライアント装置、プログラム、記録媒体、サーバ装置及び制御方法
JP2020013390A (ja) 情報処理装置、情報処理プログラム及び情報処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210913

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20210913

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230324

R150 Certificate of patent or registration of utility model

Ref document number: 7253044

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150