JP4666060B2 - 情報処理装置、情報処理システム及びプログラム - Google Patents

情報処理装置、情報処理システム及びプログラム Download PDF

Info

Publication number
JP4666060B2
JP4666060B2 JP2008292836A JP2008292836A JP4666060B2 JP 4666060 B2 JP4666060 B2 JP 4666060B2 JP 2008292836 A JP2008292836 A JP 2008292836A JP 2008292836 A JP2008292836 A JP 2008292836A JP 4666060 B2 JP4666060 B2 JP 4666060B2
Authority
JP
Japan
Prior art keywords
projection
view
orientation
information processing
perspective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008292836A
Other languages
English (en)
Other versions
JP2010117691A (ja
Inventor
猛志 永峯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2008292836A priority Critical patent/JP4666060B2/ja
Priority to US12/418,163 priority patent/US8441480B2/en
Priority to CN200910140988.0A priority patent/CN101739722B/zh
Publication of JP2010117691A publication Critical patent/JP2010117691A/ja
Application granted granted Critical
Publication of JP4666060B2 publication Critical patent/JP4666060B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。
従来より、別々の投影面を表示する各ウインドウに、常に対象物の所定部分の正面図、側面図、及び底面図を表示し、主ウインドウの動きに従ウインドウを追従させる表示装置が知られている(例えば、特許文献1参照)。
また、ユーザが手にする物体にCADデータに従った仮想物体を重畳させる場合に、この仮想物体に対する視覚と、この物体に対する触覚との間の違和感を軽減させる技術が知られている(例えば、特許文献2参照)。この技術では、ヘッドマウントディスプレイが必要であり、複数のユーザが仮想物体が重畳された物体を観察する場合には、複数のヘッドマウントディスプレイが必要となる。
特開平8−123983号公報 特開2007−34981号公報
本発明の目的は、対象物の投影面の奥行きを考慮して、図面データを対象物上に投影させることができる情報処理装置、情報処理システム及びプログラムを提供することにある。
上記目的を達成するため、請求項1の情報処理装置は、対象物上の一点を基準位置とし、投影装置の位置及び当該投影装置の光軸の向きを3次元の座標で表す位置/向き情報を取得する取得手段と、対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択する選択手段と、前記選択手段により選択された図面データから、投影対象の部品の輪郭が前記対象物の外郭に投影される場合の投影図を作成する作成手段と、前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段と、前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段とを備えていることを特徴とする。
請求項2の情報処理装置は、請求項1記載の情報処理装置において、前記取得手段は、前記投影装置を移動させる移動装置から当該投影装置の移動後の位置/向き情報を取得し、前記変換手段は、前記投影装置の移動後の位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換することを特徴とする。
請求項3の情報処理装置は、請求項1又は2に記載の情報処理装置において、前記対象物の撮影画像から当該対象物上のユーザによる指定位置を検出する検出手段を備え、前記作成手段は、前記指定位置に対応する部品に関する図面データから投影図を作成し、前記制御手段は、前記パース図が前記対象物上に投影される際に、前記パース図を強調表示するように前記投影装置を制御することを特徴とする。
請求項4の情報処理装置は、請求項3に記載の情報処理装置において、前記検出手段は、前記情報処理装置に接続される外部装置から前記対象物上のユーザによる指定位置を取得することを特徴とする。
請求項5の情報処理装置は、請求項1又は2に記載の情報処理装置において、前記対象物の撮影画像から当該対象物上のユーザによる指定位置を検出する検出手段を備え、前記作成手段は、前記指定位置に対応する部品に関する図面データに基づいて、当該指定位置を通る平面で前記対象物を切った場合の断面図を作成し、前記変換手段は、前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記断面図をパース図に変換し、前記制御手段は、前記パース図を前記指定位置を通る平面と平行又は略平行な対象物の外郭に投影するように前記投影装置を制御することを特徴とする。
請求項6の情報処理装置は、請求項5に記載の情報処理装置において、前記制御手段は、前記指定位置を通る平面で前記対象物を切った場合の断面を示す線画像を前記指定位置を通る平面と垂直又は略垂直な対象物の外郭に投影するように前記投影装置を制御することを特徴とする。
請求項7の情報処理装置は、請求項5又は6に記載の情報処理装置において、前記検出手段は、前記情報処理装置に接続される外部装置から前記対象物上のユーザによる指定位置を取得することを特徴とする。
請求項8の情報処理システムは、対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択し、当該選択された図面データを示す情報を第1情報処理装置に通知する第2情報処理装置と、対象物上の一点を基準位置とし、投影装置の位置及び当該投影装置の光軸の向きを3次元の座標で表す位置/向き情報を取得する取得手段、前記第2情報処理装置から通知される情報に対応する図面データから、投影対象の部品の輪郭が前記対象物の外郭に投影される場合の投影図を作成する作成手段、前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段、及び前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段を有する第1情報処理装置とを備えていることを特徴とする。
請求項9のプログラムは、コンピュータを、対象物上の一点を基準位置とし、投影装置の位置及び当該投影装置の光軸の向きを3次元の座標で表す位置/向き情報を取得する取得手段、対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択する選択手段、前記選択手段により選択された図面データから、投影対象の部品の輪郭が前記対象物の外郭に投影される場合の投影図を作成する作成手段、前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段、及び 前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段として機能させることを特徴とする。
請求項1の発明によれば、対象物上の投影面の奥行きを考慮して、図面データを対象物上に投影させることができる。
請求項2の発明によれば、投影装置が移動された場合にも、対象物上の投影面の奥行きを考慮して、図面データを対象物上に投影させることができる。
請求項3の発明によれば、対象物側のユーザによる指定位置に対応する部品のパース図を強調表示して、対象物上に投影させることができる。
請求項4の発明によれば、外部装置のユーザによる指定位置に対応する部品のパース図を強調表示して、対象物上に投影させることができる。
請求項5の発明によれば、対象物上の投影面の奥行きを考慮して、対象物側のユーザによる指定位置に対応する部品の断面図を対象物上に投影することができる。
請求項6の発明によれば、対象物上の投影面の奥行きを考慮して、対象物側のユーザによる指定位置に対応する部品の断面図及び指定位置の切り口に対応する画像を対象物上に投影することができる。
請求項7の発明によれば、対象物上の投影面の奥行きを考慮して、外部装置のユーザによる指定位置に対応する部品の断面図を対象物上に投影することができる。
請求項8の発明によれば、対象物上の投影面の奥行きを考慮して、図面データを対象物上に投影させることができる。
請求項9の発明によれば、対象物上の投影面の奥行きを考慮して、図面データを対象物上に投影させることができる。
以下、本発明の実施の形態について、図面を参照して説明する。
図1は、本発明の実施の形態に係る情報処理システムの構成を示すブロック図である。
図1の情報処理システムは、サーバ1(第1情報処理装置)、クライアント3(第2情報処理装置)を備えており、これらは、ネットワーク2を介して互いに接続されている。サーバ1には、カメラ4及びプロジェクタ5が接続されている。プロジェクタ5は、サーバ1からの制御コマンドに基づいて、対象物9に対して、アノテーション画像(注釈画像)又はCADデータ(図面データ)を投影する。尚、アノテーション画像は、線、文字、記号、図形、色、フォント(書体)等のあらゆる態様の画像を含む。対象物9は、図1に示すように、基準位置((x、y、z)=(0,0,0))に設置されている。
カメラ4には、カメラ4を上下左右に移動させるアーム6が接続されており、プロジェクタ5には、プロジェクタ5を上下左右に移動させるアーム7が接続されている。またアーム6,7には、アーム6,7を駆動するアクチュエータ8が接続されている。カメラ4及びプロジェクタ5は、アーム6,7によって移動するが、カメラ4及びプロジェクタ5の画角と光軸が常に一致するように移動する。
サーバ1は、操作部11(選択手段)、位置測定部12、投影制御部13(制御手段)、投影画像作成部14(取得手段、作成手段、変換手段)、記憶部15、指示位置検出部16(検出手段)及び通信部17を備えている。投影画像作成部14は、操作部11、位置測定部12、投影制御部13、記憶部15、指示位置検出部16及び通信部17に接続されている。操作部11及び位置測定部12は、アクチュエータ8に接続され、投影制御部13はプロジェクタ5に接続されている。指示位置検出部16はカメラ4に接続されている。
操作部11は、アクチュエータ8に、アーム6,7を移動させる操作指示を入力する。尚、アーム6,7を移動させる操作指示は、クライアント3からネットワーク2、通信部17、及び操作部11を介してアクチュエータ8に入力されてもよい。また、操作部11は、記憶部15に記憶されているCADデータを選択する際に利用される。
位置測定部12は、アクチュエータ8の駆動により生じる駆動信号に基づいてカメラ4及びプロジェクタ5の位置を測定する。記憶部15は、対象物9に含まれる部品(以下パーツという)の3次元CAD(Computer Aided Design)データ(例えば、設計図のデータ)を保存している(以下、3次元CADデータを単にCADデータという)。また、記憶部15は、図2に示すような、パーツ名、パーツの位置及び向きを示す位置/向き情報、及びCADデータを互いに関連付けしたデータベースを備えている。具体的には、位置/向き情報は、3次元の座標で表される。また、1つのパーツに対して複数のCADデータ(X面、Y面、Z面のCADデータ)が設定されている。尚、記憶部15に記憶されるCADデータ、データベース、その他のデータは、サーバ1の外部記憶装置(不図示)に記憶されてもよい。
投影画像作成部14は、位置測定部12で測定されたプロジェクタ5の位置/向き情報及び記憶部15に保存されているCADデータに基づいて、プロジェクタ5の位置から対象物9を見た場合の投影画像(ここでは、CADデータ)としてのパース図を作成する。パース図とは、物体を2次元の平面上に描く際に遠近感をともなって描かれた図である。
投影制御部13は、投影画像作成部14で作成されたパース図を受信し、プロジェクタ5に当該パース図を投影させる。指示位置検出部16は、カメラ4から送信される撮影画像を受信し、受信した撮影画像に含まれる特定の光源(即ち、色)の位置を検出する。また、指示位置検出部16は、受信した撮影画像を通信部17を介してクライアント3に送信する。また、指示位置検出部16は、受信した撮影画像を記憶部15に記憶してもよい。
クライアント3には、表示装置32が接続されており、表示装置32は、通信部17から送信される撮影画像を表示するウインドウ33、及びアノテーション画像を書き込むためのユーザインターフェース(UI)34を表示する。UI34は、ペン、テキスト、及び消去などのボタン群と、線種や色種のアイコンとを含む。例えば、UI34のペンボタンが押下されて、ウインドウ33内の対象物9上にアノテーション画像が記載されると、当該アノテーション画像はクライアント3からサーバ1を介してプロジェクタ5に出力される。プロジェクタ5は当該アノテーション画像のデータ(具体的には、座標データ)に基づいて対象物9上にアノテーション画像を描く。
図3は、サーバ1及びクライアント3のハードウエア構成を示すブロック図である。
クライアント3のハードウエア構成は、サーバ1のハードウエア構成と同一であるので、ここではサーバ1のハードウエア構成について説明する。
サーバ1は、装置全体を制御するCPU21、制御プログラムを備えるROM22、ワーキングエリアとして機能するRAM23、各種の情報やプログラムを備えるハードディスクドライブ(HDD)24、マウス及びキーボードを接続するためのPS/2インターフェース25、他のコンピュータと接続するためのネットワークインターフェース26、表示装置を接続するためのビデオインターフェース27、及び不図示のUSB機器と接続するためのUSB(universal serial bus)インターフェース28を備えている。CPU21は、システムバス29を介してROM22、RAM23、ハードディスクドライブ(HDD)24、PS/2インターフェース25、ネットワークインタフェース26、ビデオインターフェース27及びUSBインタフェース28に接続されている。
操作部11は、不図示のマウス及びキーボードに相当する。位置測定部12、投影制御部13、投影画像作成部14、及び示位置測定部16は、CPU21に対応する。記憶部15は、ROM22、RAM23及びHDD24に対応する。通信部17は、ネットワークインターフェース26に対応する。
以下、各処理では、対象物9側のユーザが、予め対象物9を基準位置(x、y、z)=(0,0,0)にセットしているものとする。
図4は、サーバ1で実行される投影処理を示すフローチャートである。
まず、操作部11で対象物9に設けられているパーツに対応するCADデータが選択されると、操作部11は撮影画像作成部14に選択されたCADデータを示す情報を通知する(ステップS1)。次に、位置測定部12がアクチュエータ8の駆動信号からプロジェクタ5の位置及び向きを測定する(ステップS2)。影画像作成部14は、プロジェクタ5の位置/向き情報を位置測定部12から取得する(ステップS3)。
影画像作成部14は、ステップS1で通知されたCADデータを示す情報に基づいて、記憶部15から対応するCADデータを読み出し、当該CADデータから投影対象のパーツの投影図を作成する(ステップS4)。投影図の一例を図5(A)に示す。この投影図は、図5(A)に示すように、投影対象のパーツをXYZの各方向に平行移動させ、対象物9の外郭上にパーツの輪郭を描いた図である。
次に、影画像作成部14は、ステップS3で取得されたプロジェクタ5の位置/向き情報からプロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを算出し、プロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを用いて、投影図をパース図に変換し(ステップS5)、投影制御部13にパース図を送信する(ステップS6)。
投影制御部13は、パース図を受信し、パース図を対象物9上に投影するようにプロジェクタ5を制御して(ステップS7)、本処理を終了する。これにより、パース図は対象物9に投影される。図5(B)にパース図が投影された対象物9を示す。
本処理によれば、対象物9側のユーザが、対象物9に含まれるパーツとそのパーツのCADデータとを観察する場合に、視点をパーツとCADデータとの間で切り換える必要がなくなる。即ち、ユーザは、パーツとCADデータとを同一視点で観察する。
上記処理では、対象物9に設けられているパーツに対応するCADデータが操作部11により選択されているが、クライアント3から対象物9に設けられているパーツに対応するCADデータを選択してもよい。この場合、クライアント3のCPU31が撮影画像作成部14に選択されたCADデータを示す情報を通知する。
図6は、プロジェクタ5が移動する場合の投影処理を示すフローチャートであり、図7は、プロジェクタ5と対象物9の配置関係を示す図である。本処理では、図4の処理が予め実行されているものとする。
位置測定部12は、プロジェクタ5の移動により生じるアクチュエータ8の駆動信号を受信したか否かを判別する(ステップS11)。ステップS11でNOの場合には、本判別を繰り返す。一方、ステップS11でYESの場合には、位置測定部12はアクチュエータ8の駆動信号からプロジェクタ5の最新の位置及び向きを測定する(ステップS12)。影画像作成部14は、プロジェクタ5の最新の位置/向き情報を位置測定部12から取得する(ステップS13)。
影画像作成部14は、ステップS13で取得されたプロジェクタ5の位置/向き情報からプロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを算出し、プロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを用いて、投影図をパース図に変換し(ステップS14)、投影制御部13にパース図を送信する(ステップS15)。尚、投影画像作成部14は、図4のステップS3で投影図を作成しているため、投影図の再作成は実行されない。
投影制御部13は、パース図を受信し、パース図を対象物9上に投影するようにプロジェクタ5を制御して(ステップS16)、本処理を終了する。これにより、パース図は対象物9に投影される。
本処理によれば、図7に示すように、対象物9の影であった領域にも、プロジェクタ5の移動によりパース図が投影される。
図8は、対象物9側のユーザが指定した位置のパーツに関するパース図の投影処理を示すフローチャートである。図9は、強調されたパース図が投影される状態を示す図である。本処理では、対象物9側のユーザが、特定の色(例えば赤色)の光を発する指示装置41を対象物9に接触させて、対象物上の位置を指定するものとする。
指示位置検出部16は、カメラ4から撮影画像を取得し(ステップS21)、撮影画像内に特定の色(例えば赤色)の発光があるか否かを判別する(ステップS22)。
ステップS22でNOの場合には、当該判別を繰り返す。一方、ステップS22でYESの場合には、指示位置検出部16は、撮影画像内の発光の位置を検出し、発光の位置情報を投影画像作成部14に送信する(ステップS23)。
投影画像作成部14は、指示位置検出部16から送信される発光の位置情報、及び記憶部15に格納されている図2のデータベースに基づいて、発光の位置にあるパーツを特定する(ステップS24)。
その後、影画像作成部14は、記憶部15から特定されたパーツに対応するCADデータを読み出し、当該CADデータから投影対象のパーツの投影図を作成する(ステップS5)。
次に、影画像作成部14は、プロジェクタ5の位置/向き情報を位置測定部12から取得し、プロジェクタ5の位置/向き情報からプロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを算出し、プロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを用いて、投影図をパース図に変換する(ステップS26)。さらに、影画像作成部14は、パース図の投影パラメータと共にパース図を投影制御部13に送信する(ステップS27)。パース図の投影パラメータとは、パース図の色を変更するパラメータ、パース図を点滅するパラメータ、又はパース図を太線に変更するパラメータ等のようなパース図を強調表示するパラメータである。
投影制御部13は、パース図の投影パラメータと共にパース図を受信し、パース図の投影パラメータに従ってパース図を投影するようにプロジェクタ5を制御して(ステップS28)、本処理を終了する。これにより、パース図は対象物9に投影される。
本処理によれば、図9に示すように別のパーツのパース図が対象物9に投影されている場合でも、対象物9側のユーザが指示したパーツのパース図のみが強調表示される。
本処理では、対象物9側のユーザが指示装置41を対象物9に接触させて、対象物9上の位置を指定しているが、クライアント3のユーザが表示装置32に表示される対象物9の画像にマークを付けることで、対象物9上の位置を指定してもよい。この場合、指示位置検出部16はクライアント3からマークの位置情報を取得することで、ユーザに指定された対象物9上の位置を把握する。
図10は、ユーザが指定した位置への対象物9の断面図の投影処理を示すフローチャートである。図11は、対象物9の断面図が投影される状態を示す図である。本処理では、対象物9側のユーザが、特定の色(例えば赤色)の光を発する指示装置41を対象物9に接触させて、対象物上の位置を指定するものとする。
指示位置検出部16は、カメラ4から撮影画像を取得し(ステップS31)、撮影画像内に特定の色(例えば赤色)の発光があるか否かを判別する(ステップS32)。
ステップS32でNOの場合には、当該判別を繰り返す。一方、ステップS32でYESの場合には、指示位置検出部16は、撮影画像内の発光の位置を検出し、発光の位置情報を投影画像作成部14に送信する(ステップS33)。ここでは、発光の位置の座標は(x1,y1)であるとする。
投影画像作成部14は、位置測定部12から取得されるプロジェクタ5の位置/向き情報に基づいて撮影画像内における対象物9のX面、Y面及びZ面の位置を算出し、撮影画像内の発光の位置の座標(x1,y1)が対象物9のX面、Y面及びZ面のどの位置にあるかを特定する(ステップS34)。ここでは、発光の位置の座標がY面の(x2,z2)にあるものとする。
次に、投影画像作成部14は、記憶部15に記憶されている、点x2に対応する部品のCADデータに基づいて、X面に平行で点x2を通る面で対象物9を切った場合の断面図をX面への投影図として作成する(ステップS35)。同様に、投影画像作成部14は、記憶部15に記憶されている、点z2に対応する部品のCADデータに基づいて、Z面に平行で点z2を通る面で対象物9を切った場合の断面図をZ面への投影図として作成する(ステップS36)。
影画像作成部14は、位置測定部12から取得されるプロジェクタ5の位置/向き情報からプロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを算出し、プロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを用いて、X面及びZ面への投影図をパース図に変換する(ステップS37)。影画像作成部14は、パース図と共に各面の切り口に対応する画像を投影制御部13に送信する(ステップS38)。
投影制御部13は、パース図及び各面の切り口に対応する画像を受信し、X面及びZ面用のパース図を対象物9のX面及びZ面に、且つ、各面の切り口に対応する画像を各面に投影するようにプロジェクタ5を制御し(ステップS39)、本処理を終了する。これにより、パース図及び各面の切り口に対応する画像は、ユーザが指定した位置で対象物を切る平面と平行な対象物の外郭に投影される。
本処理によれば、図11に示すように、ユーザが指定した位置の対象物9の断面図及び各面の切り口に対応する画像が対象物9上に投影される。
また、本処理では、対象物9側のユーザが指示装置41を対象物9に接触させて、対象物9上の位置を指定しているが、クライアント3のユーザが表示装置32に表示される対象物9の画像にマークを付けることで、対象物9上の位置を指定してもよい。この場合、指示位置検出部16はクライアント3からマークの位置情報を取得することで、ユーザに指定された対象物9上の位置を把握する。
また、本処理では、ユーザが指定した位置で対象物を切る平面と断面図が投影される対象物の外郭とが平行である(即ち、点x2を通る面とX面は平行であり、点z2を通る面とZ面は平行である)が、ユーザが指定した位置で対象物を切る平面と断面図が投影される対象物の外郭とは略平行であってもよい。略平行とは、ユーザが指定した位置で対象物を切る平面が断面図が投影される対象物の外郭に対し所定の角度(例えば、0〜5度)傾いている場合である。
以上詳細に説明したように、本実施の形態によれば、投影画像作成部14がプロジェクタ5の位置及び向きを表す位置/向き情報を取得し、操作部11が、対象物9に設けられるパーツ(部品)に関する複数のCADデータから少なくとも1つのCADデータを選択する。さらに、投影画像作成部14が操作部11により選択されたCADデータから投影図を作成し、位置/向き情報から対象物9とプロジェクタ5との間の距離及びプロジェクタ5の向きを算出し、当該算出された距離及び向きを用いて、投影図をパース図に変換する。投影制御部13は、パース図を対象物9上に投影するようにプロジェクタ5を制御する。よって、選択された部品の図面が精度良く対象物上に表示される。
上記実施の形態では、図8の処理と図10の処理とを別々に説明したが、これらの処理は組み合わされても良い。これにより、あるパーツの断面図のみが強調表示される。
また、本実施の形態では、カメラ4及びプロジェクタ5の画角と光軸は一致することが好ましいが、投影画像作成部14がキャリブレーションを実行し、撮影画像の特定の位置が投影画像の特定の位置に変換されるようにしてもよい。
また、カメラ4及びプロジェクタ5に含まれるレンズの収差が予め決められている場合には、投影画像作成部14はレンズの収差を考慮して投影画像を作成してもよい。さらに、本実施の形態では、対象物9は、実物でも、紙や樹脂などで作成されたモックでもよい。
また、図1の情報処理システムは、1台のカメラ及び1台のプロジェクタを備えているが、複数のカメラ及び複数のプロジェクタを備えていてもよい。この場合、位置測定部12が各プロジェクタの位置や向きを測定し、各プロジェクタに投影画像を割り当ててもよい。あるいは、操作部11で予め各プロジェクタに対象物9の投影面の割り当てを設定し、位置測定部12が各プロジェクタの位置や向きを制御するようにしてもよい。この場合、操作部11での設定情報は投影画像作成部14を介して位置測定部12に送られる。
サーバ1の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、サーバ1に供給し、CPU21が記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、CD−ROM、DVD、又はSDカードなどがある。
サーバ1のCPU21が、サーバ1の機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。
なお、本発明は、上述した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。
本発明の実施の形態に係る情報処理システムの構成を示すブロック図である。 記憶部15に記憶されているデータベースの一例を示す図である。 サーバ1及びクライアント3のハードウエア構成を示すブロック図である。 サーバ1で実行される投影処理を示すフローチャートである。 (A)は、投影対象のパーツをXYZの各方向に平行移動させ、対象物9の外郭上にパーツの輪郭を描いた図であり、(B)は、パース図が投影された対象物9を示す図である。 プロジェクタ5が移動する場合の投影処理を示すフローチャートである。 プロジェクタ5と対象物9の配置関係を示す図である。 対象物9側のユーザが指定した位置のパーツに関するパース図の投影処理を示すフローチャートである。 強調されたパース図が投影される状態を示す図である。 ユーザが指定した位置への対象物9の断面図の投影処理を示すフローチャートである。 対象物9の断面図が投影される状態を示す図である。
符号の説明
1 サーバ
2 ネットワーク
3 クライアント
4 カメラ
5 プロジェクタ
6,7 アーム
8 アクチュエータ
11 操作部
12 位置測定部
13 投影制御部
14 投影画像作成部
15 記憶部
16 指示位置検出部
17 通信部

Claims (9)

  1. 対象物上の一点を基準位置とし、投影装置の位置及び当該投影装置の光軸の向きを3次元の座標で表す位置/向き情報を取得する取得手段と、
    対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択する選択手段と、
    前記選択手段により選択された図面データから、投影対象の部品の輪郭が前記対象物の外郭に投影される場合の投影図を作成する作成手段と、
    前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段と、
    前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段と
    を備えていることを特徴とする情報処理装置。
  2. 前記取得手段は、前記投影装置を移動させる移動装置から当該投影装置の移動後の位置/向き情報を取得し、
    前記変換手段は、前記投影装置の移動後の位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換することを特徴とする請求項1に記載の情報処理装置。
  3. 前記対象物の撮影画像から当該対象物上のユーザによる指定位置を検出する検出手段を備え、
    前記作成手段は、前記指定位置に対応する部品に関する図面データから投影図を作成し、
    前記制御手段は、前記パース図が前記対象物上に投影される際に、前記パース図を強調表示するように前記投影装置を制御することを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記検出手段は、前記情報処理装置に接続される外部装置から前記対象物上のユーザによる指定位置を取得することを特徴とする請求項3に記載の情報処理装置。
  5. 前記対象物の撮影画像から当該対象物上のユーザによる指定位置を検出する検出手段を備え、
    前記作成手段は、前記指定位置に対応する部品に関する図面データに基づいて、当該指定位置を通る平面で前記対象物を切った場合の断面図を作成し、
    前記変換手段は、前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記断面図をパース図に変換し、
    前記制御手段は、前記パース図を前記指定位置を通る平面と平行又は略平行な対象物の外郭に投影するように前記投影装置を制御することを特徴とする請求項1又は2に記載の情報処理装置。
  6. 前記制御手段は、前記指定位置を通る平面で前記対象物を切った場合の断面を示す線画像を前記指定位置を通る平面と垂直又は略垂直な対象物の外郭に投影するように前記投影装置を制御することを特徴とする請求項5に記載の情報処理装置。
  7. 前記検出手段は、前記情報処理装置に接続される外部装置から前記対象物上のユーザによる指定位置を取得することを特徴とする請求項5又は6に記載の情報処理装置。
  8. 対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択し、当該選択された図面データを示す情報を第1情報処理装置に通知する第2情報処理装置と、
    対象物上の一点を基準位置とし、投影装置の位置及び当該投影装置の光軸の向きを3次元の座標で表す位置/向き情報を取得する取得手段、
    前記第2情報処理装置から通知される情報に対応する図面データから、投影対象の部品の輪郭が前記対象物の外郭に投影される場合の投影図を作成する作成手段、
    前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段、及び
    前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段を有する第1情報処理装置と
    を備えていることを特徴とする情報処理システム。
  9. コンピュータを、
    対象物上の一点を基準位置とし、投影装置の位置及び当該投影装置の光軸の向きを3次元の座標で表す位置/向き情報を取得する取得手段、
    対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択する選択手段、
    前記選択手段により選択された図面データから、投影対象の部品の輪郭が前記対象物の外郭に投影される場合の投影図を作成する作成手段、
    前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段、及び
    前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段
    として機能させることを特徴とするプログラム。
JP2008292836A 2008-11-14 2008-11-14 情報処理装置、情報処理システム及びプログラム Expired - Fee Related JP4666060B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008292836A JP4666060B2 (ja) 2008-11-14 2008-11-14 情報処理装置、情報処理システム及びプログラム
US12/418,163 US8441480B2 (en) 2008-11-14 2009-04-03 Information processing apparatus, information processing system, and computer readable medium
CN200910140988.0A CN101739722B (zh) 2008-11-14 2009-05-15 信息处理装置和信息处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008292836A JP4666060B2 (ja) 2008-11-14 2008-11-14 情報処理装置、情報処理システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2010117691A JP2010117691A (ja) 2010-05-27
JP4666060B2 true JP4666060B2 (ja) 2011-04-06

Family

ID=42171634

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008292836A Expired - Fee Related JP4666060B2 (ja) 2008-11-14 2008-11-14 情報処理装置、情報処理システム及びプログラム

Country Status (3)

Country Link
US (1) US8441480B2 (ja)
JP (1) JP4666060B2 (ja)
CN (1) CN101739722B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169768A (ja) * 2008-01-17 2009-07-30 Fuji Xerox Co Ltd 情報処理装置及びプログラム
JP5332576B2 (ja) * 2008-12-11 2013-11-06 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
US9832352B2 (en) * 2011-11-16 2017-11-28 Autofuss System and method for 3D projection mapping with robotically controlled objects
CN104054023B (zh) 2011-11-16 2017-11-17 欧特法斯公司 用于与机器人控制的物体映射的3d投影的系统和方法
JP2014145813A (ja) * 2013-01-28 2014-08-14 Funai Electric Co Ltd プロジェクタ
DE102013205593A1 (de) * 2013-03-28 2014-10-02 Hilti Aktiengesellschaft Verfahren und Vorrichtung zur Anzeige von Objekten und Objektdaten eines Konstruktionsplans
CN104822037B (zh) * 2014-01-30 2019-03-08 德思来科技有限公司 具有内置式电动悬臂的嵌套式投影仪
JP6735644B2 (ja) * 2016-09-20 2020-08-05 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム
JP2018084614A (ja) * 2016-11-21 2018-05-31 富士通株式会社 画像投影システムおよび画像投影方法
US10425625B2 (en) * 2018-02-06 2019-09-24 The Boeing Company Projecting images and videos onto engineered curved surfaces

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200663A (ja) * 1993-12-28 1995-08-04 Misawa Homes Co Ltd 線の描画方法及び作図装置
JP2003132068A (ja) * 2001-10-22 2003-05-09 Nec Corp ナビゲーションシステム及びナビゲーション端末
JP2003270719A (ja) * 2002-03-13 2003-09-25 Osaka Industrial Promotion Organization 投影方法、投影装置、作業支援方法及び作業支援システム
JP2007226765A (ja) * 2006-01-26 2007-09-06 Fuji Xerox Co Ltd 指示装置、指示システム、指示方法、及び指示プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3470771B2 (ja) 1994-10-26 2003-11-25 沖電気工業株式会社 投影面連動表示装置
CN1126025C (zh) 1997-08-12 2003-10-29 松下电器产业株式会社 窗口显示装置
US6999073B1 (en) * 1998-07-20 2006-02-14 Geometrix, Inc. Method and system for generating fully-textured 3D
US20030210244A1 (en) * 2002-05-10 2003-11-13 Canon Kabushiki Kaisha Information processing apparatus and method
DE10256659A1 (de) 2002-12-04 2004-07-08 Siemens Ag Engabevorrichtung zur Orientierung in einer dreidimensionalen Visualisierung, Verfahren zur Visualisierung von dreidimensionalen Datensätzen, Darstellungsvorrichtung zur Darstellung einer Visualisierung von dreidimensionalen Datensätzen, Verfahren zum Betrieb eines bildgebenden medizinischen Üntersuchungsgeräts und Verfahren zur graphischen Positionierung einer mittels eines bildgebenden medizinischen Untersuchungsgeräts zu messenden Schicht in einem dreidimensionalen Datensatz einer Vorbereitungsmessung
US8085388B2 (en) * 2005-02-01 2011-12-27 Laser Projection Technologies, Inc. Laser radar projection with object feature detection and ranging
US7306339B2 (en) * 2005-02-01 2007-12-11 Laser Projection Technologies, Inc. Laser projection with object feature detection
JP4422074B2 (ja) * 2005-06-16 2010-02-24 Necディスプレイソリューションズ株式会社 プロジェクタおよびフォーカス調整方法
JP2007034981A (ja) 2005-07-29 2007-02-08 Canon Inc 画像処理システム、画像処理装置
JP5538667B2 (ja) * 2007-04-26 2014-07-02 キヤノン株式会社 位置姿勢計測装置及びその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200663A (ja) * 1993-12-28 1995-08-04 Misawa Homes Co Ltd 線の描画方法及び作図装置
JP2003132068A (ja) * 2001-10-22 2003-05-09 Nec Corp ナビゲーションシステム及びナビゲーション端末
JP2003270719A (ja) * 2002-03-13 2003-09-25 Osaka Industrial Promotion Organization 投影方法、投影装置、作業支援方法及び作業支援システム
JP2007226765A (ja) * 2006-01-26 2007-09-06 Fuji Xerox Co Ltd 指示装置、指示システム、指示方法、及び指示プログラム

Also Published As

Publication number Publication date
US8441480B2 (en) 2013-05-14
CN101739722A (zh) 2010-06-16
JP2010117691A (ja) 2010-05-27
US20100123687A1 (en) 2010-05-20
CN101739722B (zh) 2016-01-06

Similar Documents

Publication Publication Date Title
JP4666060B2 (ja) 情報処理装置、情報処理システム及びプログラム
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
US8350896B2 (en) Terminal apparatus, display control method, and display control program
JP4137078B2 (ja) 複合現実感情報生成装置および方法
JP6491574B2 (ja) Ar情報表示装置
US8929628B2 (en) Measuring device and measuring method
JP5691802B2 (ja) 投影システム、投影装置、投影方法、および制御プログラム
US20150377606A1 (en) Projection system
JP4926826B2 (ja) 情報処理方法および情報処理装置
JP5332576B2 (ja) 情報処理装置、情報処理システム及びプログラム
JP2016114963A (ja) 入力操作検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、及びプロジェクタシステム
JP6918648B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2018022242A (ja) 複合システム及びターゲットマーカ
JP2016218893A (ja) 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
JP2005147894A (ja) 計測方法、計測装置
JP2006018444A (ja) 画像処理システム及び付加情報指示装置
JP5742379B2 (ja) 投影システムおよび投影方法
JP2018097645A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2017125764A (ja) 物体検出装置、及び物体検出装置を備えた画像表示装置
KR101285111B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및 방법
JP6704698B2 (ja) 情報処理装置、情報処理方法、情報処理システム、及びプログラム
JP2010117465A (ja) 情報処理装置、情報処理システム及びプログラム
US20230068299A1 (en) Information processing device, information processing method, and computer program
KR102686485B1 (ko) 포인트 클라우드를 이용한 확장 현실에서의 협업공간 공유 방법 및 시스템
JP2009076983A (ja) 情報処理システム及び情報処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4666060

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees