JP4729999B2 - 情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラム - Google Patents

情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラム Download PDF

Info

Publication number
JP4729999B2
JP4729999B2 JP2005189033A JP2005189033A JP4729999B2 JP 4729999 B2 JP4729999 B2 JP 4729999B2 JP 2005189033 A JP2005189033 A JP 2005189033A JP 2005189033 A JP2005189033 A JP 2005189033A JP 4729999 B2 JP4729999 B2 JP 4729999B2
Authority
JP
Japan
Prior art keywords
image
unit
calibration
projection
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005189033A
Other languages
English (en)
Other versions
JP2007010807A (ja
Inventor
和貴 平田
哲男 伊與田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2005189033A priority Critical patent/JP4729999B2/ja
Priority to US11/262,890 priority patent/US7527383B2/en
Publication of JP2007010807A publication Critical patent/JP2007010807A/ja
Application granted granted Critical
Publication of JP4729999B2 publication Critical patent/JP4729999B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Description

本発明は、情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラムに関する。
昨今の通信技術、カメラやプロジェクターに関するデバイスの技術、コンピューティング技術の発展に伴い、コンピュータ、カメラおよびプロジェクターがオフィスなどに深く浸透してきている。これと相俟って、遠隔地点間を跨るさまざまな業務は通信およびコンピュータの支援を受けることができるようになってきている。例えば、企業における産業活動やその他のさまざまな日常生活において、遠隔会議やテレビ電話あるいはビデオ・チャットが頻繁に行なわれている。会議室にネットワーク、コンピュータ、カメラおよびプロジェクターを取り込むことで、遠隔会議会議の運用を支援することができる。
遠隔会議支援システムの一例として、テレビ会議システムを取り上げることができる。テレビ会議システムによれば、遠隔に位置する複数の会議室において、カメラやマイクなどの画像・音声入力装置や、モニターやスピーカーなどの画像・音声出力装置を設置し、通信回線を利用して、遠隔地点間での意思疎通ないしコミュニケーションを促進ないし支援することができる。
また、会議システムを使うことによって、会議の進行上、会議で使用されるホワイトボードや、スライドその他のプレゼンテーション資料など、会議に関連するさまざまな資料を会議室間あるいは個人のデスクトップ間で共有し、保管することができる。例えば、典型的な電子会議ソフトウェアとして、マイクロソフト社のNetMeetingがある。当該NetMeetingを用いて異なる拠点間の利用者はPowerPointなどの会議資料や描画機能を利用した図形データを共有することが可能となる。
さらに、電子黒板あるいは電子ホワイトボードをネットワークに接続し利用することによって、図形データを共有することができる。例えば、SMART Techonologies Inc．社のSMARTBoardでは、大型のディスプレイとタッチパネルを利用して遠隔地間で手書きの図形を表示および共有することが可能となっている。ここで、上述の技術では、図形データの表示および共有は素材のデータが原則的に電子的なデータに限られているが、実際の会議では、時に三次元の空間を占有する実物の映像データと共に電子データを重ねて表示および共有したい場合がある。
これまで、現実物（対象物）の上に重ねて電子データを表示する技術についてのいくつかの提案がなされている。例えば、FX Palo Alto Laboratoryが提案したiLightシステムでは、プロジェクターとカメラを組み合わせ、かつサーバーとクライアントを構成することによって、利用者は遠隔地間で図形データを表示共有することができる（例えば、非特許文献１を参照のこと）。
具体的には、iLightシステムでは、遠隔地の描画クライアントで描画した図形データをサーバー側のビデオ・プロジェクターを用いてホワイトボード、ポスター、ポストイットなど現実物に重ねて投射し、それらの現実物と投射した画像データをサーバー側に構成するカメラで撮像し、遠隔地の描画クライアントに表示することができる。
また、IBM T.J. Watson Research Centerが提案するプロジェクター・カメラ・システムでは、iLightシステムと同じく、プロジェクターとカメラを組み合わせ、遠隔サイトで描画した図形データを現地サイトないしローカル・サイトで現実物の上にプロジェクターを用いて投影することができる。さらに、iLightとシステム同じく、カメラ・システムで前記現実物と投影した図形データとを撮像し、遠隔サイトに送信することができる（例えば、非特許文献２を参照のこと）。
さらに、映像の歪補正のためにプロジェクターの投射光軸に対するスクリーンの垂直方向および水平方向の傾斜角度を測定する傾斜角度測定装置を有するプロジェクターが提案されている（例えば、特許文献１を参照のこと）。また、可視光の明るさ低減を抑えて、通常の投射中にもスクリーンに不可視光によるテストパターンの表示が可能で、プロジェクターの光軸に対する垂直および水平方向の傾斜角度の測定と自動焦点調整の可能なプロジェクターが提案されている（例えば、特許文献２を参照のこと）。
加えて、遠隔ミーティングや電子会議などにおいて紙データや参考品などの画像データを電子データと同様に扱える卓上のカメラ・デジタイザ付き投影装置が提案されている（例えば、特許文献３を参照のこと）。
Jonathan Foote and Don Kimber:"Remjote Interactive Graffiti", MM'04, October 10-16, 2004. Claudio Pinhanez and Gopal Pingali:"Projector-camera Systems for Telepresence", ETP'04, October 15, 2004. 特開２００５−００６２７２号公報 特開２００５−０１７３５０号公報 特開２００４−２６５１８５号公報
しかしながら、非特許文献１のように、プロジェクターで投影した投影画像をカメラで撮像して、これを遠隔地に送信するシステムにおいて、プロジェクターとカメラが構造的に分離されている場合、プロジェクターとカメラ間の調整を簡単に行うことができないという問題があった。例えば、プロジェクターとカメラとの光軸のずれあるいは画角の相違または機械的な配置の不具合によって生じるプロジェクターによって投影される画像とカメラによって撮像された画像との間における相対的な位置のずれ、画像サイズの相違、縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等による不具合などの校正がなされていない場合、遠隔地間で正確な画像の受け渡しができないという問題があった。また、遠隔地において手動でプロジェクターとカメラの画像に対する校正を調整することも考えられるが、その校正には時間と手間が掛かるという問題があった。
また、特許文献１〜３の技術は、プロジェクターとカメラ間の制御を目的とするものではない。
そこで、本発明は上記問題点に鑑みなされたもので、投影部と撮影部の光軸、画角のずれ等を自動的に校正できる情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラムを提供することを目的とする。
上記課題を解決するために、本発明の情報処理システムは、少なくとも校正用の画像を赤外光を用いて投影する投影部と、前記投影部が投影した投影画像を撮像する撮像部と、前記撮像部が撮像した撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定する特定部と、前記特定部が特定した被校正点の位置と所定の参照点の位置とから回帰分析手法を用いて回帰直線の傾きと切片とを算出する算出部と、前記算出部が算出した傾きと切片とに基づいて、前記撮像画像の情報を変換する変換部と、を備える。本発明によれば、被校正点の位置を所定の参照点の位置に変換する傾きと切片を用いて撮像画像の情報を変換するため、投影部と撮像部の光軸、画角などが一致しないことにより発生する投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができるため、利用者の意図した場所に画像を投影部から投影することができる。また自動校正を簡単な構成により実現できるので、小型な装置を提供できる。さらに、本発明によれば、校正用の画像を赤外光を用いて扱うことで、利用者が校正用画像を知覚することなく、投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができる。
前記算出部は、前記回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、前記回帰直線の傾きを水平方向および垂直方向のスケーリング係数とし、前記位置データないし変位データ及び前記スケーリング係数を構造化文書により記述ないし表現する。
前記算出部は、前記傾きと切片とを算出する処理を所定の時刻に行うことを特徴とする。本発明によれば、例えば投影部から投影される画像と撮像部で撮像する画像の位置合わせなどを定刻に、定期的に、又は自動的に行うことができる。前記算出部は、前記傾きと切片とを算出する処理を所定の時間間隔で行うことを特徴とする。本発明によれば、投影領域と撮像領域の位置合わせをリアルタイムに行うことができる。これにより、投影領域又は撮像領域が時々刻々と変化する場合であっても、動的に校正できるため、投影領域と撮像領域を容易にキャリブレーションできる。
前記投影部は、前記校正用の画像を、点、線、三角形および四角形のうち少なくとも一つを組み合わせた図形を用いて投影する。前記投影部は、所定の画像及び前記校正用の画像を投影する光学系を含む。前記光学系は、所定の画像及び前記校正用の画像を同一の光学的経路を経て投影する光学系である。これにより小型な装置を提供できる。
前記投影部は、前記所定の画像を投影しないときに、前記校正用の画像を投影する。これにより、時間分割による排他制御が可能となる。前記光学系は、カラー・ホイールを含むことを特徴とする。本発明によれば、カラー・ホイールによって、所定の画像と、校正用の画像を重ねることで、タイム・スロットを用いた時間的な制御が可能であると共に、投影部を実現する装置、部品、デバイス、素子又はそれらを収める筐体を従来に比して小さくできる。
前記カラー・ホイールは、可視光の波長帯域と赤外光の波長帯域に対応するフィルターによって構成されるカラー・ホイールである。本発明によれば、所定の画像に対しては、可視光の波長帯域に対応するフィルターを用い、校正用の画像に対しては、赤外光の波長帯域に対応するフィルターを用いることで、所定の画像と投影領域の基準を示す画像を空間的に重ねることができる。これにより、投影部を実現する装置、部品、デバイス、素子又はそれらを収める筐体を従来に比して小さくできる。
前記光学系は、少なくとも赤外線帯域通過フィルター、可視光帯域用液晶パネル、ダイクロック・ミラー及びダイクロック・プリズムを所定の位置に配置して構成されている。本発明によれば、投影部を実現する装置、部品、デバイス、素子又はそれらを収める筐体を従来に比して小さくできる。前記撮像部は、前記投影部が投影した投影画像の情報から前記校正用の画像の情報を抽出する抽出部を備える。これにより、赤外線によって形成される画像から校正用の画像を抽出できる。
前記撮像部は、所定の画像及び前記校正用の画像を撮像する光学的経路の初期段階において同一となる光学系を含む。本発明によれば、所定の画像及び校正用の画像を撮像するための光学的経路が初期段階において同一であるため、撮像部を小型に構成できる。本発明の情報処理システムは、前記変換部により変換された撮像画像の情報を遠隔地に送信する送信部と、前記遠隔地から前記投影部から投影するための画像の情報を受信する受信部とをさらに備え、前記投影部は、前記受信部が受信した画像の情報に基づいて投影を行うことを特徴とする。これにより、ｉＬｉｇｈｔシステムを提供することができる。
本発明の情報処理装置は、投影部が赤外光を用いて投影した校正用の画像を撮像する撮像部の撮像画像の情報を変換する情報処理装置であって、前記撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定する特定部と、前記特定部が特定した被校正点の位置と所定の参照点の位置とから回帰分析手法を用いて回帰直線の傾きと切片とを算出する算出部と、前記算出部が算出した傾きと切片とに基づいて、前記撮像部が撮像した撮像画像の情報を変換する変換部と、を備える。本発明によれば、被校正点の位置を所定の参照点の位置に変換する傾きと切片を用いて撮像画像の情報を変換するため、投影部と撮像部の光軸、画角などが一致しないことにより発生する投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができるため、利用者の意図した場所に画像を投影部から投影することができる。また自動校正を簡単な構成により実現できるので、小型な装置を提供できる。さらに、本発明によれば、校正用の画像を赤外光を用いて扱うことで、利用者が校正用画像を知覚することなく、投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができる。
本発明の情報処理方法は、少なくとも校正用の画像を赤外光を用いて投影する投影ステップと、前記投影画像を撮像する撮像ステップと、前記撮像した撮像画像の情報から前記校正用の図形の形状を表す被校正点の位置を特定する特定ステップと、前記特定ステップが特定した被校正点の位置と所定の参照点の位置とから回帰分析手法を用いて回帰直線の傾きと切片とを算出する算出ステップと、前記算出ステップが算出した傾きと切片とに基づいて、前記撮像画像の情報を変換する変換ステップとを有する。本発明によれば、被校正点の位置を所定の参照点の位置に変換する傾きと切片を用いて撮像画像の情報を変換するため、投影部と撮像部の光軸、画角などが一致しないことにより発生する投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができるため、利用者の意図した場所に画像を投影部から投影することができる。また自動校正を簡単な構成により実現できるので、小型な装置を提供できる。さらに、本発明によれば、校正用の画像を赤外光を用いて扱うことで、利用者が校正用画像を知覚することなく、投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができる。
前記算出ステップは、前記回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、前記回帰直線の傾きを水平方向および垂直方向のスケーリング係数し、前記位置データないし変位データ及び前記スケーリング係数を構造化文書により記述ないし表現する。
本発明の情報処理方法は、前記画像変換された撮像画像の情報を遠隔地に送信するステップと、前記遠隔地から前記投影するために指示された所定の画像の情報を受信するステップと、前記受信した所定の画像の情報に基づいて投影を行うステップとをさらに有する。これによりiLightシステムを提供できる。
本発明のコンピュータ・プログラムは、赤外光を用いて投影された校正用の画像を撮像した撮像画像の情報を取得するステップと、前記撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定するステップと、前記特定ステップが特定した被校正点の位置と所定の参照点の位置とから回帰分析手法を用いて回帰直線の傾きと切片とを算出する算出ステップと、前記算出ステップが算出した傾きと切片とに基づいて、前記撮像画像の情報を変換する変換ステップと、をコンピュータに実行させる。本発明によれば、被校正点の位置を所定の参照点の位置に変換する傾きと切片を用いて撮像画像の情報を変換するため、投影部と撮像部の光軸、画角などが一致しないことにより発生する投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができるため、利用者の意図した場所に画像を投影部から投影することができる。また自動校正を簡単な構成により実現できるので、小型な装置を提供できる。さらに、本発明によれば、校正用の画像を赤外光を用いて扱うことで、利用者が校正用画像を知覚することなく、投影領域と撮像領域のずれ、あるいは縮尺(拡大または縮小)による歪みおよび平行移動並びに回転による歪み等の不具合を自動的に校正することができる。
前記算出ステップは、前記回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、前記回帰直線の傾きを水平方向および垂直方向のスケーリング係数とし、前記位置データないし変位データ及び前記スケーリング係数を構造化文書により記述ないし表現する。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
本発明によれば、投影部と撮影部の光軸、画角のずれ等を自動的に校正できる情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラムを提供できる。
以下、本発明を実施するための最良の形態について説明する。
図１は、本発明の一実施形態に係るマルチメディア装置１の機能構成を模式的に示している。図１に示すように、マルチメディア処理装置（情報処理システム）１は、サーバー側装置２およびクライアント側装置３から構成される。サーバー側装置２は、制御部（情報処理装置）４、撮像部５、投影部６および通信部（送信部、受信部）７から構成される。クライアント側装置３は、制御部９、提示部１０、入力部１１および通信部１２から構成される。サーバー側装置２およびクライアント側装置３は、通信網又はデータ・バス８で相互に接続されている。
制御部４、撮像部５、投影部６および通信部７は、サーバー側装置２の内部のネットワーク、データ回線又は制御回線などを介して相互に接続されている。同様に、制御部９、提示部１０、入力部１１および通信部１２は、クライアント側装置３の内部のネットワーク、データ回線又は制御回線などを介して相互に接続されている。
撮像部５は、一つ以上のレンズやＣＣＤを含む撮像回路等で構成され、クライアント側装置３へ提供するために投影部６がスクリーン１３または現実物（対象物）に投影した投影画像を撮像し、撮像した画像データを制御部４の内部メモリーに出力する。投影部６は、一つ以上のプロジェクターから構成され、通信部７から入力された画像データや制御部４から入力された画像データに基づいて、スクリーン１３の投影領域に画像を投影する。このとき、投影部６は、可視光を利用して利用者が投影したい画像（所定の画像）を投影し、赤外光を利用して校正用の画像を投影する。投影部６は校正用の画像を、たとえば点、線、三角形又は四角形を組み合わせた図形を用いて投影するのが好ましい。
制御部４は、ＣＰＵ（Central Processing Unit）、メモリー、タイマー又はクロックなどで構成され、撮像部５、投影部６および通信部７の各部の回路およびデータを制御する。制御部４は、特定部４１、算出部４２及び変換部４３を備える。特定部４１は、撮像部５が撮像した撮像画像の情報から校正用の画像の形状を表す被校正点の位置を特定する。算出部４２は、被校正点の位置を所定の参照点の位置に変換するための校正パラメーターを算出する。このとき、算出部４２は、被校正点の位置及び参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、該回帰直線の傾きと該切片を用いて校正パラメーターを算出する。より詳細には、算出部４２は、被校正点の位置及び参照点の位置を用いて、回帰分析手法により回帰直線の傾きと切片を求め、回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、回帰直線の傾きを水平方向および垂直方向のスケーリング係数とする構造化文書により校正パラメーターを記述ないし表現する。変換部４３は、校正パラメーターを用いて撮像部５が撮像した撮像画像の情報を変換する。
算出部４２によるパラメーターの算出およびそのパラメーターを使った校正手続きは、電源投入後に行うようにしてよい。また、算出部４２は、校正パラメーターを算出する処理およびそのパラメーターを使った校正手続きを所定の時刻に行うようにしてもよいし、さらに、所定の時間間隔で定期的に行うようにしてもよい。
そこで、本発明において、その運用によっては、電源投入直後に、外部のスクリーン等の設置等の使用環境ないし状態が変化しない間は、一度だけ、上記パラメーターの算出とそのパラメーターを使った校正を行い、その校正以後、適正な状態で所定の画像データを使った投影と撮影を行うことができる。一方、電源投入後、一度だけパラメーターの算出とその算出したパラメーターを使った校正を行うのではなく、所定の時間間隔で定期的に校正を行うこともできる。例えば、利用者が本発明の実装システムを利用する間をセッションと呼ぶことにすると、そのセッション毎にパラメーターの算出とそのパラメーターを使った校正を行うこともできるし、セッション内に、例えば５分や１０分単位の所定の時間間隔でパラメーターの算出とそのパラメーターを使った校正を行うこともできるし、さらには、ライブで、すなわち利用者の認識としては、利用者の所望の、あるいは所定の画像を投影および撮影しつつ、(利用者の認識としては)同時に校正を行うことができる。この場合、技術的にはあるいは物理的にはあるいは手続き的には、短時間の時間間隔での、いわば実時間処理で(例えば、１２０分の１秒毎に)「パラメーターの算出とそのパラメーターを使った校正」と「所定の画像の投影と撮影」を交互に繰り返すこともできる。ある所定の時間単位の間隔で規定されるタイム・スロットによる本発明の制御については後述する。
通信部７は、ネットワーク制御回路、通信制御回路又はバス制御回路などで構成され、主に、制御部４の内部メモリーから画像データを入力し、投影部６に画像データを出力し、通信網又はデータ・バス８を介して、クライアント側装置３の通信部１２と相互にデータを送受信する。また、通信部７は、撮像部５で抽出した画像データを通信網／データ・バス８を介して外部のクライアント側装置３へ送信する。制御部９は、ＣＰＵ及びメモリーなどで構成され、提示部１０、入力部１１および通信部１２の各部の回路およびデータを制御する。
提示部１０は、一般的なディスプレイ、モニターなどで構成され、通信部１２から出力される画像データ又は入力部１１から出力されるデータを利用者に提示する。入力部１１は、利用者からのマウスなどを使って入力したデータを提示部１０又は通信部１２に出力する。通信部１２は、ネットワーク制御回路、通信制御回路又はバス制御回路などにより構成され、主に、入力部１１から画像データを入力し、画像データを提示部１０へ出力し、通信網又はデータ・バス８を介して、サーバー側装置２の通信部７と相互にデータを送受信する。
ここで、サーバー側装置２およびクライアント側装置３は、通信網又はデータ・バス８を介して、いわゆるフィードバック・ループを構成する。すなわち、まず、投影部６は、通信部７から入力された画像データに基づき画像をスクリーン１３に投影する。次に撮像部５は、投影部６の投影領域を撮像し、撮像した画像データを、制御部４の内部メモリーを介して、通信部７へ出力する。次に、通信部７は、撮像部５から撮像された画像データを制御部４の内部メモリーおよび通信網又はデータ・バス８を介して、クライアント側装置３の通信部１２へ送信する。
通信部１２は、通信網又はデータ・バス８を介して、サーバー側装置２からの画像データを受信し、受信した画像データを制御部９へ出力する。制御部９は、通信部１２から出力された画像データに基づいて、提示用の画像データを提示部１０に出力する。そこで、利用者は提示部１０を使ってサーバー側装置２の撮像部５によって撮像された画像を閲覧することができる。よって、利用者は提示部１０に表示された画像に応じて、入力部１１を使って例えばアノテーションなどのデータを入力することができる。入力部１１から入力されたデータは、制御部９へ出力される。
制御部９に保持されている画像データは、入力部１１によって制御部９に入力されたデータによって変更処理される。さらに制御部９は、変更処理された画像データを通信部１２へ出力する。通信部１２は、制御部９から入力された画像データを通信網又はデータ・バス８を介して、サーバー側装置２の通信部７へ送信する。通信部７は、通信網又はデータ・バス８を介して、受信した画像データを投影部６へ出力する。投影部６は、通信部７から入力された画像データに基づいて画像を投影する。
投影された画像は、スクリーン１３の手前に現実物が置かれている場合には、現実物の上に重ねて表示される。現実物の上に重ねて表示されている投影された画像は、前述のように、撮像部５によって撮像される。以上のように、サーバー側装置２およびクライアント側装置３は、通信網又はデータ・バス８を介して、フィードバック・ループを構成している。
次に、投影部６を具体的に説明する。図３は本実施形態に係る投影部６の機能構成を示すブロック図である。図３に示すように、投影部６は、可視光帯域データ処理回路６１、可視光帯域発光回路６２、赤外線帯域データ処理回路６３、赤外線帯域発光回路６４、混合回路６５および出力回路６６から構成される。可視光帯域データ処理回路６１は、制御部４の内部メモリーに保持されている画像データを入力し、所定の処理を施した画像データを可視光帯域発光回路６２へ送る。可視光帯域発光回路６２は、画像データの各色成分、Ｒ(赤)、Ｇ(緑)およびＢ(青)の成分に対応した発光回路ないし部品で構成され、可視光帯域データ処理回路６１からの画像データに基づいて、投影するための光を発光する。
赤外線帯域データ処理回路６３は、制御部４の内部メモリーに保持されている校正用の画像データを入力し、これを赤外線帯域発光回路６４へ送る。この校正用の画像データは、校正パラメーターを求めるために用いられる。赤外線帯域発光回路６４は、赤外線帯域データ処理回路６３からの校正用の画像データに基づいて、赤外光を発光する。混合回路６５は、可視光帯域発光回路６２からの可視光および赤外線帯域発光回路６４からの赤外光を空間的に混合する。出力回路６６は、混合回路６５からの光を外部へ投射する。これにより、校正用の画像がスクリーン１３又は現実物に投影される。
次に撮像部５を詳細に説明する。図２は本実施形態に係る撮像部５の機能構成を示すブロック図である。図２に示すように、撮像部５は、受光回路５１、フィルター回路５２、可視光帯域データ処理回路５３および赤外線帯域データ処理回路５４から構成される。
受光回路５１はレンズなどで構成される。フィルター回路５２は、たとえば赤外線フィルターなどで構成され、赤外光を可視光から分離する。具体的には、フィルター回路５２は、受光回路５１から入力された光のうち、可視光を可視光帯域データ処理回路５３へ、赤外光を赤外線帯域データ処理回路５４へ導く。なお本実施例では、抽出部として機能するフィルター回路５２は、撮像部５内に組み込まれているが撮像部５の外に設けられていてもよい。
可視光帯域データ処理回路５３は、光電変換回路およびメモリー等で構成され、フィルター回路５２からの可視光を光電変換し、可視光帯域の画像データを生成し、この可視光帯域の画像データを内部のメモリーに保持する。また、可視光帯域データ処理回路５３は、制御部４の制御に従い内部メモリーに保持した可視光帯域の画像データを制御部４の内部メモリーへ出力する。
赤外線帯域データ処理回路５４は、赤外光の帯域に利用可能な光電変換回路およびメモリー等で構成され、フィルター回路５２からの赤外光を光電変換を行い、赤外光帯域の校正用の画像データを生成し、この赤外光帯域の校正用の画像データを内部のメモリーに保持する。赤外線帯域データ処理回路５４は、制御部４の制御に従い内部メモリーに保持した赤外光帯域の校正用の画像データを制御部４の内部メモリーへ出力する。
図４は、本実施形態に係る位置校正手続きの処理手順をフローチャートの形式で示している。ここで、位置校正とは、投影部６の投影画像と撮像部５の撮像画像の位置合わせを意味する。図４に示すように、位置校正手続きは、校正初期化手続き(ステップＳ１)、校正用投影手続き(ステップＳ２)、校正用撮像手続き(ステップＳ３)、校正データ算出適応手続き(ステップＳ４)および校正終了化手続き(ステップＳ５)の各手続きから成る。
まず、ステップＳ１において、制御部４は、制御部４の内部メモリーの初期化、すなわちメモリーの割り当てとクリア、撮像部５に対する初期化の命令および投影部６に対する初期化の命令などを行う。次に、ステップＳ２において、投影部６は、赤外光を用いて校正用の画像を投影する。なお、ステップＳ２については、後で詳述する。また、ステップＳ３において、撮像部５は、可視光および赤外光を分離し、可視光を用いた画像データおよび赤外光を用いた校正用の画像データを抽出する。なお、ステップＳ３については、後で詳述する。ここで、制御部４は、制御部４の内部メモリーと、撮像部５の赤外線帯域データ処理回路５４の内部メモリーおよび投影部６の赤外線帯域データ処理回路６３の内部メモリーとの間で相互にデータの写像(マッピング)ないし対応付けあるいは関連付けおよびデータ転送を行うことができるものとする。
さらに、ステップＳ４において、制御部４の特定部４１は、撮像部５が撮像した撮像画像の情報から校正用の画像の形状を表す被校正点の位置を特定する。算出部４２は、被校正点の位置を所定の参照点の位置に変換するためのパラメーターを算出する。変換部４３は、記パラメーターを用いて撮像部５が撮像した撮像画像データを変換する。最後に、ステップＳ５において、制御部４は、内部メモリーをクリアするなどの終了処理を行う。その後、通信部７は、変換部７により変換された撮像画像の情報を遠隔地に送信する。通信部７は、クライアント側装置（遠隔地）３から投影部６から投影するための画像の情報を受信する。投影部６は、通信部７が受信した画像の情報に基づいてスクリーン１３や現実物に投影を行う。
図５は、ステップＳ２の詳細な校正用投影手続きをフローチャートの形式で示している。図示のとおり、ステップＳ２の校正用投影手続きは、校正用投影初期化手続きステップＳ１１、可視光帯域データ処理ステップＳ１２、可視光帯域発光処理ステップＳ１３、赤外線帯域データ処理ステップＳ１４、赤外線発光処理ステップＳ１５、混合処理ステップＳ１６、出力処理ステップＳ１７および校正用投影終了化手続きＳ１８の各手続きおよび処理で構成される。
まず、ステップＳ１１において、投影部６は、可視光帯域データ処理回路６１、可視光帯域発光回路６２、赤外線帯域データ処理回路６３、赤外線帯域発光回路６４、混合回路６５および出力回路６６のそれぞれを初期化、具体的には各部分の内部メモリーの割り当ておよびリセットなどを行う。次に、ステップＳ１２において、可視光帯域データ処理回路６１は、制御部４の内部メモリーから可視光を利用して投影する画像データを入力し、これに所定の処理を施し可視光帯域発光回路６２へ送る。
ステップＳ１３において、可視光帯域発光回路６２は、可視光を利用して投影する画像データに基づいて、各色成分の強度データに応じて、各色成分Ｒ、ＧおよびＢに対応する発光回路を駆動し、発光する。続いて、ステップＳ１４において、赤外線帯域データ処理回路６３は、制御部４の内部メモリーから赤外光を利用して投影する校正用の画像データを入力し、これに所定の処理を施し赤外線帯域発光回路６４へ送る。
ステップＳ１５において、赤外線帯域発光回路６４は、校正用の画像データの強度、空間的形状あるいはパターンに応じて、赤外光を出す。ステップＳ１６において、混合回路６５は、可視光帯域発光回路６２からの可視光および赤外線帯域発光回路６４からの赤外光を空間的に混合する。ステップＳ１７において、出力回路６６は、混合回路６５からの光を外部へ出す。ステップＳ１８において、可視光帯域データ処理回路６１、可視光帯域発光回路６２、赤外線帯域データ処理回路６３、赤外線帯域発光回路６４、混合回路６５および出力回路６６のそれぞれを終了化、具体的には各部分の内部メモリーのクリアなどを行う。
図６は、ステップＳ３の詳細な校正用撮像手続きをフローチャートの形式で示している。図示のとおり、ステップＳ３の校正用撮像手続きは、校正用撮像初期化手続きＳ２１、受光処理ステップＳ２２、フィルタリング処理ステップＳ２３、可視光帯域データ処理ステップＳ２４、赤外線帯域データ処理ステップＳ２５および校正用撮像終了化手続きＳ２６の各手続きおよび処理で構成される。
まず、ステップＳ２１において、撮像部５は、受光回路１３、フィルター回路５２、可視光帯域データ処理回路５３および赤外線帯域データ処理回路５４のそれぞれを初期化、具体的には、各部分の内部メモリーの割り当ておよびリセットなどを行う。ステップＳ２２において、受光回路５１は外部からの光を受ける。ステップＳ２３において、フィルター回路５２は、入力された光を可視光と赤外光に分離し、可視光を可視光帯域データ処理回路５３へ、赤外光を赤外光帯域データ処理回路５４へ導く。
ステップＳ２４において、可視光帯域データ処理回路５３は、フィルター回路５２からの可視光を光電変換して、可視光を利用して投影された画像データを抽出し、この画像データを制御部４の内部メモリーへ出力する。ステップＳ２５において、赤外線データ処理回路５４は、フィルター回路５２からの赤外光を光電変換して、赤外光を利用して投影された校正用の画像データを取得し、これを制御部４の内部メモリーへ出力する。制御部４は、可視光を利用して投影された画像データを通信部７を介してクライアント側装置３へ送信する。これにより、クライアント側装置３では、投影画像を閲覧することができる。
最後にステップＳ２６において、撮像部５は、受光回路５１、フィルター回路５２、可視光帯域データ処理回路５３および赤外線帯域データ処理回路５４のそれぞれを終了化、具体的には、各部分の内部メモリーのクリアなどを行う。
図８は校正手続き時の投影領域と撮像領域の関係の一例を示した図である。図８（ａ）は、制御部４内のメモリー上に描画された画像を模式的に示している。投影領域２３と撮像領域２５の位置合わせがまだ行われていないため、両者がずれているのが分かる。
校正用の画像２４は、頂点Ａ、Ｂ、Ｃ、Ｄを持つ矩形の図形からなる。校正用画像２４は、投影部６により赤外光を利用して投影されたものである。撮像領域の参照画像２６は、頂点Ａ’Ｂ’Ｃ’Ｄ’を持つ矩形の図形である。制御部４は、校正用の画像ＡＢＣＤが、理想的な参照画像Ａ’Ｂ’Ｃ’Ｄ’に合うように校正パラメーターを算出し、校正用画像２４の位置及び形状を校正していく。参照画像２６の形状は、参照画像２６の各頂点Ａ'、Ｂ'、Ｃ'およびＤ'の座標で表現できる。参照画像２６の各頂点Ａ'、Ｂ'、Ｃ'およびＤ'の座標は、撮像部５のデカルト座標系あるいは、制御部４のメモリーにおけるデータを表現するためのデカルト座標系でそれぞれ座標(A'x,A'y)、(B'x,B'y)、(C'x,C'y)および(D'x,D'y)で表現できる。参照画像２６の各頂点Ａ'、Ｂ'、Ｃ'およびＤ'を校正の基準となるので参照点と呼ぶ。校正用画像２４の各頂点Ａ、Ｂ、ＣおよびＤのそれぞれの座標は、図８において前述と同一のデカルト座標系で(Ax,Ay)、(Bx,By)、(Cx,Cy)および(Dx,Dy)で表現できる。校正用画像２４の各頂点Ａ、Ｂ、ＣおよびＤを被校正点と呼ぶ。
次に校正データ算出適応処理について説明する。図７はステップＳ４の詳細な校正データ算出適応手続きをフローチャートの形式で示している。図７に示すように、ステップＳ４の校正データ算出適応手続きは、校正データ算出適応初期化手続きＳ３１、参照点初期位置特定処理ステップＳ３２、被校正点位置特定処理ステップＳ３３、校正パラメーター算出処理ステップＳ３４、校正パラメーター適応処理ステップＳ３５および校正データ算出適応終了化手続きＳ３６からなる。このステップＳ４においては、制御部４の特定部４１は、撮像部５が撮像した撮像画像の情報から校正用画像２４の形状を表す被校正点の位置を特定する。算出部４２は、被校正点の位置を所定の参照点の位置に変換するための校正パラメーターを算出する。
まず、ステップＳ３１において、制御部４は、内部メモリーの初期化、具体的には、メモリーの割り当ておよびクリアなどを行う。次に、ステップＳ３２において、特定部４１は、投影部６に出力した校正用図形のデータを参照することによって、参照画像２６の形状を表現する座標(A'x,A'y)、(B'x,B'y)、(C'x,C'y)および(D'x,D'y)を特定する。ここで、参照画像２６の参照点の座標(A'x,A'y)、(B'x,B'y)、(C'x,C'y)および(D'x,D'y)は、制御部４の内部メモリー上のデータに対して規定されるデカルト座標系としては、参照画像２６の生成時に特定され得る。つまり、任意の座標を指定し得る。また、制御部４の内部のメモリー上のデータに対して規定されるデカルト座標系と撮像部５の赤外線帯域データ処理回路５４の内部メモリー上のデータに対して規定されるデカルト座標系は同一であるとする。
また、参照点の初期位置によっては、校正用画像２４の形状の全ての座標を撮像部５が撮像できない場合もある。例えば、校正用画像２４の校正点ＢおよびＣが撮像領域２５の外部に位置する場合である。このようなときには、ステップＳ３２において、制御部４は、参照画像２６の位置ないし形状を変更し、校正用画像２４を表現する図形の全ての頂点の座標が撮像領域２５内部に位置するように修正する。
次にステップＳ３３において、特定部４１は、撮像部５から入力した校正用画像２４のデータを参照することによって、被校正点の位置を特定する。具体的には、特定部４１は、図８で示した校正図画像２４の被校正点Ａ、Ｂ、ＣおよびＤのそれぞれの座標を特定する。つまり、特定部４１は、校正用画像２４の撮像部５のデカルト座標系における(Ax,Ay)、(Bx,By)、(Cx,Cy)および(Dx,Dy)を特定する。特定部４１は、これらの座標(Ax,Ay)、(Bx,By)、(Cx,Cy)および(Dx,Dy)は、従来の画像処理技術を応用することにより特定することができる。
次にステップＳ３４において、算出部４２は、参照点Ａ'、Ｂ'、Ｃ'およびＤ'の座標データおよび被校正点Ａ、Ｂ、ＣおよびＤの座標データを用いて校正パラメーターを算出する。算出部４２は、デカルト座標系における座標の相対的な変位と相対的な水平および垂直方向のスケーリング係数、すなわち拡大率ないし縮小率を校正パラメーターとして算出する。
このため、校正パラメーターは、デカルト座標系における座標の相対的な変位と相対的な水平および垂直方向のスケーリング係数、すなわち拡大率ないし縮小率の組のデータとして表現される。例えば、校正パラメーターは、図９のようにＸＭＬ（eXtensible Markup Language）などの形式を用いて表現できる。図９においては、校正パラメーターがcalibration-data要素をルート要素とするＸＭＬ形式で表現され、ｘ、ｙ、xScaleおよびyScaleの各要素を持つことを表している。図９において、ｘ要素の値は０．０であり、ｙ要素の値は０．０であり、xScale要素の値は１．０であり、yScaleの値は１．０であることを示す。ここで、ｘは校正パラメーターのデカルト座標系における座標の相対的な変位のｘ座標を意味する。また、ｙは校正パラメーターのデカルト座標系における座標の相対的な変位のｙ座標を意味する。さらに、xScaleは校正パラメーターのデカルト座標系における相対的な水平方向のスケーリング係数を意味する。yScaleは校正パラメーターのデカルト座標系における相対的な垂直方向のスケーリング係数を意味する。
具体的には、算出部４２は、校正パラメーターを回帰分析手法を用いて計算する。具体的には、算出部４２は、図８（ｂ）に示すように、参照点のｘ座標、すなわちA'x、B'x、C'xおよびD'x並びに校正用画像２４の被校正点のｘ座標、すなわちAx、Bx、CxおよびDxから第一の回帰直線Ｐの傾きと切片ないし定数項を算出する。ここで、当該傾きは、参照点の初期位置と校正用画像２４の被校正点の座標との写像に関する相対的な水平方向のスケーリング係数（xScale）を意味する。当該切片ないし定数項は、参照点の初期位置と校正用画像２４の被校正点の座標との写像に関する相対的な水平方向の変位（xOffset）を意味する。
また、制御部４は、図８（ｃ）に示すように、前述の参照点のｙ座標A'y、B'y、C'yおよびD'y並びに校正用画像２４の被校正点のy座標、すなわちAy、By、CyおよびDyから第二の回帰直線Ｑの傾きと切片ないし定数項を算出する。ここで、当該傾きは、参照点の初期位置と校正用画像２４の被校正点の座標との写像に関する相対的な垂直方向のスケーリング係数（yScale）を意味する。当該切片ないし定数項は、参照点の初期位置と校正用画像２４の被校正点の座標との写像に関する相対的な垂直方向の変位（yOffset）を意味する。
なお、上記では、校正用画像２４を用いた校正パラメーターの算出に、撮像部５におけるデカルト座標系を用いて計算を行ったが、投影部６におけるデカルト座標系を用いて計算できる。また、同様に、校正パラメーターの算出のために、撮像部５および投影部６と幾何学的な関連のある抽象的な座標系を用いて校正パラメーターを算出できる。また、上記においては、回帰分析手法を用いて、校正パラメーターを算出する例について説明したが、フィッティング関数を用いて校正パラメーターを算出することもできる。
次に、ステップＳ３５において、変換部４３は、算出された校正パラメーターを用いて、座標変換を行う画像処理を施すことによって、撮像した画像データを補正する。
Figure 0004729999
 ここで、(Ｘ，Ｙ)は、変換前の座標、（ｘ’，ｙ’）は変換後の座標、xScaleおよびyScaleはそれぞれ回帰直線ＰおよびＱの傾き並びにｘOffsetおよびｙOffsetはそれぞれ回帰直線ＰおよびＱの切片を各々示す。クライアント側装置３の提示部１０を構成するグラフィカル・ユーザ・インタフェース（ＧＵＩ）のディスプレイないしスクリーンに、その補正した画像データを表示することによって、利用者は校正された適正な画像を見ることができる。最後に、ステップＳ３６においては、制御部４は、内部メモリーの解放など、校正データの算出および適応に伴う終了化手続きを行う。
なお、上記の説明においては、校正用画像の座標データ、すなわち校正されるべき座標データから、参照画像の座標データ、すなわち校正された理想的な座標データを予測する回帰直線ないし回帰式の傾き(xScaleおよびyScale)並びに切片(xOffsetおよびyOffset)を用いて、撮影画像データの校正を行ったが、逆に、参照画像の座標データ、すなわち校正された理想的な座標データから校正用画像の座標データ、すなわち校正されるべき座標データを予測する回帰直線ないし回帰式の傾きおよび切片を用いて、投影前に、投影すべき画像データに対して幾何変換の画像処理を施すことによって画像を修正することもできる。
また、以上の説明では、単純な縮尺(拡大または縮小)による歪みおよび平行移動による不具合を校正する場合の例について述べたが、算出部４１は、回転による歪み等による不具合を校正するため、式（２）のようないわゆる一次等角変換(ヘルマート変換)のパラメーター((式２)中のa、b、cおよびd)を算出することによって、縮尺(拡大または縮小)による歪み、平行移動、回転歪みによる不具合を補正することもできるし、さらに式（３）のようないわゆる二次元射影変換のパラメーター((式3)中のa1、a2、a3、a4、a5、a6、a7およびa8)を算出することによって、いわゆる射影歪みを補正することもできる。なお、式（２）および式（３）中の変数xおよびyは夫々参照点の座標、並びに変数ｕおよびｖは夫々被校正点の座標を表す。
Figure 0004729999
Figure 0004729999
ここで、一般に上記のパラメーターを決定するのに必要な点数ないし個数以上の基準点および校正点の座標を用いて、いわゆる最小二乗法(最小自乗法、Least squares method)によってパラメーターを決定し得る。
次に、本発明の第２実施例について説明する。実施例１では、校正用画像として矩形の形状の図形を用いた場合について説明したが、実施例２では、他の校正用画像を用いる場合の例である。図１０は校正用画像の他の例を示す図であり、同図（ａ）は田の字形の校正用画像２４１、同図（ｂ）は三角形の組み合わせによる六角形の校正用画像２４２をそれぞれ示す。投影部６は、赤外光を用いて田の字形の校正用画像２４１や三角形の組み合わせによる六角形の校正用画像２４２を投影する。この投影画像を撮像部５によって撮像する。制御部４の特定部４１は、投影部６から校正用画像の被校正点を特定し、算出部４２は被校正店と所定の参照点を用いて校正パラメーターを算出し、変換部４３は、校正パラメーターを用いて撮像部５が撮像した画像データを変換する。
ここで、上記ステップＳ３３において、特定部４１は、田の字形の校正用画像２４１または三角形の組み合わせによる六角形の校正用画像２４２の各頂点または交点の位置ないし座標を特定するために、従来の画像処理技術を応用する。つまり、田の字形の校正用画像または三角形の組み合わせによる六角形の校正用画像の各頂点または交点の位置ないし座標を特定するために、特定部４１は、撮像部５からの校正用画像データに対して、二値化処理、細線化処理などを行うことによって、校正用画像の各頂点または交点の位置ないし座標を特定する。なお、田の字形の校正用画像２４１または三角形の組み合わせによる六角形の校正用画像２４２の各頂点または交点が実施例１で説明した被校正点に対応する。
実施例３は、光学系にカラー・ホイールを用いた場合の例である。図１２はカラー・ホイールを用いて投影部６を構成した投影部１０６の一例を示す図である。投影部１０６は、赤外光を利用して校正用画像及び可視光を利用して投影する画像を同一の光学系を用いて投影する。
具体的には、図１２に示すように、投影部１０６は、可視光帯域データ処理回路６１、赤外線帯域データ処理回路６３、カラー・ホイール１０７、ＤＭＤ(デジタル・マイクロミラー・デバイス)１０８、光源１０９、混合回路用レンズ１１０、１１１およびレンズ１１２によって構成されている。図１１はカラー・ホイール１０７の一例を示す図である。図１１に示すように、カラー・ホイール１０７は、可視光の各波長帯域と赤外光の波長帯域に対応するフィルターによって構成され、より詳細には、赤色帯域通過フィルター１０７１、緑色帯域通過フィルター１０７２、青色帯域通過フィルター１０７３および赤外線帯域通過フィルター１０７４の各フィルターで構成されている。
光源１０９は可視光と赤外光の両方を放出できるものである。図３で説明した可視光帯域発光回路６２および赤外線帯域発光回路６４は同一の光源１０９で実現されている。また図３の混合回路６５はカラー・ホイール１０７とＤＭＤ１０８を用いて実現されている。出力回路６６はレンズ１１２により実現されている。混合回路用レンズ１１０は光源１０９からの可視光および赤外光の光をカラー・ホイール１０７に適切に照射する。混合回路用レンズ１１１はカラー・ホイール１０７を通過した可視光および赤外光を適切にＤＭＤ１０８に入射する。
可視光帯域データ処理回路６１および赤外線帯域データ処理回路６３は、カラー・ホイール１０７の回転に同期して、ＤＭＤ１０８を制御する。これにより、任意の可視光をレンズ１１２を通して投影部１０６から投射することができ、かつ、赤外光を利用した校正用画像を適正に生成し、レンズ１１２を通してスクリーン１３の投影領域に校正用画像を投射することができる。このようにして、投影部１０６は、カラー・ホイール等を用いて構成され、所定の画像及び校正用の画像を同一の光学的経路（光源１０９〜レンズ１１２）を経て投影する光学系を含むため、投影部１０６を小型に構成できる。
次に、本実施例に係る撮像部について説明する。図１３は本実施例に係る撮像部の一例を示した図である。図１３に示すように、撮像部２０５は、可視光帯域データ処理回路５３、赤外線帯域データ処理回路５４、レンズ２０６、赤外線反射膜２０７、プリズム２０８及び全反射ミラー２０９を備える。赤外線反射膜２０７、プリズム２０８および全反射ミラー２０９が図２で示したフィルター回路５２に対応する。レンズ２０６が受光回路５１に対応する。可視光帯域データ処理回路５３は、ＣＣＤ等のデバイス、メモリー及びこれらを制御するＣＰＣ等で構成され、可視光はＣＣＤで補足され、メモリーにデジタル化された可視光のデータはメモリーに保存される。赤外線帯域データ処理回路５４は、ＣＣＤ等のデバイス、メモリー及びこれらを制御するＣＰＣ等で構成され、赤外光はＣＣＤで補足され、メモリーにデジタル化された赤外光のデータはメモリーに保存される。図１３に示したように、撮像部２０５は、所定の画像及び校正用の画像を撮像する光学的経路の初期段階において同一となる光学系（レンズ２０６〜プリズム２０８）を含む。これにより撮像部２０５を小型に構成できる。
図１２の投影部１０６が投影する投影画像は、レンズ２０６から撮像部２０５に入力される。赤外光はプリズム２０８を経由し、赤外線反射膜４０によって反射され、プリズム２０８および全反射ミラー２０９を介して赤外線帯域データ処理回路５４に入力される。可視光はプリズム２０８を経由し、赤外線反射膜２０７を通過し、可視光帯域データ処理回路５３に入力される。
次に制御部４によるカラー・ホイール１０７の制御について説明する。図１４は図１で示した制御部４の一例を示す図である。図１４に示すように、制御部４は、ＣＰＵ４０１、メモリー４０２、タイマー４０３およびカウンター４０４から構成される。図１５はカラー・ホイール１０７を制御するタイム・スロットの一例を示す。カラー・ホイール１０７は、通常一定速度で回転軸を中心に回転するので、ある時間的区間のタイム・スロットは、タイム・スロットｔ１〜ｔ４が繰り返される。図１２の光源１０９からの光は、タイム・スロットｔ１で赤色帯域通過フィルター１０７１を通過し、タイム・スロットｔ２で緑色帯域通過フィルター１０７２を通過し、タイム・スロットｔ３で青色帯域通過フィルター１０７３を通過し、タイム・スロットｔ４で赤外線帯域通過フィルター１０７４を通過する。
ＣＰＵ４０１は、カラー・ホイール１０７が図１５に示すタイム・スロットに従うように当該カラー・ホイール１０７の回転速度を制御する。ここで、制御部４のタイマー４０３およびカウンター４０４は、制御すべきタイム・スロットを計測するためにＣＰＵ４０１によって利用される。
このように、制御部４は、タイマーまたはクロックを制御、管理または監視し、ある時間単位、クロック単位、タイム・スライスまたはタイム・スロット毎に、投影部６から所定の画像及び校正用の画像を交互に、又は順次繰り返し投影することによって、投影部１０６が所定の画像を投影していないときに、赤外光を利用して校正用の画像を投影するよう制御できる。これにより、時間分割によって、所定の画像を投影する時間と校正用の画像を投影する時間を時間的に排他制御できる。
次に実施例４について説明する。実施例４はダイクロック・ミラーを用いて投影部を構成した場合の例である。図１６はダイクロック・ミラーを用いた投影部の例を示す図である。本実施例の投影部１０６は、光学系を少なくとも赤外線帯域通過フィルター、可視光帯域用液晶パネル、ダイクロック・ミラー及びダイクロック・プリズムを所定の位置に配置して構成した例である。図１６に示すように、投影部４０６は、光源４０７、４０８、赤外線帯域通過フィルター４０９、ダイクロック・ミラー４１０、４１１、４１２、全反射ミラー４１３、４１４、４１５、赤色帯域用液晶パネル４１６、緑色帯域用液晶パネル４１７、青色帯域用液晶パネル４１８、赤外線帯域用液晶パネル４１９、ダイクロック・プリズム４２０およびレンズ４２１から構成される。
ここで、ダイクロック・ミラー４１０は可視光領域の光を通過し、赤外光を反射する。ダイクロック・ミラー４１１は赤色帯域の光および赤外光を通過し、緑色帯域および青色帯域の光を反射する。ダイクロック・ミラー４１２は、青色帯域の光を通過し、緑色帯域の光を反射する。また赤色帯域用液晶パネル４１６は赤色帯域の光を制御する。緑色帯域用液晶パネル４１７は緑色帯域の光を制御する。青色帯域用液晶パネル４１８は緑色帯域の光を制御する。赤外線帯域用液晶パネル４１９は赤外光を制御する。
光源４０７から放射された赤色帯域の光は、ダイクロック・ミラー４１０を通過し、ダイクロック・ミラー４１１を通過し、全反射ミラー４１５で反射され、赤外線帯域用液晶パネル４１９を通過し、赤色帯域用液晶パネル４１６で制御され、ダイクロック・プリズム４２０を通過し、レンズ４２１を通過して投影部４０６から投影される。光源４０７から放射された緑色帯域の光は、ダイクロック・ミラー４１０を通過し、ダイクロック・ミラー４１１で反射され、ダイクロック・ミラー４１２で反射され、緑色帯域用液晶パネル４１７で制御され、ダイクロック・プリズム４２０を通過し、レンズ４２１を通過して投影部４０６から投影される。
光源４０７から放射された青色帯域の光は、ダイクロック・ミラー４１０を通過し、ダイクロック・ミラー４１１で反射され、ダイクロック・ミラー４１２を通過し、全反射ミラー４１３で反射され、全反射ミラー４１４で反射され、青色帯域用液晶パネル４１８で制御され、ダイクロック・プリズム４２０を通過し、レンズ４２１を通過して投影部４０６から投影される。
光源４０８から放射された赤外光は、赤外線帯域通過フィルター４０９を通過し、ダイクロック・ミラー４１０で反射され、ダイクロック・ミラー４１１を通過し、全反射ミラー４１５で反射され、赤外線帯域用液晶パネル４１９で制御され、赤色帯域用液晶パネル４１６を通過し、ダイクロック・プリズム４２０を通過し、レンズ４２１を通過して上述した校正用画像が投影部４０６から投影される。可視光帯域データ処理回路６１は赤色帯域用液晶パネル４１６、緑色帯域用液晶パネル４１７および青色帯域用液晶パネル４１８に接続され、各液晶パネルを制御する。赤外線帯域データ処理回路６３は赤外線帯域用液晶パネル４１９に接続され、赤外線帯域用液晶パネル４１９を制御する。このように、投影部４０６は、所定の画像及び校正用の画像を同一の光学的経路（ダイクロック・ミラー４１０〜全反射ミラー４１５〜レンズ４２１）を経て投影する光学系を含むため、投影部４０６を小型に構成できる。
図１７は第４実施例における液晶パネルを制御するタイム・スロットの例を示した図である。図１７に示すように、ある時間的区間は、赤色帯域データ用タイム・スロットｔ１１、赤外線帯域データ用タイム・スロットｔ１２、緑色帯域データ用タイム・スロットｔ１３および青色帯域データ用タイム・スロットｔ１４に分割される。赤色帯域データ用タイム・スロットｔ１１および赤外線帯域データ用タイム・スロットｔ１２は交互に繰り返される。
制御部４は、タイム・スロットｔ１１、タイム・スロットｔ１２、タイム・スロットｔ１３およびタイム・スロットｔ１４のタイミングで可視光帯域データ処理回路６１および赤外線帯域路データ処理回路６３を制御する。タイム・スロットｔ１１の開始時点とタイム・スロットｔ１３の開始時点とタイム・スロットｔ１４の開始時点とは、同期させることができる。
可視光帯域データ処理回路６１は、タイム・スロットｔ１１で、赤色帯域用液晶パネル４１６を制御し、赤色帯域の光を制御する。赤外線帯域データ処理回路６３は、タイム・スロットｔ１１で、赤外線用帯域液晶パネル４１９を制御し、すべての光を通過するようにする。赤外線帯域データ処理回路６３は、タイム・スロットｔ１２で、赤外線用帯域液晶パネル４１９を制御して赤外光を制御する。これにより、赤外光を用いて校正用画像を投影できる。可視光帯域データ処理回路６１は、タイム・スロット６９で、赤色帯域用液晶パネル４１６を制御し、すべての光を通過するようにする。可視光帯域データ処理回路６１は、タイム・スロットｔ１４で、緑色帯域用液晶パネル４１７を制御し、緑色帯域の光を制御する。可視光帯域データ処理回路６１は、タイム・スロットｔ１４で、青色帯域用液晶パネル４１８を制御することによって青色帯域の光を制御する。このように、投影部４０６は、所定の画像を投影しないときに、校正用の画像を投影することで、時間分割によって、所定の画像を投影する時間と校正用の画像を投影する時間を時間的に排他制御できる。
次に本発明の実施例５について説明する。上記実施例では、赤外光を用いて校正用画像を送る例について説明をしたが、本実施例では、赤外光以外の帯域の光を用いて校正用画像を送る例について説明する。なお、赤外線以外の帯域の光を用いて、校正用画像送る場合、赤外線に関連する部分以外は、これまで説明した構成、装置および方法を利用することができる。このため、実施例５ではこれまで説明した部分と同一箇所についてはその説明を省略する。また、本実施例の説明においては、位置、拡大縮小ないしスケーリング、回転、いわゆる台形歪みなどに関する校正のためのデータを校正パラメーターと総称して呼ぶことがある。
図１８は本発明の実施例５に係る撮像部５０５の一例を示した図である。図１８に示すように、撮像部５０５は、受光回路５１、フィルター回路５２、可視光帯域データ処理回路５３および特定帯域データ処理回路５５４から構成される。この撮像部５０５は、実施例１の撮像部５に対して、特定帯域データ処理回路５５４の部分が変更されている。
特定データ処理回路５５４は、赤外線以外の帯域の電磁波ないし光を処理する。ここで、フィルター回路５２は、可視光と赤外光以外の帯域の電磁波ないし光を分離し、分離した可視光を可視帯域データ処理回路５３に出力し、分離した赤外光以外の帯域の電磁波ないし光を特定帯域データ処理回路５５４に出力する。特定帯域データ処理回路５５４は、フィルター回路５２から出力された赤外線以外の帯域の電磁波ないし光を光電変換し、変換後のデータを内部のメモリーに保持する。
図１９は本発明の実施例５に係る投影部の一例を示した図である。図１９に示すように、投影部６０６は、可視光帯域データ処理回路６１、可視光帯域発光回路６２、特定帯域データ処理回路６６３、特定帯域発光回路６６４、混合回路６５および出力回路６６から構成される。この投影部６０６は、実施例１の投影部６に対して、特定データ処理回路６６３および特定帯域発光回路６６４の部分が変更されている。
特定帯域データ処理回路６６３は、赤外光以外の帯域の電磁波として出力する校正用画像を生成し、後段の特定帯域発生回路６６４に出力する。特定帯域発光回路６６３は、特定帯域データ処理回路６６４から入力した校正用画像データを入力し、当該校正用画像データに応じて、赤外光以外の帯域の電磁波ないし光を発光し、その発光した電磁波ないし光を混合回路６５へ送る。
図２０は本発明の実施例５に係る校正用投影手続きを示したフローチャートである。図２０は、図４のステップＳ２の詳細な手続きを示したものである。図示のとおり、実施例５におけるステップＳ２の校正用投影手続きは、校正用投影初期化手続きステップＳ１１１、可視光帯域データ処理ステップＳ１１２、可視光帯域発光処理ステップＳ１１３、特定帯域データ処理ステップＳ１１４、特定帯域発光処理ステップＳ１１５、混合処理ステップＳ１１６、出力処理ステップＳ１１７および校正用投影終了化手続きＳ１１８の各手続きおよび処理で構成される。本発明の実施例では、特定帯域データ処理ステップＳ１１４および特定帯域発光処理ステップＳ１１５の各手続きないし処理が前述の校正用投影手続きに比べて変更されている。
ステップＳ１１４において、投影部６０６の特定帯域データ処理回路６６３が赤外線以外の帯域の電磁波として出力するための校正用画像データを生成し、後段の特定帯域発生回路６６４に出力する。続いて、ステップＳ１１５において、特定帯域発光回路６６４は特定帯域データ処理回路６６３から入力した校正用画像データを入力し、当該校正用画像データに応じて、赤外光以外の帯域の電磁波ないし光を発光し、その発光した電磁波ないし光を混合回路６５へ送る。
図２１は本発明の実施例５に係る校正用撮像手続きを示したフローチャートである。図２１は図４のステップ３の詳細なフローチャートである。図示のとおり、実施例５に係るステップＳ３の校正用撮像手続きは、校正用撮像初期化手続きＳ１２１、受光処理ステップＳ１２２、フィルタリング処理ステップＳ１２３、可視光帯域データ処理ステップＳ１２４、特定帯域データ処理ステップＳ１２５および校正用撮像終了化手続きＳ１２６の各手続きおよび処理で構成される。ステップＳ１２５において、撮像部５０５の特定帯域データ処理回路５５４は、フィルター回路５２からの赤外線以外の帯域の特定帯域の電磁波ないし光を光電変換し、校正用画像データを抽出し、校正用画像データを制御部４の内部メモリーに出力する。
以上のように、赤外光以外の帯域の電磁波ないし光を用いて校正用画像データを送ることも可能である。赤外線以外の帯域の電磁波ないし光として、可視光以外の帯域の電磁波ないし光を用いることもできる。また、赤外光以外の帯域の電磁波ないし光として、特定の帯域の可視光を用いることもできる。特定帯域の可視光を用いて、校正用画像データを伝送する場合、利用者が所定の画像を投影する際に用いていない帯域の可視光を選択的に用いて、校正用画像を投影できる。
なお、本発明のコンピュータ・プログラムは、投影された校正用の画像を撮像した撮像画像の情報を取得するステップと、前記撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定するステップと、前記被校正点の位置を参照点の位置に変換するためのパラメーターを算出する算出ステップと、前記パラメーターを用いて前記撮像画像の情報を変換する変換ステップとをコンピュータに実行させる。また、本発明の制御方法はサーバー側装置により実現される。撮像部の抽出部は、フィルター回路５２及び赤外線帯域データ処理回路５４によって実現されている。
また、情報処理システムは、少なくとも校正用の画像を投影する投影部６と、投影部６が投影した投影画像を撮像する撮像部５と、撮像部５が撮像した撮像画像の情報から校正用の画像の形状を表す被校正点の位置を特定する特定部４１と、被校正点の位置を所定の参照点の位置に変換するためのパラメーターを算出する算出部４２と、パラメーターを用いて撮像部５及び投影部６の少なくとも一方を移動させる移動部（図示略）とを備えることで実現してもよい。上記実施例では、撮像部５が撮像した撮像画像の情報を変換するようにしていたが、このように、校正用パラメーターを用いて撮像部５及び投影部６を移動させることにより、撮像部５の撮影領域及び投影部６の投影領域を校正することによって上記と同様の効果を得ることができる。
以上、特定の実施形態を参照しながら、本発明について詳解してきた。本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
本発明の一実施形態に係るマルチメディア処理装置１の機能構成を示したブロック図である。 本発明の形態に係る撮像部の機能構成を示したブロック図である。 本発明の形態に係る投影部の機能構成を示したブロック図である。 本発明の一実施形態に係るマルチメディア処理装置１における位置校正手続きの一例を示したフローチャートである。 ステップＳ２の詳細な校正用投影手続きを示したフローチャートである。 ステップＳ３の詳細な校正用撮像手続きを示したフローチャートである。 ステップＳ４の詳細な校正データ算出適応手続きを示したフローチャートである。 校正手続き時の投影画面と撮像画面の関係の一例を示した図である。 校正パラメーターのデータの表現例を示した図である。 校正データの形状の例を示した図である。 本発明の一実施例に係るカラー・ホイールの一例を示した図である。 本発明の一実施例に係るカラー・ホイールを用いて投影部の例を示す図である。 本発明の一実施例に係る撮像部の一例を示した図である。 本発明の一実施例に係る制御部の一例を示した図である。 本発明のカラー・ホイールを制御するタイム・スロットの一例を示した図である。 本発明の一実施例に係るダイクロック・ミラーを用いて投影部を構成した投影部の一例を示した図である。 本発明の液晶パネルを制御するタイム・スロットの一例を示した図である。 本発明の実施例５に係る撮像部の一例を示した図である。 本発明の実施例５に係る投影部の一例を示した図である。 本発明の実施例５に係るステップＳ２の詳細な校正用投影手続きを示したフローチャートである。 本発明の実施例５に係るステップＳ３の詳細な校正用撮像手続きを示したフローチャートである。
符号の説明
１ マルチメディア処理装置
２ サーバー側装置
３ クライアント側装置
４ 制御部
４１ 特定部
４２ 算出部
４３ 変換部
４０１ ＣＰＵ
４０２ メモリー
４０３ タイマー
４０４ カウンター
５、５０５ 撮像部
５１ 受光回路
５２ フィルター回路
５３ 可視光帯域データ処理回路
５４ 赤外線帯域データ処理回路
５５４ 特定帯域データ処理回路
６、４０６、６０６ 投影部
６１ 可視光帯域データ処理回路
６２ 可視光帯域発光回路
６３ 赤外線帯域データ処理回路
６４ 赤外線帯域発光回路
６５ 混合回路
６６ 出力回路
６６３ 特定帯域データ処理回路
６６４ 特定帯域発光回路
７ 通信部
８ 通信網、データ・バス
９ 制御部
１０ 提示部
１１ 入力部
１２ 通信部
１０７ カラー・ホイール
１０７１ 赤色帯域通過フィルター
１０７２ 緑色帯域通過フィルター
１０７３ 青色帯域通過フィルター
１０７４ 赤外線帯域通過フィルター
１０８ ＤＭＤ
１０９ 光源
１１０、１１１ 混合回路用レンズ
２０５ 撮像部
２０６ レンズ
２０７ 赤外線反射膜
２０８ プリズム
２０９ 全反射ミラー
４０７、４０８ 光源
４０９ 赤外線帯域通過フィルター
４１０、４１１、４１２ ダイクロック・ミラー
４１３、４１４、４１５ 全反射ミラー
４１６ 赤色帯域用液晶パネル
４１７ 緑色帯域用液晶パネル
４１８ 青色帯域用液晶パネル
４１９ 赤外線帯域用液晶パネル
４２０ ダイクロック・プリズム
４２１ レンズ

Claims (20)

  1. 少なくとも校正用の画像を赤外光を用いて投影する投影部と、
    前記投影部が投影した投影画像を撮像する撮像部と、
    前記撮像部が撮像した撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定する特定部と、
    前記特定部が特定した被校正点の位置と所定の参照点の位置とから回帰分析手法を用いて回帰直線の傾きと切片とを算出する算出部と、
    前記算出部が算出した傾きと切片とに基づいて、前記撮像画像の情報を変換する変換部と、
    を備える情報処理システム。
  2. 前記算出部は、前記回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、前記回帰直線の傾きを水平方向および垂直方向のスケーリング係数とし、前記位置データないし変位データ及び前記スケーリング係数を構造化文書により記述ないし表現することを特徴とする請求項１に記載の情報処理システム。
  3. 前記算出部は、前記傾きと切片とを算出する処理を所定の時刻に行うことを特徴とする請求項１又は請求項２に記載の情報処理システム。
  4. 前記算出部は、前記傾きと切片とを算出する処理を所定の時間間隔で行うことを特徴とする請求項１又は請求項２に記載の情報処理システム。
  5. 前記投影部は、前記校正用の画像を、点、線、三角形および四角形のうち少なくとも一つを組み合わせた図形を用いて投影することを特徴とする請求項１から請求項４のいずれか１項に記載の情報処理システム。
  6. 前記投影部は、所定の画像及び前記校正用の画像を投影する光学系を含むことを特徴とする請求項１から請求項５のいずれか１項に記載の情報処理システム。
  7. 前記光学系は、所定の画像及び前記校正用の画像を同一の光学的経路を経て投影する光学系である請求項６に記載の情報処理システム。
  8. 前記投影部は、前記所定の画像を投影しないときに、前記校正用の画像を投影することを特徴とする請求項６又は請求項７に記載の情報処理システム。
  9. 前記光学系は、カラー・ホイールを含むことを特徴とする請求項６から請求項８のいずれか１項に記載の情報処理システム。
  10. 前記カラー・ホイールは、可視光の波長帯域と赤外光の波長帯域に対応するフィルターによって構成されるカラー・ホイールであることを特徴とする請求項９に記載の情報処理システム。
  11. 前記光学系は、少なくとも赤外線帯域通過フィルター、可視光帯域用液晶パネル、ダイクロック・ミラー及びダイクロック・プリズムを所定の位置に配置して構成されていることを特徴とする請求項６から請求項１０のいずれか１項に記載の情報処理システム。
  12. 前記撮像部は、前記投影部が投影した投影画像の情報から前記校正用の画像の情報を抽出する抽出部を備えることを特徴とする請求項１から請求項１１のいずれか１項に記載の情報処理システム。
  13. 前記撮像部は、所定の画像及び前記校正用の画像を撮像する光学的経路の初期段階において同一となる光学系を含むことを特徴とする請求項1から請求項１２のいずれか１項に記載の情報処理システム。
  14. 前記変換部により変換された撮像画像の情報を遠隔地に送信する送信部と、
    前記遠隔地から前記投影部から投影するための画像の情報を受信する受信部とをさらに備え、
    前記投影部は、前記受信部が受信した画像の情報に基づいて投影を行うことを特徴とする請求項１から請求項１３のいずれか一項に記載の情報処理システム。
  15. 投影部が赤外光を用いて投影した校正用の画像を撮像する撮像部の撮像画像の情報を変換する情報処理装置であって、
    前記撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定する特定部と、
    前記特定部が特定した被校正点の位置と所定の参照点の位置とから回帰分析手法を用いて回帰直線の傾きと切片とを算出する算出部と、
    前記算出部が算出した傾きと切片とに基づいて、前記撮像部が撮像した撮像画像の情報を変換する変換部と、
    を備えることを特徴とする情報処理装置。
  16. 少なくとも校正用の画像を赤外光を用いて投影する投影ステップと、
    前記投影画像を撮像する撮像ステップと、
    前記撮像した撮像画像の情報から前記校正用の図形の形状を表す被校正点の位置を特定する特定ステップと、
    前記特定ステップが特定した被校正点の位置と所定の参照点の位置とから回帰分析手法を用いて回帰直線の傾きと切片とを算出する算出ステップと、
    前記算出ステップが算出した傾きと切片とに基づいて、前記撮像画像の情報を変換する変換ステップとを有することを特徴とする情報処理方法。
  17. 前記算出ステップは、前記回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、前記回帰直線の傾きを水平方向および垂直方向のスケーリング係数し、前記位置データないし変位データ及び前記スケーリング係数を構造化文書により記述ないし表現することを特徴とする請求項１６に記載の情報処理方法。
  18. 前記画像変換された撮像画像の情報を遠隔地に送信するステップと、
    前記遠隔地から前記投影するために指示された所定の画像の情報を受信するステップと、
    前記受信した所定の画像の情報に基づいて投影を行うステップとをさらに有することを特徴とする請求項１６又は請求項１７に記載の情報処理方法。
  19. 赤外光を用いて投影された校正用の画像を撮像した撮像画像の情報を取得するステップと、
    前記撮像画像の情報から前記校正用の画像の形状を表す被校正点の位置を特定するステップと、
    前記特定ステップが特定した被校正点の位置と所定の参照点の位置とから回帰分析手法を用いて回帰直線の傾きと切片とを算出する算出ステップと、
    前記算出ステップが算出した傾きと切片とに基づいて、前記撮像画像の情報を変換する変換ステップと、
    をコンピュータに実行させるためのコンピュータ・プログラム。
  20. 前記算出ステップは、前記回帰直線の切片を基準点のデカルト座標系における位置データないし変位データとし、前記回帰直線の傾きを水平方向および垂直方向のスケーリング係数とし、前記位置データないし変位データ及び前記スケーリング係数を構造化文書により記述ないし表現することを特徴とする請求項１９に記載のコンピュータ・プログラム。
JP2005189033A 2005-06-28 2005-06-28 情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラム Expired - Fee Related JP4729999B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005189033A JP4729999B2 (ja) 2005-06-28 2005-06-28 情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラム
US11/262,890 US7527383B2 (en) 2005-06-28 2005-11-01 Information processing system, information processing apparatus, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005189033A JP4729999B2 (ja) 2005-06-28 2005-06-28 情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2007010807A JP2007010807A (ja) 2007-01-18
JP4729999B2 true JP4729999B2 (ja) 2011-07-20

Family

ID=37566978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005189033A Expired - Fee Related JP4729999B2 (ja) 2005-06-28 2005-06-28 情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラム

Country Status (2)

Country Link
US (1) US7527383B2 (ja)
JP (1) JP4729999B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070058881A1 (en) * 2005-09-12 2007-03-15 Nishimura Ken A Image capture using a fiducial reference pattern
KR100818985B1 (ko) * 2006-08-10 2008-04-04 삼성전자주식회사 영상 보정 장치 및 방법
JP4395792B2 (ja) 2007-01-29 2010-01-13 セイコーエプソン株式会社 プロジェクタ
PL2113119T3 (pl) * 2007-02-14 2014-05-30 Photint Venture Group Inc Sposób i układ do zszywania obrazów
JP5088018B2 (ja) * 2007-06-28 2012-12-05 富士ゼロックス株式会社 画像処理装置及び制御プログラム
US9052575B2 (en) * 2007-07-12 2015-06-09 Hewlett-Packard Development Company, L.P. Determining correspondence mappings from infrared patterns projected during the projection of visual content
JP4626775B2 (ja) * 2007-10-16 2011-02-09 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US8537196B2 (en) * 2008-10-06 2013-09-17 Microsoft Corporation Multi-device capture and spatial browsing of conferences
US8842096B2 (en) * 2010-01-08 2014-09-23 Crayola Llc Interactive projection system
US20110216205A1 (en) * 2010-03-03 2011-09-08 Christie Digital Systems Usa, Inc. Automatic calibration of projection system using non-visible light
JP5598033B2 (ja) * 2010-03-15 2014-10-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN102207661A (zh) * 2010-03-29 2011-10-05 影来腾贸易(上海)有限公司 投影式触摸匀光系统
TW201201077A (en) * 2010-06-18 2012-01-01 Nlighten Trading Shanghai Co Ltd A light uniforming system of projected touch technology
JP2012173911A (ja) 2011-02-21 2012-09-10 Seiko Epson Corp 画像生成装置、プロジェクターおよび画像生成方法
JP6016068B2 (ja) * 2012-05-16 2016-10-26 株式会社リコー 画像投影装置及びその制御方法並びにプログラム
CN103686107B (zh) * 2013-12-13 2017-01-25 华为技术有限公司 一种基于投影图像的处理方法及装置
JP6447516B2 (ja) * 2013-12-27 2019-01-09 ソニー株式会社 画像処理装置、および画像処理方法
US10051209B2 (en) * 2014-04-09 2018-08-14 Omnivision Technologies, Inc. Combined visible and non-visible projection system
US10389988B2 (en) * 2014-09-05 2019-08-20 The Boeing Company High efficiency motion blur reduction and infrared projection
US10372023B2 (en) * 2014-09-05 2019-08-06 The Boeing Company High efficiency motion blur reduction
CN107621743B (zh) * 2016-07-14 2020-04-24 北京宝江科技有限公司 投影系统及投影影像的变形修正方法
TWI586173B (zh) * 2016-07-14 2017-06-01 張修誠 投影系統及投影影像的修正方法
WO2019054204A1 (ja) * 2017-09-14 2019-03-21 ソニー株式会社 画像処理装置および方法
JP6978729B2 (ja) * 2018-06-20 2021-12-08 株式会社Ｊｖｃケンウッド プロジェクタ
CN111479099A (zh) * 2019-01-24 2020-07-31 中强光电股份有限公司 投影装置及其投影方法
EP4318125A1 (en) * 2021-04-27 2024-02-07 Panasonic Intellectual Property Management Co., Ltd. Projection system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222052A (ja) * 1994-02-08 1995-08-18 Nippon Telegr & Teleph Corp <Ntt> 撮像画像からの資料領域分離方法及び遠隔プレゼンテーション方法
JP2000350239A (ja) * 1999-06-08 2000-12-15 Sony Corp カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ
JP2001229341A (ja) * 2000-02-14 2001-08-24 Mitsubishi Electric Corp 文字認識装置及び文字認識方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4141754B2 (ja) * 2002-07-09 2008-08-27 株式会社リコー 画像処理装置、画像処理方法、及びその方法をコンピュータに実行させるプログラム、並びにそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2004265185A (ja) 2003-03-03 2004-09-24 Canon Inc デジタイザ付きカメラ付き画像投影装置
US6755537B1 (en) * 2003-03-21 2004-06-29 Mitsubishi Electric Research Laboratories, Inc. Method for globally aligning multiple projected images
JP3742085B2 (ja) 2003-05-21 2006-02-01 Ｎｅｃビューテクノロジー株式会社 傾斜角度測定装置を有するプロジェクタ
JP4689948B2 (ja) 2003-06-23 2011-06-01 Ｎｅｃディスプレイソリューションズ株式会社 プロジェクタ
US7204596B2 (en) * 2003-09-19 2007-04-17 Nec Corporation Projector with tilt angle measuring device
WO2005046221A1 (ja) * 2003-11-11 2005-05-19 Seiko Epson Corporation 画像処理装置、画像処理方法、そのプログラムおよび記録媒体
US7278745B2 (en) * 2004-12-21 2007-10-09 Infocus Corporation Method and apparatus for adjusting relative disposition of projection optics based on operating conditions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222052A (ja) * 1994-02-08 1995-08-18 Nippon Telegr & Teleph Corp <Ntt> 撮像画像からの資料領域分離方法及び遠隔プレゼンテーション方法
JP2000350239A (ja) * 1999-06-08 2000-12-15 Sony Corp カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ
JP2001229341A (ja) * 2000-02-14 2001-08-24 Mitsubishi Electric Corp 文字認識装置及び文字認識方法

Also Published As

Publication number Publication date
US7527383B2 (en) 2009-05-05
JP2007010807A (ja) 2007-01-18
US20060291014A1 (en) 2006-12-28

Similar Documents

Publication Publication Date Title
JP4729999B2 (ja) 情報処理システム、情報処理装置、情報処理方法及びコンピュータ・プログラム
JP3867205B2 (ja) 指示位置検出装置、及び指示位置検出システム、並びに指示位置検出方法
CN107430324B (zh) 具有不可见光通道的数字光投影仪
CN106605195B (zh) 通信设备和通信设备的控制方法
JP5023587B2 (ja) 画像表示装置及び画像表示方法
US10924718B2 (en) Image processing device and method
JP6459194B2 (ja) プロジェクター、及び投写画像制御方法
JP6645687B2 (ja) 表示装置及び制御方法
US20170061686A1 (en) Stage view presentation method and system
US9888209B1 (en) Remote communication system, method for controlling remote communication system, and storage medium
US9282301B1 (en) System for image projection
JP2015037250A (ja) 画像投影装置及びプレゼンテーションシステム
JP4872482B2 (ja) 遠隔支援装置、遠隔支援システム及び遠隔支援方法
CN108141560B (zh) 用于图像投影的系统及方法
US10055065B2 (en) Display system, projector, and control method for display system
US9565409B2 (en) Technologies for projecting a noncontinuous image
TWI499856B (zh) 顯示裝置與應用其之顯示方法
CN116781874A (zh) 显示方法、显示系统和记录有程序的记录介质
JP4747616B2 (ja) 画像提示システムおよび画像提示プログラム
JP2012220709A (ja) 投写型映像表示装置およびその制御方法
JP6620979B2 (ja) 携帯端末、投写システム、投写システムの制御方法およびプログラム
JP2012182766A (ja) 会議システム、会議システムの制御方法、及びプログラム
US20160212391A1 (en) Method and device for projecting content
JP6069241B2 (ja) 空間投影装置及び空間投影プログラム
JP7149915B2 (ja) 投影装置、投影方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110114

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110404

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees