JP5560722B2 - 画像処理装置、画像表示システム、および画像処理方法 - Google Patents

画像処理装置、画像表示システム、および画像処理方法 Download PDF

Info

Publication number
JP5560722B2
JP5560722B2 JP2010004172A JP2010004172A JP5560722B2 JP 5560722 B2 JP5560722 B2 JP 5560722B2 JP 2010004172 A JP2010004172 A JP 2010004172A JP 2010004172 A JP2010004172 A JP 2010004172A JP 5560722 B2 JP5560722 B2 JP 5560722B2
Authority
JP
Japan
Prior art keywords
image
detected object
captured
estimated
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010004172A
Other languages
English (en)
Other versions
JP2011145766A (ja
Inventor
真 大内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2010004172A priority Critical patent/JP5560722B2/ja
Priority to US12/985,486 priority patent/US20110169777A1/en
Publication of JP2011145766A publication Critical patent/JP2011145766A/ja
Application granted granted Critical
Publication of JP5560722B2 publication Critical patent/JP5560722B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Description

本発明は、画像処理装置、画像表示システム、および画像処理方法に関する。
従来から、画像表示装置の１つとしてプロジェクターが知られている。プロジェクターは、設置が容易であることや、大画面の画像を表示可能であること等の特長を有している。近年、プロジェクターの用途が多様化しており、プロジェクターは、多様な画像表示システムに組み込まれて使用されている。
例えば、特許文献１には、局所ユーザーが観察可能なターゲットに対して、注釈等を示す画像をプロジェクターにより投影する技術が提案されている。特許文献１では、ターゲットが配置される局所位置にターゲットを撮影するビデオカメラが設けられており、遠隔位置に居る遠隔ユーザーが、ビデオカメラによる撮影画像に基づいて、プロジェクターに注釈を表示させる旨の指令を与えるようになっている。
特許文献１の技術によれば、ターゲットの注釈を示すことができ、局所ユーザーがターゲットに関する情報を得ることが可能になる。
特開２００５−０３３７５６号公報 特許３８３４７６６号明細書 米国特許出願公報第２００９／０１１５７２１号明細書 特開２００８−１５２６２２号公報 特開２００９−６４１１０号公報
しかしながら、特許文献１では、ターゲットに対して注釈を投影するか否かの判断や注釈の内容についての判断が遠隔ユーザーに委ねられているので、局所ユーザーが欲しい情報を得られないおそれや、遠隔ユーザーが多大な手間を要してしまうおそれがある。
本発明は、前記事情に鑑み成されたものであって、ターゲット等の被検出物を高精度に検出することができ、被検出物に合致した情報を自動的に出力可能な画像処理装置および画像処理方法を提供することを目的の１つとする。また、被検出物に合致した画像を自動的に表示することが可能な画像表示システムを提供することを目的の１つとする。
本発明の画像処理装置は、表示画面とカメラとの間に配置される被検出物の検出処理を行うとともに検出された被検出物の情報を出力する画像処理装置であって、前記画像データに基づいて前記表示画面に表示される表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影した撮影画像に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出部と、前記表示画面に表示されたモデル画像を、前記被検出物により遮られることなく前記カメラにより撮影した撮影情報に基づき、画像データから、当該画像データを前記表示画面に表示して前記カメラで撮影した画像を推定した推定撮影画像を生成する推定撮影画像生成部と、前記撮影画像から前記被検出物領域に含まれる被検出物撮影画像を抽出し、前記被検出物の画像を示す形状データと該形状データに対応する該被検出物の情報を示す情報データとが関連付けられて格納されているデータベースから前記形状データを取得して前記被検出物撮影画像と照合するとともに、前記被検出物撮影画像と合致する前記形状データに関連付けられた前記情報データを前記データベースから取得して出力するアプリケーション処理部と、を含み、前記被検出物検出部は、前記撮影画像と、前記推定撮影画像との差分に基づいて、前記表示画像内で前記被検出物により遮られた前記被検出物領域を検出することを特徴とする。
このようにすれば、アプリケーション処理部が、被検出物の画像を示す形状データを取得して被検出物撮影画像と照合するので、形状データが示す画像と被検出物撮影画像とが合致しているか否かを判定することができる。判定に基づいて、アプリケーション処理部が、被検出物撮影画像と合致する形状データに関連付けられた情報データを取得して出力するので、被検出物と合致する情報が自動的に出力される。
本発明の画像処理装置は、代表的な態様として以下のような態様をとりえる。
前記表示画面に表示されたモデル画像を、前記被検出物により遮られることなく前記カメラにより撮影した撮影情報に基づき、画像データから推定撮影画像を生成する推定撮影画像生成部を含み、前記被検出物検出部は、前記撮影画像と、前記推定撮影画像との差分に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出するとよい。
このようにすれば、モデル画像を撮影した撮影情報に基づいて画像データから推定撮影画像を生成し、この推定撮影画像と、上記画像データに基づいて表示された画像を撮影した撮影画像との差分により、被検出物により遮られた被検出物領域を検出するようにしたので、専用のカメラを設けることなく、低コストで被検出物領域を検出できるようになる。また、推定撮影画像を用いて撮影画像との差分により被検出物領域を検出するようにしたので、外光のムラ、表示画面の「なみ」、「すじ」、汚れ等の状態、カメラの位置や歪み等に起因したノイズの影響をなくすことができる。これにより、上記のノイズの影響を受けることなく、被検出物領域を高精度に検出でき、被検出物の形状を正確に求めることが可能になる。
前記モデル画像は、複数種類のグレイ画像を含み、前記推定撮影画像生成部は、前記表示画面に表示された前記複数種類のグレイ画像を前記カメラにより撮影した複数種類の撮影グレイ画像を用いて、前記画像データに対応した前記表示画像の画素値を画素毎に推定した前記推定撮影画像を生成するとよい。
このようにすれば、モデル画像として複数のグレイ画像を採用し、これらのグレイ画を撮影した撮影グレイ画像を用いて推定撮影画像を生成するようにしたので、上記の効果に加えて、推定撮影画像を生成する際に参照される撮影画像の枚数や容量等を大幅に削減できるようになる。
前記撮影画像から前記表示画像の領域を抽出すると共に、前記撮影画像内の前記表示画像の形状を前記推定撮影画像の形状に揃える画像領域抽出部を含み、前記被検出物検出部が、前記画像領域抽出部によって抽出された前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出するとよい。
このようにすれば、撮影画像内の表示画像を抽出し、表示画像の形状を推定撮影画像の形状に揃えてから被検出物領域を検出するようにしたので、上記の効果に加えて、簡素な画素間の比較処理で被検出物領域の検出が可能となる。
前記推定撮影画像生成部が、前記推定撮影画像の形状を前記撮影画像内の前記表示画像の形状に揃え、前記被検出物検出部が、前記撮影画像内の前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出するとよい。
このようにすれば、推定撮影画像の形状を撮影画像内の表示画像の形状に揃えてから、被検出物領域を検出するようにしたので、推定撮影画像の形状を補正する際のノイズによる誤差をなくし、より一層高精度の被検出物領域を検出できるようになる。
前記表示画面に表示された所与の初期化用画像を前記カメラにより撮影した撮影画像内の前記初期化用画像の四隅の位置に基づいて、前記推定撮影画像又は前記表示画像の形状を揃えるとよい。
このようにすれば、撮影画像内の初期化用画像の四隅の位置を基準に、推定撮影画像又は表示画像の形状を揃えるようにしたので、上記の効果に加えて、より一層被検出物領域の検出処理を簡素化できるようになる。
前記画像表示装置は、画像投影装置であり、前記表示画像は、前記画像データに基づいて前記画像投影装置により投影された投影画像であるとよい。
このようにすれば、被検出物が配置される領域、例えば机上等を表示画面にすることができ、画像表示システムの設置が容易になる。また、被検出物の表面に被検出物の情報を示す画像の一部または全部を投影することが可能になり、被検出物の部位と表示される情報とを対応させることが容易になる。
前記アプリケーション処理部は、前記被検出物領域のサイズと前記形状データが示す前記被検出物のサイズとを揃えた状態で、前記被検出物撮影画像又は前記形状データが示す画像を所定の回転角だけ回転させて前記被検出物撮影画像と前記形状データが示す画像との相関関係を示す照合値を求める処理を前記所定の回転角を異ならせて複数回数行うとともに、複数回数の前記処理で最も高い相関関係を示す照合値と所定の閾値と比較して、前記被検出物撮影画像と前記形状データが示す画像との合致を判定するとよい。
このようにすれば、被検出物領域のサイズと形状データが示す被検出物のサイズとを揃えて照合するので、サイズの違いによる誤判定をなくすことができる。また、被検出物撮影画像又は形状データが示す画像を所定の回転角だけ回転させて被検出物撮影画像と形状データが示す画像との相関関係を示す照合値を求め、最も高い相関関係を示す照合値と所定の閾値と比較して判定するので、表示画面に対する被検出物の姿勢の違いによる誤判定をなくすことができる。また、被検出物の表示画面に対する姿勢が検出されるので、情報に対応する被検出物の部位に応じた位置に、情報を示す画像を表示することも可能になる。
本発明の表示ステムは上記の本発明に係る画像処理装置と、前記表示画面に表示された画像を撮影する前記カメラと、前記モデル画像又は前記表示画像の画像データに基づいて画像を表示し、前記画像処理装置から出力された前記情報データを示す画像を表示する画像表示装置と、を含むことを特徴とする。
このようにすれば、被検出物の情報を示す情報データが画像処理装置から自動的に出力され、画像表示装置が情報データを示す画像を表示するので、被検出物に合致した情報が自動的に表示される。
本発明の画像処理方法は、表示画面とカメラとの間に配置される被検出物の検出処理を行うとともに検出された被検出物の情報を出力する画像処理方法であって、前記画像データに基づいて前記表示画面に表示画像を表示する画像表示ステップと、前記画像表示ステップにおいて前記表示画面に表示される前記表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影する表示画像撮影ステップと、前記表示画像撮影ステップにおいて撮影された撮影画像に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出ステップと、前記撮影画像から前記被検出物領域に含まれる被検出物撮影画像を抽出し、前記被検出物の画像を示す形状データと該形状データに対応する該被検出物の情報を示す情報データとが関連付けられて格納されているデータベースから前記形状データを取得して前記被検出物撮影画像と照合するとともに、前記被検出物撮影画像と合致する前記形状データに関連付けられた前記情報データを前記データベースから取得して出力するアプリケーション処理ステップと、を含むことを特徴とする。
このようにすれば、被検出物の画像を示す形状データを取得して被検出物撮影画像と照合するとともに、被検出物撮影画像と合致する形状データに関連付けられた情報データを取得して出力するので、被検出物と合致する情報が自動的に出力される。
第１実施形態の画像表示システムの構成例を示す模式図である。 画像処理装置の構成例を示すブロック図である。 画像処理部の構成例を示すブロック図である。 画像処理装置の動作例を示すフロー図である。 ステップＳ１０のキャリブレーション処理を示すフロー図である。 ステップＳ１０のキャリブレーション処理の説明図である。 ステップＳ２０の画像領域抽出初期化処理を示すフロー図である。 ステップＳ２０の画像領域抽出初期化処理の説明図である。 ステップＳ２８の画像領域抽出処理を示すフロー図である。 ステップＳ２８の画像領域抽出処理の説明図である。 ステップＳ１２の被検出物抽出処理を示すフロー図である。 ステップＳ６０の推定撮影画像生成処理のフロー図である。 ステップＳ６０の推定撮影画像生成処理の説明図である。 第１実施形態における画像処理部の動作説明図である。 ステップＳ１４のアプリケーション処理を示すフロー図である。 データベースのデータ構造を示す概念図である。 第２実施形態における画像処理部の構成例を示すブロック図である。 第２実施形態におけるキャリブレーション処理を示すフロー図である。 第２実施形態における被検出物抽出処理を示すフロー図である。 被検出物抽出処理における推定撮影画像生成処理の動作説明図である。 第２実施形態における画像処理部の動作説明図である。 第３実施形態の画像表示システムの構成例を示す模式図である。
以下、図面を参照しつつ本発明の実施形態を説明する。説明に用いる図面において、特徴的な部分を分かりやすく示すために、図面中の構造の寸法や縮尺を実際の構造に対して異ならせている場合がある。また、実施形態において同様の構成要素については、同じ符号を付して図示し、その詳細な説明を省略する場合がある。
［第１実施形態］
図１は、第１実施形態における画像表示システム１０の構成例を示す模式図である。
画像表示システム１０は、カメラ２０、画像処理装置３０、画像表示装置としてのプロジェクター（画像投影装置）１００を備えている。画像処理装置３０は、画像データを生成する機能を具備し、生成した画像データをプロジェクター１００に供給する。プロジェクター１００は、光源を有し、光源からの光を画像データに基づいて変調した光を投影面Ｓに投影する。投影された光により画像が表示される。プロジェクター１００は、例えば光変調素子として透過型の液晶パネルを用いたライトバルブを備え、色成分毎に画像データに基づいて光源からの光をライトバルブにより変調し、変調後の光を合成して投影光学系等により投影面Ｓに投影するものである。カメラ２０は、プロジェクター１００の近傍に配置されている。カメラ２０は、プロジェクター１００による投影画像が投影面Ｓ上で占める領域を含む範囲を撮影可能に設定されている。
画像表示システム１０は、例えば以下のようにして使用される。画像表示システム１０は、例えば被検出物２００を載置可能な机等の上面を投影面Ｓとしている。被検出物２００は、例えばプリンターやプロジェクター、ＡＥＤ（自動体外式除細動器）等の可搬物であり、ここでは説明の便宜上、プリンターであるとする。ユーザーが、プロジェクター１００により画像を投影可能な範囲内の投影面Ｓに被検出物２００を載置すると、画像表示システム１０は、被検出物２００を検出して、被検出物２００に合致する情報を表示するようになっている。
例えば、机の上面に被検出物２００としてプリンターを載置すると、プリンターの機種や状態に応じた情報が表示される。配置されたプリンターが、例えば、トレイ状の紙供給口が展開された状態であると、紙供給口の説明などが、紙供給口に対応した位置に表示される。
説明を示す画像は、説明対象と関連付けられた位置に、プロジェクター１００により投影される。説明は、一部又は全部を説明対象と重ねて表示してもよいし、説明対象から離れた位置に説明対象との対応関係を示す矢印等の記号とともに表示してもよい。説明を示す画像は、静止画であってもよいし動画であってもよい。例えば、インクカートリッジが収容されている部分の説明を表示した後に、インクカートリッジを交換する様子を動画にて表示し、インクカートリッジの交換方法を示すようにしてもよい。
また、持ち運び可能な画像表示システムを構成することにより、任意の位置に配置されている被検出物（例えば、持ち運びが困難な物）に対して画像表示システムを使用することもできる。例えば、画像処理装置３０をプログラム等により実現し、ノートパソコン等の持ち運び可能な情報端末に実装しておく。また、携帯性を有するプロジェクターおよびカメラを画像処理装置３０と有線又は無線で通信可能にしておく。ユーザーが、自動車等の被検出物にプロジェクターおよびカメラを向けると、自動車の説明が表示されるといった使用方法も可能である。例えば、カメラおよびプロジェクターが搭載された携帯電話等に画像処理装置として機能するプログラムを組み込み、画像表示システムを構成することも可能である。このようにすれば、携帯電話の通信機能を利用して、外部のデータベースと被検出物のデータをやりとりすることができる。
次に、画像表示システム１０により被検出物２００の情報が自動的に表示される仕組みについて説明する。
プロジェクター１００と投影面Ｓとの間に被検出物２００が存在すると、プロジェクター１００によりに表示された表示画像の一部が遮られる。被検出物２００は、投影面Ｓとカメラ２０との間に存在しており、投影面Ｓ上に投影された投影画像はカメラ２０に対して遮られる。このように被検出物２００によって投影画像が遮られると、画像処理装置３０は、カメラ２０で投影画像を撮影した撮影情報を用いて、表示画像内で被検出物２００により遮られた被検出物領域を検出する処理を行う。
具体的には、画像処理装置３０は、投影面Ｓに投影される画像に対応した画像データから、カメラ２０で撮影した状態を推定した推定撮影画像を生成する。画像処理装置３０は、被検出物２００により遮られた状態の投影画像をカメラ２０で撮影した撮影画像と、推定撮影画像との差分に基づいて、被検出物領域を検出する。また、画像処理装置３０は、画像処理装置３０は、被検出物２００により遮られた状態の投影画像をカメラ２０で撮影した撮影画像から被検出物領域に含まれる被検出物２００の撮影画像（被検出物撮影画像）を抽出する。
画像処理装置３０は、被検出物２００の画像を示す形状データを取得して被検出物撮影画像と照合する。画像処理装置３０は、被検出物撮影画像と合致する形状データに関連付けられた情報データをデータベースから取得する。情報データは、画像データとしてプロジェクター１００に供給され、この画像データに基づいてプロジェクター１００が説明等を示す画像を表示する。
このような画像処理装置３０の機能は、パーソナルコンピューターや専用のハードウェアにより実現される。カメラ２０の機能は、可視光カメラで実現される。これにより、専用のカメラを設ける必要がなくなり、低コストで被検出物２００により遮られた被検出物領域を検出できるようになる。また、推定撮影画像と撮影画像との差分により被検出物領域を検出するようにしたので、プロジェクター１００によって投影面Ｓに投影される画像が、外光や投影面Ｓの状態等に起因したノイズによって色が一様でなくなる場合であっても、ノイズの影響を受けることなく被検出物領域を高精度に検出できるようになる。したがって、被検出物撮影画像を高精度に抽出することが可能になり、被検出物撮影画像と形状データとを高精度に照合することができる。よって、被検出物に合致した情報データを取得することができ、被検出物に合致した情報を自動的に表示することが可能になる。
次に、画像処理装置３０について詳しく説明する。図２は、画像処理装置３０の構成例を示すブロック図である。画像処理装置３０は、画像データ生成部４０、画像処理部５０、アプリケーション処理部９０を有している。画像データ生成部４０は、プロジェクター１００により投影される画像に対応した画像データを生成する。画像処理部５０は、画像データ生成部４０によって生成された画像データを用いて、被検出物領域を検出する。画像処理部５０には、カメラ２０が投影面Ｓの投影画像を撮影した撮影情報が入力される。画像処理部５０は、予めカメラ２０からの撮影情報に基づき画像データから推定撮影画像を生成しており、被検出物２００によって遮られた投影面Ｓへの投影画像を撮影した撮影画像を推定撮影画像と比較することで、被検出物領域を検出する。
アプリケーション処理部９０は、被検出物２００によって遮られた投影面Ｓへの投影画像を撮影した撮影画像から被検出物領域の画像を抽出し、被検出物２００が撮像された画像である被検出物撮影画像とする。アプリケーション処理部９０は、被検出物２００の画像を示す形状データをデータベースから取得して被検出物撮影画像と照合する。アプリケーション処理部９０は、被検出物撮影画像と合致する形状データに関連付けられた情報データをデータベースから取得する。アプリケーション処理部９０は、情報データを画像処理部５０に出力する。画像処理部５０は、アプリケーション処理部９０から出力された情報データに基づいて画像データを生成し、この画像データをプロジェクター１００に出力する。
図３は、画像処理部５０の構成例を示すブロック図である。画像処理部５０は、撮影情報取得部５２、画像領域抽出部５４、キャリブレーション処理部５６、撮影グレイ画像保存部５８、被検出物領域抽出部（被検出物検出部）６０、推定撮影画像保存部６２、および画像データ出力部６４を含んでいる。本実施形態の被検出物領域抽出部６０は、推定撮影画像生成部７０を含んでいる。
撮影情報取得部５２は、カメラ２０により撮影された撮影画像に対応した撮影情報を取得する制御を行う。撮影情報取得部５２は、カメラ２０を直接制御してカメラ２０に撮影させてもよいし、ユーザーにカメラ２０による撮影を促す表示を行うようにしてもよい。
画像領域抽出部５４は、撮影情報取得部５２によって取得された撮影情報に対応した撮影画像内の投影画像を抽出する処理を行う。
キャリブレーション処理部５６は、推定撮影画像の生成に先立ち、キャリブレーション処理を行う。キャリブレーション処理では、プロジェクター１００が投影面Ｓにモデル画像を表示させ、カメラ２０は、被検出物２００が配置されていない状態の投影面Ｓに表示されたモデル画像を撮影する。撮影画像に占めるモデル画像の色や位置を参照して、カメラ２０で投影画像を撮影した画像を推定した推定撮影画像が生成される。
第１実施形態では、モデル画像として複数種類のグレイ画像を採用している。複数種類のグレイ画像で画素値が互いに異なっており、グレイ画像ごとに画素値が略同一になっている。複数種類のグレイ画像を表示させて、キャリブレーション処理部５６は、複数種類の撮影グレイ画像を取得する。
撮影グレイ画像保存部５８は、キャリブレーション処理部５６によって得られた撮影グレイ画像を保存する。推定撮影画像は、撮影グレイ画像の画素値を参照して生成される。
被検出物領域抽出部６０は、プロジェクター１００の投影画像を被検出物２００により遮られた状態でカメラ２０により撮影された撮影画像と、撮影グレイ画像保存部５８に保存された撮影グレイ画像により生成された推定撮影画像との差分に基づいて、撮影画像内で被検出物２００によって遮られた被検出物領域を抽出する。この撮影画像は、推定撮影画像を生成する際に参照した画像データに基づいてプロジェクター１００により投影面Ｓに投影した画像を撮影して得られた画像である。このため、推定撮影画像生成部７０は、プロジェクター１００により投影面Ｓに投影される画像の画像データから、撮影グレイ画像保存部５８に保存された撮影グレイ画像を参照して推定撮影画像を生成することで、カメラ２０による撮影画像の各画素の色等を推定する。推定撮影画像生成部７０によって生成された推定撮影画像は、推定撮影画像保存部６２に保存される。
画像データ出力部６４は、画像データ生成部４０からの画像データを、画像処理部５０又はアプリケーション処理部９０からの指示によりプロジェクター１００に出力する制御を行う。
このように、画像処理部５０は、プロジェクター１００に投影される画像の画像データから、カメラ２０で撮影した画像を推定した推定撮影画像を生成する。そして、この推定撮影画像と、該画像データに基づいて表示された投影画像を撮影した撮影画像との差分に基づいて、被検出物領域が抽出される。こうすることで、推定撮影画像と、これを生成する際に使用したカメラ２０を用いて得られた撮影画像との差分は、外光のムラ、投影面Ｓの「なみ」、「すじ」、汚れ等の状態、プロジェクター１００の位置やズーム状態、カメラ２０の位置や歪み等に起因したノイズの影響をなくすことができる。これにより、上記のノイズの影響を受けることなく、被検出物領域を高精度に検出できるようになる。以下、画像処理装置３０の動作例について説明する。
図４は、画像処理装置３０の動作例を示すフロー図である。まず、ステップＳ１０で、画像処理部５０がキャリブレーション処理を行う。キャリブレーション処理では、上記の撮影グレイ画像を生成する際の初期化処理を行った後に、複数種類の撮影グレイ画像を生成する処理を行い、推定撮影画像を生成するための準備を行う。
次のステップＳ１２で、画像処理部５０が、被検出物２００に遮られた投影画像の撮影画像に含まれる被検出物領域の抽出処理を行う。この抽出処理では、ステップＳ１０で生成された複数種類の撮影グレイ画像を用いて推定撮影画像が生成される。そして、プロジェクター１００の投影画像を、被検出物２００により遮られた状態でカメラ２０により撮影した撮影画像と、撮影グレイ画像保存部５８に保存された撮影グレイ画像により生成された推定撮影画像との差分に基づいて、撮影画像内で被検出物２００により遮られた領域が抽出される。
次のステップＳ１４で、アプリケーション処理部９０は、ステップＳ１２で抽出された被検出物領域に基づいてアプリケーション処理を行う。このアプリケーション処理では、ステップＳ１２において抽出された被検出物２００の領域に基づいて、画像データ生成部４０により生成される画像データを変更させることにより投影画像を変化させる等の被検出物領域の検出結果に対応した処理が行われる。
次のステップＳ１６で、アプリケーション処理部９０は、例えば処理を終了するか否かの入力をユーザーから受け付けて、処理の終了を判定する。処理を終了するとき（ステップＳ１６：Ｙ）には、一連の処理を終了する。処理を終了しないとき（ステップＳ１６：Ｎ）には、ステップＳ１２に戻り、ステップＳ１２〜１６の処理を繰り返し行う。
［キャリブレーション処理の例］
図５は、ステップＳ１０のキャリブレーション処理の一例を示すフロー図、図６は、ステップＳ１０のキャリブレーション処理の動作説明図である。
キャリブレーション処理が開始されると、ステップＳ２０で画像処理装置３０は、キャリブレーション処理部５６において画像領域抽出初期化処理を行う。画像領域抽出初期化処理では、カメラ２０による撮影画像に含まれるプロジェクター１００による投影画像を抽出するのに先立ち、撮影画像にて投影画像が占める領域を特定するための処理を行う。具体的には、画像領域抽出初期化処理では、撮影画像における四角形状の投影画像の四隅の位置を抽出する。
次のステップＳ２２で、キャリブレーション処理部５６は、グレイ画像の画素値に対応した変数ｉを例えば０にすることにより、変数ｉを初期化する。
次のステップＳ２４で、キャリブレーション処理部５６は、画素値ｇ［ｉ］のグレイ画像を投影面Ｓに投影させる。例えば、キャリブレーション処理部５６は、画素値がｇ［ｉ］のグレイ画像の画像データを画像データ生成部４０に生成させる。画像データ出力部６４は、画像データをプロジェクター１００に出力し、プロジェクター１００は、画素値ｇ［ｉ］のグレイ画像を投影面Ｓに投影する。
次のステップＳ２６で、キャリブレーション処理部５６は、ステップＳ２４で投影された画素値ｇ［ｉ］のグレイ画像をカメラ２０に撮影させ、撮影画像の撮影情報を撮影情報取得部５２から取得する。
次のステップＳ２８で、画像領域抽出部５４は、ステップＳ２６で取得された撮影画像に占めるグレイ画像の領域を抽出する処理を行う。このステップＳ２８では、ステップＳ２０で得られた四隅の位置に基づいてグレイ画像の領域が抽出される。
次のステップＳ３０で、ステップＳ２８で抽出されたグレイ画像の領域は、ｇ［ｉ］と関連付けられて、撮影グレイ画像として撮影グレイ画像保存部５８に保存される。
次のステップＳ３２で、キャリブレーション処理部５６は、変数ｉに整数ｄを加算して変数ｉを更新する。
次のステップＳ３４で、ステップＳ３２で更新された変数ｉと、所与の最大値Ｎとが比較され、処理の繰り返し又は終了が決定される。更新後の変数ｉが最大値Ｎ以上のとき（ステップＳ３４：Ｎ）には、一連の処理を終了する（エンド）。また、更新後の変数ｉが最大値Ｎより小さいとき（ステップＳ３４：Ｙ）には、ステップＳ２４に戻り、ステップＳ２４〜Ｓ３２の処理が繰り返される。
図６に示すように、キャリブレーション処理によって、複数種類の撮影グレイ画像ＰＧＰ０〜ＰＧＰ４が得られる。ここで、１画素がＲ成分、Ｇ成分およびＢ成分により構成され、各色成分の画素値が８ビットの画像データで表されるものとする。グレイ画像ＧＰ０は、例えば全画素の各色成分の画素値が０であり、以下同様に、グレイ画像ＧＰ１は画素値が６４、グレイ画像ＧＰ４は画素値が２５５である。グレイ画像ＧＰ０に対して、撮影グレイ画像ＰＧＰ０が撮影され、以下同様にグレイ画像ＧＰ１〜ＧＰ４に対して、撮影グレイ画像ＰＧＰ１〜ＰＧＰ４が撮影される。撮影グレイ画像は、推定撮影画像を生成する際に参照され、実際にプロジェクター１００に投影される画像の画像データに対して、プロジェクター１００の使用環境や投影面Ｓの状態を反映させた推定撮影画像が生成される。グレイ画像を用いているので、推定撮影画像を生成する際に参照される撮影画像の枚数や容量等を大幅に減らすことができる。
［画像領域抽出初期化処理の例］
図７は、ステップＳ２０の画像領域抽出初期化処理の一例を示すフロー図、図８はステップＳ２０の画像領域抽出初期化処理の説明図である。図８には、投影面Ｓにおけるカメラ２０の撮影範囲に対応する投影面ＩＧ１と、投影面ＩＧ１における投影画像ＩＧ２の領域の一例を模式的に図示している。
キャリブレーション処理部５６は、例えば画像データ生成部４０により全画素が白色である白画像の画像データを生成させる。そして、ステップＳ４０で画像データ出力部６４は、白画像の画像データをプロジェクター１００に出力して、プロジェクター１００によって白画像を投影面Ｓに投影させる。
次のステップＳ４２で、キャリブレーション処理部５６は、ステップＳ４０で投影された白画像をカメラ２０に撮影させる。撮影された白画像の撮影情報は、撮影情報取得部５２により取得される。
次のステップＳ４４で、画像領域抽出部５４は、撮影画像内の白画像の四隅の座標Ｐ１（ｘ１，ｙ１）、Ｐ２（ｘ２，ｙ２）、Ｐ３（ｘ３，ｙ３）、Ｐ４（ｘ４，ｙ４）を抽出する処理を行う。この処理では、例えば、投影画像ＩＧ２の外周を検出しつつ周方向Ｄ１を検出し、閾値以上の角度がある点を隅の座標として抽出する。
次のステップＳ４６で、画像領域抽出部５４は、ステップＳ４４で抽出された四隅の座標Ｐ１（ｘ１，ｙ１）、Ｐ２（ｘ２，ｙ２）、Ｐ３（ｘ３，ｙ３）、Ｐ４（ｘ４，ｙ４）を、撮影画像に占める投影画像の領域を特定するための情報として保存した後に、一連の処理を終了する（エンド）。
なお、図７では白画像を投影させる例を説明したが、本発明はこれに限定されるものではない。カメラ２０により投影画像を撮影したときに、撮影画像に占める投影画像の領域とそれ以外の領域との階調差が大きくなるように、投影する画像を設定すれば、撮影画像に占める投影画像の領域を精度良く抽出できる。
［撮影画像抽出処理の例］
図９は、ステップＳ２８の画像領域抽出処理の一例を示すフロー図、図１０は、ステップＳ２８の画像領域抽出処理の説明図である。図１０には、投影面Ｓにおけるカメラ２０の撮影範囲に対応する投影面ＩＧ１に投影された投影画像ＩＧ２の領域を抽出する方法を模式的に図示している。
ステップＳ５０で画像領域抽出部５４は、ステップＳ４４で抽出された投影画像の四隅の座標に基づいて、ステップＳ２６で撮影された撮影画像に対して、撮影画像に占める撮影グレイ画像の領域を抽出する。例えば図１０に示すように、画像領域抽出部５４は、投影画像の四隅の座標Ｐ１（ｘ１，ｙ１）、Ｐ２（ｘ２，ｙ２）、Ｐ３（ｘ３，ｙ３）、Ｐ４（ｘ４，ｙ４）を用いて、撮影グレイ画像ＧＹ１を抽出する。
次のステップＳ５２で、画像領域抽出部５４は、ステップＳ５０で抽出された撮影グレイ画像ＧＹ１の形状を矩形に形状補正し、一連の処理を終了する（エンド）。これにより、例えば撮影グレイ画像ＧＹ１から、長方形状の撮影グレイ画像ＧＹ２が生成されると共に、撮影グレイ画像ＧＹ２の形状を推定撮影画像の形状に揃えることができる。
［被検出物領域抽出処理の例］
図１１は、ステップＳ１２の被検出物抽出処理の一例を示すフロー図である。
被検出物抽出処理が開始されると、ステップＳ６０で被検出物領域抽出部６０は、推定撮影画像生成部７０にて推定撮影画像生成処理を行う。推定撮影画像生成処理では、推定撮影画像生成部７０が、ステップＳ３０で保存された撮影グレイ画像の各画素値を参照して、オリジナルの画像データを変換することにより、推定撮影画像の画像データを生成する。被検出物領域抽出部６０は、ステップＳ６０において生成された推定撮影画像の画像データを、推定撮影画像保存部６２に保存する
次のステップＳ６２で画像データ出力部６４は、被検出物領域抽出部６０からの指示により、推定撮影画像の画像データの生成に用いた前記オリジナルの画像データをプロジェクター１００に出力する。プロジェクター１００は、オリジナルの画像データに基づいて、投影面Ｓに画像を投影する。
次のステップＳ６４で被検出物領域抽出部６０は、被検出物２００が投影面Ｓに配置されている状態で、ステップＳ６２で投影された画像をカメラ２０に撮影させる。そして、被検出物領域抽出部６０は、撮影情報取得部５２を介して、この撮影画像の撮影情報を取得する。プロジェクター１００による投影画像の一部は被検出物２００により遮られており、ステップＳ６４で取得された撮影画像は、投影画像において被検出物により遮られている領域である被検出物領域を含んでいる。
次のステップＳ６６で被検出物領域抽出部６０は、ステップＳ６４で得られた撮影画像において、ステップＳ６４で投影された画像が占める領域を抽出する。ステップＳ６６の処理では、上述の画像領域抽出処理と同様にして、ステップＳ４４で抽出された四隅の座標位置に基づいて、ステップＳ６４で撮影された撮影画像に占める投影画像の領域を抽出する。
次のステップＳ６８で被検出物領域抽出部６０は、推定撮影画像保存部６２に保存された推定撮影画像と、ステップＳ６６で抽出された撮影画像内の投影画像とを比較して、画素ごとに、対応する画素値の差分値を計算し、差分画像を生成する。
次のステップＳ７０〜Ｓ７４で被検出物領域抽出部６０は、差分画像の画素毎に差分値の解析を行う。差分画像の全画素について、差分値の解析が終了したとき（ステップＳ７０：Ｙ）に、被検出物領域抽出部６０は一連の処理を終了する（エンド）。画素の差分値の解析が終了していないとき（ステップＳ７０：Ｎ）に、ステップＳ７２で被検出物領域抽出部６０は、差分値が閾値を超えているか否かを判別する。
ステップＳ７２において差分値が閾値を超えていると判定されたとき（ステップＳ７２：Ｙ）に、ステップＳ７４で被検出物領域抽出部６０は、判定対象の画素を被検出物２００によって遮られた被検出物領域の画素として登録し、ステップＳ７０に戻る。ステップＳ７２において、差分値が閾値を超えていないと判別されたとき（ステップＳ７２：Ｎ）、被検出物領域抽出部６０は、ステップＳ７０に戻って判定対象の画素を変更して処理を継続する。
［推定撮影画像生成処理の例］
図１２は、ステップＳ６０の推定撮影画像生成処理の一例を示すフロー図、図１３は、ステップＳ６０の推定撮影画像生成処理の動作説明図である。図１３には、１画素を構成する複数の色成分のうち１つの色成分について、推定撮影画像の生成処理を模式的に図示している。
推定撮影画像生成部７０は、プロジェクター１００に出力される画像データに対応した画像の全画素について、色成分毎に撮影グレイ画像を参照することで推定撮影画像を生成する。まず、推定撮影画像生成部７０は、全画素について終了していないとき（ステップＳ８０：Ｎ）、Ｒ成分の全画素について処理が終了したか否かを判別する（ステップＳ８２）。
ステップＳ８２において、Ｒ成分の全画素について処理が終了していないとき（ステップＳ８２：Ｎ）、推定撮影画像生成部７０は、ｇ［ｋ］（ｋは整数）がＲ値（Ｒ成分の画素値）以下となる最大のｋを探索する（ステップＳ８４）。ステップＳ８２において、Ｒ成分の全画素について処理が終了しているとき（ステップＳ８２：Ｙ）、ステップＳ８８に進み、次の色成分であるＧ成分について推定撮影画像の生成処理を行う。
ステップＳ８４に続いて、推定撮影画像生成部７０は、ステップＳ８４で探索されたｋに対応した撮影グレイ画像ＰＧＰｋにおける当該画素位置のＲ成分の画素値と、撮影グレイ画像ＰＧＰ（ｋ＋１）における当該画素位置のＲ成分の画素値とを用いた補間処理により、Ｒ値を求める（ステップＳ８６）。なお、撮影グレイ画像保存部５８に撮影グレイ画像ＰＧＰ（ｋ＋１）が保存されていないときは、求めるＲ値としてｋを採用することができる。
次に、推定撮影画像生成部７０は、Ｇ成分の全画素について処理が終了したか否かを判別する（ステップＳ８８）。ステップＳ８８において、Ｇ成分の全画素について処理が終了していないとき（ステップＳ８８：Ｎ）、推定撮影画像生成部７０は、ｇ［ｋ］（ｋは整数）がＧ値（Ｇ成分の画素値）以下となる最大のｋを探索する（ステップＳ９０）。ステップＳ８８において、Ｇ成分の全画素について処理が終了しているとき（ステップＳ８８：Ｙ）、ステップＳ９４に進み、次の色成分であるＢ成分について推定撮影画像の生成処理を行う。
ステップＳ９０に続いて、推定撮影画像生成部７０は、ステップＳ９０で探索されたｋに対応した撮影グレイ画像ＰＧＰｋにおける当該画素位置のＧ成分の画素値と、撮影グレイ画像ＰＧＰ（ｋ＋１）における当該画素位置のＧ成分の画素値とを用いた補間処理により、Ｇ値を求める（ステップＳ９２）。なお、撮影グレイ画像保存部５８に撮影グレイ画像ＰＧＰ（ｋ＋１）が保存されていないときは、求めるＧ値としてｋを採用することができる。
推定撮影画像生成部７０は、Ｂ成分の全画素について処理が終了したか否かを判別する（ステップＳ９４）。ステップＳ９４において、Ｂ成分の全画素について処理が終了していないとき（ステップＳ９４：Ｎ）、推定撮影画像生成部７０は、ｇ［ｋ］（ｋは整数）がＢ値（Ｂ成分の画素値）以下となる最大のｋを探索する（ステップＳ９６）。ステップＳ９４において、Ｂ成分の全画素について処理が終了しているとき（ステップＳ９４：Ｙ）、ステップＳ８０に戻る。
ステップＳ９６に続いて、推定撮影画像生成部７０は、ステップＳ９６で探索されたｋに対応した撮影グレイ画像ＰＧＰｋにおける当該画素位置のＢ成分の画素値と、撮影グレイ画像ＰＧＰ（ｋ＋１）における当該画素位置のＢ成分の画素値とを用いた補間処理により、Ｂ値を求める（ステップＳ９８）。なお、撮影グレイ画像保存部５８に撮影グレイ画像ＰＧＰ（ｋ＋１）が保存されていないときは、求めるＢ値としてｋを採用することができる。その後、推定撮影画像生成部７０は、ステップＳ８０に戻り、処理を継続する。
以上の処理により推定撮影画像生成部７０は、図１３に示すように、画像データにより表される画像ＩＭＧ０のとき、画素ごとに、画素位置Ｑ１の画素値（Ｒ値、Ｇ値又はＢ値）に近い撮影グレイ画像ＰＧＰｋを求める。そして、推定撮影画像生成部７０は、画素位置Ｑ１に対応する撮影グレイ画像の画素位置Ｑ０における画素値を用いて、画素位置Ｑ１に対応する推定撮影画像ＩＭＧ１の画素位置Ｑ２における画素値を求める。ここで、推定撮影画像生成部７０は、撮影グレイ画像ＰＧＰｋにおける画素位置Ｑ０の画素値、又は撮影グレイ画像ＰＧＰｋ、ＰＧＰ（ｋ＋１）における画素位置Ｑ０の画素値を用いて、推定撮影画像ＩＭＧ１の画素位置Ｑ２における画素値を求める。推定撮影画像生成部７０は、上記の処理を、全画素について色成分毎に繰り返すことで、推定撮影画像ＩＭＧ１を生成する。画像処理部５０において、図５〜図１３を参照しつつ説明した処理を行うことで、次のように被検出物２００により遮られた被検出物領域を抽出することができる。
図１４は、画像処理部５０の動作説明図である。画像処理部５０は、プロジェクター１００により投影される画像ＩＭＧ０に元になる画像データを用いて、推定撮影画像ＩＭＧ１を生成する。また、画像処理部５０は、投影面Ｓにおける投影領域ＡＲ（投影面ＩＧ１）に、画像データに基づいてプロジェクター１００により画像（表示画像）ＩＭＧ２を投影させる。画像処理部５０は、投影領域ＡＲ内の画像ＩＭＧ２を、投影面Ｓに被検出物２００が配置されている状態で、カメラ２０に撮影させ、その撮影情報を取得する。撮影された画像には、被検出物２００が撮影された撮影画像ＭＴが含まれている。
画像処理部５０は、取得した撮影情報に基づいて、撮影画像内の投影画像ＩＭＧ３を抽出する。画像処理部５０は、撮影画像内の投影画像ＩＭＧ３と、推定撮影画像ＩＭＧ１との差分を画素ごとに求め、その差分値に基づいて、投影画像ＩＭＧ３で被検出物２００に遮られている領域である被検出物領域ＭＴＲを抽出する。抽出された被検出物領域に基づいて、アプリケーション処理部９０は、例えば次のようなアプリケーション処理を行う。
［アプリケーション処理の例］
図１５は、ステップＳ１４のアプリケーション処理の一例を示すフロー図、図１６はデータベースＤＢのデータ構造を示す概念図である。
アプリケーション処理部９０は、ステップＳ１２の被検出物領域抽出処理において抽出された被検出物領域に基づいてアプリケーション処理を行う。図１５に示すように、アプリケーション処理部９０は、被検出物２００に遮られた状態で投影面Ｓに投影された画像をカメラ２０により撮影した撮影画像から、ステップＳ７４で登録された被検出物領域の画素と対応する画素を抽出し、抽出された画素の集合を被検出物撮影画像とする（ステップＳ１００）。
アプリケーション処理部９０は、データベースＤＢに登録されている形状データを取得する（ステップＳ１０２）。データベースＤＢは、画像処理装置３０又は画像表示システム１０の一部として設けられていてもよいし、画像処理装置３０あるいは画像表示システム１０の外部に設けられていてもよい。
図１６に示すように、データベースＤＢには、被検出物の画像を示す形状データが、被検出物に関する情報を示す情報データと関連付けられて格納されている。例えば、被検出物がプリンターである場合に、プリンターを上面から見た画像を示す形状データが、プリンターの上面である旨の情報を示す情報データと関連づけられて格納されている。また、トレイ状の紙供給口が展開されている状態のプリンターを上面から見た画像を示すデータが、紙給紙口やインクカートリッジの位置情報を示す情報データと関連付けられて格納されている。
アプリケーション処理部９０は、データベースＤＢから取得した形状データが示す画像と、ステップＳ１００で抽出された被検出物撮影画像と照合し、形状データが示す画像と被検出物撮影画像とが合致するか否かを判定する（ステップＳ１０４）。ここでは、被検出物撮影画像と形状データが示す画像との相関関係を示す照合値を算出し、照合値と所定の閾値とを比較して被検出物撮影画像と形状データが示す画像との合致を判定する。合致の判定には各種の判定手法を適宜選択して用いることができる。
例えば、第１の判定方法では、画像間で互いに対応する画素位置での、画素の画素値の差分（絶対値）を画素ごとに求め、画像全体での差分の合計を照合値とし、照合値が所定の閾値以下であれば双方が合致していると判定する。
例えば、第２の判定方法では、画像間で画像相関法等により、複数の画素でパターンの照合を行うとともに、照合に用いる相関係数を照合値とし、相関係数が所定の閾値以上である場合に双方が合致していると判定してもよい。
第１の判定方法は、判定に要する計算負荷を減らす観点では、第２の判定方法よりも優れている。第２の判定方法は、画像間で互いに対応する画素位置がずれている場合でも精度よく合致を判定可能である点で、第１の判定方法よりも優れている。
本実施形態では、合致の判定に先立ち、形状データが示す画像における被検出物のサイズと、被検出物撮影画像における被検出物のサイズとが揃うように、形状データが示す画像と被検出物撮影画像の少なくとも一方を拡大または縮小する。このようにすれば、形状データが示す画像と被検出物撮影画像とで被検出物のサイズが異なる場合に、実際の被検出物上の各点の画像上での位置が画像間でずれることによる誤判定を減らすことができる。形状データが示す画像と被検出物撮影画像とで被検出物のサイズを揃えるには、例えば、形状データが示す画像と被検出物撮影画像で、被検出物の輪郭をなす画素数、あるいは画像に含まれる画素数が揃うように、形状データが示す画像または被検出物撮影画像を変換する。形状データが示す画像については、輪郭をなす画素数や画像に含まれる画素数が予め分かっているので、輪郭をなす画素数や画像に含まれる画素数を形状データに関連付けてデータベースに格納しておくとよい。
次に、サイズが揃えられた形状データが示す画像または被検出物撮影画像に対して、一方の画像を所定の回転角だけ回転させ、回転させた画像と他方の画像とで例えば上記の第１の方法により照合値を求める。そして、回転角を変更して照合値を求める処理を複数回数繰り返して複数の照合値を求める。そして、複数の照合値で最も相関関係が高い照合値（ここでは最小の照合値）が、所定の閾値以下である場合に状データが示す画像と被検出物撮影画像とが合致していると判定する。このようにすれば、投影面Ｓに配置されたときの被検出物２００の姿勢の違いによる誤判定を減らすことができる。また、被検出物撮影画像をいずれの角度で回転させると形状データが示す画像と合致するか分かり、被検出物２００に対して所望の位置に情報を示す画像を投影することができる。
なお、形状データに基づいて、例えば上記の推定撮影画像生成処理と同様の処理により、投影面Ｓに被検出物を配置したときの撮影画像を推定した推定撮影画像を生成し、この推定撮影画像と被検出物撮影画像とを照合するようにしてもよい。このようにすれば、被検出物２００に外光が入射することやカメラ２０の使用状況等に起因する誤判定を減らすことができる。
アプリケーション処理部９０は、形状データが示す画像と被検出物撮影画像とが合致していると判定したとき（ステップＳ１０４：Ｙ）に、この形状データと関連付けられている情報データをデータベースＤＢから取得する（ステップＳ１０６）。そして、アプリケーション処理部９０は、取得した情報データを画像処理部５０の画像データ出力部６４に出力し（ステップＳ１０８）、一連の処理を終了する（エンド）。画像データ出力部６４は、情報データに含まれる情報を示す画像の画像データを生成し、この画像データをプロジェクター１００に出力する。
アプリケーション処理部９０は、形状データが示す画像と被検出物撮影画像とが合致しないと判定したとき（ステップＳ１０４：Ｎ）に一連の処理を終了する（エンド）。
以上のような処理を行うことにより、被検出物２００に合致する情報データが画像処理装置３０から自動的に出力される。
なお、画像処理装置３０は、中央演算処理装置（以下、ＣＰＵという）、読み出し専用メモリー（以下、ＲＯＭという）およびランダムアクセスメモリー（以下、ＲＡＭという）を有し、ＲＯＭ又はＲＡＭに記憶されたプログラムを読み込んだＣＰＵが、このプログラムに対応した処理を実行することで、上記の第１実施形態における各処理をソフトウェア処理で実現するようにしてもよい。この場合、ＲＯＭ又はＲＡＭに、上記の処理を行うプログラムが格納される。
［第２実施形態］
第１実施形態では、カメラ２０で投影面Ｓに投影された画像を撮影した撮影画像から投影画像を抽出していたが、これに限定されるものではく、撮影画像内の投影画像を抽出することなく、被検出物２００の領域を抽出するようにしてもよい。第２実施形態における画像処理装置は、画像処理部の構成及び動作が第１実施形態実施における画像処理装置３０と異なっている。
図１７は、第２実施形態における画像処理部の構成例を示すブロック図である。第２実施形態における画像処理部５０ａは、撮影情報取得部５２、キャリブレーション処理部５６ａ、撮影グレイ画像保存部５８、被検出物領域抽出部（被検出物検出部）６０ａ、推定撮影画像保存部６２、画像データ出力部６４を含む。被検出物領域抽出部６０ａは、推定撮影画像生成部７０ａを含む。画像処理部５０ａが画像処理部５０と異なる点は、画像処理部５０ａが画像処理部５０において画像領域抽出部５４が省略された構成を有している点と、被検出物領域抽出部６０ａ（推定撮影画像生成部７０ａ）が、カメラ２０による撮影した画像の形状の推定撮影画像を生成する点である。そのため、撮影情報取得部５２が取得した撮影情報は、キャリブレーション処理部５６ａ及び被検出物領域抽出部６０ａに供給される。
キャリブレーション処理部５６ａは、第１実施形態と同様にキャリブレーション処理を行うが、キャリブレーション処理における推定撮影画像を生成する際に、被検出物２００に遮られることなくカメラ２０で撮影された撮影情報を撮影情報取得部５２から取得する。すなわち、複数種類のグレイ画像を表示させて、キャリブレーション処理部５６ａは、撮影情報取得部５２から複数種類の撮影グレイ画像の撮影情報を取得する。撮影グレイ画像保存部５８は、キャリブレーション処理部５６ａによって得られた撮影グレイ画像を保存する。これらの撮影グレイ画像のいずれかの画素の画素値を参照して、カメラ２０で撮影する表示画像を推定した推定撮影画像が生成されることになる。
被検出物領域抽出部６０ａにおいても、プロジェクター１００の投影画像を被検出物２００により遮られた状態でカメラ２０により撮影された撮影画像と、撮影グレイ画像保存部５８に保存された撮影グレイ画像により生成された推定撮影画像との差分に基づいて、撮影画像内の被検出物２００の領域を抽出する。この撮影画像は、撮影情報取得部５２によって取得された撮影情報に対応した画像である。推定撮影画像生成部７０ａは、プロジェクター１００により投影面Ｓに投影される画像の画像データから、撮影グレイ画像保存部５８に保存された撮影グレイ画像を参照して推定撮影画像を生成する。推定撮影画像生成部７０ａによって生成された推定撮影画像は、推定撮影画像保存部６２に保存される。
画像処理部５０ａは、プロジェクター１００に投影される画像の画像データから、実際にカメラ２０で撮影した画像を推定した推定撮影画像を生成する。そして、この推定撮影画像と、該画像データに基づいて表示された投影画像を撮影した撮影画像との差分に基づいて、被検出物２００の領域が抽出される。こうすることで、推定撮影画像と、これを生成する際に使用したカメラ２０を用いて得られた撮影画像との差分は、外光のムラ、投影面Ｓの「なみ」、「すじ」、汚れ等の状態、プロジェクター１００の位置やズーム状態、カメラ２０の位置や歪み等に起因したノイズの影響をなくすことができる。これにより、上記のノイズの影響を受けることなく、被検出物２００の領域を高精度に検出できるようになる。この際、形状を補正することなく、差分画像に基づいて被検出物２００の領域を抽出するため、形状補正の際のノイズによる誤差をなくし、第１実施形態より高精度に被検出物２００の領域を検出できるようになる。
このような画像処理部５０ａを有する第２実施形態における画像処理装置は、図１に示した画像表示システム１０に適用することができる。この第２実施形態における画像処理装置の動作は、第１実施形態と同様であるが、ステップＳ１０のキャリブレーション処理とステップＳ１２の被検出物領域抽出処理の処理が異なる。
［キャリブレーション処理の例］
図１８は、第２実施形態におけるキャリブレーション処理の一例を示すフロー図である。キャリブレーション処理が開始されると、キャリブレーション処理部５６ａは、第１実施形態と同様の画像領域抽出初期化処理を行う（ステップＳ１３０）。具体的には、画像領域抽出初期化処理では、撮影画像内の四角形状の投影画像の四隅の座標位置を抽出する処理を行う。
次に、キャリブレーション処理部５６ａは、グレイ画像の画素値に対応した変数ｉを「０」に設定して変数ｉを初期化する（ステップＳ１３２）。続いて、キャリブレーション処理部５６ａでは、例えば画像データ生成部４０により各色成分の画素値がｇ［ｉ］のグレイ画像の画像データを生成させ、画像データ出力部６４が該画像データをプロジェクター１００に出力して、画素値ｇ［ｉ］のグレイ画像を投影面Ｓに投影させる（ステップＳ１３４）。そして、キャリブレーション処理部５６ａは、ステップＳ１３４で投影面Ｓに投影された画像をカメラ２０で撮影し、撮影情報取得部５２においてカメラ２０の撮影画像の撮影情報を取得する（ステップＳ１３６）。
次に、キャリブレーション処理部５６ａは、ステップＳ１３６で取得された撮影グレイ画像を、該撮影グレイ画像に対応したｇ［ｉ］と関連付けて撮影グレイ画像保存部５８に保存する（ステップＳ１３８）。
キャリブレーション処理部５６ａは、変数ｉに整数ｄを加算して変数ｉを更新し（ステップＳ１４０）、次のグレイ画像の撮影に備える。なお、ステップＳ１４０で更新された変数ｉが所与の最大値Ｎ以上のとき（ステップＳ１４２：Ｎ）、一連の処理を終了し（エンド）、更新後の変数ｉが最大値Ｎより小さいとき（ステップＳ１４２：Ｙ）、ステップＳ１３４に戻る。
［被検出物領域抽出処理の例］
図１９は、第２実施形態における遮蔽物抽出処理の一例を示すフロー図、図２０は遮蔽物抽出処理における推定撮影画像生成処理の動作説明図である。図２０には、１画素を構成する複数の色成分のうち１つの色成分について、推定撮影画像の生成処理を模式的に図示している。
第１実施形態と同様に遮蔽物抽出処理が開始されると、被検出物領域抽出部６０ａは、推定撮影画像生成部７０ａにおいて推定撮影画像生成処理を行う（ステップＳ１５０）。この推定撮影画像生成処理では、ステップＳ１３８において保存された撮影グレイ画像の各画素値を参照して、実際にプロジェクター１００により投影させる画像データを変換して、推定掃影画像の画像データが生成される。被検出物領域抽出部６０ａは、ステップＳ１５０において生成された推定撮影画像を、推定撮影画像保存部６２に保存する。
ステップＳ１５０において、推定撮影画像生成部７０ａは、第１実施形態と同様に推定撮影画像を生成する。すなわち、推定撮影画像生成部７０ａは、まずステップＳ１３０で取得された撮影画像内の四隅の位置を用いて、オリジナルの画像データにより表される画像に対して公知の形状補正を行う。そして、この形状補正後の画像に対して、第１実施形態と同様にして推定撮影画像を生成する。より具体的には、図２０に示すように、オリジナルの画像データにより表される画像が画像ＩＭＧ０のとき、画素毎に、当該画素位置の画素値（Ｒ値、Ｇ値又はＢ値）に近い撮影グレイ画像を求める。そして、推定撮影画像生成部７０ａは、当該画素位置に対応する撮影グレイ画像の画素位置における画素値を用いて、当該画素位置に対応する推定撮影画像ＩＭＧ１の画素位置における画素値を求める。ここで、推定撮影画像生成部７０ａは、撮影グレイ画像ＰＧＰｋにおける画素位置の画素値、又は撮影グレイ画像ＰＧＰｋ、ＰＧＰ（ｋ＋１）における画素位置の画素値を用いて、推定撮影画像ＩＭＧ１の画素位置における画素値を求める。推定撮影画像生成部７０ａは、上記の処理を、全画素について、色成分毎に繰り返すことで、推定撮影画像ＩＭＧ１を生成する。これにより、推定撮影画像生成部７０ａは、推定撮影画像の形状を撮影画像内の投影画像の形状に揃えることができる。
次に、被検出物領域抽出部６０ａからの指示により、画像データ出力部６４は、実際にプロジェクター１００により投影させるオリジナルの画像データをプロジェクター１００に出力し、該画像データに基づく画像をプロジェクター１００により投影面Ｓに投影させる（ステップＳ１５２）。このオリジナルの画像データは、ステップＳ１５０の推定撮影画像生成処理において、推定撮影画像の生成元の画像データである。
続いて、被検出物領域抽出部６０ａは、ステップＳ１５２において投影された画像をカメラ２０で撮影させる制御を行い、撮影情報取得部５２を介して、この撮影画像の撮影情報を取得する（ステップＳ１５４）。このとき取得された撮影画像は、プロジェクター１００による投影画像が被検出物２００によって遮られ、撮影画像内に被検出物領域が存在する。
そして、被検出物領域抽出部６０ａは、推定撮影画像保存部６２に保存された推定撮影画像と、ステップＳ１５４で取得された撮影画像とを参照して、画素毎に、対応する画素値の差分値を計算し、差分画像を生成する（ステップＳ１５６）。
そして、被検出物領域抽出部６０ａは、差分画像の画素毎に差分値の解析を行う。差分画像の全画素について、差分値の解析が終了したとき（ステップＳ１５８：Ｙ）、被検出物領域抽出部６０ａは、一連の処理を終了する（エンド）が、全画素の差分値の解析が終了していないとき（ステップＳ１５８：Ｎ）、被検出物領域抽出部６０ａは、差分値が閾値を超えているか否かを判別する（ステップＳ１６０）。
ステップＳ１６０において、差分値が閾値を超えていると判別されたとき（ステップＳ１６０：Ｙ）、被検出物領域抽出部６０ａは、当該画素を被検出物２００によって遮られた被検出物領域の画素として登録し（ステップＳ１６２）、ステップＳ１５８に戻る。このステップＳ１６２では、当該画素の位置を登録するようにしてもよいし、差分画像の当該画素を所定の色に変換して可視化してもよい。一方、ステップＳ１６０において、差分値が閾値を超えていないと判別されたとき（ステップＳ１６０：Ｎ）、被検出物領域抽出部６０ａは、ステップＳ１５８に戻って処理を継続する。
画像処理部５０ａにおいて、上記説明した処理を行うことで、第１実施形態と同様に被検出物２００の領域を抽出することができる。なお、第２実施形態においても、画像処理装置は、ＣＰＵ、ＲＯＭ及びＲＡＭを有し、ＲＯＭ又はＲＡＭに記憶されたプログラムを読み込んだＣＰＵが該プログラムに対応した処理を実行することで、上記の第２実施形態における各処理をソフトウェア処理で実現するようにしてもよい。この場合、ＲＯＭ又はＲＡＭに、上記の処理のフロー図に対応したプログラムが格納される。
図２１は、画像処理部５０ａの動作説明図である。画像処理部５０ａは、プロジェクター１００により投影される画像ＩＭＧ０の画像データを用いて、上記のように推定撮影画像ＩＭＧ１を生成する。このとき、予め抽出された投影領域ＡＲ（投影面ＩＧ１）内の画像の四隅の位置を用いて形状補正後の推定撮影画像ＩＭＧ１を生成する。
その一方、画像処理部５０は、プロジェクター１００に、画像ＩＭＧ０の画像データに基づいて投影面Ｓの投影領域ＡＲ（投影面ＩＧ１）に画像（表示画像）ＩＭＧ２を投影させる。画像処理部５０は、投影領域ＡＲ内の画像ＩＭＧ２を、投影面Ｓに被検出物２００が配置されている状態で、カメラ２０に撮影させ、その撮影情報を取得する。撮影された画像には、被検出物２００が撮影された撮影画像ＭＴが含まれている。
画像処理部５０ａは、撮影画像内の画像ＩＭＧ２と推定撮影画像ＩＭＧ１と一の差分を画素毎にとり、その差分値に基づいて、画像ＩＭＧ２内の被検出物２００の被検出物領域ＭＴＲを抽出する。
［第３実施形態］
第１実施形態又は第２実施形態では、画像表示装置として画像投影装置であるプロジェクター１００を採用し、プロジェクター１００からの投影画像が被検出物２００で遮られたときの投影画像内における被検出物２００の領域を抽出する例について説明したが、本発明はこれに限定されるものではない。
図２２は、第３実施形態における画像表示システムの構成例を示す模式図である。第３実施形態における画像表示システム１０ａは、撮影装置としてのカメラ２０と、画像処理装置３０と、画面ＧＭを有する画像表示装置３００とを含む。画像表示装置３００は、画像処理装置３０からの画像データに基づいて画面ＧＭ（広義には表示画面）に画像を表示する。このような画像表示装置としては、液晶表示装置、有機ＥＬ表示装置やＣＲＴ等の表示装置を採用できる。また、画像処理装置３０として、第１実施形態又は第２実施形態における画像処理装置を提供することができる。
このとき、カメラ２０と画面ＧＭとの間に存在する被検出物２００により表示画像が遮られると、画像処理装置３０は、カメラ２０で投影画像を撮影した撮影情報を用いて、表示画像内の被検出物２００の領域を検出する処理を行う。より具体的には、画像処理装置３０は、画面ＧＭに表示される画像に対応した画像データから、カメラ２０で撮影した状態を推定した推定撮影画像を生成し、該推定撮影画像と被検出物２００により遮られた投影画像をカメラ２０で撮影した撮影画像との差分に基づいて、被検出物２００の領域を検出する。
これにより、専用のカメラを設ける必要がなくなり、低コストで被検出物２００の領域を検出できるようになる。また、画像表示装置３００の画面ＧＭに表示される画像が、外光や画面ＧＭの状態等に起因したノイズによって色が一様でなくなる場合であっても、推定撮影画像を用いて撮影画像との差分により被検出物２００の領域を検出するようにしたので、ノイズの影響を受けることなく被検出物２００の領域を高精度の検出できるようになる。
以上、本発明に係る画像処理装置、画像表示システム、及び画像処理方法等を上記のいずれかの実施形態形に基づいて説明したが、本発明は上記のいずれかの実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
（１）上記のいずれかの実施形態では、画像投影装置や画像表示装置を例に説明したが、本発明はこれに限定されるものではない。画像データに基づいて画像を表示する装置全般に本発明適用することができることは言うまでもない。
（２）上記の第１実施形態又は第２実施形態では、光変調素子として透過型の液晶パネルを用いたライトバルブを用いるものとして説明したが、本発明はこれに限定されるものではない。光変調素子として、例えばデジタルミラーデバイス（ＤＭＤ）、ＬＣＯＳ（Ｌｉqｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）等を採用してもよい。また、上記の第１実施形態又は第２実施形態において、光変調素子として、いわゆる３板式の透過型の液晶パネルを用いたライトバルブ、単板式の液晶パネルや２板又は４板式以上の透過型の液晶パネルを用いたライトバルブを採用することができる。
１０、１０ａ・・・画像表示システム、２０・・・カメラ、３０・・・画像処理装置、４０・・・画像データ生成部、５０、５０ａ・・・画像処理部、５２・・・撮影情報取得部、５４・・・画像領域抽出部、５６、５６ａ・・・キャリブレーション処理部、５８・・・撮影グレイ画像保存部、６０、６０ａ・・・被検出物領域抽出部（被検出体検出部）、６２・・・推定撮影画像保存部、６４・・・画像データ出力部、７０、７０ａ・・・推定撮影画像生成部、９０・・・アプリケーション処理部、１００・・・プロジェクター（画像表示装置、画像投影装置）、２００・・・被検出物、３００・・・画像表示装置、ＡＲ・・・投影領域、ＤＢ・・・データベース、ＧＭ・・・画面（表示画面）、ＧＰ０、ＧＰ１、ＧＰ４・・・グレイ画像、ＧＹ１、ＧＹ２・・・撮影グレイ画像、ＩＧ１・・・投影面、ＩＧ２・・・投影画像、ＩＭＧ０・・・画像、ＩＭＧ１・・・推定撮影画像、ＩＭＧ２・・・表示画像、ＩＭＧ３・・・投影画像、ＭＴ・・・撮影画像、ＭＴＲ・・・被検出物領域、ＰＧＰ・・・撮影グレイ画像、ＰＧＰ０、ＰＧＰ１、ＰＧＰｋ・・・撮影グレイ画像、Ｑ０〜Ｑ２・・・画素位置、Ｓ・・・投影面（表示画面）

Claims (9)

  1. 表示画面とカメラとの間に配置される被検出物の検出処理を行うとともに検出された被検出物の情報を出力する画像処理装置であって、
    前記画像データに基づいて前記表示画面に表示される表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影した撮影画像に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出部と、
    前記表示画面に表示されたモデル画像を、前記被検出物により遮られることなく前記カメラにより撮影した撮影情報に基づき、画像データから、当該画像データを前記表示画面に表示して前記カメラで撮影した画像を推定した推定撮影画像を生成する推定撮影画像生成部と、
    前記撮影画像から前記被検出物領域に含まれる被検出物撮影画像を抽出し、前記被検出物の画像を示す形状データと該形状データに対応する該被検出物の情報を示す情報データとが関連付けられて格納されているデータベースから前記形状データを取得して前記被検出物撮影画像と照合するとともに、前記被検出物撮影画像と合致する前記形状データに関連付けられた前記情報データを前記データベースから取得して出力するアプリケーション処理部と、
    を含み、
    前記被検出物検出部は、前記撮影画像と、前記推定撮影画像との差分に基づいて、前記表示画像内で前記被検出物により遮られた前記被検出物領域を検出することを特徴とする画像処理装置。
  2. 前記モデル画像は、画素値が互いに異なる複数種類のグレイ画像を含み、
    前記推定撮影画像生成部は、
    前記表示画面に表示された前記複数種類のグレイ画像を前記カメラにより撮影した複数種類の撮影グレイ画像を用いて、前記画像データに対応した前記表示画像の画素値を画素毎に推定した前記推定撮影画像を生成することを特徴とする請求項１に記載の画像処理装置。
  3. 前記撮影画像から前記表示画像の領域を抽出すると共に、前記撮影画像内の前記表示画像の形状を前記推定撮影画像の形状に揃える画像領域抽出部を含み、
    前記被検出物検出部が、
    前記画像領域抽出部によって抽出された前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出することを特徴とする請求項１又は２に記載の画像処理装置。
  4. 前記推定撮影画像生成部が、
    前記推定撮影画像の形状を前記撮影画像内の前記表示画像の形状に揃え、
    前記被検出物検出部が、
    前記撮影画像内の前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出することを特徴とする請求項１又は２に記載の画像処理装置。
  5. 前記表示画面に表示された所与の初期化用画像を前記カメラにより撮影した撮影画像内の前記初期化用画像の四隅の位置に基づいて、前記推定撮影画像又は前記表示画像の形状を揃えることを特徴とする請求項３又は４に記載の画像処理装置。
  6. 前記画像表示装置は、画像投影装置であり、前記表示画像は、前記画像データに基づいて前記画像投影装置により投影された投影画像であることを特徴とする請求項１乃至５のいずれかに一項に記載の画像表示システム。
  7. 前記アプリケーション処理部は、
    前記被検出物領域のサイズと前記形状データが示す前記被検出物のサイズとを揃えた状態で、前記被検出物撮影画像又は前記形状データが示す画像を所定の回転角だけ回転させて前記被検出物撮影画像と前記形状データが示す画像との相関関係を示す照合値を求める処理を前記所定の回転角を異ならせて複数回数行うとともに、複数回数の前記処理で最も高い相関関係を示す照合値と所定の閾値と比較して、前記被検出物撮影画像と前記形状データが示す画像との合致を判定することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
  8. 請求項１乃至７のいずれか一項に記載の画像処理装置と、
    前記表示画面に表示された画像を撮影する前記カメラと、
    前記モデル画像又は前記表示画像の画像データに基づいて画像を表示し、前記画像処理装置から出力された前記情報データを示す画像を表示する画像表示装置と、を含むことを特徴とする画像表示システム。
  9. 表示画面とカメラとの間に配置される被検出物の検出処理を行うとともに検出された被検出物の情報を出力する画像処理方法であって、
    前記画像データに基づいて前記表示画面に表示画像を表示する画像表示ステップと、
    前記画像表示ステップにおいて前記表示画面に表示される前記表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影する表示画像撮影ステップと、
    前記表示画面に表示されたモデル画像を、前記被検出物により遮られることなく前記カメラにより撮影した撮影情報に基づき、画像データから、当該画像データを前記表示画面に表示して前記カメラで撮影した画像を推定した推定撮影画像を生成する推定撮影画像生成ステップと、
    前記表示画像撮影ステップにおいて撮影された撮影画像と、前記推定撮影画像との差分に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出ステップと、
    前記撮影画像から前記被検出物領域に含まれる被検出物撮影画像を抽出し、前記被検出物の画像を示す形状データと該形状データに対応する該被検出物の情報を示す情報データとが関連付けられて格納されているデータベースから前記形状データを取得して前記被検出物撮影画像と照合するとともに、前記被検出物撮影画像と合致する前記形状データに関連付けられた前記情報データを前記データベースから取得して出力するアプリケーション処理ステップと、を含むことを特徴とする画像処理方法。
JP2010004172A 2010-01-12 2010-01-12 画像処理装置、画像表示システム、および画像処理方法 Active JP5560722B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010004172A JP5560722B2 (ja) 2010-01-12 2010-01-12 画像処理装置、画像表示システム、および画像処理方法
US12/985,486 US20110169777A1 (en) 2010-01-12 2011-01-06 Image processing apparatus, image display system, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010004172A JP5560722B2 (ja) 2010-01-12 2010-01-12 画像処理装置、画像表示システム、および画像処理方法

Publications (2)

Publication Number Publication Date
JP2011145766A JP2011145766A (ja) 2011-07-28
JP5560722B2 true JP5560722B2 (ja) 2014-07-30

Family

ID=44258178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010004172A Active JP5560722B2 (ja) 2010-01-12 2010-01-12 画像処理装置、画像表示システム、および画像処理方法

Country Status (2)

Country Link
US (1) US20110169777A1 (ja)
JP (1) JP5560722B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6102079B2 (ja) * 2012-04-05 2017-03-29 カシオ計算機株式会社 投影装置、投影方法及びプログラム
CN103019473B (zh) * 2012-11-30 2016-12-21 上海易视计算机科技有限公司 基于图像传感器的电子白板的干扰点动态屏蔽方法及装置
CN102999233B (zh) * 2012-11-30 2016-12-21 上海易视计算机科技有限公司 基于图像传感器的电子白板的干扰点自动屏蔽方法及装置
JP6289003B2 (ja) * 2013-09-26 2018-03-07 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
CN113379851A (zh) * 2021-07-16 2021-09-10 安徽工布智造工业科技有限公司 一种用于机器人场景从图像提取三维坐标值的方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793901A (en) * 1994-09-30 1998-08-11 Omron Corporation Device and method to detect dislocation of object image data
JP4150924B2 (ja) * 2003-07-02 2008-09-17 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US6537221B2 (en) * 2000-12-07 2003-03-25 Koninklijke Philips Electronics, N.V. Strain rate analysis in ultrasonic diagnostic images
US7333135B2 (en) * 2002-10-15 2008-02-19 Fuji Xerox Co., Ltd. Method, apparatus, and system for remotely annotating a target
JP3849654B2 (ja) * 2003-02-21 2006-11-22 株式会社日立製作所 投射型表示装置
JP3790928B2 (ja) * 2003-06-27 2006-06-28 オリンパス株式会社 画像表示装置における補正データ取得方法およびキャリブレーションシステム
JP4572377B2 (ja) * 2003-07-02 2010-11-04 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US7715619B2 (en) * 2003-10-21 2010-05-11 Nec Corporation Image collation system and image collation method
JP2005352835A (ja) * 2004-06-11 2005-12-22 Brother Ind Ltd 画像入出力装置
US7379562B2 (en) * 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
US7204428B2 (en) * 2004-03-31 2007-04-17 Microsoft Corporation Identification of object on interactive display surface by identifying coded pattern
WO2005096126A1 (ja) * 2004-03-31 2005-10-13 Brother Kogyo Kabushiki Kaisha 画像入出力装置
US7467380B2 (en) * 2004-05-05 2008-12-16 Microsoft Corporation Invoking applications with virtual objects on an interactive display
US7168813B2 (en) * 2004-06-17 2007-01-30 Microsoft Corporation Mediacube
US7570249B2 (en) * 2005-03-30 2009-08-04 Microsoft Corporation Responding to change of state of control on device disposed on an interactive display surface
JP4653606B2 (ja) * 2005-05-23 2011-03-16 株式会社東芝 画像認識装置、方法およびプログラム
EP1897033A4 (en) * 2005-06-16 2015-06-24 Strider Labs Inc SYSTEM AND METHOD FOR RECOGNIZING 2D IMAGES USING 3D CLASS MODELS
JP4829855B2 (ja) * 2007-09-04 2011-12-07 キヤノン株式会社 画像投影装置及びその制御方法
US9377874B2 (en) * 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector

Also Published As

Publication number Publication date
JP2011145766A (ja) 2011-07-28
US20110169777A1 (en) 2011-07-14

Similar Documents

Publication Publication Date Title
US9456123B2 (en) Method and system to configure mobile electronic device settings using remote data store analytics
KR101353110B1 (ko) 투영 화상 영역 검출 장치, 투영 화상 영역 검출 시스템, 및 투영 화상 영역 검출 방법
JP6467787B2 (ja) 画像処理システム、撮像装置、画像処理方法およびプログラム
JP5338718B2 (ja) 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
WO2018214365A1 (zh) 图像校正方法、装置、设备、系统及摄像设备和显示设备
US10134118B2 (en) Information processing apparatus and method of obtaining information about a projection surface on which a target is projected
JP2014131257A (ja) 画像補正システム、画像補正方法及びプログラム
EP3136377B1 (en) Information processing device, information processing method, program
WO2018176925A1 (zh) Hdr图像的生成方法及装置
US11158086B2 (en) Camera calibration method and apparatus, electronic device, and computer-readable storage medium
JP2008048377A (ja) 遠隔指示システム及び遠隔指示システム用のプログラム
JP5560722B2 (ja) 画像処理装置、画像表示システム、および画像処理方法
CN107493407B (zh) 拍照装置及拍照方法
CN117378196A (zh) 图像校正方法及拍摄设备
CN114268777A (zh) 激光投影设备的开机方法及激光投影系统
US9871947B2 (en) Image processing apparatus, image processing method, and storage medium
CN114302121A (zh) 图像校正检验方法、装置、电子设备及存储介质
JP2007181146A (ja) 画像投影装置、画像投影装置の投影画像補正方法及びプログラム
US10514591B2 (en) Camera apparatus, image processing device, and image processing method
JP5955003B2 (ja) 画像処理装置および画像処理方法、プログラム
JP2011090606A (ja) 画像処理装置、画像表示システム、及び画像処理方法
JP2014160998A (ja) 画像処理システム、画像処理方法、画像処理プログラム、及び記録媒体
JP2017201748A (ja) 画像生成装置、画像生成方法、及びそのプログラム
JP6736916B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2020191546A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131015

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140526

R150 Certificate of patent or registration of utility model

Ref document number: 5560722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350