JPWO2016002510A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JPWO2016002510A1
JPWO2016002510A1 JP2016531252A JP2016531252A JPWO2016002510A1 JP WO2016002510 A1 JPWO2016002510 A1 JP WO2016002510A1 JP 2016531252 A JP2016531252 A JP 2016531252A JP 2016531252 A JP2016531252 A JP 2016531252A JP WO2016002510 A1 JPWO2016002510 A1 JP WO2016002510A1
Authority
JP
Japan
Prior art keywords
image
pattern
projection
unit
patterns
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016531252A
Other languages
English (en)
Other versions
JP6711271B2 (ja
Inventor
洋祐 加治
洋祐 加治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016002510A1 publication Critical patent/JPWO2016002510A1/ja
Application granted granted Critical
Publication of JP6711271B2 publication Critical patent/JP6711271B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Abstract

本技術は、より容易に投影部と撮像部との相対姿勢を求めることができるようにする画像処理装置および方法に関する。本技術の一側面は、パターンを含む画像の投影画像であるパターン投影画像の撮像画像であるパターン撮像画像を用いて、投影画像とその撮像画像との対応関係を検出する。本技術は、例えば、プロジェクタ若しくはカメラ、またはその両方の機能を備える電子機器、それらを制御するコンピュータ等に適用することができる。

Description

本技術は、画像処理装置および方法に関し、特に、より容易に投影部と撮像部との相対姿勢を求めることができるようにした画像処理装置および方法に関する。
従来、複数のプロジェクタから投影される投影画像の一部若しくは全部が互いに重なるようにして１つの画像を投影する方法がある。このような投影画像が重なっている部分（オーバーラップ領域とも称する）では、例えば他の領域と輝度が異なったり、重なっている投影画像同士のずれが生じたりするおそれがあった。
そのため、このようなオーバーラップ領域をカメラ等でセンシングして、どのようにオーバーラップしているかを検出し、その検出結果に応じて投影する画像を補正することが考えられた。その場合、画像を投影するプロジェクタと、その投影画像を撮像するカメラとの間で画素の対応関係を把握する必要がある。
この画素の対応関係を取得する方法として、グレイコードを用いる方法が考えられた。しかしながら、この方法の場合、プロジェクタの各画素を識別するために多数のパターン画像を用いる必要があり、画素の対応関係を把握するための処理が煩雑になるおそれがあった。
そこで、チェッカーとチェッカーの４隅のうちどれかが欠けたパターン４枚を投影し、パターンの投影順序と欠けた隅の情報の整合を取ることでチェッカーの各コーナーがプロジェクタのどの画素に対応するかを検出する方法が考えられた（例えば、非特許文献１参照）。
Ramesh Raskar, Jeroen van Baar, Paul Beardsley, Thomas Willwacher, Srinivas Rao, Clifton Forlines, "iLamps: Geometrically Aware and Self-Configuring Projectors", ACM SIGGRAPH 2003 Conference Proceedings
しかしながら、これらの方法以外の方法が求められていた。
本技術は、このような状況に鑑みて提案されたものであり、より容易に投影部と撮像部との相対姿勢を求めることができるようにすることを目的とする。
本技術の一側面は、パターンを含む画像の投影画像であるパターン投影画像の撮像画像であるパターン撮像画像を用いて、投影画像と前記投影画像の撮像画像との対応関係を検出する検出部を備える画像処理装置である。
前記画像は、複数のパターンを含み、各パターンは、複数のサブパターンにより構成され、前記サブパターンの数または前記サブパターン同士の位置関係が他のパターンと異なるようにすることができる。
前記パターンは、前記サブパターンが、各パターンで共通の数および位置関係で配置されるスタートコードと、前記サブパターンの数または位置関係が他のパターンと異なるユニークコードとを有するようにすることができる。
前記スタートコードは、図形として配置される複数のサブパターンからなり、前記ユニークコードは、図形としての他のパターンと異なるように配置されるようにすることができる。
前記スタートコードは、１行３列に配置される３つの前記パターンよりなり、前記ユニークコードは、２行３列内に、数または位置関係が前記他のパターンと異なるように配置される単数若しくは複数の前記サブパターンよりなるようにすることができる。
前記パターンは、点状の図形として配置されるようにすることができる。
前記検出部は、前記パターン撮像画像に含まれる各パターンについて前記サブパターンの数と位置関係とを用いて、投影画像と前記投影画像の撮像画像との対応点を検出することにより、前記対応関係を検出することができる。
前記検出部は、各パターンについて、前記パターン同士の隣接関係を用いて、前記サブパターンの数および位置関係を解析することにより、前記対応点を検出することができる。
前記検出部は、所定の模様の画像の投影画像の撮像画像における前記模様のエッジを示すエッジ画像を用いて、前記サブパターン同士の隣接関係を検出することができる。
前記所定の模様の画像の投影画像の撮像画像における前記模様のエッジを検出し、前記エッジ画像を生成するエッジ検出部をさらに備え、前記検出部は、前記エッジ検出部により生成された前記エッジ画像を用いて、前記サブパターン同士の隣接関係を検出することができる。
前記検出部は、エッジが膨張された前記エッジ画像を用いて、前記サブパターン同士の隣接関係を検出することができる。
前記検出部は、前記パターン撮像画像に含まれる各パターンに対する前記サブパターンの重心を用いて、前記サブパターン同士の隣接関係を検出することができる。
前記検出部は、前記パターン撮像画像を２値化した画像を用いて前記サブパターンの重心を検出することができる。
前記検出部は、前記パターン撮像画像に含まれる前記パターンに基づいて生成されたホモグラフィ画像と、前記投影画像の撮像画像との対応点を用いて、前記投影画像と前記撮像画像との対応点を検出することができる。
前記所定の模様の画像は、チェック模様の画像であるようにすることができる。
前記検出部は、前記撮像画像において前記所定の模様の全てのコーナーについて、前記ホモグラフィ画像と前記撮像画像との対応点を検出し、検出した前記所定の模様の全てのコーナーについて、前記投影画像と前記撮像画像との対応点を検出することができる。
前記検出部は、前記撮像画像を２値化して所定の成分を膨張させた画像を用いて、前記コーナーを検出することができる。
投影画像を撮像し撮像画像を得る撮像部をさらに備え、前記検出部は、前記撮像部により前記パターン投影画像が撮像されて得られた前記パターン撮像画像を用いて、投影画像と、前記撮像部により前記投影画像が撮像されて得られた前記撮像画像との対応点を検出することにより、前記対応関係を検出することができる。
画像を投影する投影部をさらに備え、前記検出部は、前記投影部により投影された前記パターン投影画像の撮像画像であるパターン撮像画像を用いて、前記投影部により投影された投影画像と前記投影画像の撮像画像との対応点を検出することにより、前記対応関係を検出することができる。
前記検出部により検出された前記投影画像と前記撮像画像との対応関係を用いて、投影する画像の、他の投影画像と重畳する部分について画像処理を行う画像処理部をさらに備えるようにすることができる。
本技術の一側面は、また、パターンを含む画像の投影画像であるパターン投影画像の撮像画像であるパターン撮像画像を用いて、投影画像と前記投影画像の撮像画像との対応関係を検出する画像処理方法である。
本技術の一側面においては、パターンを含む画像の投影画像であるパターン投影画像の撮像画像であるパターン撮像画像が用いられて、投影画像とその撮像画像との対応関係が検出される。
本技術によれば、画像に基づいて情報を処理することが出来る。また本技術によれば、より容易に投影部と撮像部との相対姿勢を求めることができる。
オーバラップ領域の例について説明する図である。 画素の対応関係の例を説明する図である。 グレイコードを用いる方法の例を説明する図である。 チェッカーパターンを用いる方法の例を説明する図である。 投影撮像システムの主な構成例を示す図である。 投影撮像装置の例について説明する図である。 オーバラップ領域の例について説明する図である。 制御装置の主な構成例を示すブロック図である。 CPUにおいて実現される主な機能の構成例を示す機能ブロック図である。 対応点検出処理部の主な機能の構成例を示す機能ブロック図である。 投影撮像装置の主な構成例を示すブロック図である。 投影部の主な構成例を示すブロック図である。 レーザ光の走査の様子の例を示す図である。 対応関係検出処理の流れの例を説明するフローチャートである。 パターン画像投影撮像処理の流れの例を説明するフローチャートである。 パターン画像投影撮像処理の様子の例を示す図である。 対応点検出処理の流れの例を説明するフローチャートである。 コーナー検出処理の流れの例を説明するフローチャートである。 コーナー検出処理の様子の例を示す図である。 エッジ検出処理の流れの例を説明するフローチャートである。 エッジ検出処理の様子の例を示す図である。 重心検出処理の流れの例を説明するフローチャートである。 重心検出処理の様子の例を示す図である。 画像間対応点検出処理の流れの例を説明するフローチャートである。 隣接関係検出処理の様子の例を示す図である。 ユニークパターンの構成例を示す図である。 画像間対応点検出処理の様子の例を示す図である。 投影撮像システムの他の構成例を示す図である。 投影撮像システムのさらに他の構成例を示す図である。 投影撮像システムのさらに他の構成例を示す図である。 投影撮像システムのさらに他の構成例を示す図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（投影撮像システム）
＜１．第１の実施の形態＞
＜オーバラップ領域と補正＞
従来、複数のプロジェクタを用いて１つの画像を投影する方法がある。このようにすることにより、例えば、解像度を低減させずに投影画像の画像サイズを大きくしたり、投影画像を曲面に、歪みをより少なくするように投影させたりすることができる。
その場合各プロジェクタから投影される投影画像がずれ無く並ぶようにすることは困難であるので、一般的には、各投影画像の一部若しくは全部が互いに重なるようにして投影が行われる。つまり、この場合、複数の投影画像が重なっている部分（オーバーラップ領域とも称する）が発生する。
例えば、図１に示されるように、投影撮像装置１０の投影部１１がスクリーン３０に向かって画像を投影すると、その画像は、スクリーン３０のP0LからP0Rまでの範囲に投影されるとする。同様に、投影撮像装置２０の投影部２１がスクリーン３０に向かって画像を投影すると、その画像は、スクリーン３０のP1LからP1Rまでの範囲に投影されるとする。この場合、スクリーン３０のP1LからP0Rまでの範囲がオーバーラップ領域となる。
このようなオーバーラップ領域では、例えば他の領域と輝度が異なったり、重なっている投影画像同士のずれが生じたりするおそれがあるので、レベル補正や歪み補正等を行うことが求められる。
例えば、投影部１１および投影部２１が各投影範囲全体に均一の輝度で画像を投影するとすると、オーバーラップ領域には投影部１１および投影部２１の両方から画像が投影されるので、他の範囲（P0LからP1Lまでの範囲とP0RからP1Rまでの範囲）に比べて明るくなってしまう。P0LからP1Lまでの範囲に１枚の画像を投影させる場合、オーバーラップ領域の部分だけ明るくなってしまい、投影画像が違和感を与える画像になってしまう（すなわち投影画像の画質が劣化する）おそれがある。したがって、このような場合、画質の低減を抑制するために、レベル補正が必要になる。
また、オーバーラップ領域では複数の投影画像が重なるので、投影画像に歪みが生じると、その複数の投影画像を揃えることが困難になり、投影画像が違和感を与える画像になってしまう（すなわち投影画像の画質が劣化する）おそれがある。したがって、このような場合、画質の低減を抑制するために、ひずみ補正が必要になる。
＜オーバラップ領域の検出＞
そのため、このようなオーバーラップ領域をカメラ等でセンシングして、どのようにオーバーラップしているかを検出し、その検出結果に応じて投影する画像を補正することが考えられた。これは、プロジェクタ、カメラ間の相対姿勢（回転成分、並進成分）を推定すること同意である。
例えば、図１の例のように、投影撮像装置１０が、画像を投影する投影機能（投影部１１）と、被写体を撮像して撮像画像を得る撮像機能（撮像部１２）を有するとする。同様に、投影撮像装置２０が、画像を投影する投影機能（投影部２１）と、被写体を撮像して撮像画像を得る撮像機能（撮像部２２）を有するとする。撮像部１２は、スクリーン３０のC0LからC0Rまでの範囲を撮像し、撮像部２２は、スクリーン３０のC1LからC1Rまでの範囲を撮像するとする。つまり、撮像部１２は、投影部２１が投影する投影画像のP1LからC0Rまでの範囲を撮像することができる。また、撮像部２２は、投影部１１が投影する投影画像のC1LからP0Rまでの範囲を撮像することができる。
この場合、各投影撮像装置において、投影部と撮像部の位置関係が既知であるとすると、撮像部１２と投影部２１との相対姿勢（両矢印４１）や撮像部２２と投影部１１との相対姿勢（両矢印４２）が把握できれば、オーバーラップ領域を検出することができる。
換言するに、投影部と撮像部との間で画素の対応関係が把握できればよい。例えば、図２に示されるように、投影部１１から照射された光（矢印５１）が、スクリーン３０のＸにおいて反射し、撮像部２２により受光される（矢印５２）とする。このように光を照射した投影部の画素と、その光を受光した撮像部の画素との対応関係（すなわち、撮像部の各画素が投影部のどの画素に対応するか）が把握できれば、オーバーラップ領域を検出することができる。
このような投影部（プロジェクタ）と撮像部（カメラ）との間の画素の対応関係を取得する方法として、グレイコードを用いる方法が考えられた。この方法の場合、例えば、図３のＡに示されるような所定のパターン画像をプロジェクタから時系列に切り替えながら投影して、各パターンをカメラで撮像する。そして、全てのパターンの撮像が完了したらカメラの各画素において、各撮像パターンの１(白)または０(黒)を検出して、図３のＢに示されるように、その1,0パターンをデコードすることでプロジェクタ画素の位置を取得する。これにより画素の対応関係を取得することができる。
しかしながら、このようなグレイコードを用いる方法はプロジェクタの各画素を識別するためにceil(log2(水平解像度))+ceil(log2(垂直解像度))枚という非常に多くのパターン画像を投影し、撮像する必要がある。そのため、煩雑な作業が必要になり、処理時間が増大するおそれがあった。また、プロジェクタ画角に対してカメラ画角が十分に広い場合、カメラ1画素にプロジェクタの画素が複数割り当てられてしまうので、高精度に対応点を求めることが困難であった。
そこで、非特許文献１では、図４に示されるように、チェッカーとチェッカーの４隅のうちどれかが欠けたパターン４枚を投影し、パターンの投影順序と欠けた隅の情報の整合を取ることでチェッカーの各コーナーがプロジェクタのどの画素に対応するかを検出する方法が考えられた。
この方法の場合、投影、撮像するパターン画像の数を、上述したグレイコードを用いる方法と比較して大幅に削減することができる。しかしながら、この方法の場合、投影、撮像するパターン画像として５パターン必要であり、その数が最も少ない訳ではなかった。また、この方法の場合、カメラから最低１つの欠けた隅が見えている必要があり、対応できない場合が考えられた。さらに、撮像画像から直接特徴点を検出する方式では、スクリーンの背景色や外光の状況に対して特徴点検出のロバスト性が十分でないおそれがあった。
このように、投影部と撮像部との間で画素の対応関係を把握するための方法として、上述した２つの方法以外の方法が求められていた。
＜対応点検出＞
そこで、パターンを含む画像の投影画像であるパターン投影画像の撮像画像であるパターン撮像画像を用いて、投影画像とその投影画像の撮像画像との対応関係を検出するようにする。
パターンによって画像の位置をより正確に特定することができるので、パターン画像の数を増大させずに対応点を検出することができる。つまり、より容易に投影部と撮像部との相対姿勢を求めることができる。
例えば、パターンを含む画像が、複数のパターンを含み、各パターンは複数のサブパターンにより構成され、そのサブパターンの数またはそのサブパターン同士の位置関係が他のパターンと異なるような画像であるようにしてもよい。
また、パターンは、サブパターンが、各パターンで共通の数および位置関係でパターン配置されるスタートコードと、サブパターンの数または位置関係が他のパターンと異なるユニークコードとを有するようにしてもよい。
また、そのスタートコードは、図形として配置される複数のサブパターンからなり、ユニークコードは、図形としての他のパターンと異なるように配置されるようにしてもよい。
さらに、そのスタートコードは、１行３列に配置される３つのパターンよりなり、ユニークコードは、２行３列内に、数または位置関係が他のパターンと異なるように配置される単数若しくは複数のサブパターンよりなるようにしてもよい。
サブパターンは、点状の図形として配置されるようにしてもよい。
検出部は、パターン撮像画像に含まれる各パターンについてサブパターンの数と位置関係とを用いて、投影画像とその投影画像の撮像画像との対応点を検出することにより、前記対応関係を検出するようにしてもよい。
また、検出部は、各パターンについて、パターン同士の隣接関係を用いて、サブパターンの数および位置関係を解析することにより、対応点を検出するようにしてもよい。
その際、検出部は、所定の模様の画像の投影画像の撮像画像における、その模様のエッジを示すエッジ画像を用いて、サブパターン同士の隣接関係を検出するようにしてもよい。
なお、所定の模様の画像の投影画像の撮像画像における、その模様のエッジを検出し、そのエッジ画像を生成するエッジ検出部をさらに備え、検出部は、そのエッジ検出部により生成されたエッジ画像を用いて、サブパターン同士の隣接関係を検出するようにしてもよい。
その際、検出部は、エッジが膨張されたエッジ画像を用いて、サブパターン同士の隣接関係を検出するようにしてもよい。
検出部は、パターン撮像画像に含まれる各パターンに対するサブパターンの重心を用いて、サブパターン同士の隣接関係を検出するようにしてもよい。
また、その検出部は、パターン撮像画像を２値化した画像を用いてサブパターンの重心を検出するようにしてもよい。
検出部は、パターン撮像画像に含まれるパターンに基づいて生成されたホモグラフィ画像と、投影画像の撮像画像との対応点を用いて、投影画像とその撮像画像との対応点を検出するようにしてもよい。
なお、所定の模様の画像は、チェック模様の画像であるようにしてもよい。
検出部は、撮像画像において所定の模様の全てのコーナーについて、ホモグラフィ画像と撮像画像との対応点を検出し、検出したその所定の模様の全てのコーナーについて、投影画像と撮像画像との対応点を検出するようにしてもよい。
検出部は、撮像画像を２値化して所定の成分を膨張させた画像を用いて、コーナーを検出するようにしてもよい。
投影画像を撮像し撮像画像を得る撮像部をさらに備え、検出部は、撮像部によりパターン投影画像が撮像されて得られたパターン撮像画像を用いて、投影画像と、撮像部により前記投影画像が撮像されて得られた撮像画像との対応点を検出することにより、前記対応関係を検出するようにしてもよい。
画像を投影する投影部をさらに備え、検出部は、投影部により投影されたパターン投影画像の撮像画像であるパターン撮像画像を用いて、投影部により投影された投影画像と投影画像の撮像画像との対応点を検出することにより、前記対応関係を検出するようにしてもよい。
検出部により検出された投影画像と撮像画像との対応関係を用いて、投影する画像の、他の投影画像と重畳する部分について画像処理を行う画像処理部をさらに備えるようにしてもよい。
＜投影撮像システム＞
このような本技術を適用した画像処理装置の一実施の形態である制御装置を適用した投影撮像システムの主な構成例を、図５に示す。図５に示される投影撮像システム１００は、画像を投影するシステムである。この投影撮像システム１００は、例えば、上述したように複数の投影装置（投影撮像装置）を用いて１つの画像を投影することができる。図５に示されるように、投影撮像システム１００は、制御装置１０１、投影撮像装置１０２−１および投影撮像装置１０２−２、並びにネットワーク１０３を有する。
制御装置１０１は、ネットワーク１０３を介して投影撮像装置１０２−１および投影撮像装置１０２−２と接続され、それらと通信を行い、それらの動作を制御する。例えば、制御装置１０１は、投影撮像装置１０２−１および投影撮像装置１０２−２に対して、画像を投影させたり、投影画像を撮像させたりする。例えば、制御装置１０１は、投影撮像装置１０２−１および投影撮像装置１０２−２を制御し、１つの画像を投影させることもできる。
また、例えば、制御装置１０１は、投影撮像装置１０２−１および投影撮像装置１０２−２の間での、投影部と撮像部との相対姿勢（回転成分や並進成分等）の推定に関する処理を行う。また、制御装置１０１は、例えば、その推定結果を用いて、投影撮像装置１０２−１の投影画像と投影撮像装置１０２−２の投影画像のオーバーラップ領域についてレベル補正や歪み補正等の画像処理を行うこともできる。
投影撮像装置１０２−１は、投影機能を有し、スクリーン１０４に画像を投影することができる。また、投影撮像装置１０２−１は、撮像機能も有し、スクリーン１０４に投影された投影画像を撮像することができる。投影撮像装置１０２−２は、投影撮像装置１０２−１は、と同様の装置であり、同様の構成を有し、同様の機能を有する。投影撮像装置１０２−１および投影撮像装置１０２−２を互いに区別して説明する必要が無い場合、投影撮像装置１０２と称する。
投影撮像装置１０２−１および投影撮像装置１０２−２は、ネットワーク１０３を介して互いに接続されており、情報を授受することができる（通信を行うことができる）。また、投影撮像装置１０２−１および投影撮像装置１０２−２は、ネットワーク１０３を介して制御装置１０１に接続されており、それぞれが制御装置１０１と情報を授受することができる（通信を行うことができる）。例えば、投影撮像装置１０２−１および投影撮像装置１０２−２は、それぞれが制御装置１０１に制御されて画像をスクリーン１０４に投影することにより、１つの画像をスクリーン１０４に投影させることもできる。
また、制御装置１０１に制御されて、投影撮像装置１０２−１が画像をスクリーン１０４に投影し、投影撮像装置１０２−２がその投影画像を撮像し、撮像画像を得ることもできる。当然、制御装置１０１に制御されて、投影撮像装置１０２−２が画像をスクリーン１０４に投影し、投影撮像装置１０２−１がその投影画像を撮像し、撮像画像を得ることもできる。
ネットワーク１０３は、制御装置１０１および投影撮像装置１０２との間の通信媒体となる通信網である。ネットワーク１０３は、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク１０３は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク１０３は、その一部若しくは全部が、例えばUSB（Universal Serial Bus）ケーブルやHDMI（登録商標）（High-Definition Multimedia Interface）ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。
スクリーン１０４は、撮像投影装置１０２から画像を投影される物体である。このスクリーン１０４の画像を投影する面は、平面状であってもよいし、曲面状であってもよいし、凹凸を有してもよい。また、図５においては、撮像投影装置１０２がスクリーン１０４に画像を投影するように説明したが、スクリーン１０４は、撮像投影装置１０２が画像を投影する面としての一例である。撮像投影装置１０２は、例えば、壁面、建造物、床、天井、カレンダー、食器、人形、文房具等、画像を投影可能な任意の対象に対して、画像を投影することができる。
＜投影撮像装置の概要＞
図６のＡに投影撮像装置１０２の外観の例を示す。投影撮像装置１０２は、上述したように投影機能と撮像機能を有しており、その筐体には、画像を投影するための投射口（レンズ機構）や、被写体を撮像するためのカメラ（レンズ機構）等の光学デバイスが設けられている。また、投影撮像装置１０２は、どのような大きさの装置であってもよいが、例えば、携帯型（小型）の装置としてもよい。その場合、図６のＡに示されるように、投影撮像装置１０２の筐体にバッテリを設けて可搬性を向上させるようにしてもよい。
上述したように、投影撮像装置１０２は、複数の投影撮像装置１０２により１つの画像を投影することができる。図６のＢに、４台の投影撮像装置１０２（投影撮像装置１０２−１乃至投影撮像装置１０２−４）を用いて１つの画像をスクリーン１０４に投影している様子の例を示す。図６のＢに示されるように、投影撮像装置１０２−１乃至投影撮像装置１０２−４のそれぞれから投影される各投影画像によって１つの画像領域１１１を形成し、その画像領域１１１に１つの画像を表示する。もちろん、各投影画像、並びに、この１つの画像は、静止画像であってもよいし、動画像であってもよい。
このように複数の投影撮像装置１０２から投影される各投影画像によって１つの画像領域を形成する場合、各投影画像を隙間も違和感も無く並べることは困難である。そこで、図７に示される例のように、各投影画像の少なくとも一部が互いに重なるように各投影撮像装置１０２を配置する。図７の例の場合、投影撮像装置１０２−１の投影画像１１２−１と投影撮像装置１０２−２の投影画像１１２−２とが互いにその一部が重なっている（図７中の斜線模様部分）。この斜線模様で示される領域がオーバーラップ領域１１３である。
上述したように、このオーバーラップ領域１１３では、例えば他の領域と輝度が異なったり、重なっている投影画像同士のずれが生じたりするおそれがあり、レベル補正や歪み補正等の画質の劣化を抑制するための画像処理が必要になる場合がある。そのような画像処理を行うためには、このオーバーラップ領域１１３を検出する必要がある。そこで、制御装置１０１は、このオーバーラップ領域１１３の検出に関する処理を行う。
＜制御装置＞
図８は、本技術を適用した画像処理装置の一実施の形態である制御装置１０１の主な構成例を示す図である。
図８に示されるように、制御装置１０１において、CPU（Central Processing Unit）１５１、ROM（Read Only Memory）１５２、RAM（Random Access Memory）１５３は、バス１５４を介して相互に接続されている。
バス１５４にはまた、入出力インタフェース１６０も接続されている。入出力インタフェース１６０には、入力部１６１、出力部１６２、記憶部１６３、通信部１６４、およびドライブ１６５が接続されている。
入力部１６１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部１６１には、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサが入力部１６１に含まれるようにしてもよい。
出力部１６２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部１６２には、ディスプレイ、スピーカ、出力端子等が含まれる。
記憶部１６３は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部１６４は、例えば、ネットワークインタフェースよりなる。例えば、通信部１６４は、ネットワーク１０３に接続され、ネットワーク１０３を介して接続される他の装置と通信を行う。ドライブ１６５は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１７１を駆動する。
CPU１５１は、例えば、記憶部１６３に記憶されているプログラムを、入出力インタフェース１６０およびバス１５４を介して、RAM１５３にロードして実行することにより、各種処理を行う。RAM１５３にはまた、CPU１５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU１５１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１７１に記録して制御装置１０１に提供することができる。その場合、プログラムは、リムーバブルメディア１７１をドライブ１６５に装着することにより、入出力インタフェース１６０を介して、記憶部１６３にインストールすることができる。
また、このプログラムは、LAN、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して制御装置１０１に提供することもできる。その場合、プログラムは、有線または無線の伝送媒体を介して、通信部１６４で受信し、記憶部１６３にインストールすることができる。
その他、このプログラムは、ROM１５２や記憶部１６３に、あらかじめインストールしておくこともできる。
＜機能ブロック＞
制御装置１０１のCPU１５１は、プログラムを実行することにより、各種機能を実現する。図９は、CPU１５１が実現する主な機能の例を示す機能ブロック図である。
図９に示されるように、CPU１５１は、対応関係検出部２０１、投影制御部２０２、撮像制御部２０３等の機能ブロックを有する。対応関係検出部２０１は、投影撮像装置１０２間における投影部と撮像部との対応関係の検出に関する処理を行う。投影制御部２０２は、投影撮像装置１０２の投影機能の制御に関する処理を行う。撮像制御部２０３は、投影撮像装置１０２の撮像機能の制御に関する処理を行う。
対応関係検出部２０１は、パターン画像投影撮像処理部２１１、対応点検出処理部２１２、および投影画像処理部２１３を有する。
パターン画像投影撮像処理部２１１は、対応関係を検出するための、パターン画像の投影およびその撮像に関する処理を行う。例えば、パターン画像投影撮像処理部２１１は、投影制御部２０２を介して投影撮像装置１０２を制御し、所定のパターン画像をスクリーン１０４に投影させることができる。また、例えば、パターン画像投影撮像処理部２１１は、撮像制御部２０３を介して投影撮像装置１０２を制御し、その所定のパターン画像の投影画像を撮像させ、撮像画像を対応点検出処理部２１２に供給させる。スクリーン１０４に投影させることができる。
対応点検出処理部２１２は、撮像制御部２０３を介して得られた撮像画像を用いて、投影画像とその撮像画像との対応点の検出に関する処理を行う。投影画像処理部２１３は、その検出された対応点に基づいて、投影画像に対するレベル補正や歪み補正等の画像処理を行う。投影画像処理部２１３は、投影制御部２０２を介して投影撮像装置１０２を制御し、その画像処理を行った画像を投影させることもできる。
＜対応点検出処理部＞
図１０は、対応点検出処理部２１２の主な構成例を示す機能ブロック図である。
図１０に示されるように、対応点検出処理部２１２は、コーナー検出処理部２２１、エッジ検出処理部２２２、重心検出処理部２２３、および画像間対応点検出処理部２２４を有する。
コーナー検出処理部２２１は、コーナー検出に関する処理を行う。コーナー検出処理部２２１は、撮像画像ノイズ低減部２３１、差分画像生成部２３２、差分画像２値化部２３３、２値化画像膨張部２３４、および２値化膨張画像コーナー検出部２３５を有する。
撮像画像ノイズ低減部２３１は、投影撮像装置１０２から供給される、所定の図柄の投影画像の撮像画像に対してノイズを低減させる画像処理を行う。差分画像生成部２３２は、ノイズが低減された撮像画像同士の差分画像を生成する。差分画像２値化部２３３は、生成された差分画像を２値化する。２値化画像膨張部２３４は、２値化された差分画像である２値化画像の所定の成分（例えば、「白」の部分）を膨張（面積を拡大）させる。２値化膨張画像コーナー検出部２３５は、所定の成分が膨張された２値化画像である２値化膨張画像に含まれる所定の図柄のコーナー部分の検出に関する処理を行う。
エッジ検出処理部２２２は、エッジ検出に関する処理を行う。エッジ検出処理部２２２は、２値化膨張画像エッジ検出部２４１、エッジ検出画像生成部２４２、およびエッジ検出画像膨張部２４３を有する。２値化膨張画像エッジ検出部２４１は、２値化膨張画像に含まれる所定の図柄のエッジ部分を検出する。エッジ検出画像生成部２４２は、２値化膨張画像エッジ検出部２４１によるエッジの検出結果に基づいて、そのエッジ部分を示すエッジ検出画像を生成する。エッジ検出画像膨張部２４３は、生成されたエッジ検出画像の各エッジを膨張（面積を拡大）させる。
重心検出処理部２２３は、ユニークパターンを構成する各サブパターンについて、その重心を検出する処理を行う。ユニークパターンの詳細については後述する。重心検出処理部２２３は、ユニークパターン撮像画像ノイズ検出部２５１、差分画像生成部２５２、差分画像２値化部２５３、および２値化画像重心検出部２５４を有する。ユニークパターン撮像画像ノイズ検出部２５１は、他と異なる図柄のサブパターンを複数含むユニークパターン画像の投影画像であるユニークパターン投影画像の撮像画像であるユニークパターン撮像画像に対してノイズを低減させる画像処理を行う。差分画像生成部２５２は、ユニークパターン撮像画像と、他のパターンの投影画像を撮像した撮像画像との差分画像を生成する。差分画像２値化部２５３は、生成された差分画像を２値化する。２値化画像重心検出部２５４は、２値化された差分画像である２値化画像に含まれるユニークパターンの各サブパターンの重心の検出に関する処理を行う。
画像間対応点検出処理部２２４は、画像間の対応点検出に関する処理を行う。画像間対応点検出処理部２２４は、ユニークパターン隣接関係検出部２６１、ユニークパターンデコード部２６２、ホモグラフィ画像生成部２６３、ホモグラフィ画像撮像画像間対応点検出部２６４、および投影画像撮像画像間対応点検出部２６５を有する。ユニークパターン隣接関係検出部２６１は、ユニークパターンを形成するサブパターン同士の隣接関係の検出に関する処理を行う。ユニークパターンデコード部２６２は、検出されたサブパターン同士の隣接関係に基づいて、そのユニークパターンを解析する処理を行う。ホモグラフィ画像生成部２６３は、ユニークパターンを用いて投影画像を射影変換した画像（ホモグラフィ画像）の生成に関する処理を行う。ホモグラフィ画像撮像画像間対応点検出部２６４は、ユニークパターン等に基づいて、そのホモグラフィ画像と撮像画像との間の対応関係を求める処理を行う。投影画像撮像画像間対応点検出部２６５は、ホモグラフィ画像と撮像画像との間の対応関係を用いて、投影画像と撮像画像との対応関係を求める処理を行う。
各処理の詳細については後述する。
＜投影撮像装置＞
図１１は、投影撮像装置１０２の主な構成例を示すブロック図である。
図１１に示されるように、投影撮像装置１０２は、制御部３０１、投影部３０２、撮像部３０３、入力部３１１、出力部３１２、記憶部３１３、通信部３１４、およびドライブ３１５を有する。
制御部３０１は、例えば、CPU、ROM、RAM等よりなり、装置内の各処理部を制御したり、例えば画像処理等、その制御に必要な各種処理を実行したりする。投影部３０２は、制御部３０１に制御されて、画像の投影に関する処理を行う。例えば、投影部３０２は、制御部３０１から供給される画像を投影撮像装置１０２の外部（例えばスクリーン１０４等）に投影する。つまり、投影部３０２は、投影機能を実現する。
投影部３０２は、レーザ光を光源とし、MEMSミラーを用いてそのレーザ光を走査することにより、画像を投影する。もちろん、投影部３０２の光源は任意であり、レーザ光に限らず、LEDやキセノン等であってもよい。投影部３０２の詳細については後述する。
撮像部３０３は、制御部３０１に制御されて、装置外部の被写体を撮像し、撮像画像を生成し、その撮像画像を制御部３０１に供給する。つまり、撮像部３０３は、撮像機能を実現する。例えば、撮像部３０３は、投影部３０２がスクリーン３０４に投影した投影画像を撮像する。
入力部３１１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部３１１には、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサが入力部３１１に含まれるようにしてもよい。
出力部３１２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部３１２には、ディスプレイ、スピーカ、出力端子等が含まれる。
記憶部３１３は、例えば、ハードディスク、RAMディスク、不揮発性メモリなどよりなる。通信部３１４は、例えば、ネットワークインタフェースよりなる。例えば、通信部３１４は、ネットワーク１０３に接続され、ネットワーク１０３を介して接続される他の装置と通信を行う。ドライブ３１５は、例えば磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３２１を駆動する。
制御部３０１は、例えば、記憶部３１３に記憶されているプログラムを、自身に内蔵されるRAMにロードして実行することにより、各種処理を行う。そのRAMにはまた、制御部３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
制御部３０１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３２１に記録して投影撮像装置１０２に提供することができる。その場合、プログラムは、リムーバブルメディア３２１をドライブ３１５に装着することにより、記憶部３１３にインストールすることができる。
また、このプログラムは、LAN、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して投影撮像装置１０２に提供することもできる。その場合、プログラムは、有線または無線の伝送媒体を介して、通信部３１４で受信し、記憶部３１３にインストールすることができる。
その他、このプログラムは、制御部３０１に内蔵されるROMや記憶部３１３に、あらかじめインストールしておくこともできる。
投影撮像装置１０２−１も投影撮像装置１０２−２もこのような構成を有する。
＜投影部＞
図１２は、投影部３０２の主な構成例を示すブロック図である。図１２に示されるように、投影部３０２は、ビデオプロセッサ３５１、レーザドライバ３５２、レーザ出力部３５３−１、レーザ出力部３５３−２、レーザ出力部３５３−３、ミラー３５４−１、ミラー３５４−２、ミラー３５４−３、MEMS（Micro Electro Mechanical Systems）ドライバ３５５、および、MEMSミラー３５６を有する。
ビデオプロセッサ３５１は、制御部３０１から供給される画像を保持したり、その画像に対して必要な画像処理を行ったりする。ビデオプロセッサ３５１は、その投影する画像をレーザドライバ３５２やMEMSドライバ３５５に供給する。
レーザドライバ３５２は、ビデオプロセッサ３５１から供給される画像を投影するように、レーザ出力部３５３−１乃至レーザ出力部３５３−３を制御する。レーザ出力部３５３−１乃至レーザ出力部３５３−３は、例えば、赤、青、緑等、互いに異なる色（波長域）のレーザ光を出力する。つまり、レーザドライバ３５２は、ビデオプロセッサ３５１から供給される画像を投影するように、各色のレーザ出力を制御する。なお、レーザ出力部３５３−１乃至レーザ出力部３５３−３を互いに区別して説明する必要が無い場合、レーザ出力部３５３と称する。
ミラー３５４−１は、レーザ出力部３５３−１から出力されるレーザ光を反射し、MEMSミラー３５６に誘導する。ミラー３５４−２は、レーザ出力部３５３−２から出力されるレーザ光を反射し、MEMSミラー３５６に誘導する。ミラー３５４−３は、レーザ出力部３５３−３から出力されるレーザ光を反射し、MEMSミラー３５６に誘導する。なお、ミラー３５４−１乃至ミラー３５４−３を互いに区別して説明する必要が無い場合、ミラー３５４と称する。
MEMSドライバ３５５は、ビデオプロセッサ３５１から供給される画像を投影するように、MEMSミラー３５６のミラーの駆動を制御する。MEMSミラー３５６は、MEMSドライバ３５５の制御に従ってMEMS上に取り付けられたミラー（鏡）を駆動することにより、例えば、図１３の例のように各色のレーザ光を走査する。このレーザ光は、投射口から装置外部に出力され、例えばスクリーン１０４に照射される。これにより、ビデオプロセッサ３５１から供給される画像がスクリーン１０４に投影される。
なお、図１２の例においては、レーザ出力部３５３を３つ設け、３色のレーザ光を出力するように説明したが、レーザ光の数（または色数）は任意である。例えば、レーザ出力部３５３を４つ以上であってもよいし、２つ以下であってもよい。つまり、投影撮像装置１０２（投影部３０２）から出力されるレーザ光は、２本以下であってもよいし、４本いじょうであってもよい。そして、投影撮像装置１０２（投影部３０２）から出力されるレーザ光の色数も任意であり、２色以下であってもよいし、４色以上であってもよい。また、ミラー３５４やMEMSミラー３５６の構成も任意であり、図１２の例に限定されない。もちろん、レーザ光の走査パターンは任意であり、図１３の例に限定されない。
＜対応関係検出処理の流れ＞
次に、上述したようなオーバーラップ領域１１３に対する処理を行うために、制御装置１０１において実行される各種処理の流れについて説明する。
オーバーラップ領域１１３に対する処理として、制御装置１０１の対応関係検出部２０１は、対応関係検出処理を実行する。この処理は、任意のタイミングにおいて実行することができる。例えば、対応関係検出部２０１が、投影撮像装置１０２−１および投影撮像装置１０２−２の両方を用いた１つの画像の投影を開始する前に、この対応関係検出処理を実行するようにしてもよい。また、画像を投影中の所定のタイミングにおいて、この対応関係検出処理が実行されるようにしてもよい。
図１４のフローチャートを参照して、対応関係検出処理の流れの例を説明する。
対応関係検出処理が開始されると、パターン画像投影撮像処理部２１１は、ステップＳ１０１において、パターン画像投影撮像処理を行う。パターン画像投影撮像処理が終了すると、対応点検出処理部２１２は、ステップＳ１０２において、対応点検出処理を行う。対応点検出処理が終了すると、投影画像処理部２１３は、ステップＳ１０３において、ステップＳ１０２において検出された対応関係に基づいて、これから投影する若しくは投影中の投影画像を補正する。つまり、投影画像処理部２１３は、投影画像のオーバラップ領域に対する画像処理を行う。ステップＳ１０３の処理が終了すると、対応関係検出処理が終了する。
＜パターン画像投影撮像処理の流れ＞
次に、図１５のフローチャートを参照して、図１４のステップＳ１０１において実行されるパターン画像投影撮像処理の流れの例を説明する。必要に応じて図１６を参照して説明する。
パターン画像投影撮像処理が開始されると、パターン画像投影撮像処理部２１１は、ステップＳ１２１において、未処理の（投影していない）パターン画像の中から、投影するパターン画像を選択する。
パターン画像は、予め用意された所定の模様の画像であり、このパターン画像を用いて、対応点の検出（オーバーラップ領域の検出）が行われる。図１６にそのパターン画像の例を示す。図１６のＡに示されるパターン１のパターン画像は、２色（例えば白黒）のチェック柄（チェッカー）の画像である。図１６のＢに示されるパターン２のパターン画像は、パターン１と同様の２色（例えば白黒）のチェック柄（チェッカー）の画像である。ただし、パターン２は、パターン１と正負（白黒）が反転されている。
図１６のＣに示されるパターン３のパターン画像は黒画像である。図１６のＤに示されるパターン４のパターン画像は、黒画像に（例えば白色の）ユニークパターンが複数重畳された画像である。このユニークパターンは、複数のサブパターンにより構成されており、各ユニークパターンは、そのサブパターンの数またはそのパターン同士の位置関係が他のユニークパターンと異なる。つまり、このユニークパターンは、独自の配置パターンで配置されたサブパターン群により構成され、そのサブパターンの数や位置関係等によって他のユニークパターンと識別することができる。ユニークパターンを構成するサブパターンの数、形状、大きさは任意である。全てのサブパターンが同一の大きさや形状であってもよいし、互いに異なる物が存在するようにしてもよい。図１６のＤの例の場合、各サブパターンは、点状の図形（白点）である。
図１５に戻り、パターン画像投影撮像処理部２１１は、例えば、このようなパターン１乃至パターン４のパターン画像の中の未処理の（投影していない）パターン画像の中から、投影するパターン画像（今回処理対象とする画像）を選択する。
ステップＳ１２２において、パターン画像投影撮像処理部２１１は、各投影撮像装置１０２の未処理の（選択されたパターン画像を投影していない）投影部３０２の中から、選択されたパターン画像を投影させる投影部３０２（処理対象とする投影部３０２）を選択する。
ステップＳ１２３において、パターン画像投影撮像処理部２１１は、ステップＳ１２２において選択された投影部３０２に、ステップＳ１２１において選択されたパターン画像をスクリーン１０４に投影させる。
ステップＳ１２４において、パターン画像投影撮像処理部２１１は、各投影撮像装置１０２の未処理の（投影されたパターン画像を撮像していない）撮像部３０３の中から、スクリーン１０４に投影されたパターン画像（パターン投影画像）を撮像させる撮像部３０３（処理対象とする撮像部３０３）を選択する。
ステップＳ１２５において、パターン画像投影撮像処理部２１１は、ステップＳ１２４において選択された撮像部３０３に、ステップＳ１２３においてスクリーン１０４に投影されたパターン画像（パターン投影画像）を撮像させる。
ステップＳ１２６において、パターン画像投影撮像処理部２１１は、全ての撮像部３０３に、スクリーン１０４に投影されているパターン投影画像を撮像させたか否かを判定する。未処理の撮像部３０３が存在すると判定された場合、処理はステップＳ１２４に戻り、それ以降の処理を繰り返す。
つまり、ステップＳ１２４乃至ステップＳ１２６の各処理を繰り返し実行することにより、投影されているパターン投影画像が全ての撮像部３０３によって撮像される。
ステップＳ１２６において、全ての撮像部３０３に、スクリーン１０４に投影されているパターン投影画像を撮像させたと判定された場合、処理はステップＳ１２７に進む。
ステップＳ１２７において、パターン画像投影撮像処理部２１１は、全ての投影部３０２に、処理対象として選択されているパターン画像を投影させたか否かを判定する。未処理の投影部３０２が存在すると判定された場合、処理はステップＳ１２２に戻り、それ以降の処理を繰り返す。
つまり、ステップＳ１２２乃至ステップＳ１２７の各処理を繰り返し実行することにより、処理対象のパターン画像が全ての投影部３０２によって投影され、各投影部３０２が投影したパターン投影画像がそれぞれ全ての撮像部３０３によって撮像される。
ステップＳ１２７において、全ての投影部３０２に、処理対象のパターン画像を投影させたと判定された場合、処理はステップＳ１２８に進む。
ステップＳ１２８において、パターン画像投影撮像処理部２１１は、全てのパターン画像を投影させたか否かを判定する。未処理のパターン画像が存在すると判定された場合、処理はステップＳ１２１に戻り、それ以降の処理を繰り返す。
つまり、ステップＳ１２１乃至ステップＳ１２８の各処理を繰り返し実行することにより、全てのパターン画像がそれぞれ全ての投影部３０２によって投影され、各投影部３０２が投影したパターン投影画像がそれぞれ全ての撮像部３０３によって撮像される。
ステップＳ１２８において、全てのパターン画像が投影されたと判定された場合、パターン画像投影撮像処理が終了し、処理は図１４に戻る。
つまり、処理順序の概要は、パターン画像の選択、投影部３０２の選択、撮像部３０３の選択というループになっている。まず、処理対象とするパターン画像を選択し、次にそのパターンを投影する投影部３０２を選択する、そして、その投影部３０２により投影されたパターン投影画像を、全ての撮像部３０３で撮像する。その撮影が終わったら、処理対象のパターン画像を投影する投影部３０２を変更して、また全ての撮像部３０３でそのパターン投影画像を撮像する。このような処理を繰り返し、全ての投影部３０２によりその処理対象のパターン画像を投影したら、今度は、処理対象のパターン画像を変更して、上述した処理を繰り返す。こうして全パターン画像が全投影部３０２により投影され、各投影画像が全ての撮像部３０３により撮像されたら（全てのパターン画像の全ての投影画像の撮像画像が全ての撮像部３０３において得られたら）、パターン画像投影撮像処理が終了される。
なお、以上のループ処理において、パターン画像を投影する投影部３０２と同じ装置の撮像部３０３による撮像は省略するようにしてもよい。
＜対応点検出処理の流れ＞
パターン画像投影撮像処理が終了すると、対応点検出処理が行われる。次に、図１４のステップＳ１０２において実行される対応点検出処理の流れの例を、図１７のフローチャートを参照して説明する。
対応点検出処理が開始されると、対応点検出処理部２１２は、ステップＳ１４１において、未処理の撮像画像群の中から処理対象とする撮像画像群を選択する。
ここで、上述したように得られたパターン画像の撮像画像を、そのパターン画像を投影した投影部３０２、並びに、その撮像画像が得られた撮像部３０３毎にグループ化する。つまり、１つの投影部３０２が投影し、１つの撮像部３０３が撮像した、全てのパターン画像の撮像画像を１組の撮像画像群とする。例えば、図５の例の場合、投影撮像装置１０２−１の投影部３０２が投影し、投影撮像装置１０２−２の撮像部３０３が投影したパターン１乃至パターン４の（図１６）撮像画像を１組の撮像画像群とし、投影撮像装置１０２−２の投影部３０２が投影し、投影撮像装置１０２−１の撮像部３０３が投影したパターン１乃至パターン４の（図１６）撮像画像を１組の撮像画像群とする。
ステップＳ１４１においては、このような構成の撮像画像群の選択を行う。
処理対象の撮像画像群が選択されると、コーナー検出処理部２２１は、ステップＳ１４２において、処理対象の撮像画像群のチェッカー撮像画像について、コーナー検出処理を行う。
ステップＳ１４３において、エッジ検出処理部２２２は、処理対象の撮像画像群の２値化膨張画像について、エッジ検出処理を行う。
ステップＳ１４４において、重心検出処理部２２３は、処理対象の撮像画像群のユニークパターン撮像画像について、重心検出処理を行う。
ステップＳ１４５において、画像間対応点検出処理部２２４は、処理対象の撮像画像群について、画像間対応点検出処理を行う。
ステップＳ１４６において、対応点検出処理部２１２は、全ての撮像画像群について処理を行ったか否かを判定する。未処理の撮像画像群が存在すると判定された場合、処理は、ステップＳ１４１に戻り、それ以降の処理が繰り返される。
このようにステップＳ１４１乃至ステップＳ１４６の各処理が各撮像画像群に対して実行される。そして、ステップＳ１４６において全ての撮像画像群が処理されたと判定された場合、対応点検出処理が終了し、処理は、図１４に戻る。
＜コーナー検出処理の流れ＞
次に、図１８のフローチャートを参照してコーナー検出処理の流れの例を説明する。ここで、図１６に示されるパターン１やパターン２のパターン画像をチェッカー画像とも称し、そのチェッカー画像の投影画像をチェッカー投影画像とも称し、そのチェッカー投影画像の撮像画像をチェッカー撮像画像とも称する。
コーナー検出処理が開始されると、撮像画像ノイズ低減部２３１は、ステップＳ１６１において、図１９に示される例のように、各チェッカー撮像画像（図１９のパターン１撮像画像とパターン２撮像画像）に対してノイズ低減処理を行う。
ステップＳ１６２において、差分画像生成部２３２は、図１９に示される例のように、ノイズを低減した各チェッカー撮像画像の差分画像を生成する。この差分画像をチェッカー差分画像とも称する。
ステップＳ１６３において、差分画像２値化部２３３は、図１９に示される例のように、チェッカー差分画像を２値化する。この２値化されたチェッカー差分画像をチェッカー２値化画像とも称する。
ステップＳ１６４において、２値化画像膨張部２３４は、図１９に示される例のように、チェッカー２値化画像に対して膨張処理を行い、その所定の成分（例えば白色の部分）を膨張させる。この膨張処理を行ったチェッカー２値化画像を、チェッカー２値化膨張画像とも称する。
ステップＳ１６５において、２値化膨張画像コーナー検出部２３５は、チェッカー２値化膨張画像に対して、コーナー検出を行い、チェッカー（チェック模様）の各コーナーを検出する。
ステップＳ１６５の処理が終了すると、処理は、図１７に戻る。
上述したようにパターン１とパターン２は、正負（例えば白黒）を反転させた画像であるので、チェッカー差分画像は、スクリーン１０４の色や外光の影響が低減される。したがって、このようなチェッカー差分画像を用いてコーナー検出を行うことにより、よりロバストにチェッカー（チェック模様）のコーナーを検出することができる（コーナー検出のロバスト性を向上させることができる）。
＜エッジ検出処理の流れ＞
次に、図２０のフローチャートを参照して、図１７のステップＳ１４３において実行されるエッジ検出処理の流れの例を説明する。
エッジ検出処理が開始されると、２値化膨張画像エッジ検出部２４１は、ステップＳ１８１において、図２１に示される例のように、コーナー検出処理により得られたチェッカー２値化膨張画像に対してエッジ検出を行い、チェッカー（チェック模様）の各エッジを検出する。
ステップＳ１８２において、エッジ検出画像生成部２４２は、図２１に示される例のように、ステップＳ１８１のエッジ検出結果を用いて、各エッジを示す画像であるチェッカーエッジ検出画像を生成する。
ステップＳ１８３において、エッジ検出画像膨張部２４３は、図２１に示される例のように、そのチェッカーエッジ検出画像に対して膨張処理を行い、エッジを膨張させる。この膨張処理を行ったチェッカーエッジ検出画像を、チェッカーエッジ検出膨張画像とも称する。
ステップＳ１８３の処理が終了すると、エッジ検出処理が終了し、処理は図１７に戻る。
以上のように、エッジ検出においても、チェッカー差分画像が用いられる。したがって、よりロバストにチェッカー（チェック模様）のエッジを検出することができる（エッジ検出のロバスト性を向上させることができる）。
＜重心検出処理の流れ＞
次に、図２２のフローチャートを参照して、図１７のステップＳ１４４において実行される重心検出処理の流れの例を説明する。ここで、図１６のＣに示されるパターン３のパターン画像を黒画像とも称し、その黒画像の投影画像を黒投影画像とも称し、その黒投影画像の撮像画像を黒撮像画像とも称する。また、図１６のＤに示されるパターン４のパターン画像をユニークパターン画像とも称し、そのユニークパターン画像の投影画像をユニークパターン投影画像とも称し、そのユニークパターン投影画像の撮像画像をユニークパターン撮像画像とも称する。
重心検出処理が開始されると、ユニークパターン撮像画像ノイズ検出部２５１は、ステップＳ２０１において、図２３に示される例のように、黒撮像画像（図２３のパターン３撮像画像）とユニークパターン撮像画像（図２３のパターン４撮像画像）とのそれぞれに対してノイズ低減処理を行う。
ステップＳ２０２において、差分画像生成部２５２は、図２３に示される例のように、ノイズを低減した黒撮像画像とユニークパターン撮像画像との差分画像を生成する。この差分画像をユニークパターン差分画像とも称する。
ステップＳ２０３において、差分画像２値化部２５３は、図２３に示される例のように、ユニークパターン差分画像を２値化する。この２値化されたユニークパターン差分画像をユニークパターン２値化画像とも称する。
ステップＳ２０４において、２値化画像重心検出部２５４は、図２３に示される例のように、ユニークパターン２値化画像に対して重心検出処理を行い、ユニークパターン２値化画像に含まれる各ユニークパターンの各サブパターンの重心座標を求める。
ステップＳ２０４の処理が終了すると、処理は、図１７に戻る。
上述したようにパターン４は、パターン３と同様の黒画像にユニークパターンが重畳された画像であるので、ユニークパターン差分画像は、スクリーン１０４の色や外光の影響が低減される。したがって、このようなユニークパターン差分画像を用いて重心検出を行うことにより、よりロバストに各サブパターンの重心を検出することができる（重心検出のロバスト性を向上させることができる）。
＜画像間対応点検出処理の流れ＞
次に、図２４のフローチャートを参照して、図１７のステップＳ１４５において実行される画像間対応点検出処理の流れの例を説明する。
画像間対応点検出処理が開始されると、ユニークパターン隣接関係検出部２６１は、ステップＳ２２１において、図２５に示される例のように、重心検出処理により検出したユニークパターン２値化画像の各サブパターンの重心の座標同士の隣接関係を、エッジ検出処理により生成したチェッカーエッジ検出膨張画像を用いて検出する。
あるサブパターンに着目したときに、図２５に示される例のように、座標間の距離が近いポイント同士を結ぶ直線に沿って、チェッカーエッジ検出膨張画像の画素値を参照するとエッジに沿った隣接関係にあれば、画素値が１になっているはずである。これに着目して、サブパターンを結ぶ直線に沿って、チェッカーエッジ検出膨張画像の画素値をインクリメントして、参照ポイントに対して画素値が１になっている画素の割合が閾値以上であれば、上下左右のいずれかの隣接関係にあるとする。ここでチェッカーエッジ検出膨張画像を利用する目的は、エッジに沿わない斜め方向のサブパターン同士は隣接関係にないとし、その後のユニークパターンのデコードで誤ったデコードを行わないようにするためである。
隣接関係が検出されると、ユニークパターンデコード部２６２は、ステップＳ２２２において、ステップＳ２２１において検出した隣接関係に基づいて、各ユニークパターンのデコードを行う。
図２６にユニークパターンの例を示す。図２６に示されるように、ユニークパターンは、水平方向に３つのサブパターンが並んでいるもの（１行３列に並ぶサブパターン）をスタートコード（StartCode）とし、その下にユニークコード（UniqueCode）が存在するということを表す目印として利用する。ユニークコード（UniqueCode）は、水平方向にサブパターンが３つ並んでいないかつ画面内に１つしかない組み合わせになっている（２行３列内に配置されるサブパターン）。各サブパターンの重心座標は、チェッカーのコーナー座標と同一なので、ユニークコード（UniqueCode）をデコードし、そのユニークコード（UniqueCode）内における各パターンの位置からそれに対応するチェッカコーナー座標を参照することができるようになっている。
もちろん、図２６に示されるユニークパターンは、一例であり、ユニークパターンのスタートコードやユニークコードが、どのようなパターンにより形成されるようにしてもよい。例えば、もっと密に対応関係を取得したければ、水平方向４つのサブパターンやサブパターンの行数を増やすなど、ユニークコード（UniqueCode）の組み合わせを増やす事で実現することができる。つまり、スタートコードは、図形として配置される複数のサブパターンからなり、ユニークコードは、図形としての他のパターンと異なるように配置されるものであれば何でもよい。
ステップＳ２２３において、ホモグラフィ画像生成部２６３は、ステップＳ２２２において得られたユニークパターンのデコード結果を用いて、図２７に示される例のように、チェッカー投影画像を射影変換し、ホモグラフィ画像を生成する。
ユニークパターンのデコード結果を利用すると、例えばパターン１のチェッカー投影画像におけるチェッカーの各コーナー座標と、デコードしたユニークパターンの各パターンにおける重心座標の対応関係を取得する事ができる。ホモグラフィ画像生成部２６３は、その対応関係を利用して、ホモグラフィ（Homography）行列を求め、チェッカー投影画像のホモグラフィ画像を生成する。つまり、ホモグラフィ画像生成部２６３は、チェッカー投影画像におけるパターン１のチェッカーのコーナー座標の全てに対して、ホモグラフィ（Homography）画像におけるパターンの重心座標を求める。つまり、投影画像とそのホモグラフィ画像との対応点が検出される。
ホモグラフィ画像はチェッカー撮像画像（チェッカー２値化膨張画像）とは同一ではない。
そこで、ステップＳ２２４において、ホモグラフィ画像撮像画像間対応点検出部２６４は、図２７に示される例のように、ホモグラフィ画像とチェッカー２値化膨張画像とで最近傍の座標同士を対応付け、ホモグラフィ画像とチェッカー２値化膨張画像との対応点を検出する。
そして、ステップＳ２２５において、投影画像撮像画像間対応点検出部２６５は、ステップＳ２２３およびステップＳ２２４の対応点検出結果を用いて、チェッカー画像の全てのコーナー座標について、チェッカー投影画像とチェッカー２値化膨張画像（チェッカー撮像画像）との対応関係を検出する。このようにして、投影画像と撮像画像との間で対応座標を求める事ができる。
ステップＳ２２５の処理が終了すると、画像間対応点検出処理が終了し、処理は図１７に戻る。
以上のように各処理を実行することにより、制御装置１０１は、非特許文献１に記載の方法よりも少ない４枚（背景消去（差分画像）を行わない場合は２枚）のパターン画像を用いて投影画像と撮像画像との対応点を検出することができる。すなわち、より容易に投影部と撮像部との相対姿勢を求めることができるようにする。
また、上述したようにユニークパターンを用いることで、いずれかのユニークパターンを検出できれば、投影画像と撮像画像との対応点を検出することができるので、投影撮像装置１０２の設置における自由度を、非特許文献１に記載の方法の場合よりも向上させることができる。
また、投影部３０２の投影歪みに対してロバストなパターンを用いるので、制御装置１０１は、より高精度に対応点を取得することができる。さらに、制御装置１０１は、投影パターンから得られる特徴量を利用して、ユニークパターンをロバストに取得することができる。
＜投影撮像システムの構成例＞
以上においては、投影撮像システム１００が２台の投影撮像装置１０２を有するように説明したが、投影撮像システム１００を構成する投影撮像装置１０２の台数は、例えば、図２８に示される例のように、３台以上（投影撮像装置１０２−１、投影撮像装置１０２−２、投影撮像装置１０２−３、・・・）であってもよい。
また、以上に説明した対応関係検出処理の一部若しくは全部は、制御装置１０１以外で実行されるようにしてもよい。例えば、投影撮像システム１００において、図２９に示される例のように、制御装置１０１を省略し、いずれかの投影撮像装置１０２において、上述した対応関係検出処理が実行されるようにしてもよい。また、複数の投影撮像装置１０２が連携し、上述した対応関係検出処理の各処理を各装置で分担して実行するようにしてもよい。
また、図３０に示される投影撮像装置４１２のように、他の情報処理装置４１１を介して、ネットワーク１０３（制御装置１０１や他の投影撮像装置１０３等）に接続されるようにしてもよい。投影撮像装置４１２は、上述した投影撮像装置１０２と同様の装置である、ただし、この投影撮像装置は、例えば、携帯型電話機、スマートフォン、タブレット型コンピュータ、ノート型コンピュータのような、通信機能を有する情報処理装置４１１を介してネットワーク１０３に接続される。また、投影撮像装置４１２は、この情報処理装置４１１に制御されて駆動する。このようにすることにより、通信に関する処理や東映や撮像の制御に関する処理を、元々処理能力が高い情報処理装置４１１に行わせることができるので、投影撮像装置４１２に必要な機能（情報処理能力等）の増大を抑制することができ、コストの増大を抑制することができる。
また、上述した投影撮像装置１０２の機能をモジュール等（すなわち部品単位）として実現するようにしてもよい。図３０の情報処理装置４１３は、例えば、携帯型電話機、スマートフォン、タブレット型コンピュータ、ノート型コンピュータのような、元々処理能力が高い情報処理装置であり、上述した投影撮像装置１０２の機能を有するモジュールが組み込まれている。すなわち、情報処理装置４１３は、情報処理装置４１１と投影撮像装置４１２の両方の機能を有する装置である。投影撮像装置１０２は、このような画像処理装置として実現することもできる。
また、図３０に示される例のように、投影撮像装置１０２として、互いに異なる機能を有するデバイスが混在するようにしてもよい。
また、図３１に示される例のように、投影撮像システム１００には、投影部３０２のみを有する投影装置４２１や、撮像部３０３のみを有する撮像装置４２２等が含まれるようにしてもよい。また、１つのデバイスに投影部３０２や撮像部３０３が複数設けられるようにしてもよい。さらに、投影撮像システム１００全体において、投影部３０２の数と撮影部３０３の数が一致していなくてもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図８や図１１に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１７１やリムーバブルメディア３２１により構成される。このリムーバブルメディア１７１やリムーバブルメディア３２１には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。
その場合、例えば制御装置１０１においては、プログラムは、そのリムーバブルメディア１７１をドライブ１６５に装着することにより、記憶部１６３にインストールすることができる。また、例えば投影撮像装置１０２においては、プログラムは、そのリムーバブルメディア３２１をドライブ３１５に装着することにより、記憶部３１３にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、例えば制御装置１０１においては、プログラムは、通信部１６４で受信し、記憶部１６３にインストールすることができる。また、例えば投影撮像装置１０２においては、プログラムは、通信部３１４で受信し、記憶部３１３にインストールすることができる。
その他、このプログラムは、記憶部やROM等に、あらかじめインストールしておくこともできる。例えば制御装置１０１の場合、プログラムは、記憶部１６３やROM１５３等に、あらかじめインストールしておくこともできる。また、例えば投影撮像装置１０２の場合、プログラムは、記憶部３１３や制御部３０１内のROM等に、あらかじめインストールしておくこともできる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１） パターンを含む画像の投影画像であるパターン投影画像の撮像画像であるパターン撮像画像を用いて、投影画像と前記投影画像の撮像画像との対応関係を検出する検出部
を備える画像処理装置。
（２） 前記画像は、複数のパターンを含み、
各パターンは、複数のサブパターンにより構成され、前記サブパターンの数または前記サブパターン同士の位置関係が他のパターンと異なる
（１）に記載の画像処理装置。
（３） 前記パターンは、
前記サブパターンが、各パターンで共通の数および位置関係で配置されるスタートコードと、
前記サブパターンの数または位置関係が他のパターンと異なるユニークコードと
を有する（２）に記載の画像処理装置。
（４） 前記スタートコードは、図形として配置される複数のサブパターンからなり、
前記ユニークコードは、図形としての他のパターンと異なるように配置される
（３）に記載の画像処理装置。
（５） 前記スタートコードは、１行３列に配置される３つの前記パターンよりなり、
前記ユニークコードは、２行３列内に、数または位置関係が前記他のパターンと異なるように配置される単数若しくは複数の前記サブパターンよりなる
（３）に記載の画像処理装置。
（６） 前記サブパターンは、点状の図形として配置される
（２）乃至（５）に記載の画像処理装置。
（７） 前記検出部は、前記パターン撮像画像に含まれる各パターンについて前記サブパターンの数と位置関係とを用いて、投影画像と前記投影画像の撮像画像との対応点を検出することにより、前記対応関係を検出する
（２）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記検出部は、各パターンについて、前記パターン同士の隣接関係を用いて、前記サブパターンの数および位置関係を解析することにより、前記対応点を検出する
（７）に記載の画像処理装置。
（９） 前記検出部は、所定の模様の画像の投影画像の撮像画像における前記模様のエッジを示すエッジ画像を用いて、前記サブパターン同士の隣接関係を検出する
（８）に記載の画像処理装置。
（１０） 前記所定の模様の画像の投影画像の撮像画像における前記模様のエッジを検出し、前記エッジ画像を生成するエッジ検出部をさらに備え、
前記検出部は、前記エッジ検出部により生成された前記エッジ画像を用いて、前記サブパターン同士の隣接関係を検出する
（９）に記載の画像処理装置。
（１１） 前記検出部は、エッジが膨張された前記エッジ画像を用いて、前記サブパターン同士の隣接関係を検出する
（１０）に記載の画像処理装置。
（１２） 前記検出部は、前記パターン撮像画像に含まれる各パターンに対する前記サブパターンの重心を用いて、前記サブパターン同士の隣接関係を検出する
（８）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記検出部は、前記パターン撮像画像を２値化した画像を用いて前記サブパターンの重心を検出する
（１２）に記載の画像処理装置。
（１４） 前記検出部は、
前記パターン撮像画像に含まれる前記パターンに基づいて生成されたホモグラフィ画像と、前記投影画像の撮像画像との対応点を用いて、前記投影画像と前記撮像画像との対応点を検出する
を備える（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 前記所定の模様の画像は、チェック模様の画像である
（１４）に記載の画像処理装置。
（１６） 前記検出部は、前記撮像画像において前記所定の模様の全てのコーナーについて、前記ホモグラフィ画像と前記撮像画像との対応点を検出し、
検出した前記所定の模様の全てのコーナーについて、前記投影画像と前記撮像画像との対応点を検出する
（１４）または（１５）に記載の画像処理装置。
（１７） 前記検出部は、前記撮像画像を２値化して所定の成分を膨張させた画像を用いて、前記コーナーを検出する
（１６）に記載の画像処理装置。
（１８） 投影画像を撮像し撮像画像を得る撮像部をさらに備え、
前記検出部は、前記撮像部により前記パターン投影画像が撮像されて得られた前記パターン撮像画像を用いて、投影画像と、前記撮像部により前記投影画像が撮像されて得られた前記撮像画像との対応点を検出することにより、前記対応関係を検出する
（１）乃至（１７）のいずれかに記載の画像処理装置。
（１９） 画像を投影する投影部をさらに備え、
前記検出部は、前記投影部により投影された前記パターン投影画像の撮像画像であるパターン撮像画像を用いて、前記投影部により投影された投影画像と前記投影画像の撮像画像との対応点を検出することにより、前記対応関係を検出する
（１）乃至（１８）のいずれかに記載の画像処理装置。
（２０） 前記検出部により検出された前記投影画像と前記撮像画像との対応関係を用いて、投影する画像の、他の投影画像と重畳する部分について画像処理を行う画像処理部をさらに備える
（１）乃至（１９）のいずれかに記載の画像処理装置。
（２１） パターンを含む画像の投影画像であるパターン投影画像の撮像画像であるパターン撮像画像を用いて、投影画像と前記投影画像の撮像画像との対応関係を検出する
画像処理方法。
１００ 投影撮像システム， １０１ 制御装置， １０２ 投影撮像装置， １０３ ネットワーク， １０４ スクリーン， １１１および１１２ 投影画像， １１３ オーバーラップ領域， １５１ CPU， ２０１ 対応関係検出部， ２０２ 投影制御部， ２０３ 撮像制御部， ２１１ パターン画像投影撮像処理部， ２１２ 対応点検出処理部， ２１３ 投影画像処理部、 ２２１ コーナー検出処理部， ２２２ エッジ検出処理部， ２２３ 重心検出処理部， ２２４ 画像間対応点検出処理部， ２３１ 撮像画像ノイズ低減部， ２３２ 差分画像生成部， ２３３ 差分画像２値化部， ２３４ ２値化画像膨張部， ２３５ ２値化膨張画像コーナー検出部， ２４１ ２値化膨張画像エッジ検出部， ２４２ エッジ検出画像生成部， ２４３ エッジ検出画像膨張部， ２５１ ユニークパターン撮像画像ノイズ検出部， ２５２ 差分画像生成部， ２５３ 差分画像２値化部， ２５４ ２値化画像重心検出部， ２６１ ユニークパターン隣接関係検出部， ２６２ ユニークパターンデコード部， ２６３ ホモグラフィ画像生成部， ２６４ ホモグラフィ画像撮像画像間対応点検出部， ２６５ 投影画像撮像画像間対応点検出部， ３０１ 制御部， ３０２ 投影部， ３０３ 撮像部， ３５１ ビデオプロセッサ， ３５２ レーザドライバ， ３５３ レーザ出力部， ３５４ ミラー， ３５５ MEMSドライバ， ３５６ MEMSミラー， ４１１ 情報処理装置， ４１２ 投影撮像装置， ４１３ 情報処理装置， ４２１ 投影装置， ４２２ 撮像装置， ４２３ 投影装置

Claims (21)

  1. パターンを含む画像の投影画像であるパターン投影画像の撮像画像であるパターン撮像画像を用いて、投影画像と前記投影画像の撮像画像との対応関係を検出する検出部
    を備える画像処理装置。
  2. 前記画像は、複数のパターンを含み、
    各パターンは、複数のサブパターンにより構成され、前記サブパターンの数または前記サブパターン同士の位置関係が他のパターンと異なる
    請求項１に記載の画像処理装置。
  3. 前記パターンは、
    前記サブパターンが、各パターンで共通の数および位置関係で配置されるスタートコードと、
    前記サブパターンの数または位置関係が他のパターンと異なるユニークコードと
    を有する請求項２に記載の画像処理装置。
  4. 前記スタートコードは、図形として配置される複数のサブパターンからなり、
    前記ユニークコードは、図形としての他のパターンと異なるように配置される
    請求項３に記載の画像処理装置。
  5. 前記スタートコードは、１行３列に配置される３つの前記パターンよりなり、
    前記ユニークコードは、２行３列内に、数または位置関係が前記他のパターンと異なるように配置される単数若しくは複数の前記サブパターンよりなる
    請求項３に記載の画像処理装置。
  6. 前記サブパターンは、点状の図形として配置される
    請求項２に記載の画像処理装置。
  7. 前記検出部は、前記パターン撮像画像に含まれる各パターンについて前記サブパターンの数と位置関係とを用いて、投影画像と前記投影画像の撮像画像との対応点を検出することにより、前記対応関係を検出する
    請求項２に記載の画像処理装置。
  8. 前記検出部は、各パターンについて、前記パターン同士の隣接関係を用いて、前記サブパターンの数および位置関係を解析することにより、前記対応点を検出する
    請求項７に記載の画像処理装置。
  9. 前記検出部は、所定の模様の画像の投影画像の撮像画像における前記模様のエッジを示すエッジ画像を用いて、前記サブパターン同士の隣接関係を検出する
    請求項８に記載の画像処理装置。
  10. 前記所定の模様の画像の投影画像の撮像画像における前記模様のエッジを検出し、前記エッジ画像を生成するエッジ検出部をさらに備え、
    前記検出部は、前記エッジ検出部により生成された前記エッジ画像を用いて、前記サブパターン同士の隣接関係を検出する
    請求項９に記載の画像処理装置。
  11. 前記検出部は、エッジが膨張された前記エッジ画像を用いて、前記サブパターン同士の隣接関係を検出する
    請求項１０に記載の画像処理装置。
  12. 前記検出部は、前記パターン撮像画像に含まれる各パターンに対する前記サブパターンの重心を用いて、前記サブパターン同士の隣接関係を検出する
    請求項８に記載の画像処理装置。
  13. 前記検出部は、前記パターン撮像画像を２値化した画像を用いて前記サブパターンの重心を検出する
    請求項１２に記載の画像処理装置。
  14. 前記検出部は、
    前記パターン撮像画像に含まれる前記パターンに基づいて生成されたホモグラフィ画像と、前記投影画像の撮像画像との対応点を用いて、前記投影画像と前記撮像画像との対応点を検出する
    請求項１に記載の画像処理装置。
  15. 前記所定の模様の画像は、チェック模様の画像である
    請求項１４に記載の画像処理装置。
  16. 前記検出部は、前記撮像画像において前記所定の模様の全てのコーナーについて、前記ホモグラフィ画像と前記撮像画像との対応点を検出し、検出した前記所定の模様の全てのコーナーについて、前記投影画像と前記撮像画像との対応点を検出する
    請求項１４に記載の画像処理装置。
  17. 前記検出部は、前記撮像画像を２値化して所定の成分を膨張させた画像を用いて、前記コーナーを検出する
    請求項１６に記載の画像処理装置。
  18. 投影画像を撮像し撮像画像を得る撮像部をさらに備え、
    前記検出部は、前記撮像部により前記パターン投影画像が撮像されて得られた前記パターン撮像画像を用いて、投影画像と、前記撮像部により前記投影画像が撮像されて得られた前記撮像画像との対応点を検出することにより、前記対応関係を検出する
    請求項１に記載の画像処理装置。
  19. 画像を投影する投影部をさらに備え、
    前記検出部は、前記投影部により投影された前記パターン投影画像の撮像画像であるパターン撮像画像を用いて、前記投影部により投影された投影画像と前記投影画像の撮像画像との対応点を検出することにより、前記対応関係を検出する
    請求項１に記載の画像処理装置。
  20. 前記検出部により検出された前記投影画像と前記撮像画像との対応関係を用いて、投影する画像の、他の投影画像と重畳する部分について画像処理を行う画像処理部をさらに備える
    請求項１に記載の画像処理装置。
  21. パターンを含む画像の投影画像であるパターン投影画像の撮像画像であるパターン撮像画像を用いて、投影画像と前記投影画像の撮像画像との対応関係を検出する
    画像処理方法。
JP2016531252A 2014-07-01 2015-06-17 画像処理装置および方法 Active JP6711271B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014135790 2014-07-01
JP2014135790 2014-07-01
PCT/JP2015/067422 WO2016002510A1 (ja) 2014-07-01 2015-06-17 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2016002510A1 true JPWO2016002510A1 (ja) 2017-04-27
JP6711271B2 JP6711271B2 (ja) 2020-06-17

Family

ID=55019057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016531252A Active JP6711271B2 (ja) 2014-07-01 2015-06-17 画像処理装置および方法

Country Status (4)

Country Link
US (1) US10349023B2 (ja)
JP (1) JP6711271B2 (ja)
CN (1) CN106464825B (ja)
WO (1) WO2016002510A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6594170B2 (ja) * 2015-11-12 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法、画像投影システムおよびプログラム
CN108369091B (zh) * 2015-12-18 2021-04-30 索尼公司 图像处理装置和方法、数据及纪录介质
US10771751B2 (en) * 2016-02-02 2020-09-08 Panasonic Intellectual Property Management Co., Ltd. Projection image adjustment system and projection image adjustment method
CN110313176A (zh) * 2017-02-27 2019-10-08 索尼公司 图像处理装置、方法及程序
JPWO2018167999A1 (ja) * 2017-03-17 2020-01-16 パナソニックＩｐマネジメント株式会社 プロジェクタ及びプロジェクタシステム
JP7243623B2 (ja) * 2017-05-26 2023-03-22 ソニーグループ株式会社 画像処理装置および方法
WO2018225531A1 (ja) * 2017-06-09 2018-12-13 ソニー株式会社 画像処理装置および方法
JP2019047311A (ja) * 2017-09-01 2019-03-22 セイコーエプソン株式会社 画像投写システム及びその制御方法
WO2019054204A1 (ja) * 2017-09-14 2019-03-21 ソニー株式会社 画像処理装置および方法
JP7129614B2 (ja) * 2017-09-27 2022-09-02 パナソニックＩｐマネジメント株式会社 荷物認識装置、荷物仕分けシステムおよび荷物認識方法
US10612912B1 (en) * 2017-10-31 2020-04-07 Facebook Technologies, Llc Tileable structured light projection system
US10521926B1 (en) 2018-03-21 2019-12-31 Facebook Technologies, Llc Tileable non-planar structured light patterns for wide field-of-view depth sensing
WO2020235400A1 (ja) * 2019-05-20 2020-11-26 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN110322527B (zh) * 2019-05-21 2021-04-20 华为技术有限公司 一种图案生成方法及终端
CN110798670A (zh) * 2019-11-11 2020-02-14 成都极米科技股份有限公司 超短焦画幕对齐方法、装置和超短焦投影设备及介质
JP7163947B2 (ja) * 2020-10-22 2022-11-01 セイコーエプソン株式会社 投写領域の設定支援方法、設定支援システム、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04181106A (ja) * 1990-11-15 1992-06-29 Komatsu Ltd 位置寸法計測装置のキャリブレーション装置
JP2003078925A (ja) * 2001-08-31 2003-03-14 Matsushita Electric Ind Co Ltd カメラ校正システムおよびカメラ校正方法
JP2005252804A (ja) * 2004-03-05 2005-09-15 Seiko Epson Corp マルチプロジェクションシステムのための画像補正方法
JP2009070061A (ja) * 2007-09-12 2009-04-02 Ricoh Co Ltd ２次元コード読み取り装置、２次元コード読み取り方法、２次元コード読み取りプログラム及び記録媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US7146036B2 (en) * 2003-02-03 2006-12-05 Hewlett-Packard Development Company, L.P. Multiframe correspondence estimation
US8807762B2 (en) * 2008-01-11 2014-08-19 Nikon Corporation Projector
JP5440250B2 (ja) * 2010-02-26 2014-03-12 セイコーエプソン株式会社 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
JP5461452B2 (ja) * 2010-03-31 2014-04-02 三洋電機株式会社 制御装置および投写型映像表示装置
CN102215395B (zh) * 2010-04-09 2013-10-09 华为技术有限公司 一种视频编解码方法和装置
US8941750B2 (en) * 2011-12-27 2015-01-27 Casio Computer Co., Ltd. Image processing device for generating reconstruction image, image generating method, and storage medium
JP2013168922A (ja) * 2012-01-18 2013-08-29 Sony Corp 投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラム
US9389067B2 (en) * 2012-09-05 2016-07-12 Canon Kabushiki Kaisha Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04181106A (ja) * 1990-11-15 1992-06-29 Komatsu Ltd 位置寸法計測装置のキャリブレーション装置
JP2003078925A (ja) * 2001-08-31 2003-03-14 Matsushita Electric Ind Co Ltd カメラ校正システムおよびカメラ校正方法
JP2005252804A (ja) * 2004-03-05 2005-09-15 Seiko Epson Corp マルチプロジェクションシステムのための画像補正方法
JP2009070061A (ja) * 2007-09-12 2009-04-02 Ricoh Co Ltd ２次元コード読み取り装置、２次元コード読み取り方法、２次元コード読み取りプログラム及び記録媒体

Also Published As

Publication number Publication date
CN106464825B (zh) 2020-11-10
JP6711271B2 (ja) 2020-06-17
CN106464825A (zh) 2017-02-22
WO2016002510A1 (ja) 2016-01-07
US20170142381A1 (en) 2017-05-18
US10349023B2 (en) 2019-07-09

Similar Documents

Publication Publication Date Title
WO2016002510A1 (ja) 画像処理装置および方法
JP7067554B2 (ja) 画像処理装置および方法
WO2017104447A1 (ja) 画像処理装置および方法、データ、並びに記録媒体
WO2017006780A1 (ja) 情報処理装置および方法、並びにプログラム
JP6794981B2 (ja) 情報処理装置および方法
JP6459194B2 (ja) プロジェクター、及び投写画像制御方法
JP7074052B2 (ja) 画像処理装置および方法
JP7010209B2 (ja) 画像処理装置および方法
KR20190072549A (ko) 모바일 디바이스들을 위한 강화된 심도 맵 이미지들
JP6915537B2 (ja) 情報処理装置および方法、並びに、投影撮像装置および情報処理方法
JP2015037250A (ja) 画像投影装置及びプレゼンテーションシステム
JP2021118413A (ja) プロジェクターの制御方法、プロジェクター、及び表示システム
JP2016092779A (ja) 画像投影システム、情報処理装置、情報処理方法、及びプログラム
JP2007017516A (ja) ２次元の位置情報を投影する機能を備えたプロジェクタ
JP2010288062A (ja) プロジェクター、プログラム、情報記憶媒体および画像投写方法
JP2010171774A (ja) 携帯型画像投影装置、画像投影方法及び画像投影プログラム
JP7371753B2 (ja) 投影制御装置、投影装置、補正用画像投影方法及びプログラム
JP2005286573A (ja) 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2020042099A (ja) 投影制御装置、投影制御方法、及び、プログラム
JP2019114889A (ja) 投影装置および投影装置の較正方法
JP2019185532A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2014098728A (ja) 電子看板装置及び投影方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200325

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200511

R151 Written notification of patent or utility model registration

Ref document number: 6711271

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151