JP6369461B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法、およびプログラムに関する。

近年、例えば、現実のオブジェクトを示す画像に対して、画像や文字などを示す仮想的なオブジェクト（以下、「仮想オブジェクト」と示す。）を合成し、仮想オブジェクトが合成された画像を、表示画面に表示させる、拡張現実（Augmented Reality。以下「ＡＲ」と示す。）とよばれる技術が注目されている。ＡＲ技術により仮想オブジェクトを画像に合成する装置は、例えば、撮像デバイスにより撮像された画像（以下、「撮像画像」と示す。）に含まれる、仮想オブジェクトの表示に関するマーカーを検出し、検出されたマーカーに対応する仮想オブジェクトを撮像画像に合成する。よって、ＡＲ技術が用いられる場合には、現実のオブジェクトを示す画像に仮想オブジェクトが重畳された画像が、表示画面に表示されることが実現される。

このような中、ＡＲにおける仮想オブジェクトの合成に関する技術が開発されている。ＡＲにおける仮想オブジェクトの合成に関する技術としては、例えば、下記の特許文献１に記載の技術が挙げられる。

特開２０１２−２２１２５０号公報

撮像画像からマーカーを検出する場合、当該撮像画像を撮像した撮像デバイスと撮像されるマーカーとが正対するほど、マーカーに対する撮像デバイスの撮像方向の傾きに対する、見た目の変化が鈍くなる。そのため、撮像デバイスとマーカーとが正対するほど、撮像画像から検出されるマーカーの相対的な姿勢は外乱の影響をより大きく受ける。よって、撮像画像に仮想オブジェクトが合成された画像が、表示画面に表示された結果、検出されたマーカーに対応する仮想オブジェクトがぶれて表示されるなど、仮想オブジェクトの表示に乱れが生じうる。

ここで、例えば特許文献１に記載の技術では、撮像画像から認識されるマーカーの認識の安定度に応じて、仮想オブジェクトの表示を変化させる。よって、例えば特許文献１に記載の技術を用いる場合には、仮想オブジェクトの表示の乱れをある程度防止できる可能性はある。しかしながら、例えば特許文献１に記載の技術では、上記撮像デバイスとマーカーとが正対することに起因する仮想オブジェクトの表示の乱れについては、特段の考慮がなされていない。そのため、例えば特許文献１に記載の技術を用いたとしても、撮像画像に仮想オブジェクトが合成された画像が表示画面に表示される場合に生じうる、上記撮像デバイスとマーカーとが正対することに起因する仮想オブジェクトの表示の乱れを、防止できるとは限らない。

本開示では、仮想オブジェクトの表示の乱れを防止することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提案する。

本開示によれば、仮想オブジェクトの表示に関するマーカーが含まれる撮像画像に基づき検出される、上記撮像画像を撮像した撮像デバイスと上記マーカーとが正対している度合いに基づいて、フィルタ強度を設定する設定部と、フィルタ強度が設定されたフィルタを用いて、上記マーカーに対応する仮想オブジェクトを、上記撮像画像に合成する画像処理部と、を備える、画像処理装置が提供される。

また、本開示によれば、仮想オブジェクトの表示に関するマーカーが含まれる撮像画像に基づき検出される、上記撮像画像を撮像した撮像デバイスと上記マーカーとが正対している度合いに基づいて、フィルタ強度を設定するステップと、フィルタ強度が設定されたフィルタを用いて、上記マーカーに対応する仮想オブジェクトを、上記撮像画像に合成するステップと、を有する、画像処理方法が提供される。

また、本開示によれば、仮想オブジェクトの表示に関するマーカーが含まれる撮像画像に基づき検出される、上記撮像画像を撮像した撮像デバイスと上記マーカーとが正対している度合いに基づいて、フィルタ強度を設定するステップ、フィルタ強度が設定されたフィルタを用いて、上記マーカーに対応する仮想オブジェクトを、上記撮像画像に合成するステップ、をコンピュータに実行させるためのプログラムが提供される。

本開示によれば、仮想オブジェクトの表示の乱れを防止することができる。

仮想オブジェクトの合成に係る基本的な処理の一例を示す説明図である。 撮像デバイスとマーカーとの相対的な位置関係に応じた仮想オブジェクトのぶれの一例を示す説明図である。 本実施形態に係るマーカーの形状に対応する基準の一例を示す説明図である。 本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係るフィルタ強度設定情報が示す、基準値とフィルタ係数（フィルタ強度を規定する値）との関係の一例を示す説明図である。 本実施形態に係るフィルタ強度設定情報が示す、基準値とフィルタ係数（フィルタ強度を規定する値）との関係の他の例を示す説明図である。 本実施形態に係る画像処理によるマーカーの位置の補正の一例を説明するための説明図である。 本実施形態に係る画像処理方法に係る処理の一例を示す説明図である。 本実施形態に係る画像処理方法に係る処理の他の例を示す説明図である。 本実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本実施形態に係る画像処理装置のハードウェア構成の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理方法
２．本実施形態に係る画像処理装置
３．本実施形態に係るプログラム

（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、まず、本実施形態に係る画像処理方法について説明する。以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行う場合を例に挙げて、本実施形態に係る画像処理方法について説明する。

［１］撮像画像に基づく仮想オブジェクトの合成に係る基本的な処理と、当該基本的な処理を行う場合に生じうる問題
本実施形態に係る画像処理方法の概要を説明する前に、撮像画像に基づく仮想オブジェクトの合成に係る基本的な処理と、当該基本的な処理を行う場合に生じうる問題の一例について、説明する。本実施形態に係る撮像画像としては、例えば動画像（複数のフレームそれぞれに対応する静止画像）が挙げられる。

図１は、仮想オブジェクトの合成に係る基本的な処理の一例を示す説明図である。以下では、図１に示す処理を、撮像画像を処理する装置（以下、「画像処理装置」と示す。）が行うものとして説明する。

撮像画像に基づいて仮想オブジェクトを合成する場合、画像処理装置は、撮像画像からマーカーにおける隅の位置を検出する（Ｓ１０）。画像処理装置は、例えば、記録媒体に記憶されている、マーカーを示すモデルデータを参照することによって、撮像画像からマーカーを検出する。そして、画像処理装置は、例えば、検出されたマーカーの隅の位置（例えば、４隅の位置など）を、撮像画像における座標（二次元座標）で特定する。撮像画像における座標は、例えば、撮像画像における任意の点（例えば、左下隅の点や、中心点など）を原点とする座標系で表される。

ステップＳ１０において、マーカーにおける隅の位置が検出されると、画像処理装置は、撮像デバイスとマーカーとの相対的な位置関係を検出する（Ｓ１２）。ここで、撮像デバイスとマーカーとの相対的な位置関係は、例えば、三次元座標で表される。

ステップＳ１２において、撮像デバイスとマーカーとの相対的な位置が検出されると、画像処理装置は、当該相対的な位置を示す三次元座標に基づいて、マーカーに対応する仮想オブジェクトを撮像画像に合成する（Ｓ１４）。ここで、画像処理装置は、ステップＳ１４において、例えば、前フレームの画像と、現フレームの画像との間を補間する補間処理を行ってもよい。

例えば図１に示す処理が行われることによって、マーカーに対応する仮想オブジェクトが撮像画像に合成される。

しかしながら、上述したように、撮像画像からマーカーを検出する場合、撮像デバイスと撮像されるマーカーとが正対するほど、マーカーに対する撮像デバイスの撮像方向の傾きに対する、見た目の変化が鈍くなる。そのため、撮像デバイスとマーカーとが正対するほど、撮像画像から検出されるマーカーの相対的な姿勢は外乱の影響をより大きく受ける。よって、撮像画像に仮想オブジェクトが合成された画像が、表示画面に表示された結果、検出されたマーカーに対応する仮想オブジェクトがぶれて表示されるなど、仮想オブジェクトの表示に乱れが生じうる。

図２は、撮像デバイスとマーカーとの相対的な位置関係に応じた仮想オブジェクトのぶれの一例を示す説明図である。図２に示すＡは、撮像デバイスとマーカーとが正対している状態における仮想オブジェクトのぶれの一例を示しており、また、図２に示すＢは、図２のＡよりも撮像デバイスとマーカーとが正対していない状態における仮想オブジェクトのぶれの一例を示している。図２に示す“Ｍ”は、マーカーの一例を示しており、図２に示す“Ｏ”は、仮想オブジェクトの一例を示している。

例えば図２に示すように、撮像デバイスとマーカーとが正対するほど、仮想オブジェクトのぶれが大きくなる。また、例えば図２に示すぶれは、撮像画像に含まれるマーカーのサイズよりも大きな仮想オブジェクトを、撮像画像に合成する場合に、より大きくユーザに認識されうる。

よって、例えば図１に示すような、仮想オブジェクトの合成に係る基本的な処理を行ったとしても、仮想オブジェクトの表示の乱れを防止することは、望むべくもない。

［２］本実施形態に係る画像処理方法に係る処理
そこで、本実施形態に係る画像処理装置は、仮想オブジェクトの表示に関するマーカーが含まれる撮像画像を撮像した撮像デバイスと、撮像されたマーカーとが正対している度合いに基づいて、マーカーに対応する仮想オブジェクトを、当該撮像画像に合成する。

ここで、本実施形態に係るマーカーとしては、例えば、マトリックス型二次元コードなどの二次元コードや、三次元コード、白黒の図形などの所定のパターンの図形などが挙げられる。また、本実施形態に係るマーカーは、扁平形状などの立体的なマーカーであってもよい。

より具体的には、本実施形態に係る画像処理装置は、例えば、下記に示す（１）設定処理、および（２）画像処理を行うことによって、撮像画像を撮像した撮像デバイスとマーカーとが正対している度合いに基づいて、マーカーに対応する仮想オブジェクトを、撮像画像に合成する。

（１）設定処理
本実施形態に係る画像処理装置は、例えば、マーカーが含まれる撮像画像に基づき検出される、撮像画像を撮像した撮像デバイスとマーカーとが正対している度合いに基づいて、フィルタ強度を設定する。

ここで、本実施形態に係る撮像画像を撮像した撮像デバイスとマーカーとが正対している度合い（以下、「本実施形態に係る度合い」と示す。）とは、撮像デバイスとマーカーとの相対的な位置関係を示す尺度である。本実施形態に係る度合いは、例えば、撮像画像から検出されるマーカーに対応する隅の座標と、マーカーの形状に対応する基準とに基づき算出される、基準値で表される。

以下、本実施形態に係る基準の設定に係る処理の一例と、本実施形態に係る基準値の算出に係る処理の一例と、基準値に基づき設定されるフィルタ強度の設定に係る処理の一例とについて説明する。

（１−１）本実施形態に係る基準の設定に係る処理
まず、本実施形態に係る基準の設定に係る処理の一例について説明する。本実施形態に係る基準（以下では、「ｃｒｉｔｅｒｉａ」と示す場合がある。）は、撮像画像に基づき特定されたマーカーの隅の座標が示すマーカーの形状に対応して、設定される。

図３は、本実施形態に係るマーカーの形状に対応する基準の一例を示す説明図である。図３では、本実施形態に係る基準として、正方形のマーカーに対応する基準の一例（図３に示すＡ）と、長方形のマーカーに対応する基準の一例（図３に示すＢ）とを示している。また、図３では、各形状のマーカーに対応する基準に、少なくとも１つが含まれる基準（図３に示す“ａｔ ｌｅａｓｔ ｏｎｅ”）と、任意に設定される基準（図３に示す“ｏｐｔｉｏｎａｌ”）とが含まれる例を示している。

本実施形態に係る画像処理装置は、撮像画像から検出されるマーカーに対応する隅の座標に基づいて、マーカーの形状を特定する。本実施形態に係る画像処理装置は、例えば、隅の座標の数と、隅の座標の位置関係とによって、マーカーの形状を特定する。そして、本実施形態に係る画像処理装置は、例えば、記憶部（後述する）などの記録媒体に記憶されている、図３に示すような基準が設定されたデータを参照することによって、マーカーの形状に対応する基準を設定する。

なお、本実施形態に係る基準が設定されたデータに設定されるマーカーの形状は、図３に示す正方形や長方形に限られない。例えば、本実施形態に係る基準が設定されたデータには、三角形の形状に対応する基準や、五角形の形状に対応する基準など、様々な形状のマーカーの基準が設定されていてもよい。

また、本実施形態に係るマーカーは、正方形のマーカーや長方形のマーカーなど、撮像画像から隅の座標が特定可能なマーカーに限られない。例えば、本実施形態に係るマーカーは、撮像画像から隅の座標を特定することができない形状を含む、任意の形状のマーカーであってもよい。

例えば、撮像画像からマーカーの隅の座標を特定することができない場合や、撮像画像からマーカーの隅の座標を直接的に特定しない場合には、本実施形態に係る画像処理装置は、例えば、撮像画像においてマーカーを含む矩形の領域を設定する。また、本実施形態に係る画像処理装置は、設定された領域における四隅の座標を、マーカーに対応する隅の座標として特定する。

図４は、本実施形態に係る画像処理方法に係る処理の一例を説明するための説明図であり、マーカーに対応する隅の座標の特定に係る処理の一例を示している。図４に示す“Ｍ”は、マーカーの一例として、撮像画像から隅の座標を特定することができない形状のマーカーを示している。また、図４に示す“Ｒ”は、マーカーを含む矩形の領域の一例を示している。また、図４に示す“Ｐ１”、“Ｐ２”、“Ｐ３”、および“Ｐ４”は、設定された領域Ｒにおける四隅の座標を示している。

例えば図４に示す領域Ｒのようなマーカーを含む矩形の領域が設定されることによって、撮像画像からマーカー隅の座標を直接的に特定することができない形状を含む、任意の形状のマーカーに対して四隅の座標を特定することが可能である。また、本実施形態に係る画像処理装置は、設定された領域における四隅の座標を、マーカーに対応する隅の座標とする。設定された領域における四隅の座標は、撮像画像における座標と同様に、例えば、撮像画像における任意の点（例えば、左下隅の点や、中心点など）を原点とする座標系で表される。

よって、本実施形態に係る画像処理装置は、例えば図３に示すような本実施形態に係る基準が設定されたデータにおける、正方形のマーカーの基準や長方形のマーカーの基準を参照することによって、撮像画像からマーカー隅の座標を直接的に特定することができない形状を含む、任意の形状のマーカーに対応する基準を設定することができる。

（１−２）本実施形態に係る基準値の算出に係る処理
次に、本実施形態に係る基準値の算出に係る処理の一例について説明する。

本実施形態に係る画像処理装置は、例えば、撮像画像に基づき特定された隅の座標と、マーカーの形状に対応する基準とに基づいて、本実施形態に係る基準値を算出する。ここで、本実施形態に係る画像処理装置が算出する基準値としては、例えば、撮像画像を撮像した撮像デバイスとマーカーとが正対している度合いが大きいほど、すなわち、撮像デバイスとマーカーとが正対しているほど、０に近づく値が挙げられる。

以下、マーカーの形状が矩形である場合を例に挙げて、基準値の算出に係る処理をより具体的に説明する。本実施形態に係る画像処理装置は、例えば、下記に示す基準値の算出に係る処理の第１の例〜第３の例に係る演算を行うことによって、基準値（以下、「ｓｃｏｒｅ」、または、「ｃｒｉｔｅｒｉａ ｓｃｏｒｅ」と示す場合がある。）を算出する。

ここで、図４を参照して説明したように、本実施形態に係る画像処理装置は、マーカーを含む矩形の領域を設定して四隅の座標を特定することが可能である。よって、本実施形態に係る画像処理装置は、撮像画像から隅の座標を特定することができない形状を含む、任意の形状のマーカーに対しても、例えば下記に示す基準値の算出に係る処理の第１の例〜第３の例に係る演算を行うことによって、基準値を算出することが可能である。

なお、本実施形態に係る基準値の算出に係る処理が、下記に示す基準値の算出に係る処理の第１の例〜第３の例に係る演算を行う例に限られないことは、言うまでもない。

（１−２−１）基準値の算出に係る処理の第１の例：基準が「ｅｑｕａｌ ｓｉｄｅ ｌｅｎｇｔｈｓ ｃｏｎｄｉｔｉｏｎ」である場合
本実施形態に係る画像処理装置は、例えば、下記の数式１に示す演算を行うことによって、基準値を算出する。ここで、数式１に示す“ｌｅｎｇｔｈＸ（Ｘ＝１，２，３，４）”は、例えば、マーカーの隅の座標に基づいて数式２で表される。また、数式１に示す“ａｖｌ”は、例えば数式３で表される。

ｓｃｏｒｅ＝ｍａｘ（｜ｌｅｎｇｔｈ１−ａｖｌ｜，｜ｌｅｎｇｔｈ２−ａｖｌ｜，｜ｌｅｎｇｔｈ３−ａｖｌ｜，｜ｌｅｎｇｔｈ４−ａｖｌ｜）／ａｖｌ
・・・（数式１）

ｌｅｎｇｔｈＸ＝ｌｅｎｇｔｈ ｏｆ ｒｅｃｔａｎｇｌｅ ｓｉｄｅ
・・・（数式２）

ａｖｌ＝（ｌｅｎｇｔｈ１＋ｌｅｎｇｔｈ２＋ｌｅｎｇｔｈ３＋ｌｅｎｇｔｈ４）／４
・・・（数式３）

（１−２−２）基準値の算出に係る処理の第２の例：基準が「ｃｏｒｎｅｒ ａｎｇｌｅ ｃｏｎｄｉｔｉｏｎ」である場合
本実施形態に係る画像処理装置は、例えば、下記の数式４に示す演算を行うことによって、基準値を算出する。ここで、数式４に示す“ａｎｇｌｅＸ（Ｘ＝１，２，３，４）”は、例えば、マーカーの隅の座標に基づいて数式２で表される。

ｓｃｏｒｅ＝ｍａｘ（｜ａｎｇｌｅ１−９０｜，｜ａｎｇｌｅ２−９０｜，｜ａｎｇｌｅ３−９０｜，｜ａｎｇｌｅ４−９０｜）／９０
・・・（数式４）

ａｎｇｌｅＸ＝ａｎｇｌｅ ｏｆ ｒｅｃｔａｎｇｌｅ ｃｏｒｎｅｒ
・・・（数式５）

（１−２−３）基準値の算出に係る処理の第３の例：基準が「ｆｒｏｎｔ ｎｏｒｍａｌ ｖｅｃｔｏｒ ｃｏｎｄｉｔｉｏｎ」である場合
本実施形態に係る画像処理装置は、例えば、下記の数式６に示す演算を行うことによって、基準値を算出する。ここで、数式６に示す“ｉｎｎｅｒ（ｘ，ｙ）”は、例えば下記の数式７で表される。また、数式６に示す“ｎｏｒｍａｌ＿ｖｅｃｔｏｒ”の絶対値は、例えば下記の数式８で表され、数式６に示す“ｃａｍｅｒａ＿ｖｅｃｔｏｒ”の絶対値は、例えば下記の数式９で表される。

ｓｃｏｒｅ＝１．０−ｉｎｎｅｒ（ｎｏｒｍａｌ＿ｖｅｃｔｏｒ，ｃａｍｅｒａ＿ｖｅｃｔｏｒ）
・・・（数式６）

ｉｎｎｅｒ（ｘ，ｙ）＝ｘ１・ｙ１＋ｘ２・ｙ２＋ｘ３・ｙ３
・・・（数式７）

｜ｎｏｒｍａｌ＿ｖｅｃｔｏｒ｜＝１
・・・（数式８）

｜ｃａｍｅｒａ＿ｖｅｃｔｏｒ｜＝１
・・・（数式９）

（１−３）本実施形態に係るフィルタ強度の設定に係る処理
次に、本実施形態に係る基準値に基づき設定されるフィルタ強度の設定に係る処理の一例について説明する。
本実施形態に係る画像処理装置は、例えば、上記（１−２）に示す処理によって算出された基準値に対応するフィルタ強度を設定する。つまり、本実施形態に係る画像処理装置は、例えば、特定されたマーカーに対応する隅の座標が示すマーカーの形状に対応する基準に基づく、フィルタ強度を設定する。

より具体的には、本実施形態に係る画像処理装置は、例えば、算出された基準値に対応するフィルタ係数ｗ（フィルタ強度を規定する値。以下、同様とする。）を設定することによって、算出された基準値に対応するフィルタ強度を設定する。本実施形態に係る画像処理装置は、例えば、基準値とフィルタ係数ｗとが対応付られたフィルタ強度設定情報を用いて、算出された基準値に対応するフィルタ強度を設定する。

図５は、本実施形態に係るフィルタ強度設定情報が示す、基準値とフィルタ係数ｗ（フィルタ強度を規定する値）との関係の一例を示す説明図である。図５では、本実施形態に係る基準値を「ｃｒｉｔｅｒｉａ ｓｃｏｒｅ」と示している。

例えば図５に示すように、本実施形態に係る基準値は、０に近づくほど、撮像デバイスとマーカーとが正対している状態に近づき、値が大きくなるほど、撮像デバイスに対してマーカーが傾斜している状態となる。つまり、本実施形態に係る基準値は、例えば、撮像画像を撮像した撮像デバイスとマーカーとが正対している度合いが大きいほど、すなわち、撮像デバイスとマーカーとが正対しているほど、０に近づく。

また、例えば図５のＲに示すように、基準値とフィルタ係数ｗは、基準値が０に近づくにつれ、フィルタ係数ｗの変化が大きくなる曲線を描く関係を有する。

なお、基準値とフィルタ係数ｗとの関係は、図５に示す関係に限られない。例えば、フィルタ係数ｗの上限値は、図５に示すような１に限られず、また、基準値に対応するフィルタ係数ｗの値は、マーカーに対応する仮想オブジェクトなどに応じて調整可能であってもよい。

本実施形態に係る画像処理装置は、例えば、記憶部（後述する）などの記録媒体に記憶されている、図５に示すようなフィルタ強度設定情報を用いて、算出された基準値に対応するフィルタ係数ｗを特定する。そして、本実施形態に係る画像処理装置は、特定されたフィルタ係数ｗを、後述する画像処理において用いるフィルタのフィルタ強度として設定する。

ここで、本実施形態に係るフィルタ強度設定情報としては、設定処理において、任意のマーカーや任意の仮想オブジェクトなどに共通して用いられるフィルタ強度設定情報が挙げられるが、本実施形態に係るフィルタ強度設定情報は、上記に限られない。

例えば、本実施形態に係るフィルタ強度設定情報は、マーカーごと、または、仮想オブジェクトごとに設定されていてもよい。本実施形態に係るフィルタ強度設定情報が、マーカーごと、または、仮想オブジェクトごとに設定されている場合には、本実施形態に係る画像処理装置は、例えば、マーカーに対して設定されているフィルタ強度設定情報、または、マーカーに対応する仮想オブジェクトに対して設定されているフィルタ強度設定情報を、用いて、算出された基準値に対応するフィルタ強度を設定する。

また、フィルタ強度設定情報は、複数設定されていてもよい。本実施形態に係るフィルタ強度設定情報が複数設定されている場合には、本実施形態に係る画像処理装置は、例えば、複数設定されているフィルタ強度設定情報の中から、マーカーとマーカーに対応する仮想オブジェクトとの間の相対関係に対応するフィルタ強度設定情報を選択する。より具体的には、本実施形態に係る画像処理装置は、例えば、撮像画像に含まれるマーカーのサイズと、当該マーカーに対応する仮想オブジェクトのサイズとに基づいて、フィルタ強度設定情報を選択する。そして、本実施形態に係る画像処理装置は、選択されたフィルタ強度設定情報を用いて、算出された基準値に対応するフィルタ強度を設定する。

図６は、本実施形態に係るフィルタ強度設定情報が示す、基準値とフィルタ係数ｗ（フィルタ強度を規定する値）との関係の他の例を示す説明図である。図６では、本実施形態に係る基準値を「ｃｒｉｔｅｒｉａ ｓｃｏｒｅ」と示している。図６に示すＡは、後述する画像処理においてフィルタの効果をより大きくするためのフィルタ強度設定情報が示す、基準値とフィルタ係数ｗとの関係の一例を示している。また、図６に示すＣは、後述する画像処理においてフィルタの効果をなくすためのフィルタ強度設定情報が示す、基準値とフィルタ係数ｗとの関係の一例を示している。また、図６に示すＢは、図６のＡに示す基準値とフィルタ係数ｗとの関係が規定されたフィルタ強度設定情報よりも、後述する画像処理においてフィルタの効果がより小さくなるフィルタ強度設定情報が示す、基準値とフィルタ係数ｗとの関係の一例を示している。

例えば、本実施形態に係るフィルタ強度設定情報が、マーカーごと、または、仮想オブジェクトごとに設定される場合には、本実施形態に係る画像処理装置は、例えば、図６のＡ〜図６のＣに示すような複数のフィルタ強度設定情報の中から、マーカーに対して設定されているフィルタ強度設定情報、または、マーカーに対応する仮想オブジェクトに対して設定されているフィルタ強度設定情報を選択する。また、本実施形態に係る画像処理装置は、選択されたフィルタ強度設定情報（すなわち、マーカーに対応するフィルタ強度設定情報、または、仮想オブジェクトに対応するフィルタ強度設定情報）を用いて、算出された基準値に対応するフィルタ係数ｗを特定する。そして、本実施形態に係る画像処理装置は、特定されたフィルタ係数ｗを、後述する画像処理において用いるフィルタのフィルタ強度として設定する。

また、例えば、本実施形態に係るフィルタ強度設定情報が、複数設定される場合には、本実施形態に係る画像処理装置は、例えば、図６のＡ〜図６のＣに示すような複数のフィルタ強度設定情報の中から、マーカーとマーカーに対応する仮想オブジェクトとの間の相対関係に対応するフィルタ強度設定情報を選択する。

図６のＡ〜図６のＣに示す複数のフィルタ強度設定情報の中からフィルタ強度設定情報を選択する場合を例に挙げると、本実施形態に係る画像処理装置は、例えば、撮像画像に含まれるマーカーに対応する仮想オブジェクトのサイズが、当該マーカーのサイズよりも小さい場合に、図６のＣに示すフィルタ強度設定情報を選択する。また、上記仮想オブジェクトのサイズが上記マーカーのサイズよりも大きい場合には、本実施形態に係る画像処理装置は、例えば、上記仮想オブジェクトのサイズと上記マーカーのサイズとの比の値と、設定されている閾値との比較結果に応じて、図６のＡに示すフィルタ強度設定情報、または、図６のＢに示すフィルタ強度設定情報を選択する。本実施形態に係る画像処理装置は、例えば、上記仮想オブジェクトのサイズと上記マーカーのサイズとの比の値が、設定されている閾値より大きい場合（または、当該比の値が、当該閾値以上の場合）に、図６のＡに示すフィルタ強度設定情報を選択する。また、本実施形態に係る画像処理装置は、例えば、上記仮想オブジェクトのサイズと上記マーカーのサイズとの比の値が、設定されている閾値以下の場合（または、当該比の値が、当該閾値より小さい場合）に、図６のＢに示すフィルタ強度設定情報を選択する。

また、複数のフィルタ強度設定情報の中から、マーカーとマーカーに対応する仮想オブジェクトとの間の相対関係に対応するフィルタ強度設定情報が選択されると、本実施形態に係る画像処理装置は、選択されたフィルタ強度設定情報を用いて、算出された基準値に対応するフィルタ係数ｗを特定する。そして、本実施形態に係る画像処理装置は、特定されたフィルタ係数ｗを、後述する画像処理において用いるフィルタのフィルタ強度として設定する。

“本実施形態に係るフィルタ強度設定情報が、マーカーごとまたは仮想オブジェクトごとに設定されること”や、“本実施形態に係るフィルタ強度設定情報が、複数設定されること”によって、本実施形態に係る画像処理装置は、例えば、マーカーや、仮想オブジェクト、マーカーおよび仮想オブジェクトとの間の相対関係に応じたフィルタ強度設定情報を用いて、算出された基準値に対応するフィルタ係数ｗを特定することが可能できる。また、例えば、図６のＣに示すような、後述する画像処理においてフィルタの効果をなくすためのフィルタ強度設定情報が用いられることによって、本実施形態に係る画像処理装置は、後述する画像処理の処理負荷を小さくすることができ、また、仮想オブジェクトの表示に係る追従性をより向上させることができる。

本実施形態に係る画像処理装置は、例えば上記のように、算出された基準値に対応するフィルタ係数ｗを設定することによって、算出された基準値に対応するフィルタ強度を設定する。

なお、本実施形態に係る画像処理装置が設定するフィルタ強度は、フィルタ係数ｗ（フィルタ強度を規定する値）に限られない。

例えば、本実施形態に係る画像処理装置は、算出された基準値そのものを、フィルタ強度とすることも可能である。算出された基準値そのものをフィルタ強度とする場合における処理の一例については、後述する本実施形態に係る画像処理において示す。

（２）画像処理
本実施形態に係る画像処理装置は、例えば、上記（１）の処理（設定処理）においてフィルタ強度が設定されたフィルタを用いて、マーカーに対応する仮想オブジェクトを、撮像画像に合成する。

本実施形態に係る画像処理装置は、例えば、撮像画像から検出されたマーカーの位置を補正するフィルタを用いてマーカーの位置を補正する。そして、本実施形態に係る画像処理装置は、例えば画像を合成することが可能な任意の方法に係る処理によって、位置が補正されたマーカーに対応する位置に、仮想オブジェクトを合成する。

ここで、本実施形態に係る画像処理装置は、例えば、上記（１）の処理（設定処理）において設定されたフィルタ係数ｗ（設定されたフィルタ強度）を用いて下記の数式１０に示す演算を行うことによって、マーカーの位置を補正する。ここで、下記の数式１０に示す“ｘ_ｏｕｔ（ｔ）”は、例えば、本実施形態に係るフィルタにより補正されたマーカーの隅の座標を示している。

x_out(t)=(1-w)・x(t-1)+w・x(t) (0(strong)≦w≦1(weak), x(t)=corner location)
・・・（数式１０）

図７は、本実施形態に係る画像処理によるマーカーの位置の補正の一例を説明するための説明図である。図７に示す“Ｐ１”、“Ｐ２”、“Ｐ３”、および“Ｐ４”は、マーカーに対応する隅の座標の一例を示しており、図７に示す“Ｃ”は、マーカーの中心位置の座標の一例を示している。また、図７に示す“ＦＰ１”、“ＦＰ２”、“ＦＰ３”、および“ＦＰ４”は、フィルタの出力が示すマーカーの隅の座標の一例を示しており、図７に示す“ＦＣ”は、フィルタの出力が示すマーカーの中心位置の座標の一例を示している。図７に示すＡと、図７に示すＢとは、それぞれフィルタ出力の一例、すなわち、位置が補正されたマーカーの一例を示している。

マーカーの位置を補正するフィルタを用いる場合、本実施形態に係る画像処理装置は、例えば、二次元座標で表されるマーカーの位置を補正する。そして、本実施形態に係る画像処理装置は、撮像画像における、位置が補正されたマーカーに対応する位置に仮想オブジェクトを合成する。

図８は、本実施形態に係る画像処理方法に係る処理の一例を示す説明図であり、撮像画像から検出されたマーカーの二次元座標を補正する場合における処理の一例を示している。ここで、例えば、図８に示すステップＳ１０、Ｓ１００の処理が、上記（１）の処理（設定処理）に該当し、図８に示すステップＳ１０２、Ｓ１２、Ｓ１４の処理が、本実施形態に係る画像処理に該当する。また、図８に示すステップＳ１０、Ｓ１２、Ｓ１４の処理は、図１を参照して説明した仮想オブジェクトの合成に係る基本的な処理と同様の処理を示している。

二次元座標で表されるマーカーの位置を補正する場合には、本実施形態に係る画像処理装置は、例えば、ステップＳ１０において撮像画像から検出されたマーカーにおける隅の位置を、本実施形態に係るフィルタによって補正する。そして、本実施形態に係る画像処理装置は、例えば、二次元座標で表される補正されたマーカーの位置を、ステップＳ１２における３Ｄ演算に用いて、撮像デバイスとマーカーとの相対的な位置関係を示す三次元座標（三次元データ）を得る。そして、本実施形態に係る画像処理装置は、ステップＳ１４において、上記相対的な位置を示す三次元座標に基づいて、マーカーに対応する仮想オブジェクトを撮像画像に合成する。

なお、マーカーの位置を補正するフィルタを用いる場合における本実施形態に係る画像処理方法に係る処理は、二次元座標で表されるマーカーの位置を補正する処理に限られない。

例えば、マーカーの位置を補正するフィルタを用いる場合、本実施形態に係る画像処理装置は、撮像デバイスとマーカーとの相対関係を示す、三次元座標で表されるマーカーの位置を補正することも可能である。

図９は、本実施形態に係る画像処理方法に係る処理の他の例を示す説明図であり、撮像デバイスとマーカーとの相対関係を示す、三次元座標で表されるマーカーの位置を補正する場合における処理の一例を示している。ここで、例えば、図９に示すステップＳ１０、Ｓ２００の処理が、上記（１）の処理（設定処理）に該当し、図９に示すステップＳ２０２、Ｓ１２、Ｓ１４の処理が、本実施形態に係る画像処理に該当する。また、図９に示すステップＳ１０、Ｓ１２、Ｓ１４の処理は、図１を参照して説明した仮想オブジェクトの合成に係る基本的な処理と同様の処理を示している。

三次元座標で表されるマーカーの位置を補正する場合には、本実施形態に係る画像処理装置は、例えば、ステップＳ１２において検出された撮像デバイスとマーカーとの相対的な位置関係を示す三次元座標が示す位置を、本実施形態に係るフィルタによって補正する。そして、本実施形態に係る画像処理装置は、例えば、ステップＳ１４において、補正された三次元座標に基づいて、マーカーに対応する仮想オブジェクトを撮像画像に合成する。

本実施形態に係る画像処理装置は、例えば上記のように、撮像画像から検出されたマーカーの位置を補正するフィルタを用いてマーカーの位置を補正し、位置が補正されたマーカーに対応する位置に、仮想オブジェクトを合成する。

ここで、本実施形態に係るフィルタは、撮像画像を撮像した撮像デバイスとマーカーとが正対している度合いに基づくフィルタ強度が設定されたフィルタであるので、本実施形態に係る画像処理装置は、撮像デバイスとマーカーとが正対している度合いに応じて、仮想オブジェクトを撮像画像に合成することができる。

したがって、本実施形態に係る画像処理装置は、例えば仮想オブジェクトがぶれて表示されるなど、撮像画像に仮想オブジェクトが合成された画像が表示画面に表示される場合に生じうる仮想オブジェクトの表示の乱れを、防止することができる。

なお、本実施形態に係る画像処理は、上記撮像画像から検出されたマーカーの位置を補正するフィルタを用いる処理に限られない。

例えば、本実施形態に係る画像処理装置は、本実施形態に係る画像処理において、仮想オブジェクトの表示に係る視覚的なフィルタを用いてマーカーに対応する仮想オブジェクトを、撮像画像に合成することも可能である。

ここで、本実施形態に係る視覚的なフィルタとしては、例えば、“撮像デバイスとマーカーとが正対している度合いに基づいて、マーカーの位置に仮想的なオブジェクトを追従させるフィルタ”や、“撮像デバイスとマーカーとが正対している度合いに基づいて、仮想的なオブジェクトを選択するフィルタ”が挙げられる。

（２−１）視覚的なフィルタを用いた画像処理の第１の例
本実施形態に係る視覚的なフィルタが“撮像デバイスとマーカーとが正対している度合いに基づいて、マーカーの位置に仮想的なオブジェクトを追従させるフィルタ”である場合、本実施形態に係る画像処理装置は、例えば、上記（１）の処理において、算出された基準値をフィルタ強度とする。なお、上記に場合、本実施形態に係る画像処理装置は、例えば、フィルタ係数ｗをフィルタ強度とすることも可能である。

また、本実施形態に係る視覚的なフィルタが“撮像デバイスとマーカーとが正対している度合いに基づいて、マーカーの位置に仮想的なオブジェクトを追従させるフィルタ”である場合、本実施形態に係る画像処理装置は、画像処理において、例えば、算出された基準値（フィルタ強度）を、撮像画像に含まれるマーカーの認識の安定度と捉える。そして、本実施形態に係る画像処理装置は、画像処理において、例えば、本出願人が出願した特開２０１２−２２１２５０号公報に記載の技術と同様に、安定度に応じて、マーカーに関連する仮想オブジェクトの表示を変化させる。

よって、視覚的なフィルタを用いた第１の例に係る処理が行われることによって、撮像画像に仮想オブジェクトが合成された画像が表示画面に表示される場合には、仮想オブジェクトは、例えば、マーカーに追従するように表示画面に表示される。

ここで、視覚的なフィルタを用いた第１の例に係る処理が行われる場合、本実施形態に係る画像処理装置は、撮像デバイスとマーカーとが正対している度合いに基づく安定度によって、仮想オブジェクトを撮像画像に合成する。

したがって、視覚的なフィルタを用いた第１の例に係る処理を行う場合においても、本実施形態に係る画像処理装置は、撮像デバイスとマーカーとが正対している度合いに応じて、仮想オブジェクトを撮像画像に合成することができる。

また、本実施形態に係る画像処理装置は、視覚的なフィルタを用いた第１の例に係る処理を行う場合においても、例えば仮想オブジェクトがぶれて表示されるなど、撮像画像に仮想オブジェクトが合成された画像が表示画面に表示される場合に生じうる仮想オブジェクトの表示の乱れを、防止することができる。

（２−２）視覚的なフィルタを用いた画像処理の第２の例
本実施形態に係る視覚的なフィルタが“撮像デバイスとマーカーとが正対している度合いに基づいて、仮想的なオブジェクトを選択するフィルタ”である場合、本実施形態に係る画像処理装置は、例えば、上記（１）の処理において、算出された基準値をフィルタ強度とする。なお、上記に場合、本実施形態に係る画像処理装置は、例えば、フィルタ係数ｗをフィルタ強度とすることも可能である。

また、本実施形態に係る視覚的なフィルタが“撮像デバイスとマーカーとが正対している度合いに基づいて、仮想的なオブジェクトを選択するフィルタ”である場合、本実施形態に係る画像処理装置は、画像処理において、例えば、記憶部（後述する）などの記録媒体に記憶されている、マーカーに対応する複数の仮想オブジェクトの中から、算出された基準値（フィルタ強度）に応じた仮想オブジェクトを選択する。本実施形態に係る画像処理装置は、例えば、基準値と仮想オブジェクトとが対応付けらているテーブルなどを参照することによって、算出された基準値に応じた仮想オブジェクトを特定することによって、基準値に応じた仮想オブジェクトを選択する。

ここで、マーカーに対応する複数の仮想オブジェクトとしては、例えば、下記に示すような仮想オブジェクトが挙げられる。
・例えばマーカーの面を基準面とした奥行き方向の位置が相異なる仮想オブジェクトなど、マーカーに対する表示位置が相異なる複数の仮想オブジェクト
・例えば、マーカーに表示されるコンテンツを直接的に表現する情報を表示する仮想オブジェクトと、コンテンツに関連する他の情報を表示する仮想オブジェクトなど、表示する情報の種類が相異なる複数の仮想オブジェクト
・表示する情報の量が相異なる複数の仮想オブジェクト

基準値に応じた仮想オブジェクトが選択されると、本実施形態に係る画像処理装置は、選択された仮想オブジェクトを、撮像画像におけるマーカーに対応する位置に合成する。

ここで、視覚的なフィルタを用いた第２の例に係る処理が行われる場合、本実施形態に係る画像処理装置は、撮像デバイスとマーカーとが正対している度合いに基づき選択された仮想オブジェクトを、撮像画像に合成する。

したがって、視覚的なフィルタを用いた第２の例に係る処理を行う場合においても、本実施形態に係る画像処理装置は、撮像デバイスとマーカーとが正対している度合いに応じて、仮想オブジェクトを撮像画像に合成することができる。

本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（設定処理）および上記（２）の処理（画像処理）を行う。

ここで、本実施形態に係る画像処理装置は、上記（２）の処理（画像処理）において、上記（１）の処理（設定処理）において撮像画像を撮像した撮像デバイスとマーカーとが正対している度合いに基づいてフィルタ強度が設定されたフィルタを用いて、マーカーに対応する仮想オブジェクトを、撮像画像に合成する。つまり、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理を行うことによって、撮像デバイスとマーカーとが正対している度合いに応じて、仮想オブジェクトを撮像画像に合成することが可能である。

したがって、本実施形態に係る画像処理装置は、例えば仮想オブジェクトがぶれて表示されるなど、撮像画像に仮想オブジェクトが合成された画像が表示画面に表示される場合に生じうる仮想オブジェクトの表示の乱れを、防止することができる。

（本実施形態に係る画像処理装置）
次に、上述した本実施形態に係る画像処理方法に係る処理を行うことが可能な、本実施形態に係る画像処理装置の構成の一例について、説明する。

図１０は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、設定部１０２と、画像処理部１０４とを備える。

また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory。図示せず）、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、通信部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。

ここで、制御部（図示せず）は、ＭＰＵ（Micro Processing Unit）や各種処理回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、設定部１０２と画像処理部１０４とを備え、本実施形態に係る画像処理方法に係る処理を主導的に行う役目を果たしてもよい。なお、画像処理装置１００は、設定部１０２と画像処理部１０４との一方、または双方を、制御部（図示せず）とは個別に備える（例えば、設定部１０２と画像処理部１０４との一方、または双方を、制御部（図示せず）とは別体の処理回路で実現する）ことも可能である

ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。

記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、マーカーを示すモデルデータや、仮想オブジェクトを示すデータ、フィルタ強度設定情報、基準値と仮想オブジェクトとが対応付けらているテーブルを示すデータなど、本実施形態に係る画像処理方法に係る各種データを記憶する。また、記憶部（図示せず）は、例えば、撮像画像を示す撮像画像データや、アプリケーションなど様々なデータを記憶していてもよい。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。

通信部（図示せず）としては、例えば後述する通信インタフェースが挙げられる。操作部（図示せず）としては、例えば後述する操作デバイスが挙げられ、また、表示部（図示せず）としては、例えば後述する表示デバイスが挙げられる。

［画像処理装置１００のハードウェア構成例］
図１１は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示す説明図である。画像処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、画像処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。

ＭＰＵ１５０は、例えば、ＭＰＵや各種処理回路などで構成され、画像処理装置１００全体を制御する制御部（図示せず）として機能する。また、ＭＰＵ１５０は、画像処理装置１００において、例えば、設定部１０２と、画像処理部１０４との役目を果たす。

ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

記録媒体１５６は、記憶部（図示せず）として機能し、例えば、モデルデータや仮想オブジェクトを示すデータなどの本実施形態に係る画像処理方法に係る各種データや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、画像処理装置１００から着脱可能であってもよい。

入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）端子、各種処理回路などが挙げられる。また、操作入力デバイス１６０は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス１６２は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。

なお、入出力インタフェース１５８が、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や、表示デバイスなどの、外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス１６２は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。

通信インタフェース１６４は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、撮像画像を撮像する撮像装置や、画像を表示画面に表示可能な表示装置などの外部装置と無線／有線で通信を行う通信部（通信部）として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

画像処理装置１００は、例えば図１１に示す構成によって、本実施形態に係る画像処理方法に係る処理を行う。なお、本実施形態に係る画像処理装置１００のハードウェア構成は、図１１に示す構成に限られない。

例えば、画像処理装置１００は、本実施形態に係る撮像画像を撮像する撮像部（図示せず）の役目を果たす撮像デバイスを備えていてもよい。撮像デバイスを備える場合には、画像処理装置１００は、例えば、撮像デバイスにおける撮像により生成された撮像画像を処理することが可能となる。

ここで、本実施形態に係る撮像デバイスとしては、例えば、レンズ／撮像素子と信号処理回路とが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。

また、画像処理装置１００は、例えば、通信方式が異なる、または、通信方式が同一の、複数の通信インタフェースを備えていてもよい。

また、例えば、入出力インタフェース１５８などを介して接続される外部通信デバイスを介して、本実施形態に係る表示装置などの外部装置と通信を行う場合には、画像処理装置１００は、通信インタフェース１６４を備えていなくてもよい。

また、画像処理装置１００は、例えば、スタンドアロンで処理を行う構成である場合（例えば、画像処理装置１００が撮像デバイスを備え、撮像デバイスにより撮像された撮像画像を処理する場合など）には、通信デバイス１６４を備えていなくてもよい。

また、画像処理装置１００は、操作デバイス１６０や表示デバイス１６２を備えない構成をとることも可能である。

再度図１０を参照して、画像処理装置１００の構成の一例について説明する。設定部１０２は、上記（１）の処理（設定処理）を主導的に行う役目を果たし、撮像画像に基づき検出される、撮像画像を撮像した撮像デバイスとマーカーとが正対している度合いに基づいて、フィルタ強度を設定する。

より具体的には、設定部１０２は、例えば、撮像画像からマーカーに対応する隅の座標を特定し、特定された隅の座標が示すマーカーの形状に対応する基準に基づく、フィルタ強度を設定する。

ここで、設定部１０２が処理する撮像画像としては、例えば、撮像部（図示せず）を構成する撮像デバイスや、外部の撮像装置が備える撮像デバイスなどの、撮像デバイスにより撮像された撮像画像が挙げられる。また、設定部１０２が処理する撮像画像は、例えば、記憶部（図示せず）や、画像処理装置１００に接続されている外部記録媒体、画像処理装置１００と通信可能な外部装置が備える記録媒体などの、記録媒体に記憶されている画像データが示す画像であってもよい。

画像処理部１０４は、上記（２）の処理（画像処理）を主導的に行う役目を果たし、設定部１０２においてフィルタ強度が設定されたフィルタを用いて、マーカーに対応する仮想オブジェクトを、撮像画像に合成する。

より具体的には、画像処理部１０４は、本実施形態に係るマーカーの位置を補正するフィルタを用いる場合には、例えば、図８や図９に示すように、二次元座標で表されるマーカーの位置や、撮像デバイスとマーカーとの相対関係を示す三次元座標で表されるマーカーの位置を補正する。そして、画像処理部１０４は、位置が補正されたマーカーに対応する位置に、マーカーに対応する仮想オブジェクトを合成する。

また、画像処理部１０４は、撮像画像に仮想オブジェクトが合成された画像を、表示画面に表示させてもよく、また、記録媒体に記憶させてもよい。

ここで、画像処理部１０４が、撮像画像に仮想オブジェクトが合成された画像を表示させる対象としては、例えば、表示部（図示せず）の表示画面や、外部の撮像装置の表示画面が挙げられる。画像処理部１０４は、例えば、撮像画像に仮想オブジェクトが合成された画像を示す信号と、表示を制御する制御信号とを、表示部（図示せず）などに伝達することによって、撮像画像に仮想オブジェクトが合成された画像を表示画面に表示させる。また、画像処理部１０４が、撮像画像に仮想オブジェクトが合成された画像を記憶させる記録媒体としては、例えば、記憶部（図示せず）や、画像処理装置１００に接続されている外部記録媒体、画像処理装置１００と通信可能な外部装置が備える記録媒体などが挙げられる。

また、画像処理部１０４は、例えば、上記（２−１）や上記（２−２）に示すように、“撮像デバイスとマーカーとが正対している度合いに基づいて、マーカーの位置に仮想的なオブジェクトを追従させるフィルタ”や、“撮像デバイスとマーカーとが正対している度合いに基づいて、仮想的なオブジェクトを選択するフィルタ”など、本実施形態に係る視覚的なフィルタを用いて、仮想オブジェクトを、撮像画像に合成することも可能である。

画像処理装置１００は、例えば図１１に示す構成によって、本実施形態に係る画像処理方法に係る処理（例えば、上記（１）の処理（設定処理）および上記（２）の処理（画像処理））を行う。

したがって、画像処理装置１００は、例えば図１１に示す構成によって、例えば仮想オブジェクトがぶれて表示されるなど、撮像画像に仮想オブジェクトが合成された画像が表示画面に表示される場合に生じうる仮想オブジェクトの表示の乱れを、防止することができる。

なお、本実施形態に係る画像処理装置の構成は、図１１に示す構成に限られない。

例えば、本実施形態に係る画像処理装置は、撮像デバイスを有する撮像部（図示せず）をさらに備えていてもよい。撮像部（図示せず）を備える場合、本実施形態に係る画像処理装置は、撮像部（図示せず）において撮像された撮像画像を処理することが可能である。

また、本実施形態に係る画像処理装置は、例えば、記憶部（図示せず）や、通信部（図示せず）、表示部（図示せず）などをさらに備える構成をとること可能である。

以上、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、携帯電話やスマートフォンなどの通信装置や、タブレット型の装置、デジタルビデオカメラなどの撮像機能を有する装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機、ＰＣ（Personal Computer）やサーバなどのコンピュータ、テレビ受像機やモニタなどの表示装置など、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣ（Integrated Circuit）に適用することもできる。

また、本実施形態に係る画像処理方法に係る処理は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムにより実現されてもよい。

（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、上記（１）の処理（設定処理）および上記（２）の処理（画像処理）など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいて実行されることによって、仮想オブジェクトの表示の乱れを防止することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
仮想オブジェクトの表示に関するマーカーが含まれる撮像画像に基づき検出される、前記撮像画像を撮像した撮像デバイスと前記マーカーとが正対している度合いに基づいて、フィルタ強度を設定する設定部と、
フィルタ強度が設定されたフィルタを用いて、前記マーカーに対応する仮想オブジェクトを、前記撮像画像に合成する画像処理部と、
を備える、画像処理装置。
（２）
前記画像処理部は、
前記フィルタを用いて前記マーカーの位置を補正し、
位置が補正されたマーカーに対応する位置に、前記仮想オブジェクトを合成する、（１）に記載の画像処理装置。
（３）
前記設定部は、
前記マーカーに対応する隅の座標を特定し、
特定された隅の座標が示す前記マーカーの形状に対応する基準に基づく、フィルタ強度を設定する、（２）に記載の画像処理装置。
（４）
前記設定部は、
特定された隅の座標と前記基準とに基づいて、前記度合いを示す基準値を算出し、
算出された基準値に対応する前記フィルタ強度を設定する、（３）に記載の画像処理装置。
（５）
前記基準値は、前記度合いが大きいほど０に近づく、（４）に記載の画像処理装置。
（６）
前記設定部は、前記基準値と前記フィルタ強度を規定する値とが対応付られたフィルタ強度設定情報を用いて、算出された前記基準値に対応する前記フィルタ強度を設定する、（４）、または（５）に記載の画像処理装置。
（７）
前記フィルタ強度設定情報は、マーカーごと、または、仮想オブジェクトごとに設定され、
前記設定部は、前記マーカーに対して設定されているフィルタ強度設定情報、または、前記マーカーに対応する仮想オブジェクトに対して設定されているフィルタ強度設定情報を、用いる、（６）に記載の画像処理装置。
（８）
前記フィルタ強度設定情報は、複数設定され、
前記設定部は、
複数設定されているフィルタ強度設定情報の中から、前記マーカーと前記マーカーに対応する仮想オブジェクトとの間の相対関係に対応するフィルタ強度設定情報を選択し、
選択されたフィルタ強度設定情報を用いる、（６）に記載の画像処理装置。
（９）
前記設定部は、前記マーカーを含む矩形の領域を設定し、設定された領域における四隅の座標を、前記マーカーに対応する隅の座標として特定する、（３）〜（８）のいずれか１つに記載の画像処理装置。
（１０）
前記画像処理部は、二次元座標で表される前記マーカーの位置を補正する、（２）〜（９）に記載の画像処理装置。
（１１）
前記画像処理部は、前記撮像デバイスと前記マーカーとの相対関係を示す、三次元座標で表される前記マーカーの位置を補正する、（２）〜（９）のいずれか１つに記載の画像処理装置。
（１２）
仮想オブジェクトの表示に関するマーカーが含まれる撮像画像に基づき検出される、前記撮像画像を撮像した撮像デバイスと前記マーカーとが正対している度合いに基づいて、フィルタ強度を設定するステップと、
フィルタ強度が設定されたフィルタを用いて、前記マーカーに対応する仮想オブジェクトを、前記撮像画像に合成するステップと、
を有する、画像処理方法。
（１３）
仮想オブジェクトの表示に関するマーカーが含まれる撮像画像に基づき検出される、前記撮像画像を撮像した撮像デバイスと前記マーカーとが正対している度合いに基づいて、フィルタ強度を設定するステップ、
フィルタ強度が設定されたフィルタを用いて、前記マーカーに対応する仮想オブジェクトを、前記撮像画像に合成するステップ、
をコンピュータに実行させるためのプログラム。

１００ 画像処理装置
１０２ 設定部
１０４ 画像処理部

Claims (12)

1. 仮想オブジェクトの表示に関するマーカーが含まれる撮像画像に基づき検出される、前記撮像画像を撮像した撮像デバイスと前記マーカーとが正対している度合いに基づいて、フィルタ強度を設定する設定部と、
   フィルタ強度が設定されたフィルタを用いて、前記マーカーに対応する仮想オブジェクトを、前記撮像画像に合成する画像処理部と、
   を備え、
   前記画像処理部は、
   前記フィルタを用いて前記マーカーの位置を補正し、
   位置が補正されたマーカーに対応する位置に、前記仮想オブジェクトを合成する、画像処理装置。
2. 前記設定部は、
   前記マーカーに対応する隅の座標を特定し、
   特定された隅の座標が示す前記マーカーの形状に対応する基準に基づく、フィルタ強度を設定する、請求項１に記載の画像処理装置。
3. 前記設定部は、
   特定された隅の座標と前記基準とに基づいて、前記度合いを示す基準値を算出し、
   算出された基準値に対応する前記フィルタ強度を設定する、請求項２に記載の画像処理装置。
4. 前記基準値は、前記度合いが大きいほど０に近づく、請求項３に記載の画像処理装置。
5. 前記設定部は、前記基準値と前記フィルタ強度を規定する値とが対応付られたフィルタ強度設定情報を用いて、算出された前記基準値に対応する前記フィルタ強度を設定する、請求項３または４に記載の画像処理装置。
6. 前記フィルタ強度設定情報は、マーカーごと、または、仮想オブジェクトごとに設定され、
   前記設定部は、前記マーカーに対して設定されているフィルタ強度設定情報、または、前記マーカーに対応する仮想オブジェクトに対して設定されているフィルタ強度設定情報を、用いる、請求項５に記載の画像処理装置。
7. 前記フィルタ強度設定情報は、複数設定され、
   前記設定部は、
   複数設定されているフィルタ強度設定情報の中から、前記マーカーと前記マーカーに対応する仮想オブジェクトとの間の相対関係に対応するフィルタ強度設定情報を選択し、
   選択されたフィルタ強度設定情報を用いる、請求項５に記載の画像処理装置。
8. 前記設定部は、前記マーカーを含む矩形の領域を設定し、設定された領域における四隅の座標を、前記マーカーに対応する隅の座標として特定する、請求項２〜７のいずれか１項に記載の画像処理装置。
9. 前記画像処理部は、二次元座標で表される前記マーカーの位置を補正する、請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記画像処理部は、前記撮像デバイスと前記マーカーとの相対関係を示す、三次元座標で表される前記マーカーの位置を補正する、請求項１〜８のいずれか１項に記載の画像処理装置。
11. 仮想オブジェクトの表示に関するマーカーが含まれる撮像画像に基づき検出される、前記撮像画像を撮像した撮像デバイスと前記マーカーとが正対している度合いに基づいて、フィルタ強度を設定するステップと、
    フィルタ強度が設定されたフィルタを用いて、前記マーカーに対応する仮想オブジェクトを、前記撮像画像に合成するステップと、
    を有し、
    前記合成するステップでは、
    前記フィルタを用いて前記マーカーの位置が補正され、
    位置が補正されたマーカーに対応する位置に、前記仮想オブジェクトが合成される、画像処理方法。
12. 仮想オブジェクトの表示に関するマーカーが含まれる撮像画像に基づき検出される、前記撮像画像を撮像した撮像デバイスと前記マーカーとが正対している度合いに基づいて、フィルタ強度を設定するステップ、
    フィルタ強度が設定されたフィルタを用いて、前記マーカーに対応する仮想オブジェクトを、前記撮像画像に合成するステップ、
    をコンピュータに実行させ、
    前記合成するステップでは、
    前記フィルタを用いて前記マーカーの位置が補正され、
    位置が補正されたマーカーに対応する位置に、前記仮想オブジェクトが合成される、プログラム。
    

Images