JP4550767B2 - 画像検出方法および画像検出装置 - Google Patents

Description

本発明は、実空間に仮想物があるかのように見せるＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ技術に関するもので、特に、携帯電話機を用いたＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ技術を実現するための画像検出方法および画像検出装置に関する。

Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙは、実世界の情報を計算機内部に構築した仮想世界データ（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で補強する技術であり、ＣＧだけの世界を扱うＶｉｒｔｕａｌ Ｒｅａｌｉｔｙとは全く異なるアプリケーション分野を切り開くことが期待され、多くの研究がなされている。例えば、非特許文献１には、Ｂｉｌｌｉｎｇｈｕｒｓｔ＆Ｋａｔｏによる、次のような技術が開示されている。

実際の３次元空間に仮想物のＣＧを配置すべき位置を示す目印として、黒枠の内側に絵柄が描かれたマーカを用いる。マーカが記載された用紙を実際の３次元空間に置き、撮影画像にマーカが入るようにして、カメラで目の前の空間を撮影する。続いて、この撮影画像をシステムに入力し、システムに撮影画像内でマーカを探索させる。システムは、撮影画像内のマーカを検出すると、撮影画像のマーカの位置にＣＧを配置し、撮影画像にＣＧを合成した画像を生成する。ＣＧを撮影画像に配置する際、撮影画像に写っている黒枠の大きさや形でカメラと黒枠との３次元の相対位置を計算し、黒枠の内側に描かれた絵柄と予め登録した絵柄とを比較し、合成するＣＧを決めている。複数種の絵柄と各絵柄に対応するＣＧを予め決めておけば、この技術により、撮影画像に含まれるマーカの絵柄に対応して、異なるＣＧを合成することを可能にしている。

また、マーカを配置した３次元空間を携帯電話機等のカメラを用いて撮影し、その撮影画像をサーバに送ると、サーバがその撮影画像からマーカを検出し、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙを実現する手段が、特許文献１に提案されている。
Ｂｉｌｌｉｎｇｈｕｒｓｔ ＆ Ｋａｔｏ，"Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｍｉｘｅｄ Ｒｅａｌｉｔｙ．"，ＩＳＭＡＲ’９９ 特開２００４−３４１６４２号公報

上述した、撮影画像から黒枠を検出してマーカを見つける方法では、マーカの黒枠が撮影画像からはみ出している場合、マーカを検出することができないという問題がある。

Ｂｉｌｌｉｎｇｈｕｒｓｔ＆Ｋａｔｏのシステムのようにリアルタイムにマーカを検出する方法では、マーカが撮影画像からはみ出したことをユーザがすぐに理解し、マーカ全体が写るように調整を行うことができる。しかし、特許文献１に開示された技術のように、携帯電話機のカメラで撮影した画像をサーバに送り、サーバから合成画像を受け取る合成サービスでは、黒枠が撮影画像からはみ出して撮影されていることにユーザが気付かずに携帯電話機からサーバに撮影画像を送信する場合がある。この場合、サーバではマーカを検出できず、マーカの検出ができなかったことをユーザに伝えるしかなかった。ユーザは、サーバに送信した撮影画像を確認すれば、マーカの検出ができなかった理由を知ることができるが、撮影画像を確認しなければ、その理由がわからないままであった。また、その理由を知ったとしても、撮影画像にマーカが入るように再度撮影し直さなければならなかった。そのため、ユーザにストレスを与えることが多々あった。

上述したように、従来のＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙを用いたアプリケーションでは、撮影画像からマーカの黒枠がはみ出して写っている場合に、マーカをうまく検出できないという問題があった。さらに、撮影画像からはみ出す領域が黒枠内の絵柄の一部にまで達していても、マーカをうまく検出できなかった。

本発明は上述したような従来の技術が有する問題点を解決するためになされたものであり、撮影画像からマーカの一部がはみ出していても、マーカを検出可能な画像検出方法および画像検出装置を提供することを目的とする。

上記目的を達成するための本発明の画像検出方法は、仮想物を配置するための位置を示すマーカが撮影された撮影画像から該マーカを検出するための画像検出方法であって、
前記撮影画像内で前記マーカを探索し、
探索の結果、前記マーカを検出できなければ、該マーカの一部が前記撮影画像からはみ出しているものと判定し、該撮影画像から一部がはみ出したマーカを検出可能にするために前記撮影画像または前記マーカの少なくともいずれか一方を加工し、
再度、前記マーカの探索を実行するものであり、
前記マーカは特定の色の枠を有し、
前記撮影画像を加工する処理は、前記撮影画像の外縁に前記枠と異なる色の外枠を付けた検出用画像を生成するものであり、
前記マーカの探索を再度実行する処理は、前記検出用画像内で前記マーカの枠を探索するものである。

本発明によれば、撮影画像からその一部がはみ出しているマーカに対して、マーカを検出可能にするために撮影画像またはマーカの少なくともいずれかを加工するため、再度マーカを探索することで、マーカを検出することが可能となる。

本発明によれば、マーカの枠の一部が撮影画像からはみ出してしまっても、撮影画像のない部分にマーカの枠と異なる色の枠が付け加えられるため、枠とその外側との色の違いが認識され、検出用画像で枠の外縁を検出することが可能となる。

また、上記本発明の画像検出方法では、前記マーカの探索を再度実行する処理において、前記検出用画像で検出した枠が前記撮影画像の枠に一致していれば、検出した枠を前記マーカの候補から除外することとしてもよい。本発明によれば、撮影画像の外枠がマーカの枠と誤認識されることを防げる。

また、上記本発明の画像検出方法において、前記マーカは、文字、図形および絵柄のうち少なくともいずれかを含むテンプレートを有し、
前記マーカを加工する処理は、前記テンプレートの一部を欠落させた部分テンプレートを準備するものであり、
前記マーカの探索を再度実行する処理は、前記撮影画像内で前記部分テンプレートに一致する前記マーカの一部を探索するものであることとしてもよい。

本発明によれば、撮影画像からはみ出す領域がマーカ内のテンプレートに達してしまっても、一部を欠落させたテンプレートに一致する部分を撮影画像内で探索するため、一部が欠落したマーカを検出することが可能となる。

一方、上記目的を達成するための本発明の画像検出装置は、仮想物を配置するための位置を示すマーカが撮影された撮影画像から該マーカを検出する画像検出装置であって、
前記撮影画像が格納される記憶部と、
前記撮影画像内で前記マーカを探索し、探索の結果、前記マーカを検出できなければ、該マーカの一部が前記撮影画像からはみ出しているものと判定し、該撮影画像から一部がはみ出したマーカを検出可能にするために前記撮影画像または前記マーカの少なくともいずれか一方を加工し、再度、前記マーカの探索を実行する制御部と、
を有する構成であり、
前記マーカは特定の色の枠を有し、
前記撮影画像を加工する処理は、前記撮影画像の外縁に前記枠と異なる色の外枠を付けた検出用画像を生成するものであり、
前記マーカの探索を再度実行する処理は、前記検出用画像内で前記マーカの枠を探索するものである。

本発明では、撮影画像からマーカの一部がはみ出していても、マーカを検出することができる。

本発明の画像検出方法は、撮影画像からマーカを検出できなければ、マーカがはみ出して撮影されたものと判断し、はみ出したマーカを検出可能とする補充処理を行うことを特徴とする。以下では、本発明に関連するマーカ検出部分を中心に説明し、マーカ検出後の画像合成処理に関しては従来と同様なため、その詳細な説明を省略する。

本実施例の画像検出装置の構成を説明する。図１は本実施例の画像検出装置の一構成例を示すブロック図である。

図１に示すように、画像検出装置１０は、撮影画像が格納される記憶部１２と、外部とデータを送受信する入出力部１４と、各部を制御する制御部１６とを有する情報処理装置である。制御部１６は、プログラムにしたがって所定の処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１と、プログラムを格納するためのメモリ２２とを有する。本実施例では、マーカは四角形の黒枠を有する構成である。

制御部１６は、入出力部１４を介して撮影画像が入力されると、撮影画像内でマーカの黒枠を探索する。探索の結果、黒枠を検出できなければ、マーカの枠と異なる色の外枠を撮影画像の縁に付けた検出用画像を生成する。本実施例では、外枠の色を白とする。そして、生成した検出用画像内で黒枠を探索する。黒枠を検出すると、黒枠をマーカとして認識する。なお、メモリ２２に格納されるプログラムには、マーカの黒枠の外側にはその枠の色と異なる色があることが、予め記述されている。

記憶部１２には、撮影画像内に配置する仮想物を特定するための絵柄の情報が格納されている。

ここで、本実施例のマーカの構成を簡単に説明する。図２はマーカの一構成例を示す図である。図２（ａ）に示すように、マーカは、絵柄を含むテンプレート１５０と、テンプレート１５０を囲む黒枠１６０とを有している。このテンプレート１５０内の絵柄の情報が記憶部１２に格納されている。図２（ｂ）に示すマーカのテンプレート１５２内には、「花瓶」の文字をデザイン化したものが描かれている。テンプレート内は、絵柄に限らず、文字や図形であってもよい。以下では、説明を簡単にするために、テンプレート内が絵柄の場合で説明する。

図３は図２に示したマーカからテンプレートを抜き出したものである。図３（ａ）のテンプレート１５０は図２（ａ）のマーカから抜き出したものに相当し、図３（ｂ）のテンプレート１５２は図２（ｂ）のマーカから抜き出したものに相当する。

次に、本実施例の画像検出方法を説明する。図４は本実施例の画像検出方法の手順を示すフローチャートである。なお、図２のフローチャートの横に、処理を説明するための模式図を示す。

制御部１６は、入出力部１４を介して撮影画像Ｐが入力されると、撮影画像Ｐを記憶部１２に格納し、撮影画像Ｐから黒枠を探索する（ステップ１０１）。探索の結果、黒枠を検出したか否かを判定する（ステップ１０２）。ステップ１０２で黒枠を検出できなかった場合、撮影画像Ｐの縁に白い外枠を付けた画像Ｑを生成し（ステップ１０３）、画像Ｑ内で黒枠を探索する（ステップ１０４）。探索の結果、黒枠を検出したか否かを判定する（ステップ１０５）。ステップ１０２またはステップ１０５で、黒枠を検出したと判定すると、黒枠をマーカとして検出する（ステップ１０６）。ただし、検出した黒枠が撮影画像Ｐの枠と同じである場合はマーカの候補から除外する。これにより、撮影画像の枠がマーカの枠と誤認識されることを防げる。

図２に示す模式図では、撮影画像Ｐからマーカの黒枠が一部はみ出しているが、ステップ１０３の処理により、黒枠が撮影画像Ｐからはみだした、撮影画像Ｐの辺の外側が白色になる。そのため、ステップ１０４において画像Ｑ内で黒枠を探索すると、黒枠とその外側との色の違いを認識することで、黒枠の縁を認識し、その結果、黒枠を検出することができる。

ステップ１０６でマーカを検出した後、マーカ内のテンプレート内に一致する絵柄を記憶部１２内で探し、テンプレート内と一致する絵柄を見つけるとその絵柄とともに格納された仮想物を記憶部１２から読み出す。これ以降の処理は従来と同様なため、その説明を省略する。

本実施例では、マーカの枠が撮影画像から一部はみ出していても、撮影画像にマーカの枠とは異なる色の縁を付けて再探索することで、マーカの枠を画像内に見つけることができ、マーカを検出することができる。

実施例１では、マーカの黒枠が撮影画像からはみ出した場合である。本実施例は、撮影画像からはみ出す領域がテンプレートにまで達してしまっても、マーカを検出可能にする方法である。なお、本実施例では、実施例１と異なる点を詳細に説明し、実施例１と同様な構成および動作についての詳細な説明を省略する。

図５は本実施例の課題を説明するための図である。図５に示すテンプレート１５０の絵柄１４０は円である。図５に示すように、マーカ１３０が撮影画像１２０から半分ぐらいはみ出してしまうと、テンプレート１５０部分も半分はみ出してしまう。絵柄１４０の円も半分が撮影画像１２０からはみ出している。このような場合、実施例１のように撮影画像の縁に白枠を付けた検出用画像を生成しても、制御部１６は、黒枠の外縁４辺のうち１辺を認識することができず、黒枠を検出することができない。

このような場合の対策として、本実施例の制御部１６は、次のように動作する。

制御部１６は、記憶部１２に格納された絵柄を含むテンプレートに一致する被写体があるか否かを撮影画像内で探索し、マーカを検出できなければ、テンプレートの一部を欠落させた部分テンプレートを生成する。そして、撮影画像からはみ出している被写体について部分テンプレートと一致するか照合するマッチングを行う。マッチングの結果、被写体と部分テンプレートが一致すると、その被写体はマーカの一部に相当するものと認識し、その被写体をマーカとして検出する。

ここで、制御部１６による部分テンプレートの生成方法について詳しく説明する。図６は部分テンプレートの構成例を示す図である。

図６（ａ）は、図５に示した絵柄１４０が撮影画像１２０から３／４はみ出し、残りの１／４の絵柄１４０ａだけになった場合である。この場合にマーカを検出可能とするために、テンプレートの一部を欠落させると、部分テンプレート１５１ａとなる。同様にして、図６（ｂ）は、上側半分が撮影画像１２０からはみ出した絵柄１４０ｂのマーカにマッチングさせるための部分テンプレート１４０ｂを示す。図６（ｃ）は、左側半分が撮影画像１２０からはみ出した絵柄１４０ｃにマッチングさせるための部分テンプレート１５１ｃを示す。

制御部１６は、撮影画像の縁を探索し、撮影画像の縁にかかっている被写体を見つけると、その被写体がはみ出しているものと認識し、撮影画像のどの位置ではみ出しているかを調べる。続いて、その位置を認識すると、図６（ａ）から（ｃ）に示したように、撮影画像の位置に対応して記憶部１２に格納されたテンプレートの一部を欠落させて部分テンプレートを生成する。

次に、本実施例の画像検出方法を説明する。図７は本実施例の画像検出方法の手順を示すフローチャートである。

制御部１６は、入出力部１４を介して撮影画像Ｐが入力されると、撮影画像Ｐを記憶部１２に格納し、記憶部１２に格納された絵柄を含むテンプレートに一致する被写体を撮影画像Ｐ内で探索する（ステップ２０１）。探索の結果、テンプレートに一致する被写体を検出したか否かを判定する（ステップ２０２）。ステップ２０２でテンプレートに一致する被写体を検出できなかった場合、撮影画像Ｐの縁にかかる被写体に対応して部分テンプレートを生成する（ステップ２０３）。続いて、部分テンプレートと撮影画像Ｐ内の被写体とのマッチングを行って、それら２つが一致するか否かを判定する（ステップ２０４）。マッチング結果により、それら２つが一致すれば、その被写体をマーカとして検出する（ステップ２０５）。

なお、本実施例では、撮影画像を探索してから部分テンプレートを生成したが、図６（ａ）から（ｃ）で説明したような様々なパターンの部分テンプレートを予め準備して記憶部１２に格納しておいてもよい。また、記憶部１２に格納された絵柄が複数ある場合には、絵柄毎に部分テンプレートを生成してもよい。さらに、枠を有していない、テンプレートのみのマーカであってもよい。

本実施例では、マーカ内のテンプレートの一部を欠落させた部分テンプレートと予め登録された絵柄とのマッチングを行って、その結果が一致すればマーカとして認識するため、撮影画像からはみ出す領域がテンプレートに達してしまっても、マーカを検出することができる。

なお、実施例１および実施例２では、マーカの枠の形状を四角形としたが、その形状は、三角形、五角形などその他の多角形であってもよく、丸であってもよい。また、マーカは２重枠、３重枠など複数枠の形状であってもよい。さらに、マーカの枠の色は、本実施例の黒に限られない。

また、実施例１と実施例２の方法を組み合わせてもよく、その順番はいずれが先であってもよい。

実施例１の画像検出装置の一構成例を示すブロック図である。 マーカの構成例を示す図である。 図２に示したマーカのテンプレートを示す図である。 実施例１の画像検出方法の手順を示すフローチャートである。 実施例２の課題を説明するための図である。 部分テンプレートの構成例を示す図である。 実施例２の画像検出方法の手順を示すフローチャートである。

符号の説明

１０ 画像検出装置
１２ 記憶部
１４ 入出力部
１６ 制御部

Claims (6)

1. 仮想物を配置するための位置を示すマーカが撮影された撮影画像から該マーカを検出するための画像検出方法であって、
   前記撮影画像内で前記マーカを探索し、
   探索の結果、前記マーカを検出できなければ、該マーカの一部が前記撮影画像からはみ出しているものと判定し、該撮影画像から一部がはみ出したマーカを検出可能にするために前記撮影画像または前記マーカの少なくともいずれか一方を加工し、
   再度、前記マーカの探索を実行するものであり、
   前記マーカは特定の色の枠を有し、
   前記撮影画像を加工する処理は、前記撮影画像の外縁に前記枠と異なる色の外枠を付けた検出用画像を生成するものであり、
   前記マーカの探索を再度実行する処理は、前記検出用画像内で前記マーカの枠を探索するものである、画像検出方法。
2. 前記マーカの探索を再度実行する処理において、前記検出用画像で検出した枠が前記撮影画像の枠に一致していれば、検出した枠を前記マーカの候補から除外する、請求項１記載の画像検出方法。
3. 前記マーカは、文字、図形および絵柄のうち少なくともいずれかを含むテンプレートを有し、
   前記マーカを加工する処理は、前記テンプレートの一部を欠落させた部分テンプレートを準備するものであり、
   前記マーカの探索を再度実行する処理は、前記撮影画像内で前記部分テンプレートに一致する前記マーカの一部を探索するものである、請求項１または２記載の画像検出方法。
4. 仮想物を配置するための位置を示すマーカが撮影された撮影画像から該マーカを検出する画像検出装置であって、
   前記撮影画像が格納される記憶部と、
   前記撮影画像内で前記マーカを探索し、探索の結果、前記マーカを検出できなければ、該マーカの一部が前記撮影画像からはみ出しているものと判定し、該撮影画像から一部がはみ出したマーカを検出可能にするために前記撮影画像または前記マーカの少なくともいずれか一方を加工し、再度、前記マーカの探索を実行する制御部と、
   を有し、
   前記マーカは特定の色の枠を有し、
   前記撮影画像を加工する処理は、前記撮影画像の外縁に前記枠と異なる色の外枠を付けた検出用画像を生成するものであり、
   前記マーカの探索を再度実行する処理は、前記検出用画像内で前記マーカの枠を探索するものである、画像検出装置。
5. 前記制御部は、
   前記マーカの探索を再度実行する処理において、前記検出用画像で検出した枠が前記撮影画像の枠に一致していれば、検出した枠を前記マーカの候補から除外する、請求項４記載の画像検出装置。
6. 前記マーカは、文字、図形および絵柄のうち少なくともいずれかを含むテンプレートを有し、
   前記記憶部に前記テンプレートが格納され、
   前記マーカを加工する処理は、前記記憶部から読み出した前記テンプレートの一部を欠落させた部分テンプレートを準備するものであり、
   前記マーカの探索を再度実行する処理は、前記撮影画像内で前記部分テンプレートに一致する前記マーカの一部を探索するものである、請求項４または５記載の画像検出装置。

Images