JP4972576B2 - 画像表示方法、画像表示装置および処理システム - Google Patents

Description

本発明は、特定の図柄を含むマーカをカメラなどの撮像装置で撮影しやすくするための画像表示方法および画像表示装置、ならびに、撮像装置で撮影された画像からマーカを画像認識し、認識したマーカに応じて処理を実行する処理システムに関する。

２次元コードであるＱＲコードはすでに世間一般に普及しており、このような２次元コードを用いて、商品の広告や宣伝に用いる試みが行われている。例えば、画像認識対象のマーカであるＱＲコードを商品や広告などに添付し、ユーザがこのＱＲコードを専用の読み取り装置やカメラ付き携帯電話によって読み取ることにより、商品のデータベースを更新したり、特定のＷｅｂページに誘導する等のサービスが提供されている。

一方、新しい広告・宣伝手段として、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ）という技術を用いた手法が提案されている。この技術は、実世界の情報を計算機内部に構築した仮想世界データ（ＣＧ：Computer Graphic）で補強する技術であり、ＣＧだけの世界を扱うＶｉｒｔｕａｌ Ｒｅａｌｉｔｙとは全く異なるアプリケーション分野を切り開くことが期待されている。

例えば、特許文献１では、ＡＲ技術を用いた以下の技術が開示されている。まず、紙に印刷された矩形の図柄パターン（マーカ）が用意されており、ユーザはカメラ付きの携帯電話でマーカを含んだ風景を撮影し、撮影した画像をメール等の送信手段を用いてメールサーバに送信する。メールサーバは受け取ったメールから撮影画像を抽出して画像合成装置に送信し、画像合成装置は撮影画像に写っているマーカの大きさと角度よりマーカの３次元位置を計算し、求めた３次元位置データを元に３次元ＣＧデータを撮影画像に合成した合成画像を生成し、同じくメール等の送信手段を用いてユーザの保持する携帯電話に送信する。このような処理により、ユーザは単なる図柄パターンを撮影するだけで、特定の商品の広告を得ることができるようになる。

このようなＡＲ技術を用いた試みを拡張したサービスの一例を説明する。図１８はその一例を示す図である。非特許文献１では、人通りの多い街角のビル６１の壁などに設けられた大型ディスプレイ６２に商品等の映像とともにマーカ６３を表示し、ユーザがマーカ６３を含む画像をカメラ付き携帯電話などの情報端末６４（以下では、ユーザ端末と称する）で撮影すると、そのマーカの位置や向きに応じた合成画像６５を提供するサービスが提示されている。

このような手法は、街角の大勢の聴衆に対して同時に、より詳細な製品情報等を伝えられることから、多大な宣伝効果が望まれる。
特許第３９４７１３２号公報 ２００６年１２月２１日付け日経産業新聞、第１面記事、「街角の風景に怪物合成」

図１８に示すサービスのディスプレイに表示されるマーカの一例を図１９に示す。

ディスプレイ６２に表示されるマーカ６３は、図１９に示すように、その外形が矩形であり、内部に画像合成装置で認識される図柄と発光領域７４を有する。マーカ６３の外側には非発光領域４が設けられている。このようなマーカを、理想的な状態で撮影した場合は、やはり図１９と同じ画像が撮影画像中に表示されるはずである。

しかし、実際には、ディスプレイは走査線（通常のディスプレイは画面水平方向に単数または複数の走査線が走っている）に沿って映像を時分割的に表示しているため、ユーザ端末が備えるカメラのシャッター時間などにより、図２０のように、走査線に沿った一部の領域が何も表示されていないかのような画像が撮影される、という状況が起こりえる。

特に、周囲の状況が十分に明るい場合、カメラはシャッター時間を短くして撮影を行うため、このような画像の欠落が顕著になる。このような現象は、カメラの性能にも依存するものである。そして、この欠落する画像上の位置は、ユーザが撮影ボタンを押すタイミングや画像の表示タイミングなどによって毎回異なり、欠落位置の再現性はない。

すなわち、撮影する外部環境やカメラの性能により、画像認識の対象となるマーカの一部が欠落した撮影画像が生成され、その結果、マーカの認識処理が困難になるという課題があった。

本発明は上述したような技術が有する問題点を解決するためになされたものであり、撮影位置の様々な環境や、撮影性能が異なる多種多様な端末に対して、走査線による画像欠落が起きても、マーカの認識処理を可能にした画像表示方法、画像表示装置および処理システムを提供することを目的とする。

上記目的を達成するための本発明の画像表示方法は、
撮像装置に撮影させるためのマーカを表示する画像表示方法であって、
前記マーカを含む画像を表示する際の走査線と平行ではない方向に前記マーカを複数、それぞれに図柄もしくは色を異ならせて配置し、複数の前記マーカに対して、それぞれに輝度を異ならせ、マーカ間の距離が離れているほど前記輝度の差を大きくして表示するものである。

また、本発明の画像表示装置は、
撮像装置に撮影させるためのマーカを表示する画像表示装置であって、
前記マーカを含む画像を表示する表示部と、
前記マーカを含む画像を前記表示部に表示する際、走査線と平行ではない方向に前記マーカを複数、それぞれに図柄もしくは色を異ならせて配置し、複数の前記マーカに対して、それぞれに輝度を異ならせ、マーカ間の距離が離れているほど前記輝度の差を大きくする制御部と、
を有する構成である。

さらに、本発明の処理システムは、
上記本発明の画像表示装置と、
前記マーカに対応して関連付けられた処理の内容が登録された記憶部、および前記画像表示装置に表示された画像の撮影画像を受信すると、該撮影画像から前記マーカを検出し、該マーカに対応して関連付けられた処理を実行する制御部を含む処理装置と、
を有する構成である。

本発明によれば、表示装置の走査線に平行でない方向にマーカを複数配置することにより、表示装置の走査線に起因する画像の欠落が起きても、欠落のないマーカを用いて、マーカの認識処理を実施できることから、マーカの認識率が向上する。

本発明の画像表示方法は、特定の処理を処理装置に実行させるためのコマンドに相当するマーカをディスプレイなどの表示装置に表示させる際に、処理装置がマーカをより認識しやすいように表示する方法である。そして、ユーザがカメラを備えた端末（以下では、ユーザ端末と称する）でマーカを撮影し、処理装置は、カメラが撮影したマーカを含む画像からマーカを抽出し、マーカに予め関連付けられた処理を実行する。

各構成を詳細に説明する前に、本実施形態で用いられるマーカについて詳しく説明する。図１はマーカを説明するための図である。

マーカとしては、図１（ａ）に示す構成が望ましい。ディスプレイ２に表示されるマーカ３は、その外形が矩形であり、内部に処理装置で認識される図柄と発光領域５を有する。ここでは、マーカ３の外側には非発光領域４が設けられている。図１（ａ）においては、「Ｍ」の文字が図柄に相当する。

画像認識処理においては、最初に矩形領域を探索する処理が行なわれる。しかしながら、カメラ付携帯電話などによる撮影画像の場合、撮影画像の総画素数が少なめであったり、ＪＰＥＧなどの圧縮フォーマットのため、矩形の輪郭の判別が困難な場合がある。この事象を少しでも改善させるために、図柄である「Ｍ」の文字は、四角いマーカの外枠に対して、目一杯接する程の大きさとはせず、図１（ｂ）に示すように、約２０％のベタ塗り領域が残るようにしている。その意図はこのマージンがない場合、画像圧縮などの影響により輪郭がボケて、「Ｍ」の図柄がマーカ領域の外枠を分断してしまう可能性があるためである。

また、マーカの四角い領域の外側についても、その画像を認識しやすくするため、他の文字やマーカが隣接しすぎないよう、一定の空間を空ける。一般的に、この領域はクワイエット領域７と呼ばれている。ＱＲコード、ＪＡＮコードなどでは、通常白い紙に黒いマーカパターンが描かれる。これにあわせて、画像認識エンジンも「クワイエット領域が白、マーカが有色（白以外）」が用いられることが多い。

しかし、ディスプレイに表示する場合においては、クワイエット領域７を白で表現する場合、ＬＥＤ等のＲＧＢ（赤色、緑色、青色）の全ての発光素子を最大の照度で点燈することを意味する。周囲環境が暗い状況下で、クワイエット領域７が白で表現された場合、本来マーカの仕切りとして機能するはずのクワイエット領域７が白飛びを発生させ、マーカの内側にまで白飛びの影響を及ぼし、マーカ認識の障害となる可能性がある。

このため本実施形態では、「クワイエット領域としては発光素子が消燈状態である黒、マーカ領域は発光素子が点燈状態である有色（黒以外）」を採用する。一方で、多くの画像認識エンジンにおいては「クワイエット領域が白、マーカが有色（白以外）」である場合が多いため、ディスプレイに表示するマーカのポジネガ反転したものを比較用パターンとして、処理装置側に事前登録するものとする。図１（ｃ）は登録されるマーカの一例を示す図である。マーカ認識処理時において、撮影画像をポジネガ反転すれば、黒いクワイエット領域は白となるため、安定的なクワイエット領域が確保できる。

なお、説明上、表示するマーカに対してポジネガ反転させたものを、登録するマーカに用いるが、これは本発明における必須事項ではない。画像認識エンジンが「クワイエット領域が黒、マーカが有色（黒以外）」という処理が可能な場合は、ポジネガ反転を行う必要はない。

（第１の実施形態）
本実施形態の処理システムの構成を説明する。図２は本実施形態の処理システムの一構成例を示すブロック図である。

本実施形態の処理システムは、マーカを表示する表示装置３０と、マーカを含む画像をユーザ端末５０を介して受信すると、所定の処理を実行する処理装置１０とを有する構成である。

マーカを表示可能な表示装置３０は、例えば大型商業施設やビルなどの壁面に設置される街角ビジョンなどのディスプレイがあるが、これに限定されるものではない。例えば、テレビや、通信装置に付属するディスプレイ（コンピュータディスプレイ）などであってもよい。ディスプレイのパネル構造としては、例えば液晶やプラズマディスプレイ、空間投影型ディスプレイ、ＣＲＴ（Cathode Ray Tube）、電子ペーパーなどであってもよい。

次に、ユーザ端末について詳細に説明する。図３はユーザ端末の一構成例を示すブロック図である。

図３に示すように、ユーザ端末５０は、マーカを含む撮影対象を画像として取り込むための撮像装置５４と、撮影画像を格納するための端末記憶部５３と、ネットワーク１００を介してデータを送受信する端末通信部５２と、ユーザが指示を入力するための操作部５５と、画像を表示するための表示部５６と、各部と信号線を介して接続された端末制御部５３とを有する。ユーザ端末５０の具体例としては、カメラ付き携帯電話が挙げられるが、カメラ付きの小型コンピュータやＰＤＡ（Personal Digital Assistant）であってもよい。

撮像装置５４は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳイメージセンサなどである。ユーザ端末５０には図に示さないレンズが設けられており、レンズおよび撮像装置５４を含む構成がカメラとなる。レンズを撮影対象物に向けると、撮影対象物からの光がレンズを介して入力され、撮像装置５４に撮影対象物が結像する。

端末記憶部５１には、ユーザ端末５０の撮像装置５４で撮影された画像などが記憶される。フラッシュメモリなどで構成される。

端末制御部５３は、プログラムにしたがって所定の処理を実行するＣＰＵ（Central Processing Unit）（不図示）と、プログラムを格納するためのメモリ（不図示）とを有する。ユーザが操作部５５を操作してカメラを起動させる旨の指示を入力すると、端末制御部５３は撮像装置５４を起動させる。続いて、ユーザがユーザ端末５０のレンズを撮影対象物に向け、操作部５５を操作して撮影の指示を入力すると、端末制御部５３は撮像素子５４に結像した画像を端末記憶部５１に格納する。その後、ユーザが操作部５５を操作して撮影画像を処理装置１０に送る旨の指示を入力すると、端末制御部５３は、電子メールに撮影画像のデータを添付し、あるいはＨＴＴＰ（Hyper-Text Transfer Protocol）を用いて、端末通信部５２およびネットワーク１００を介してその撮影画像を処理装置１０宛に送信する。

次に、処理装置１０について説明する。

図２に示すように、処理装置１０はインターネットなどのネットワークを介してユーザ端末５０と通信可能に接続される。処理装置１０は、各種画像を格納するための記憶部２１と、外部とデータを送受信する通信部２２と、画像処理を行う制御部２３とを有する構成である。

記憶部２１には、マーカとマーカに関連付けられた処理の内容が記述された情報が格納されている。記憶部２１には、マーカの比較用パターンが登録されている。

処理装置１０の制御部２３はネットワーク１００および通信部２２を介してユーザ端末５０から撮影画像を受信すると、撮影画像中からマーカを抽出する。以下では、この処理をマーカ認識処理と称する。そして、マーカ認識処理により登録されたマーカを特定すると、当該マーカに予め関連付けられた処理を実行する。

マーカの抽出には、「ARToolKit」という技術を用いることが可能である。この技術について簡単に説明する。

まず、制御部２３は、ユーザ端末５０が撮影した画像から黒色の四角形を検出し、その四角形の内側に対応する位置にある画像を撮影画像から切り出す（撮影画像から切り出す画像を部分画像と称する）。ｋ個（ｋは１以上の整数）の部分画像ＰＰ１〜ＰＰｋを取得すると、部分画像ＰＰ１〜ＰＰｋと記憶部２１に登録された比較用の画像である比較用パターンとを比較する。なお、比較用パターンは、図１（ａ）に示す画像のうち、マーカに相当する部分の画像である。そして、部分画像ＰＰ１〜ＰＰｋのうち、比較用パターンに最も類似した部分画像の位置を撮影画像上のマーカ位置と特定する。

部分画像と比較用パターンとの類似度の判定は、例えば、ニューラルネットワークなどのパターン認識技術でそれぞれの画像を認識した後、類似点の数をカウントし、そのカウント数が予め決められた数値より大きいか否かで類似度を判定できる。ここで、記憶部２１に複数の比較用パターンが備えられている場合、上記の認識処理を比較用パターン毎に繰り返す。

制御部２３は、撮影画像からマーカを抽出すると、上述したように、抽出されたマーカに予め関連付けられた処理を実行する。

ここで、「マーカに予め関連付けられた処理」とは、例えば、撮影画像の中でマーカの位置に、マーカとは別の画像あるいは動画像を合成する処理である。このような合成処理された画像がユーザ端末５０に返信されれば、ユーザは自分が送信した撮影画像とは異なる合成画像を楽しむことが可能となる。

また、「マーカに予め関連付けられた処理」として、撮影画像に音声情報を添付する処理を行ってもよい。この場合、音声情報が添付された撮影画像をユーザ端末５０が受信し、その撮影画像を表示部５６に表示させると、音声情報が再生され、ユーザに音声で情報を通知することが可能となる。

「マーカに予め関連付けられた処理」として、その他にも、制御部２３は、撮影画像をユーザ端末５０から受信すると、撮影画像のマーカに対応するウェブサイトのアドレスをユーザ端末５０に返信してもよい。この場合、ユーザに対してそのウェブサイトを閲覧するように促すことが可能である。

さらに、制御部２３は、ユーザ端末５０から撮影画像とともにユーザ端末５０のアドレス情報（例えば、携帯電話の電話番号、メールアドレスなど）を受け取る場合には、マーカに関連付けられたサーバにユーザ端末５０のアドレス情報を送信してもよい。例えば、アドレス情報の受信側となるサーバが、アドレス情報を収集して懸賞の抽選を行っていれば、ユーザが自分で応募の手続きをしなくても、懸賞に自動的に応募することが可能となる。

次に、表示装置３０の構成を説明する。ただし、表示装置３０としては、上述したように様々な種類の装置を用いることが可能であり、ここでは、複数種のうちの一例を説明する。

図４は表示装置３０の一構成例を示すブロック図である。図４に示すように、表示装置３０は、マーカを含む画像の情報が格納された記憶部３１と、表示部３２と、制御部３３とを有する。制御部３３は、マーカを表示する旨の指示が入力されると、記憶部３１からマーカを含む画像を読み出し、その画像を時分割して表示部３２の画面水平方向に走査線を走らせて表示する。

次に、本実施形態の表示装置３０による、マーカの表示形態を詳しく説明する。

課題の欄で述べたように、表示装置３０に表示された映像をカメラで撮影すると、撮影された画像には、走査線に起因して帯状に生じる欠落領域が存在することがある。そこで、本実施形態の表示装置３０は、その帯状の欠落領域をもたらす走査線と平行でない方向にマーカを２以上の複数個並べて配置して表示する。以下に、具体例を用いて説明する。

図５Ａから図５Ｃは本実施形態のマーカを含む画像の表示例を示す図である。ここでは、マーカの数を３つの場合で説明するが、マーカの数は２つ以上あればよい。

図５Ａは、図柄「Ａ」のマーカ、図柄「Ｂ」のマーカ、図柄「Ｃ」のマーカが画面の垂直方向に上から下に順に配置されている。その配列方向は走査線と垂直になっており、走査線と平行にはなっていない。図５Ａの場合では、画面の水平方向の軸の座標が同じである。

図５Ｂは、画面の左上から右下に、「Ａ」から「Ｃ」が画面に斜めに配列されている。図５Ｂに示す例でも「Ａ」から「Ｃ」の配列方向は走査線と平行にはなっていない。また、各マーカは画面の水平方向の軸の座標が異なる。画面左下の頂点を原点とする走査線方向の軸を考え、各マーカの座標を比較すると、「Ａ」、「Ｂ」、「Ｃ」の順で座標の値が大きくなっている。

図５Ｃは、図５Ｂと同様に「Ａ」から「Ｃ」の配列方向は走査線と平行になっておらず、各マーカは画面の水平方向の軸の座標が異なる。しかし、図５Ｂの場合とは異なり、「Ｂ」は画面の中央左側に配置され、「Ａ」は画面の上方中央に配置され、「Ｃ」は画面の下方右側に配置されている。つまり、画面の左下の頂点を原点とする走査線方向の軸を考え、各マーカの座標を比較すると、「Ｂ」、「Ａ」、「Ｃ」の順で座標の値が大きくなっている。

この例に示すように、複数のマーカのうちいくつかは走査線に平行な方向に配置されていてもよいが、少なくとも２つは、走査線と平行でない方向に配置されている。

図６は図５Ａに示した画像に欠落が生じた場合を示す図である。図６では、図５Ａの「Ｂ」と「Ｃ」の両方にまたがって画像の欠落が生じている。この場合、「Ｂ」および「Ｃ」のいずれかを処理装置１０に認識させることは困難であるが、「Ａ」を認識させることが可能となる。

このようにして複数のマーカを配置することにより、図６に示したように撮影画像の一部が走査線の影響で欠落しても、処理装置１０は、複数のマーカのうちいくつか（図６の例では「Ａ」の図柄を備えるマーカ）には欠落なく認識できる。そのため、本実施形態では、処理装置１０が、その欠落のないマーカを用いて、マーカの認識処理を実施できるという効果がある。

図５Ａから図５Ｃの配置のうち最も好ましい配置は、図５Ａのように走査線に対して垂直な方向にマーカを複数個配置する場合である。このように配置すると、マーカの外側に枠部として設けられたクワイエット領域のいずれか１辺を、隣接する他のマーカの外側の枠部と共用することが可能となる。その結果、枠部に必要な領域が低減できるので、表示装置に表示する全マーカの領域のうち、枠部の領域を相対的に低減でき、マーカ領域を相対的に拡大できる。処理装置１０では、このマーカをパターン認識処理するため、このマーカの領域が大きいほど、認識処理の認識率が向上する。すなわち、複数のマーカでそれらの外側に設けられる枠部を共用することにより、マーカの認識率が向上する、という効果がある。

処理装置１０で実行される処理がマーカの種類のみを必要とし、撮影画像中におけるマーカの位置を要求しない場合には、図５Ａから図５Ｃの例のように異なる図柄のマーカを並べる必要はなく、同一の図柄のマーカを並べて配置してもよい。このような処理は、例えば特定のウェブサイトのアドレスを表示する処理（そのウェブサイトへ誘導させるサービスの提供につながる）などに相当する。

一方、処理装置１０で実行される処理がマーカの種類と、撮影画像中におけるマーカの位置を要求するものである場合には、複数のマーカのそれぞれに図柄や色を異ならせてマーカを並べてもよい。このような処理は、例えば撮影画像中の所望の位置（例えば、画像の中央や、マーカが配置された場所の中央など）に、ＣＧ画像を合成する処理などに相当する。

次に、本実施形態の処理システムの動作を説明する。ここでは、マーカを含む画像として図５Ｃを用いる場合とする。

図７は図５Ｃのマーカの情報を示す表である。図７に示す表には、図柄「Ａ」から「Ｃ」のそれぞれについて、図柄の大きさ、マーカの位置、処理内容が記述されている。ここでは、どのマーカでも同じ処理を行うものとしている。また、このようなマーカの情報が予め処理装置１０の記憶部２１に格納されている。

表示装置３０となる街頭ビジョンが図５Ｃに示す画像を表示する。ユーザが街頭ビジョンに対して、斜めの位置に立ち、街頭ビジョンに表示される画像をユーザ端末５０の撮像装置５４で撮影する。撮影した画像はネットワーク１００を介して処理装置１０に送られる。

図８は処理装置の動作を説明するための図である。

処理装置１０がユーザ端末５０から受信した撮影画像は図８（ａ）のような画像となる。街頭ビジョンの真正面ではなく、斜めから画像を撮影すると、図８（ａ）に示すように、画像内のマーカは矩形ではなく、台形状に歪んだ形状となることがある。このようなマーカであっても、「ARToolKit」を用いたマーカ検出処理により、制御部２３は、以下に説明するように、撮影画像上のどこの位置に、どれくらいの確からしさで、どのマーカが存在したかを算出する。

図８（ｂ）から図８（ｄ）はマーカ検出を説明するための図である。図８（ｂ）のマーカ検出結果を見ると、領域２０１は「Ａ」として７５％確からしい領域と検出され、図柄「Ａ」の検出確度は７５％である。領域２０２は「Ｃ」として８５％確からしい領域と検出され、図柄「Ｃ」の検出確度は８５％である。これに対して、領域２０３では、マーカの画像が潰れすぎて「Ｂ」として認識されなかった。これらのマーカ検出結果から、マーカの検出確度が一番高いのは図柄「Ｃ」のマーカであることがわかる。以降の処理では図柄「Ｃ」のマーカのみを用い、図柄「Ａ」および「Ｂ」のそれぞれのマーカは無視する。

続いて、このようにして認識した図柄「Ｃ」のマーカを用いた処理装置１０による処理を説明する。

図柄「Ｃ」のマーカは、街頭ビジョンを撮影した際の角度と距離のため、撮影画像中において、その形状が歪んで存在している。一方で、処理装置１０の記憶部２１は比較用パターンの情報（図７に示したマーカの情報を参照）を保持しているため、処理装置１０にとっては、図柄「Ｃ」のマーカの『形状（正方形）、その一辺の長さ、ディスプレイ中心からのオフセット量』等の情報は既知である。このため、処理装置１０は、撮影画像中の「Ｃ」のマーカの歪み具合を、射影変換により求めることができる。図８（ｃ）はその方法を説明するための図である。

マーカの四頂点の座標を基にして各頂点のそれぞれが１つの頂点となる正方形を形成するための投射変換および逆変換のパラメータを得る。一辺のマーカサイズは既知なので、一辺のピクセル長や撮影画像中の「Ｃ」の法線ベクトルから、大きさの比率（縮小率）が求まる。これらの情報は、抽出されたマーカ上に他の画像を合成する際、合成画像の向きや大きさを計算する上で参考となるパラメータとなる。

続いて、撮影画像中の「Ｃ」のマーカ領域の中心は、画像の四隅の対角線の交点である。この位置が、既知である「Ｃ」マーカの中心位置に相当する。したがって、先ほどの射影変換の逆を行なうことで、撮影画像中におけるディスプレイの中心位置を求めることができる（図８（ｄ））。

処理装置１０は、このようにして求めたパラメータの値およびディスプレイの中心位置の情報を参照して、撮影画像に怪獣の絵を合成する。

本実施形態では、表示される複数のマーカのうち撮影画像でいくつかのマーカの一部が欠落しても、欠落のないマーカでマーカの認識処理を実施できる。

（第２の実施形態）
本実施形態は、１つの画像に表示される複数のマーカについて輝度が異なるようにしたものである。なお、本実施形態の処理システムは、第１の実施形態で説明した構成と同様であるため、詳細な説明を省略する。

本実施形態の表示装置３０が表示するマーカを説明する。本実施形態では、走査線と平行でない方向にマーカを２以上の複数個並べて配置するとともに、複数のマーカはそれぞれ輝度が異なるようにしている。

図９は本実施形態におけるマーカの表示例を示す図である。

図９（ａ）は、図柄「Ａ」から「Ｄ」が走査線に垂直方向に配列されている。そして、図柄「Ａ」から「Ｄ」のいずれも輝度が異なっている。この表示例では、図柄「Ａ」から「Ｄ」に順に輝度が低くなっている。

図９（ａ）は、図柄「Ａ」から「Ｄ」が画面左上から右下に斜めに配列されている。そして、図柄「Ａ」から「Ｄ」のいずれも輝度が異なっている。図９（ａ）と同様に、図柄「Ａ」から「Ｄ」に順に輝度が低くなっている。

本実施形態は、マーカの構成を上述したようにすることにより、第１の実施形態で述べた、いくつかのマーカの一部が欠落しても欠落のないマーカでマーカの認識処理を実施できる、という効果の他に、ダイナミックレンジの低いカメラでもマーカの認識処理が可能になる、という効果も奏する。以下に、後者の効果について詳しく説明する。

図１０および図１１は本実施形態の効果を説明するための図である。

周辺環境が暗い場合、ディスプレイに表示された画像をカメラで撮影すると、輝度の高い部分が白く強調されコントラストが低下するという、いわゆる「白飛び」という現象が起こる。白飛びしたマーカの例を図１０に示す。「Ｍ」という図柄が認識できなくなってしまっている。

その反対に、白飛びを防ぐために撮影画像の輝度の高い部分に合わせてシャッター開放時間を設定すると、輝度の低い部分が黒くつぶれコントラストが低下するという、いわゆる「黒つぶれ」という現象が起こる。上記のような状態の撮影画像では、マーカに記載されている図柄を判断することは困難になる。

図１１は図９（ａ）に示した画像に白飛びが発生した場合を示す図である。マーカ２１０は白飛びが顕著で認識不可能であるが、マーカ２１２は認識可能である。これは、図柄「Ａ」から「Ｄ」の輝度が順に低くなっているため、輝度の高い「Ａ」と「Ｂ」で白飛びが発生しても、それよりも輝度の低い「Ｃ」と「Ｄ」では白飛びが発生しないからである。

このようにして、表示装置１０に表示される複数のマーカのそれぞれについて輝度が異なるように設定することにより、撮影画像中から複数のマーカが欠落なく表示された場合、最も適切な輝度のマーカを選択してマーカ認識処理を行うことが可能となる。そのため、周辺環境やカメラの性能・設定によらず、マーカを認識できる、すなわちマーカの認識率が向上する、という効果がある。

図９に示す配置のうち最も好ましい配置は、図９（ａ）のように走査線に対して垂直な方向にマーカを複数個配置し、かつ、上方に配置されたマーカから下方に配置されたマーカに向けて順に、輝度を変化させる（徐々に明るくする、あるいは暗くする）する場合である。このように配置すると、隣接するマーカ間で輝度の差が少なくなるため、あるマーカで発生した白飛びの影響を、隣接するマーカにまで影響を及ぼすことがなくなる、という効果がある。よって、マーカの認識率が向上する。

（第３の実施形態）
本実施形態は、１つの画像に表示される複数のマーカをマトリクス状に配置するとともに、走査線と平行な方向に輝度が順次変わるようにしたものである。なお、本実施形態の処理システムは、第１の実施形態で説明した構成と同様であるため、詳細な説明を省略する。

本実施形態の表示装置３０が表示するマーカを説明する。本実施形態では、走査線と平行な方向に１辺を有するよう、複数のマーカをマトリクス状に並べて配置するとともに、マトリクス状配置された複数のマーカのうち、表示装置の走査線と平行な方向の配列に属するマーカは、その輝度が、前記配列の一方の端部から他方の端部に向けて順次変わるように設定されている。

図１２は本実施形態におけるマーカの表示例を示す図である。図１２では、走査線の方向に沿って４個のマーカが配置された列が、走査線と垂直な方向に３列配置されている。横４×縦３のマトリクス状にマーカが配置されている。

画面の一番上の列では、図柄「Ａ」から「Ｄ」が画面左側から右側に順に配置され、図柄毎に輝度が異なっている。輝度は右側ほど低くなっている。画面の中央の列では、図柄「Ｅ」から「Ｈ」が画面左側から右側に順に配置され、図柄毎に輝度が異なっている。輝度は右側ほど低くなっている。画面の一番下の列では、図柄「Ｉ」から「Ｌ」が画面左側から右側に順に配置され、図柄毎に輝度が異なっている。輝度は右側ほど低くなっている。

また、各列について発光色を統一してもよい。例えば、図柄「Ａ」から「Ｄ」を発光色１で統一し、図柄「Ｅ」から「Ｈ」を発光色２で統一し、図柄「Ｉ」から「Ｌ」を発光色３で統一する。各列について発光色を統一する理由は後述する。

図１３は図１２に示した画像に欠落が発生した場合を示す図である。図１３に示すように、図１２の画面の一番上の列と中央の列にまたがって、走査線による欠落が生じている。このような場合でも、画面の一番下の列のマーカを認識することが可能となる。

上述した構成により、本実施形態は、第１および第２の実施形態と同様な効果を有する。さらに、走査線による画像欠落は走査線と平行な方向に発生することから、本実施形態のようにマーカを配列すると、走査線に平行な配列のいくつか（例えば、図１３のようにマトリクスの最下方の配列）がそのまま欠落せずに残ることになる。そして、この走査線に平行な配列には、順次輝度が異なる複数のマーカが含まれることから、白飛びや黒つぶれの影響を受けても、少なくとも１つのマーカは認識可能になる。すなわち、第２の実施形態に比べてさらに認識率が向上する、という効果がある。

なお、図１２に示したマーカ配置例の場合、その図柄が「Ｃ」、「Ｇ」と似ているため、誤認識が起こることが予想される。このような事態を避けるため、図１２で説明したように表示列毎に異なる色を用いてもよい。具体的には、三原色である赤、青、緑を用いる場合や、それらの補色であるシアン、マゼンタ、イエローを用いる方法が考えられる。これにより、図形の輪郭や特徴点が似ていても、マーカの色が自動認識における判断材料として利用可能となる。

また、処理装置１０におけるマーカの抽出後、マーカの位置、大きさ、角度を参照して、他の画像を貼り付ける等の何らかの処理を実施する場合には、個々の抽出されたマーカに対して、ディスプレイの中心からどれだけずれているかを示す座標値、個々のマーカの大きさを定義する数値を、予めデータとして処理装置１０に保持させておいてもよい。この場合、座標値や長さが求められるのであれば、データとして持たせておく値は、ディスプレイの表示領域全体に対する相対値でも構わないし、ディスプレイ上の実寸値でも構わない。

図１４はマーカの座標の定義の一例を示す図であり、図１５はマーカの情報の一例を示す表である。図１５に示す情報を処理装置１０の記憶部２１に予め登録しておいてもよい。図１５は、マーカの情報に、マーカを識別するためのＩＤ、各マーカが有する図柄、および四頂点のピクセル座標、さらにディスプレイ自体の仕様として、総ピクセル数、および１ピクセルの実寸の長さを持たせた場合の例を示す。

なお、図１５ではあえて数値として列挙していないが、ディスプレイ上におけるマーカの各四つの辺の長さは、二頂点のピクセル距離、およびピクセル実寸比から求めることができる。また、マーカの中心位置は、既知の頂点の対角線の交点として求めることができる。

以降の処理は、第１の実施形態において図８の場合で説明した処理と同様である。すなわち、撮影画像中に含まれる複数のマーカから、最も確度が高いマーカを選択して、それをもとに座標計算を実施し、いずれのマーカが計算対象となった場合でも、ディスプレイの中心に合成画像を合成することが可能となる。

（第４の実施形態）
本実施形態は、第３の実施形態のように表示装置にマトリクス状の複数のマーカを表示させた場合において、処理装置が実行するマーカ認識方法に特徴を有するものである。なお、本実施形態の処理システムは、第１の実施形態で説明した構成と同様であるため、ここでは、第１の実施形態と異なる部分を詳細に説明する。

上記第１から第３の実施形態で述べてきた処理システムでは、表示装置３０に単一のマーカを表示する場合と比較して、個々のマーカのサイズが相対的に小さくなる。その場合、マーカから算出される各種パラメタ（マーカ位置、大きさ、角度など）の算出の精度は劣化する。

そこで、処理装置１０の記憶部２１に、個々のマーカを複数組み合わせた、１つのマーカを比較用パターンとするマーカの情報を格納しておく。以下では、複数のマーカを組み合わせたマーカをマーカ群と称する。

図１６は本実施形態におけるマーカ群の一例を示す表である。図１６の左側には、ディスプレイ上のマーカが示され、図１６の右側には、それらのマーカのそれぞれについてポジネガ反転した比較用パターンが示されている。ディスプレイ上のマーカには、９つのマーカを組み合わせたマーカ群と、４つのマーカを組み合わせたマーカ群と、マーカ群を構成する個々のマーカがある。それぞれのマーカ群およびマーカについての比較用パターンの情報が処理装置１０の記憶部２１に格納される、マーカの情報となる。

なお、図１６の左側に示す、ディスプレイ上のマーカについては、最外周の黒枠はクワイエット領域に相当する。

図１６に示す例では、９つのマーカが連接された、最も面積の大きいマーカ群を優先度１とし、次に面積の大きい、４つのマーカが連接されたマーカ群を優先度２としている。マーカ群を構成する個々のマーカを優先度３としている。優先度２のマーカ群は優先度１のマーカ群の一部に相当している。

処理装置１０の制御部２３は、マーカの認識処理時に、優先度１のマーカ群から優先的に処理を実行する。そして、優先度１のマーカ群にて認識処理に失敗した場合に、優先度２のマーカ群でマーカ認識処理を行う。

本実施形態では、マーカ群のサイズの大きい方から優先的にマーカ認識処理を行うことによって、撮影画像に表示されるマーカを認識する際、より大きいマーカ群で優先的に認識されることになり、結果として、マーカ認識処理における位置、大きさ、角度などの算出誤差を小さくすることが可能となる。

ここで、マーカをポジネガ反転し、画像処理系に登録する比較用パターンが、矩形の枠によって囲まれない場合が生じる。これは、マーカが矩形の枠を備えていることを前提にするARToolKitのマーカ認識の範囲から外れることになる。しかし、一般的に認識対象の画像内に、形状として単一の矩形が見いだされれば、それを基点として周辺領域を探索し、画像認識処理によるマーカ検出が可能であることは、ＱＲコードなどの既存技術などによって明らかである。このことを、図１７を用いて説明する。

図１７（ａ）に示すように、ARToolKitによるマーカ認識処理が前提なら、破線で囲まれる部分は塗りつぶしとなっている必要がある。しかし、図１７（ｂ）に示すように、既に一般的に用いられているＱＲコードの認識技術では、四角形の三隅の正方形を認識することで、認識エリアを特定することが可能である。

ＱＲコードで用いられている認識技術と同様に、図１７（ａ）に示すマーカ群の四隅の正方形のいずれか３つを認識することで、マーカの位置を認識すればよい。このようにして、処理装置１０の制御部２３は、ARToolKitとは別のアルゴリズムでマーカ認識処理をすることが可能となる。

なお、各マーカが正方形であることを前提として説明してきたが、マーカの向きが判別できるようなものであれば、必ずしも正方形である必要はない。例えば、円形の中に、直行する十字型のような模様があれば、十字の歪み具合から、どのような角度からマーカを撮影したのかを判別することができる。

本発明によれば、表示装置の走査線に平行でない方向にマーカを複数配置することにより、表示装置の走査線に起因する画像の欠落が起きても、欠落のないマーカを用いて、マーカの認識処理を実施できることから、マーカの認識率が向上する。

また、複数のマーカの輝度を異なるようにすることで、最も適切な輝度のマーカを選択してマーカ認識処理を行うことが可能となる。そのため、周辺環境やカメラの性能・設定によらずマーカを認識でき、マーカの認識率が向上する。

また、複数のマーカをマトリクス状に配置し、表示装置の走査線に平行な方向に配列するマーカの輝度を順次変化させることにより、マーカの認識率がさらに向上する。

さらに、マトリクス状に配置された複数のマーカについて連接する一部分であるマーカ群と同じとなる比較用パターンを用いてパターン認識処理を行うことにより、抽出したマーカの位置、大きさ、角度などの算出誤差を小さくすることができる。

本発明は、街頭ディスプレイにマーカを表示する使い方において非常に有効であり、朝、昼、夕方、夜と時間に応じて、あるいは晴れ、曇り、雨などの天気に応じて、周囲の明るさが予測不可能に変化する環境下において、常に同一のマーカ表示で、サービスを提供することが可能となる。そのため、マーカをディスプレイに表示する側の立場で考える場合、周囲の明るさや時間帯によって、ディスプレイの輝度を調整したり、表示するマーカを複数用意し状況に応じて使い分けるといった処理が要求されないこととなり、サービス提供におけるシステム的、稼動的負荷を低減することができる。

また、ユーザが撮影に用いる端末の撮影性能に依存して、マーカが綺麗に撮影できないという状況を最小化することができる。これにより、多種多様なユーザの端末に対応可能になることに加え、綺麗にマーカを撮影するために撮影感度を調整するなど、ユーザ側の操作負荷を必要とせず、サービス利用における利便性の向上をもたらす。

実施形態で用いられるマーカを説明するための図である。 第１の実施形態の処理システムの一構成例を示すブロック図である。 ユーザ端末の一構成例を示すブロック図である。 表示装置の一構成例を示すブロック図である。 第１の実施形態のマーカの表示例を示す図である。 第１の実施形態のマーカの表示例を示す図である。 第１の実施形態のマーカの表示例を示す図である。 図５Ａに示した画像に欠落が生じた場合を示す図である。 図５Ｃのマーカの情報を示す表である。 第１の実施形態における処理装置の動作を説明するための図である。 第２の実施形態におけるマーカの表示例を示す図である。 白飛びしたマーカの例を示す図である。 図９（ａ）に示した画像に白飛びが発生した場合を示す図である。 第３の実施形態におけるマーカの表示例を示す図である。 図１２に示した画像に欠落が発生した場合を示す図である。 マーカの座標の定義の一例を示す図である。 マーカの情報の一例を示す表である。 第４の実施形態におけるマーカ群の一例を示す表である。 ARToolKitとは異なるマーカ認識処理を説明するための図である。 サービスの一例を説明するための図である。 マーカの一例を説明するための図である。 撮影画像の問題点を説明するための図である。

符号の説明

１０ 処理装置
３０ 表示装置
３２ 表示部
３３ 制御部

Claims (10)

1. 撮像装置に撮影させるためのマーカを表示する画像表示方法であって、
   前記マーカを含む画像を表示する際の走査線と平行ではない方向に前記マーカを複数、それぞれに図柄もしくは色を異ならせて配置し、複数の前記マーカに対して、それぞれに輝度を異ならせ、マーカ間の距離が離れているほど前記輝度の差を大きくして表示する、画像表示方法。
2. 請求項１に記載の画像表示方法であって、
   複数の前記マーカを前記走査線と垂直な方向に配列する、画像表示方法。
3. 撮像装置に撮影させるためのマーカを表示する画像表示方法であって、
   マトリクス状に前記マーカを複数、それぞれに図柄もしくは色を異ならせて配置して表示し、前記マトリクス状に配置された複数のマーカのうち、前記マーカを含む画像を表示する際の走査線と平行な方向の配列に属するマーカについて、その輝度が前記配列の一方の端部から他方の端部に向けて順次変わるように設定する、画像表示方法。
4. 請求項２または３に記載の画像表示方法であって、
   複数の前記マーカのそれぞれは、その外形が矩形であり、外側に黒色あるいは非発光の枠部が設けられ、内部に前記マーカを識別するための前記図柄が記述され、
   前記マーカの外側に設けられた前記枠部のうち少なくとも１辺が、隣接する他のマーカの外側の枠部の１辺と共有している、画像表示方法。
5. 撮像装置に撮影させるためのマーカを表示する画像表示装置であって、
   前記マーカを含む画像を表示する表示部と、
   前記マーカを含む画像を前記表示部に表示する際、走査線と平行ではない方向に前記マーカを複数、それぞれに図柄もしくは色を異ならせて配置し、複数の前記マーカに対して、それぞれに輝度を異ならせ、マーカ間の距離が離れているほど前記輝度の差を大きくする制御部と、
   を有する画像表示装置。
6. 撮像装置に撮影させるためのマーカを表示する画像表示装置であって、
   前記マーカを含む画像を表示する表示部と、
   マトリクス状に前記マーカを複数、それぞれに図柄もしくは色を異ならせて配置し、前記マトリクス状に配置する複数のマーカのうち、前記マーカを含む画像を表示する際の走査線と平行な方向の配列に属するマーカについて、その輝度が前記配列の一方の端部から他方の端部に向けて順次変わるように設定する制御部と、
   を有する画像表示装置。
7. 請求項５に記載の画像表示装置と、
   前記マーカに対応して関連付けられた処理の内容が登録された記憶部、および前記画像表示装置に表示された画像の撮影画像を受信すると、該撮影画像から前記マーカを検出し、該マーカに対応して関連付けられた処理を実行する制御部を含む処理装置と、
   を有する処理システム。
8. 請求項６に記載の画像表示装置と、
   前記マーカに対応して関連付けられた処理の内容が登録された記憶部、および前記画像表示装置に表示された画像の撮影画像を受信すると、該撮影画像から前記マーカを検出し、該マーカに対応して関連付けられた処理を実行する制御部を含む処理装置と、
   を有する処理システム。
9. 請求項８に記載の処理システムであって、
   前記処理装置の記憶部に、前記マトリクス状に配置された複数のマーカについて連接する一部分であるマーカ群と同じ画像データである比較用パターンが予め登録され、
   前記処理装置の制御部は、前記撮像画像と前記比較用パターンとを比較して前記マーカ群を抽出すると、該マーカ群に含まれるいずれかのマーカに対応して関連付けられた処理を実行する、処理システム。
10. 請求項９に記載の処理システムであって、
    前記処理装置の記憶部に登録された前記比較用パターンは、含まれるマーカ数が異なる第１および第２の比較用パターンを少なくとも有し、該第１の比較用パターンに含まれるマーカ数は前記第２の比較用パターンよりも多く、
    前記処理装置の制御部は、前記撮像画像と前記第１の比較用パターンとを比較し、前記マーカ群を抽出したか否かを判定し、前記マーカ群を抽出した場合、該マーカ群に対して前記処理を実行し、前記判定で前記マーカ群を抽出しなかった場合、前記撮像画像と前記第２の比較用パターンとを比較し、前記マーカ群を抽出すると、該マーカ群に対して前記処理を実行する、処理システム。