JP5117452B2 - 動的閾値を用いたマーカ認識方法及びこれを活用した増強現実に基づく学習システム - Google Patents

Description

本発明は動的閾値を用いたマーカ認識方法及びこれを活用した増強現実に基づく学習システムに関する。

通常、平面又は立体面上に形成されたマーカを認識し、マーカに相応するデータを獲得するマーカ認識部は増強現実の実現技術と結合してｅ-ラーニング（Ｌｅａｒｎｉｎｇ）又はユビキタス-ラーニング（ｕ-Ｌｅｒａｎｉｎｇ）と呼ばれる学習システムに活用されている。

以下、従来の学習システムなどで活用される増強現実と、これに対比される仮想現実について説明する。まず、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）とは、コンピュータを用いて構築した仮想空間で人間の感覚界との相互作用を通じて空間的、物理的制約により現実世界では直接経験できない状況を間接的に体験できるようにした情報活動分野の新たなパラダイムの１つをいう。仮想現実の窮極的な目標は、多様な入出力方法を用いてコンピュータと人間との対話能力を高めることで、コンピュータとより現実的な通信を行える環境を提供することにある。コンピュータと人間との入出力方法には、ＨＭＤ（Ｈｅａｄ-Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、データグローブ（Ｄａｔａ Ｇｌｏｖｅ）及びモーションキャプチャのような装置が用いられるが、ＨＭＤはユーザの頭の動きに応じた位置変化データをコンピュータに送信し、コンピュータにユーザの視野にある対象の大きさ及び深さを計算させて、シミュレーションを行わせる。データグローブは、ユーザの手の位置と方向を感知するが、ユーザが３次元空間で手を動かすと、データグローブがデータの流れを３次元座標形式でコンピュータに送り、コンピュータはそのデータに対応する対象を操作する。

増強現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）とは、仮想環境及び仮想現実から派生した用語であって、実際の環境にコンピュータグラフィック映像を挿入して実世界の映像と仮想の映像とを混合したものを意味する。

実世界の情報にはユーザが必要としない情報もあり、時にはユーザが必要とする情報が不足することもあり得る。しかし、コンピュータで作った仮想環境を利用すれば、必要としない情報を単純にしたり、見えなくすることもできる。即ち、増強現実システムは、実世界と仮想世界とを結合することで、リアルタイムでユーザと相互作用がなされるようにするものである。増強現実の最も簡単な形態は、エンターテイメントとニュース分野などで応用されている。

テレビで天気予報を放送する場合、気象キャスタの前の天気図が自然に変わることを目にすることができるが、実際には気象キャスタがブルースクリーンの前に立っており、コンピュータで製作された仮想の映像が仮想スタジオ環境を作り、増強現実を実現する。その他にも、磁気共鳴画像（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｅ）、断層像（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ Ｉｍａｇｅ）及び超音波映像などのような間接検査を通じてリアルタイムで患者の３次元データを取得した後、取得されたデータをリアルタイムでレンダリングして患者とオーバーラップして表現することで、医者に患者の手術を円滑に行わせることもでき、操縦士のヘルメットのバイザー又は操縦席の防風ガラスに仮想映像をディスプレイして操縦士に操縦に必要な多くの情報を知らせることもできる。

従来のマーカ認識技術としては、デカルト座標形態の３次元マーカを用いて実画像内に含まれている３次元マーカを認知するシステムを実現したものと、マーカのＩＤ区分のために、マーカの内部を３６個の領域に分けて１０ビットはマーカのＩＤ区分に、２６ビットはＣＲＣ（Ｃｙｃｌｉｃａｌ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）コードに割り当ててマーカのＩＤ抽出の性能を高める技術に関する。

特開平 16 - 139294号公報

前述した従来のマーカ認識技術と増強現実技術とを結合してユビキタス-ラーニングシステムを実現するには多くの課題が存在していた。まず、多様なカメラ、照明環境でもマーカ認識技術が強力に動作しなければならない。また、学習者がユビキタス-ラーニングシステムの教材に印刷されたマーカに対して不自然さを感じる傾向があるので、教材に印刷されるマーカの大きさを最大限に縮小すると同時に、マーカの認識率を高めなければならない。更に、本の頁数が増えるほど、本に含まれるマーカの種類が多様になるため、そのために多様な種類のマーカを効率的に製作し、認識できるパターンの製作及び認識メカニズムが必要となる。

本発明は上記事情に鑑みてなされたものであって、その目的は、動的閾値を用いたマーカ認識方法及びこれを活用した増強現実に基づく学習システムを提案することにある。また、本発明によるマーカ認識装置及びマーカ認識方法は、増強現実技術と結合して多様な学習システムに適用可能である。

本発明の一態様による学習用教材上に印刷されたマーカ認識方法は、学習用教材の映像に対するサンプリングを行う段階と、サンプリングされたピクセルの映像を閾値に基づいて第１映像グループ及び第２映像グループにグループ化する段階と、前記第１映像グループ及び第２映像グループそれぞれの中央値を算出し、算出された前記中央値の平均値で前記閾値を更新する段階と、更新される前の閾値と更新された閾値との差が基準値以下となるまで前記段階を繰り返す段階と、前記更新された閾値に基づいて前記カメラを通じて獲得した映像を二進化する段階と、前記二進化された映像を用いてマーカを検出する段階とを含む。

本発明の他の態様による増強現実に基づく学習システムは、学習用教材上に印刷された複数のマーカが含まれている学習用教材の映像を撮影するカメラと、前記学習用教材の映像に対するサンプリングを行う映像処理部と、前記二進化された映像から前記マーカを認識するマーカ認識部と、３Ｄコンテンツで形成された仮想客体を前記認識されたマーカに基づいて増強させる客体増強部と、前記増強させた映像をディスプレイするように制御する制御部とを含む。

本発明によって閾値を設定し、これを用いてマーカを認識する場合、映像の瞬間的な照明変化、映像の漸進的な照明の変化にも拘らず、正確にマーカを認識できるという効果を奏する。また、動的に閾値を設定するにも拘らず、適切なサンプリングとサンプリング対象の動的な変化を通じて計算量が大きく増加しないという有利な効果がある。

本発明の一実施形態が適用される学習システムの一例を示す図である。 図１の学習進行部の詳細ブロック図である。 マーカ及び学習者の手を認識して３Ｄコンテンツを増強させた一例を示す図である。 本発明の一実施形態によるマーカ認識部及び制御部を説明する図である。 図４のマーカ認識部においてマーカのパターンＩＤを検出する過程に対する手順フローチャートである。 本発明の一実施形態で用いられるマーカの例を示す図である。 本発明の一実施形態で用いられるマーカの例を示す図である。 マーカ検出部で検出されたマーカの四角形から固定パターンとアイコンパターンを１フレームワークで認識できるパターン認識部のパターン認識過程を示す図である。 カメラにより撮影される映像のうち、サンプリングされる部分の一例を示す図である。 サンプリングされたピクセルの映像値が閾値に応じてグループ化された一例を示す図である。 更新された閾値に基づいて第１グループと第２グループとが区分された一例を示す図である。 動的な閾値の設定方法が適用される領域を説明する図である。 本実施形態によって計算量を減少させ、閾値を設定する方法を示す手順フローチャートである。 本発明の一実施形態による動的閾値を用いたマーカ認識方法を示すフローチャートである。

以下、添付する図面を参照して本発明の一実施形態を説明する。

図１は、本発明の一実施形態が適用される学習システムの一例を示す図である。図１の学習システム１００は、マーカ１１１が印刷された学習用教材１１０、前記学習用教材１１０をその上に印刷されたマーカと共に撮影するカメラ１２０、前記カメラ１２０から獲得した映像を処理してマーカ１１１を認識し、マーカによって学習を進行する学習進行部１３０、増強現実による映像を認識されたマーカを用いてディスプレイするモニタ１８０を含む。前記学習進行部１３０及び前記カメラ１２０は、それぞれ汎用コンピュータ及び個人用コンピュータで用いられる一般的なウェブカメラであり得るため、効率的な費用で実現され得る。マーカ１１１は、学習用教材１１０上に印刷されるか、例えば立体物の一面に印刷されてもよく、身体の一部に付着されてもよい。本実施形態においては、少なくとも２種類のマーカを用いる。１つは特定の情報がエンコードされるコード型マーカであり、もう１つは予め設定された形状を有するアイコンマーカである。図６(a)及び図６(b)は、本実施形態で用いるマーカの一例であって、図６(a)はコード型マーカを示し、図６(b)は、アイコンマーカを示す。図２は、図１の学習進行部１３０の詳細ブロック図である。

学習進行部１３０は、映像処理部１４０、マーカ認識部１５０、客体増強部１６０、制御部１７０を含む。前記映像処理部１４０は、前記学習用教材１１０の映像に対するサンプリングを行って第１のサンプリングされた映像を生成し、第１のサンプリングされた映像を既に設定された閾値に基づいて第１映像グループ及び第２映像グループにグループ分けする。また、前記映像処理部１４０は、前記第１映像グループ及び第２映像グループそれぞれの中央値を算出し、算出された前記中央値の平均値で前記閾値を更新し、更新される前の閾値と更新された閾値との差が基準値以下となるまで更新を行い、前記更新された閾値に基づいて二進化された映像を得る。

前記マーカ認識部１５０は、前記二進化された映像からエンコードされた情報を有するマーカを認識する。客体増強部１６０は、認識されたマーカ１１１内のエンコードされた情報に基づいて３Ｄコンテンツで構成された静的又は動的客体を増強する。制御部１７０は、増強された客体を制御してモニタ１８０上に増強された客体をディスプレイする。

前記マーカ１１１が立体物上に印刷された場合に、学習進行部１３０は印刷されたマーカの情報を処理する。

図３は、マーカ及び学習者の手を認識して生成された３Ｄコンテンツを増強させた一例を示す図である。図示のように、マーカ１１１のエンコードされた情報に基づいて客体２００を増強させることが可能である。また、学習者が指にマーカを着用している場合に、学習者の手の動作によって前記客体２００を増強させることができる。一方、手の動作の認識率を高め、手の動作の細かい認識のために学習者の指にバンド状のマーカを着用させることも可能である。

図４は、図２のマーカ認識部１５０及び制御部１７０を説明するブロック図である。マーカ認識部１５０は、映像処理部１４０から学習用教材１１０の二進化された映像の入力を受け、二進化された映像からマーカを検出してマーカのパターンＩＤを推定してマーカを認識する。前記マーカ認識部１５０は、マーカ検出部４１１及びパターン認識部４１２を含む。前記マーカ認識部１５０は、マーカのパターンＩＤの情報を制御部１７０に伝達する。

具体的に、マーカ検出部４１１は学習用教材１１０の映像のエッジ情報を用いてマーカの枠が四角形であるかを判断する。パターン認識部４１２は、検出されたマーカのエッジ情報と色情報を用いてマーカのパターンを認識し、認識されたマーカのパターンＩＤを検出する。

図５は、図４に示すマーカ認識部１５０でマーカパターンＩＤを検出する過程を示すフローチャートである。

マーカ認識部１５０は、カメラ１２０で学習用教材１１０の二進化された映像を取得し（Ｓ５０１）、これを通じて得られた映像のエッジ情報を用いてマーカの枠を検出してマーカを検出する（Ｓ５０３）。前記マーカ認識部５０５は、検出したマーカのマーカ種類指示情報によってマーカの種類を識別し、前記マーカからエンコードされた情報を検出する（Ｓ５０５）。また、検出されたマーカの種類は、マーカ種類指示情報を用いて区別される。例えば、前記マーカ種類指示情報は、マーカの内部に形成された内部特性線を含む。

以下、マーカ内にエンコードされた情報及びマーカから把握できる情報を「パターンＩＤ」と称する。

また、認識されたマーカに対する照明の変化及びマーカの隠れによりマーカが認識されていない場合、マーカ配置構造ファイルを用いて認識されていないマーカを復元し（Ｓ５０７）、最終のマーカ認識を完了する（Ｓ５０９）。

図７は、図４のパターン認識部４１２のパターン認識過程を示すフローチャートである。

まず、マーカを検出し（Ｓ１００１）、検出されたマーカの内部でコード型マーカなのか、アイコンマーカなのかを区別する識別情報（例えば、予め定められた規則に従ってマーカの内部に形成された内部特性線）を探索する（Ｓ１００３）。識別情報の有無によってコード型マーカであると判断されると、コード型マーカにエンコードされた情報をデコードし（Ｓ１００５）、もしアイコンマーカである場合には、パターンＤＢを検索及びマッチングさせ、どのアイコンであるかを把握する（Ｓ１００７）。前述した過程を通じてマーカに相応する情報、即ちパターンＩＤを獲得（検出）できる（Ｓ１００９）。

従って、照明の変化又は障害物、例えば、アイコンパターンが教材上に印刷されたマーカを遮る場合のようなマーカの隠れによりマーカが認識されず、合成された仮想コンテンツが消えるフリッカを減少させることができる。

本発明の一実施形態によれば、マーカを認識するためにカメラが撮影した映像を二進化するが、この場合、二進化の基準となる閾値を設定する技法が問題になる。前述したように、本発明の一実施形態は多様な汎用装置（例えば、個人用コンピュータ、個人用ノートブックコンピュータなど）などに適用可能であるので、本実施形態に用いられるカメラもその種類に制限がない。この場合、カメラそれぞれの特性に応じてマーカの認識率が変わり得る。また、学習がなされる外部の照明環境の変化によってもマーカの認識率が変わり得る。本実施形態は、多様なカメラ環境及び照明環境でも優れた認識率を有するために、マーカを認識する過程で撮影した映像の黒色部分と白色部分を区分する閾値を動的に定める技法を提案する。

以下、撮影した映像の黒色部分と白色部分を区分する閾値を動的に定める技法について説明する。本実施形態は、カメラを通じて獲得した映像のピクセルのうち、サンプリングされた一部を用いて撮影した映像の黒色部分と白色部分を区分する閾値Ｔ_ｉを動的に設定できる。

図８は、カメラ１２０により撮影される映像のうち、サンプリングされる部分の一例を示す図である。図示のように、４つのピクセル単位でサンプリングが行われ、サンプリングされるピクセル１５０１は互いに隣接し得る。サンプリングは多数のピクセルのうち、いずれか一部のみを選択する過程であって、図示のように、ピクセル全体のうち、一部のピクセル１５０１のみを選択できる。サンプリングレートを調節したり、サンプリングされるピクセルのパターンを異にする場合には、サンプリングによる計算量及びサンプリングの正確度などが変わるので、前記サンプリングレート及びサンプリングパターンを適切に定めることが好ましい。

サンプリングされたピクセルの映像値は、既に設定された閾値に基づいて黒色に相応する第１映像グループ及び白色に相応する第２映像グループにグループ化される。図９は、サンプリングされたピクセルの映像値が閾値に応じてグループ化された一例を示す図である。図示する図９の横軸は明るさを示し、縦軸は該当明るさを有するピクセルの個数を示す。前記閾値Ｔ_ｉは任意に設定された値であるため、前記第１映像グループ及び第２映像グループに応じて更新されることが好ましい。具体的に、前記第１映像グループの中央値ｍ_ａと前記第２映像グループの中央値ｍ_ｂの平均を求め、新たな閾値Ｔ_ｉ+１を算出することが好ましい。

図１０は、更新された閾値に基づいて第１グループと第２グループが区分された一例を示す図である。サンプリングされたピクセルの映像値は、再び更新された閾値Ｔ_ｉ+１に応じて第１グループと第２グループとに区分され、新たに区分された第１グループの中央値と第２グループの中央値で新たな閾値Ｔ_ｉ+２を算出できる。

前述した方式によって閾値はＴ_ｉ、Ｔ_ｉ＋１、Ｔ_ｉ＋２の順に更新される。もし、更新される閾値が更新される前の閾値に収斂する場合、これ以上の更新を中断し、新たな閾値に基づいて撮影した映像の黒色部分と白色部分を区分（即ち、二進化）することが好ましい。具体的に、更新された閾値が更新前の閾値と同一であるか、更新された閾値と更新前の閾値との差が所定の基準値以下となる場合が、これ以上の更新を中断し、新たな閾値に基づいて撮影した映像の黒色部分と白色部分を区分できる。

前述したような動的な閾値設定方法によって映像の二進化を行うと、瞬間的又は漸進的な照明の変化にも拘らず、正確に黒色／白色ピクセルを区別でき、マーカの認識率を高めることができる。

前述した方法は、マーカの認識率を高めるという有利な効果があるが、動的に閾値を設定することによる計算量が増加してしまうという問題が発生し得る。このような問題を予防するために、本実施形態は前述した動的な閾値設定方法をマーカが属する領域にのみ適用する方法を提案する。

図１１は、動的な閾値設定方法が適用される領域を説明する図である。図示のように、教材１８３０上にマーカ１８１０が印刷される場合に、教材１８３０全体に相応する領域１８２０に対して図８〜図１０を用いて説明した閾値設定方法が適用されることができ、また領域全体ではなく、マーカ１８１０が属する領域に対してのみ図８〜図１０を用いて説明した方法が適用され得る。

図１２は、図２の映像処理部１４０で用いられる既に設定された閾値を設定する方法を示す手順フローチャートである。

図示のように、最初に閾値を設定する場合には領域全体１８２０に対してサンプリングを行い、サンプリングされたピクセルに対して前述した図８〜図１０のような方法で閾値を設定する（Ｓ１９０１）。閾値が設定されると、設定された値によってマーカ認識を行う（Ｓ１９０２）。

この場合、マーカが正常に認識されるかを判断し（Ｓ１９０３）、マーカが正常に認識される場合にはマーカが属する領域のみをサンプリングし、サンプリングされた結果を用いて閾値を繰り返して動的に設定する（Ｓ１９０４）。しかし、Ｓ１９０３段階でマーカが正常に認識されていない場合にはマーカの認識を繰り返して行うために、Ｓ１９０２段階に戻る。図１２の方法によれば、閾値を正確に設定してマーカ認識率を高めながらも、計算量の増加を最少化するという長所がある。

図１３は、本発明の一実施形態による動的閾値を用いたマーカ認識方法を示すフローチャートである。

図示のように、動的閾値を設定する方法は、領域全体のサンプリングされたピクセルに対して閾値を設定する段階（Ｓ２００１〜Ｓ２００９）と、マーカが属する領域のみをサンプリングし、サンプリングされた結果を用いて閾値を設定する段階（Ｓ２０１０〜Ｓ２０１５）とで構成される。

まず、領域全体に対して閾値を設定する段階は、カメラにより撮影された映像をサンプリングしてサンプリングされたピクセルを生成し（Ｓ２００３）、サンプリングされたピクセルでヒストグラムを生成する（Ｓ２００４）。サンプリングされたピクセルを最初に設定された閾値に基づいて第１映像グループと第２映像グループとにグループ化し（Ｓ２００５）、各グループ別の中央値を求めた後（Ｓ２００６）、求められた各中央値の平均値を求める（Ｓ２００７）。設定された閾値と平均値との差が基準値以下となるまで閾値を更新し（Ｓ２００５〜Ｓ２００８）、更新前の閾値と更新された閾値との差が基準値以下となる場合は、これ以上の更新を中断し、新たな閾値に基づいて撮影された映像の二進化を行う（Ｓ２００９）。

領域全体に対して閾値を用いて二進化された映像からマーカが検出された場合は、マーカが属する領域のみをサンプリングし、閾値を更新する過程を繰り返す（Ｓ２０１０〜Ｓ２０１1）ことで、計算量を減少させることができ、マーカが検出されていない場合には、領域全体に対するサンプリング及び閾値設定段階（Ｓ２００１〜Ｓ２００９）を再び繰り返すことで、マーカ認識率を高めることができる。

以上、本発明の実施形態について詳細に説明したが、本発明の権利範囲はこれに限定されるものではなく、下記の請求範囲で定義している本発明の基本概念を用いた当業者の多様な変形及び改良形態も本発明の権利範囲に属する。

Claims (9)

1. カメラを通じて獲得した学習用教材の映像に対するサンプリングを行う第１段階と、
   サンプリングされたピクセルの映像を明るさの閾値に基づいて第１映像グループ及び第２映像グループにグループ化する第２段階と、
   前記第１映像グループ及び第２映像グループそれぞれの明るさの中央値を算出し、算出された前記明るさの中央値の平均値で前記明るさの閾値を更新する第３段階と、
   更新される前の明るさの閾値と更新された明るさの閾値との差が基準値以下となるまで前記第１乃至第３段階を繰り返す第４段階と、
   前記更新された明るさの閾値に基づいて前記カメラを通じて獲得した映像を二進化する第５段階と、
   前記二進化された映像を用いてマーカを検出する第６段階と
   を含み、前記第１乃至第６段階はコンピュータが行うことを特徴とする学習用教材上に印刷されたマーカ認識方法。
2. 前記二進化された映像を用いてマーカが検出される場合、前記検出されたマーカが存在する領域に対してサンプリングを行って第２のサンプリングされたピクセルの映像を生成する第７段階と、
   前記第２のサンプリングされたピクセルの映像を前記明るさの閾値に基づいてグループ化し、各グループの明るさの中央値の第２平均値で前記明るさの閾値を更新する第８段階と
   を更に含み、前記第７及び第８段階はコンピュータが行うことを特徴とする請求項１に記載の学習用教材上に印刷されたマーカ認識方法。
3. 前記マーカは、特定の情報がエンコードされたコード型マーカ又は既に設定された形状を有するアイコンマーカであることを特徴とする請求項１に記載の学習用教材上に印刷されたマーカ認識方法。
4. 前記学習用教材の映像は、マーカを含む前記学習用教材全体のイメージであることを特徴とする請求項１に記載の学習用教材上に印刷されたマーカ認識方法。
5. 前記マーカの検出は、エッジ情報を用いてマーカの四角形の枠及び内部特性線の検出により行われることを特徴とする請求項１に記載の学習用教材上に印刷されたマーカ認識方法。
6. 学習用教材上に印刷された複数のマーカが含まれている学習用教材の映像を撮影するカメラと、
   前記学習用教材の映像に対するサンプリングを行う映像処理部と、
   二進化された映像から前記マーカを認識するマーカ認識部と、
   ３Ｄコンテンツで形成された仮想客体を前記認識されたマーカに基づいて増強させる客体増強部と、
   前記増強させた仮想客体の映像をディスプレイするように制御する制御部と
   を含み、
   前記映像処理部は第１のサンプリングされたピクセルの映像を生成し、サンプリングされたピクセルの映像を明るさの閾値に基づいて第１映像グループ及び第２映像グループにグループ化し、前記第１映像グループ及び第２映像グループそれぞれの明るさの中央値を算出し、算出された前記明るさの中央値の平均値で前記明るさの閾値を更新する段階を遂行し、更新される前の明るさの閾値と更新された明るさの閾値との差が基準値以下となるまで前記段階を繰り返して動的明るさの閾値に基づいて二進化された映像を得ることを特徴とする学習システム。
7. 前記マーカ認識部は、前記カメラから入力された映像に対してエッジ情報を用いてマーカの枠が四角形であるかを判断してマーカを検出するマーカ検出部と、検出されたマーカに対してエッジ情報と色情報を用いてマーカのパターンを認識し、認識されたマーカのパターンＩＤを検出することを特徴とする請求項６に記載の学習システム。
8. 前記マーカは、特定の情報がエンコードされたコード型マーカ又は既に設定された形状を有するアイコンマーカであることを特徴とする請求項６に記載の学習システム。
9. 前記マーカ検出部は、前記カメラを通じて撮影された映像の明暗を閾値で二進化した後、そのうち、暗い領域をグループ分けしてこの領域が四角形であるか否かを判断することを特徴とする請求項７に記載の学習システム。

Images