JP5736767B2 - デジタルメディアの提供方法、印刷媒体及びコンピュータプログラム - Google Patents

Description

本発明は概して、ドキュメントの一部に関連するメディアの存在を示す埋込みメディアマーカーに関し、より詳細には埋込みメディアバーコードリンクを使用したデジタルメディアの提供方法、印刷媒体、及びコンピュータプログラムに関する。

紙は情報を見るために最も広く使用されている手段の１つであるが、ビデオやオーディオのような動的メディアを再生することはできない。一方、携帯電話はオーディオやビデオの再生にますます使用されるようになってきているが、紙のもつ解像度の高さ、表示サイズの大きさ、空間的構成の柔軟さ、戸外での読みやすさ、そして静的コンテンツに対するロバスト性には対抗できない。今日では、これら２つを画像認識技術を用いて組み合わせ、紙のドキュメントを動的メディアにリンクさせることが可能になった。携帯電話のカメラがドキュメントパッチ（一部分）の画像の撮影に用いられる。ドキュメントパッチは画像の特徴を用いて識別され、ドキュメントパッチの位置にリンクされたデジタルメディアが検索され、携帯電話で再生される。

この種類のメディアリンクを紙のドキュメント上に生成するための方法に共通することは、ドキュメント上にマーカーを印刷することである。分かりやすい例の一つは、バーコードである（例えば、非特許文献１参照）。しかし、既存のバーコード印刷では独占的な空間が必要なため、ドキュメントのコンテンツのレイアウトを妨げる場合がある。この問題を解決する１つの方法は、データセルをユーザ指定の画像の背景と組み合わせることであるが、それでもなお、データセルの位置をデコーダが見つけるために、不透明な白黒の境界が必要となる。データグリフ（ＤａｔａＧｌｙｐｈ）（例えば、非特許文献２参照）は、略不可視のマシン認識可能なパターンを紙に印刷することによってこれらの問題を克服している。しかし、この種類のマーカーはドキュメントの位置を識別するために高解像度のプリンタやカメラを必要とする。ＲＦＩＤのような電子マーカーを用いることもできる（例えば、非特許文献３参照）が、このアプローチは生産コストを上げてしまう。

他のシステムは、ドキュメントパッチを識別してメディアリンクを生成するためにドキュメントコンテンツ自体の特徴を計算する。ホットペーパー（ＨｏｔＰａｐｅｒ）（例えば、非特許文献４参照）及びモバイル検索機（Ｍｏｂｉｌｅ Ｒｅｔｒｉｅｖｅｒ）（例えば、非特許文献５参照）は、単語の空間レイアウトなどドキュメントのテキストに基づいた特徴を用いている。Ｂｏｏｋｍａｒｋｒ（例えば、非特許文献６参照）及びＭａｐＳｎａｐｐｅｒ（例えば、非特許文献７参照）のような他のシステムは、ＳＩＦＴアルゴリズム（例えば、非特許文献８参照）のようなピクセルレベルの画像特徴を用いて写真やグラフィック要素などの一般的なドキュメントコンテンツを認識している。これらのシステムを用いると、マーカー印刷のための独占的な空間は不要となる。

マーカーベースの方法及びドキュメントの外観ベースの方法はいずれも、視覚的な案内（ガイダンス）をユーザに与えるには不十分である。バーコード及びデータグリフは可視であるが、これらに関連するメディアの存在や種類を直接的に示していない。外観ベースの特徴が用いられる場合、ユーザにドキュメントにリンクしたメディアがあることを示す紙上の表示が全くない。結果として、ホットペーパーのユーザは、カメラ付き携帯電話を紙のドキュメントにかざしてパンし、赤い点や振動などのフィードバックが携帯電話に示されるまでホットスポットを探さなければならない。

この問題を解決するために、研究者はＥＭＭ（Ｅｍｂｅｄｄｅｄ Ｍｅｄｉａ Ｍａｒｋｅｒ）と呼ばれる意味をもつ認識マークを紙に付与しており（例えば、非特許文献９参照）、このマークはメディアリンクの存在、種類及び撮影案内を示す。ユーザは、ＥＭＭを見れば、関連するデジタルメディアを見るために、ＥＭＭによって示されたドキュメントパッチの画像を携帯電話で撮影するということが分かる。これは、リンクの存在を下線、異なるフォント又は画像タグを用いて示し、追加の情報を得るためにリンクをクリックするウェブページに類似している。ＥＭＭはバーコードとは違って殆ど見えないため、ドキュメントの外観を妨げない。ＥＭＭは、デジタルペーパーにみられる埋込みデータグリフやアノト（Ａｎｏｔｏ）パターンとは違って通常の低解像度プリンタで印刷でき、通常の携帯電話のカメラによって撮影された画像から識別することができる。ＥＭＭは、他の外観ベースのアプローチとは異なり、ドキュメントパッチ及びその位置を明確に指す。また、ＥＭＭのデザインは、ＥＭＭによって示されるドキュメントの位置にどの種類のメディア（例えば、オーディオ、ビデオ又は画像）が関連するかを示す。また、撮影される画像がマーク全体を含むことが必要であることにより、ＥＭＭシステムは、特徴構築精度、マッチング精度を向上させ、有効に資源を使用することができる。

ＥＭＭは、過去の多くの問題を解決する。しかしながら、ＥＭＭのパッチは在来のバーコードよりも識別される速度が遅い。また、基礎となるドキュメントが、パッチ識別のために十分な特徴を有することが必要となる。更に、ＥＭＭに対する拡張性やエラー訂正能力のテストは未だに有効ではない。また、きれいなドキュメントパッチが関連メディアにリンクするための十分な情報を有するかどうかを不審に思うユーザがいる場合がある。

レキモト（Ｒｅｋｉｍｏｔｏ、Ｊ．）及びアヤツカ（Ａｙａｔｓｕｋａ、Ｙ．）、サイバーコード：ビジュアルタグを用いた拡張現実感環境のデザイン（ＣｙｂｅｒＣｏｄｅ：ｄｅｓｉｇｎｉｎｇ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｅｎｖｉｒｏｎｍｅｎｔｓ ｗｉｔｈ ｖｉｓｕａｌ ｔａｇｓ）、ＡＣＭ ＤＡＲＥ ２０００議事録、１−１０頁 ヘクト（Ｈｅｃｈｔ Ｄ．Ｌ．）、ハードコピーデジタルドキュメントのための埋込みデータグリフ技術（Ｅｍｂｅｄｄｅｄ Ｄａｔａ Ｇｌｙｐｈ Ｔｅｃｈｎｏｌｏｇｙ ｆｏｒ Ｈａｒｄｃｏｐｙ Ｄｉｇｉｔａｌ Ｄｏｃｕｍｅｎｔｓ）、ＳＰＩＥ−Ｃｏｌｏｒ Ｈａｒｄ Ｃｏｐｙ Ａｎｄ Ｇｒａｐｈｉｃｓ Ａｒｔｓ ＩＩＩ、第２１７１巻、３４１−３５２頁 ライリー（Ｒｅｉｌｌｙ、Ｄ．）、ロジャーズ（Ｍ．Ｒｏｄｇｅｒｓ）、アーギュー（Ｒ．Ａｒｇｕｅ）ら、マークアップされたマップ：紙のマップと電子情報資源の結合（Ｍａｒｋｅｄ−ｕｐ ｍａｐｓ：ｃｏｍｂｉｎｉｎｇ ｐａｐｅｒ ｍａｐｓ ａｎｄ ｅｌｅｃｔｒｏｎｉｃ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｓｏｕｒｃｅｓ）、Ｐｅｒｓｏｎａｌ ａｎｄ Ｕｂｉｑｕｉｔｏｕｓ Ｃｏｍｐｕｔｉｎｇ、２００６．１０（４）、２１５−２２６頁 イーロル（Ｅｒｏｌ，Ｂ．）、アントゥネス（Ｅｍｉｌｉｏ Ａｎｔｕｎｅｚ）及びハル（Ｊ．Ｊ．Ｈｕｌｌ）、ホットペーパー：携帯電話を用いた紙とのマルチメディア相互作用（ＨＯＴＰＡＰＥＲ：ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒａｃｔｉｏｎ ｗｉｔｈ ｐａｐｅｒ ｕｓｉｎｇ ｍｏｂｉｌｅ ｐｈｏｎｅｓ）、ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ ０８ 議事録、３９９−４０８頁 リュウ（Ｌｉｕ，Ｘ）及びドアーマン（Ｄ．Ｄｏｅｒｍａｎｎ）、モバイル検索機：物理資源からデジタル文書へのアクセス（Ｍｏｂｉｌｅ Ｒｅｔｒｉｅｖｅｒ：ａｃｃｅｓｓ ｔｏ ｄｉｇｉｔａｌ ｄｏｃｕｍｅｎｔｓ ｆｒｏｍ ｔｈｅｉｒ ｐｈｙｓｉｃａｌ ｓｏｕｒｃｅ）、Ｉｎｔ．Ｊ．Ｄｏｃ．Ａｎａｌ．Ｒｅｃｏｇｎｉｔ．、２００８．１１（１）、１９−２７頁 ヘンツェ（Ｈｅｎｚｅ，Ｎ．）及びボール（Ｓ．Ｂｏｌｌ）、写真を撮ってフォトブックをシェアしよう（Ｓｎａｐ ａｎｄ ｓｈａｒｅ ｙｏｕｒ ｐｈｏｔｏｂｏｏｋｓ）、ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ ０８ 議事録、４０９−４１８頁 ヘア（Ｈａｒｅ，Ｊ．）、ルイス（Ｐ．Ｌｅｗｉｓ）、ゴードン（Ｌ．Ｇｏｒｄｏｎ）及びハート（Ｇ．Ｈａｒｔ）、ＭａｐＳｎａｐｐｅｒ：携帯電話からの地図の画像を照合するための効率的アルゴリズムの設計（ＭａｐＳｎａｐｐｅｒ：Ｅｎｇｉｎｅｅｒｉｎｇ ａｎ Ｅｆｆｉｃｉｅｎｔ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｍａｔｃｈｉｎｇ Ｉｍａｇｅｓ ｏｆ Ｍａｐｓ ｆｒｏｍ Ｍｏｂｉｌｅ Ｐｈｏｎｅｓ）、Ｍｕｌｔｉｍｅｄｉａ Ｃｏｎｔｅｎｔ Ａｃｃｅｓｓ 議事録：Ａｌｇｏｒｉｔｈｍｓ ａｎｄ Ｓｙｓｔｅｍｓ ＩＩ、２００８年 ロウ（Ｌｏｗｅ，Ｄ．Ｇ．）、スケール不変のキーポイントからの顕著な画像特徴（Ｄｉｓｔｉｎｃｔｉｖｅ Ｉｍａｇｅ Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｋｅｙｐｏｉｎｔｓ）、Ｉｎｔ．Ｊ．Ｃｏｍｐｕｔ．Ｖｉｓｉｏｎ、２００４．６０（２）、９１−１１０頁 リュウ（Ｌｉｕ，Ｑ．）、リャオ（Ｌｉａｏ，Ｃ．）、ウィルコックス（Ｗｉｌｃｏｘ，Ｌ．）、ダニガン（Ｄｕｎｎｉｇａｎ，Ａ．）及びリュウ（Ｌｉｅｗ，Ｂ．）、埋込みメディアマーカー：関連メディアを示す紙上のマーク（Ｅｍｂｅｄｄｅｄ ｍｅｄｉａ ｍａｒｋｅｒｓ：ｍａｒｋｓ ｏｎ ｐａｐｅｒ ｔｈａｔ ｓｉｇｎｉｆｙ ａｓｓｏｃｉａｔｅｄ ｍｅｄｉａ））、１４ｔｈ ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ Ｕｓｅｒ ｉｎｔｅｒｆａｃｅｓ 議事録（香港、中国、２０１０年２月７日−１０日）、ＩＵＩ’１０、１４９−１５８頁、アメリカ ニューヨーク州ニューヨーク、２０１０年、ＡＣＭ、

本発明によれば、ドキュメントの一部に関連するデジタルメディアの存在を示す埋込みメディアバーコードリンクを使用したデジタルメディアの提供方法、印刷媒体、及びコンピュータプログラムが提供される。

本発明の第１の態様によれば、バーコードを含む埋込みメディアバーコードリンク及び視覚化されたコンテンツを含む物品を利用することによってデジタルメディアを提供するためのコンピュータで実施される方法であって、ａ．受信手段が、埋め込みメディアバーコードリンクの配置に関連したノイズの推定によって決定されたブレンド係数を利用して物品の視覚化されたコンテンツにアルファブレンドされた埋込みメディアバーコードリンクの画像を受信することと、ｂ．抽出手段が、前記受信手段が受信した埋込みメディアバーコードリンクから情報を抽出することと、ｃ．識別手段が、前記抽出手段が抽出した情報に対応する埋込みデジタルメディアを識別することと、ｄ．検索手段が、前記識別手段が識別した埋込みデジタルメディアを検索することと、を含む、方法が提供される。

本発明の第２の態様によれば、第１の態様において、前記ブレンド係数は、前記物品の視覚化されたコンテンツ上の前記埋め込みメディアバーコードリンクの配置のために選択された位置の周りで最も小さなノイズを有する領域が識別されて、最適化されていてもよい。
本発明の第３の態様によれば、第１又は第２の態様において、前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含んでもよく、前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、前記バーコードにアルファブレンドされていてもよい。

本発明の第４の態様によれば、第１又は第２の態様において、前記埋込みメディアバーコードリンクは、前記埋込みデジタルメディアのメディアの種類を表すメディア種類アイコンを更に含んでもよく、前記バーコードは、形状がつけられて、前記メディア種類アイコン内に配置されていてもよい。

本発明の第５の態様によれば、第１〜第４の態様のいずれかにおいて、前記バーコードが前記埋込みデジタルメディアのデータベースアドレス情報を含んでもよい。

本発明の第６の態様によれば、印刷媒体であって、ａ．印刷媒体の表面に視覚化されたコンテンツと、ｂ．バーコードを含み、埋め込みメディアバーコードリンクの配置に関連したノイズの推定によって決定されたブレンド係数を利用して前記視覚化されたコンテンツにアルファブレンドされた埋込みメディアバーコードリンクであって、データベースに記憶された埋込みデジタルメディアオブジェクトに対応する前記埋込みメディアバーコードリンクと、を含む、印刷媒体が提供される。

本発明の第７の態様によれば、第６の態様において、前記ブレンド係数は、前記印刷媒体の視覚化されたコンテンツ上の前記埋め込みメディアバーコードリンクの配置のために選択された位置の周りで最も小さなノイズを有する領域が識別され、最適化されていてもよい。
本発明の第８の態様によれば、第６又は第７の態様において、前記印刷媒体は、２次元の平面の媒体であってもよい。

本発明の第９の態様によれば、第６〜第８のいずれかの態様において、前記埋込みメディアバーコードリンクは、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記視覚化されたコンテンツにアルファブレンドされていてもよい。

本発明の第１０の態様によれば、第６〜第９のいずれかの態様において、前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含んでもよく、前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記バーコードにアルファブレンドされていてもよい。

本発明の第１１の態様によれば、第６〜第９のいずれかの態様において、前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含んでもよく、前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表してもよく、前記バーコードは、形状がつけられて、前記メディア種類アイコン内に配置されていてもよい。

本発明の第１２の態様によれば、第６〜第１１のいずれかの態様において、前記バーコードは、前記データベースにおける前記埋込みデジタルメディアオブジェクトにリンクする情報を含んでもよい。

本発明の第１３の態様によれば、第６の態様において、前記バーコードは、幾何学形状領域に変換されてもよく、前記変換されたバーコードは、前記埋込みメディアバーコードリンク内に配置されてもよい。

本発明の第１４の態様によれば、第１０又は第１１の態様において、前記埋込みメディアバーコードリンクは、前記メディア種類アイコンの中心、アンカーポイント、方向、又は幾何学形状のサイズのいずれかを更に表してもよい。

本発明の第１５の態様によれば、視覚化されたコンテンツと、該コンテンツ上にあると共にバーコードを含む埋込みメディアバーコードリンクとを含む物品を製造するためのコンピュータで実行させるためのコンピュータプログラムであって、ａ．受信手段が、物品の視覚化されたコンテンツ上の位置の選択を受信する工程と、ｂ．決定手段が、前記受信手段が受信した選択位置付近にある前記視覚化されたコンテンツの複数の特徴量に基づいて、埋込みメディアバーコードリンクの位置、形状、バーコード種類またはサイズを決定する工程と、ｃ．配置手段が、前記決定手段が決定した位置、形状、バーコード種類またはサイズに基づいて、前記視覚化されたコンテンツ上の位置に関連するデジタルメディアオブジェクトの利用を示す前記埋込みメディアバーコードリンクを前記物品の前記視覚化されたコンテンツに、前記埋め込みメディアバーコードリンクの配置に関連したノイズの推定によって決定されるブレンド係数を利用してアルファブレンドすることによって配置する工程と、を含む、コンピュータプログラムが提供される。

本発明の第１６の態様によれば、第１５の態様において、前記選択された位置の周りで最も小さなノイズを有する領域を識別し、ブレンド係数を最適化することを更に含んでもよい。
本発明の第１７の態様によれば、第１５又は第１６の態様において、前記埋込みメディアバーコードリンクは、メディア種類アイコンを含むメディア種類の表示を更に含んでもよく、前記メディア種類の表示は、前記バーコード内に配置されてもよく、前記メディア種類アイコンは、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記バーコードにアルファブレンドされてもよい。

本発明の第１８の態様によれば、第１５又は第１６の態様において、前記埋込みメディアバーコードリンクは、メディア種類アイコンを更に含んでもよく、前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表してもよく、前記バーコードは、位置決めされ、サイズ決めされ、種類が調節され、または形状がつけられて、前記メディア種類アイコン内に配置されてもよい。

本発明の第１９の態様によれば、第１７又は第１８の態様において、前記配置手段が前記埋込みメディアバーコードリンクを前記物品の前記視覚化されたコンテンツに配置することが、前記メディア種類アイコンの幾何学形状に基づいて前記バーコードを所定の領域に変換し、前記変換したバーコードを前記メディア種類アイコン内に配置することを更に含んでもよい。

本発明に関連する更なる態様は、一部が以下の説明で説明され、一部が説明から明らかになり、又は本発明の実施によって知ることができる。本発明の態様は、要素によって、ならびに下記の詳細な説明及び添付の請求の範囲で特に指摘される種々の要素及び態様の組み合わせによって実現され、達成され得る。

先の説明及び以下の説明はいずれも例示的で説明的なものにすぎず、主張される発明又は出願をいかなる方法によっても限定する目的ではないことを理解されたい。

ドキュメントの一部に関連するデジタルメディアの存在を示す埋込みメディアバーコードリンクを使用したデジタルメディアの提供方法、印刷媒体、及びコンピュータプログラムを提供することができる。

本明細書の一部に組み込まれてこれを構成する添付の図面は本発明の実施の形態を具現するものであり、本発明の技術の原理を記述と共に説明し、これを示す役割を果たすものである。具体的には以下の通りである。

埋込みメディアバーコードリンク（ＥＭＢＬ（Ｅｍｂｅｄｄｅｄ Ｍｅｄｉａ Ｂａｒｃｏｄｅ Ｌｉｎｋ））の１つの例示的な実施の形態を示す図である。 （ａ）、（ｂ）は、本発明の実施の形態によるＥＭＢＬの例を示す図である。 本発明の実施の形態によるＥＭＢＬの輪郭の変更処理を示す図である。 本発明の実施の形態によるＥＭＢＬを生成するためにバーコードに直接アルファブレンドされたメディアアイコンを示す図である。 （ａ）、（ｂ）、（ｃ）、（ｄ）は、本発明の実施の形態に従って考慮に入れることのできる他のＥＭＢＬ形状の例を示す図である。 ドキュメントコンテンツ内のエッジがバーコードの復号に与える影響の例を示す図である。 テストしたＥＭＢＬチャネルにおけるノイズの推定の例を示す図である。 本発明の実施の形態による画像のキーポイント分布マップから計算したキーポイント積分画像マップの計算を示す図である。 積分画像マップを用いたノイズ評価の高速化を示す図である。 ３３０００のブレンド係数の分布ヒストグラムの例を示している。 図１０の累積されたブレンド係数の分布を示している。 バーコード及びコンテンツと種々のブレンド係数とのブレンドの例を示す図である。 バーコード及びコンテンツと種々のブレンド係数とのブレンドの例を示す図である。 バーコード及びコンテンツと種々のブレンド係数とのブレンドの例を示す図である。 バーコード及びコンテンツと種々のブレンド係数とのブレンドの例を示す図である。 （ａ）、（ｂ）は、バーコード混合・写真設定におけるバーコードの識別を示している。 （ａ）、（ｂ）は、バーコード形式の代わりに既知の形の曲線にした本発明の実施の形態によるＥＭＢＬの例を示している。 本発明の実施の形態のうちの１つに従って、データベース及び物品を使用することによってデジタルメディアを提供する方法を示すフローチャートである。 視覚化したコンテンツとコンテンツ上の埋込みメディアマーカーを含む物品の製造方法を示すフローチャートである。 本発明の実施の形態によるシステムの例示的な機能図である。 本発明のシステムを実施することのできる、モバイルプラットフォームなどの例示的な実施の形態を示す図である。

以下の詳細な説明では、同一の機能要素が同様の番号で示される添付の図面を参照する。限定の目的ではなく例示の目的で示される前述の添付の図面、特定の実施の形態そして実施は本発明の原理と一致する。これらの実施は当業者が本発明を実施できるように十分詳しく説明されており、他の実施を用いることができ、種々の要素の構造上の変更及び／又は代用を本発明の範囲及び趣意から逸脱することなく行えることを理解されたい。従って、以下の詳細な説明を狭義で解釈してはならない。また、説明される本発明の種々の実施の形態を、汎用コンピュータで実行するソフトウェア、専用ハードウェア、又はソフトウェア及びハードウェアの組み合わせで実施することができる。

既存のメディアリンク問題を補うために、本発明の一実施形態として、ここでは埋込みメディアバーコードリンク（ＥＭＢＬ）と名づけた新規のメディア認識マークを提案する。ＥＭＢＬは、関連するメディアへリンクするために紙のドキュメントコンテンツ上に重畳配置されるメディアアイコンに基づいて変形された、半透明のバーコードである。

図１は、本発明の実施の形態に従って認識されるＥＭＢＬの配置過程で使用するオーサリングツールのユーザインターフェースを示している。ＥＭＢＬは従来のバーコードとは異なり半透明である（１００）ため、ドキュメントの外観への妨害がより少ない。前述の埋込みデータグリフ又はアノトパターンとは異なり、ＥＭＢＬは標準の低解像度プリンタでの印刷が可能であり、通常の携帯電話のカメラによって撮影された画像からでもコードが識別できる。ＥＭＢＬによって、メディアリンクの存在、種類及び撮影案内を示すこともできる。ユーザはＥＭＢＬを見ると自然に従来のバーコードを連想するため、ユーザは容易にバーコードに対する情報取得手法をＥＭＢＬに適用することができる。ＥＭＢＬはバーコードと同一の復号スキームを用いるため、拡張性及びエラー訂正能力もサポートされる。ＥＭＢＬは、テキストが１、２行しかないような白紙領域の多いページといった十分な画像特徴をもたない、ＥＭＭの適用に困難が伴うドキュメントに対しても有効である。ＥＭＢＬはなおＥＭＭよりも視覚的に邪魔になることがあるが、特にＥＭＭの使用が困難な状況では利点がこの問題を上回る。この例では、ＥＭＢＬが識別された後、ＥＭＢＬの識別されたバーコード情報が撮影画像１０２内の位置１０１の上に重ねられる。なお、図１は、ＥＭＢＬを配置するためのオーサリングツールのユーザーインターフェースの一部を示したものであり、ＥＭＢＬの配置位置となるドキュメント中の位置１０１が矩形で表示されるとともに、コード番号、座標等が表示されているが、編集後のドキュメント出力時には他の図面で示されるようにこれらは表示されない。

ＥＭＢＬの実施の形態は、関連メディアにリンクするために紙のドキュメントコンテンツ上に配置された、メディアアイコンを変更した半透明のバーコードオーバーレイを含む。この実施の形態は、「ＥＭＢＬにより示されるドキュメントの位置」を通じてメディアに関連するドキュメント中の位置を設定する。ＥＭＢＬは、ドキュメントコンテンツへの視覚的な妨害を低減し、ＥＭＢＬにより示されるドキュメント内の位置のより近くに配置するために、半透明の形態を用いることができる。ＥＭＢＬは、カメラでの取得（撮影）のために示されるドキュメントパッチを識別するために半透明のバーコードを更に用いることができ、また、関連するメディア情報を示すためにアイコン情報を用いることもできる。ＥＭＢＬのバーコード配置方向は、水平、斜め、垂直又は円形のいずれでもよい。

図２（ａ）及び図２（ｂ）は２つのＥＭＢＬの例を示している。これらの例において、ＥＭＢＬはリンクされたメディアの種類に関する情報を示すためにアイコンマーク２００を使用している。また、ＥＭＢＬは、メディアリンクのリンク先の正確な位置を示すために矢印形状部２０１を含んでいる。

ＥＭＢＬの構成例
既存のバーコードをアイコンマスクでマスクすることによってバーコードの輪郭の変更が実現できる。図３は、本発明の実施の形態によるＥＭＢＬの輪郭の変更処理を示している。この処理では、白黒のメディアアイコンに矢印形状部を加えた形状をメディアアイコンマスク３００として生成する。この例ではビデオアイコンを使用する。次に、バーコードをアイコン３０１でマスキングし、バーコード拡張パターンがメディアアイコンに囲まれるよう変更する。必要に応じて、マスキングしたバーコードを更にバーコードデコーダ３０２で確認する。

メディアアイコンをバーコードに直接アルファブレンドしてＥＭＢＬを生成することもできる。図４は、この種のＥＭＢＬ４００の生成を示している。（ドキュメントコンテンツのブレンドを行っていない）ＥＭＢＬの基本形態はバーコードデコーダで確認できる（４０１）。図５（ａ）から図５（ｄ）は、考えられる他のＥＭＢＬ形状をいくつか示している。

ＥＭＢＬと従来のバーコードとの最も顕著な違いは、マーカーの透明度である。従来のバーコード規格はマシン指向の規格である。更に具体的には、従来のバーコード規格は、バーコード自体及びバーコードデバイスを考慮に入れただけである。ＥＭＢＬのデザインは、ユーザ、ドキュメント及びバーコードをみな一緒に考慮に入れようとするものであり、どのＥＭＢＬマークも、バーコードとコンテンツを適切にブレンドしたものであり、バーコードの利点を失うことなく、ユーザ及びドキュメントに最も多く利益を与えることができる。

リーダがドキュメントコンテンツ及びバーコードオーバーレイを容易に識別するために、バーコード信号とコンテンツ信号との間のクロストークを最小にする必要がある。過去の研究例では、受信信号に含まれるコンテンツ信号及びバーコード信号が異なる光スペクトルで得られるように、バーコードには不可視のトナーを用いていた。このアプローチは、バーコードの読取り及び復号には有効であるが、ユーザが紙との相互作用を始めるための視覚的な手がかりを完全に取り除いてしまう。更に、このアプローチは、この技術の応用をサポートするためにプリンタの修正や特殊な不可視のトナーを必要とする。

マルチメディアをドキュメントの位置にリンクさせるためのＥＭＢＬの使用
マルチメディアデータを紙のドキュメントのある位置にリンクさせるには、この位置を全ての他の位置と区別するために、この位置にメディアマーカーがなくてはならない。メディアマーカーが以下の特性を有することがより効果的である。

１．ユーザがマーカーの示すドキュメントの位置に興味をもった場合、マーカーは携帯電話での撮影のためのプロンプトとして機能すべきである。

２．マーカーを見ることにより、ユーザがマーカーを撮影のガイドとして理解してマーカー撮影をすることが容易であるべきである。

３．ユーザの興味を引くために、リンクしたマルチメディアデータに関する情報を提示することができる。

４．ユーザが容易にマルチメディアがリンクされた先のコンテンツ位置を理解できるように、マーカーを紙のドキュメントのコンテンツの位置の近くに配置することができる。

５．マーカーの識別速度は、待ち時間が短くなるよう高速でなければならない。

６．マルチメディアの検索精度を保証するために、マーカーは十分に特徴的でなければならない。

７．ドキュメントのページ内の大部分にマーカーを配置する必要がある場合、マーカーは拡大縮小可能でなければならない。

８．略空白の領域を含むドキュメントの殆どの領域をマーカーを用いて処理できるように、マーカーはドキュメント自体の特徴に依存しすぎてはならない。更に、この特性により、異なるシナリオに用いられる同一の画像をマシンが区別することができる。

９．マーカーは元のドキュメントコンテンツ及びレイアウトを著しく妨害してはならない。

１０．マーカーの識別処理に、あまりにも多くのディスク、メモリ及び計算コストを要求してはならない。

このリストにおいて、１番目から７番目の要件はユーザの経験を向上させるために提案されており、８番目及び９番目の要件は元のドキュメントの可読性の利益を得るために提案されており、１０番目の要件は大規模なシステムにかかるハードウェア及びエネルギーのコストを削減するために提案されている。これらの要件を考慮して、ＥＭＢＬのデザインはこれらの要件の殆どを満たすように意図されている。多くのユーザはバーコードや携帯電話によるバーコードの撮影を熟知しているため、ＥＭＢＬの半透明のバーコードの外観は、携帯電話での撮影のプロンプトとして適しており、一般大衆に使用に対して信頼性を与えるのに効果的な画像である。ＥＭＢＬの形状は、メディアの種類情報をユーザに提供する。その半透明の形態のため、元のドキュメントレイアウトを変えることなく、メディアに関連するいずれの位置の近くにもＥＭＢＬを容易に移動させることができる。ＥＭＢＬの復号はバーコードの復号に類似しているため、復号の精度、速度及び拡張性は、多くの初期のバーコードアプリケーションによって検証できる。また、半透明の形態のため、ＥＭＢＬのマークは従来のバーコードよりも元のドキュメントのコンテンツ及びレイアウトへの妨害が少ない。そのハードウェアコストも周知であり、殆どのアプリケーションにとって手頃である。

バーコードとコンテンツのブレンド
パッチ識別のために、ドキュメントコンテンツにブレンドした可視のバーコードをバーコード識別装置によって識別することができる。このバーコード印刷及び識別処理は、各ドキュメントパッチを通信チャネルとみなし、埋込みバーコードを伝送信号とみなし、ドキュメントコンテンツ及びアイコンマークを信号伝送のノイズとみなす伝送処理としてモデル化することができる。このモデルを考慮し、適切なコンテンツ−バーコードブレンドによるバーコード伝送のために、ユーザの選択した位置の近隣において適切なチャネルを見つけるように、アルゴリズムをデザインすることができる。バーコード−コンテンツブレンド処理によってドキュメントパッチのチャネル容量を調節することができる。適度に大きなチャネル容量を用いて高速のバーコード識別を確保することができる。このモデルは、適切なバーコード−コンテンツブレンド係数を有する適切な、バーコード印刷ドキュメントパッチを見出すためのＥＭＢＬオーサリングツールに用いられる。このモデルをバーコード種類のＥＭＢＬ最適化に用いることもできる。

ＥＭＢＬオーサリングツール
ユーザの観点からすると、ドキュメントエディタで特定の位置でバーコード信号をドキュメントコンテンツとブレンドすることを望む場合、ドキュメントエディタが最適なブレンドを達成することは難しい。ＥＭＢＬの生成を容易にするために、選択位置の近隣に、「ノイズ」分布に基づいてＥＭＢＬを半自動的に配置することのできるＥＭＢＬオーサリングツールを設計する。オーサリングツールに対して以下の３つの基準を設定する。

オーサリングツールはドキュメントエディタの努力を最小にすべきである。更に具体的には、オーサリングツールは各ＥＭＢＬの生成毎にＥＭＢＬオーサーポイント（ａｕｔｈｏｒ ｐｏｉｎｔ）を要求するだけである。

オーサリングツールはＥＭＢＬのドキュメントへの妨害を最小にすべきである。更に具体的には、オーサリングツールには、ＥＭＢＬのバーコードブレンド係数を最小にする、即ち最良のバーコードブレンド係数を見出すことが望まれる。

オーサリングツールはチャネルのノイズを最小にすべきである。更に具体的には、オーサリングツールは、信頼性のあるバーコード通信を行うために、アンカーポイント周辺で最小の「ノイズ」を有するドキュメントパッチを見出せなくてはならない。

ＥＭＢＬの最適化パラメータ及びメカニズム
ＥＭＢＬの最適化は、ドキュメントエディタからのアンカーポイント（ｍ，ｎ）の入力で始まる。この入力は、編集インタフェースにマウスをクリックすることで行うことができる。アンカーポイントとは、リンクするメディアとの関連付けをエディタが望む点である。オーサリングツールは、アンカーポイントが入力されると、このアンカーポイントに対して最良のＥＭＢＬパラメータを見出すことを試みる。

ＥＭＢＬオーサリングは、元のドキュメントに対するＥＭＢＬの視覚的な妨害を最小にすべきである。バーコード画像をＩ_Ｂ、元のドキュメント画像をＩ_Ｃ、バーコードブレンド係数をα、そしてブレンドされた画像をＩ_ＢＣで示すと、バーコードブレンド処理を下記式で表すことができる。

元のドキュメントＩ_Ｃがユーザにとってより見やすくなるように、ブレンド係数αをできる限り小さくすべきである。しかし、αは信頼性のあるバーコード認識のために十分な大きさでなくてはならない。バーコード復号処理をＤで示すと、下記式によって一定の位置でＥＭＢＬ最適ブレンド係数α^＊を得ることができる。

ＥＭＢＬ最適化のための更に多くの選択肢がオーサリングツールに与えられた場合、オーサリングツールはＩ_Ｃ（バーコード伝送チャネルの選択に対応）及びＩ_Ｂ（バーコード伝送信号のベースの選択に対応）を変更することもできる。ＥＭＢＬ配置パラメータは、用いるＥＭＢＬの種類に依存する。図２（ａ）に示すような線形バーコードを用いる場合、オーサリングツールはＥＭＢＬの配置に５つのパラメータが必要なだけである。これらの５つのパラメータは、ＥＭＢＬの配置原点（ｘ，ｙ）に関する２つのパラメータと、ＥＭＢＬのスケールλに関する１つのパラメータと、紙面上でのＥＭＢＬの配置の方向（ｕ，ｖ）に関する２つのパラメータを含む。システムが符号化データを自由に変更できない場合、Ｉ_Ｂの変更はバーコード種類の集合Ｓ_Ｂに依存する。これらのＥＭＢＬ調節パラメータを用いて、式３は以下のように変えられる。

更に簡潔にするため、ドキュメントの通常の行の方向に垂直なバーを用いて線形のバーコードの方向を固定し、バーコードサイズを固定することに加え、バーコードのベース集合Ｓ_ＢをＣＯＤＥ１２８のみに固定することができる。これらのパラメータを用いてα、ｘ及びｙの最適化のみを行えばよい。α、ｘ及びｙの最適化を理解することによって、より多くのパラメータに最適化を行うことが困難ではなくなる。

式２による固定位置でのブレンド係数の最適化は、式１によるバーコードブレンドパラメータを調節し、検証のためにブレンドしたドキュメントパッチをバーコードデコーダに送ることによって行うことができる。最適化の際に小さなステップを用いてブレンド係数を変更すると、最適化に時間がかかる。計算コストを削減するために、より大きなブレンド係数α（より濃いバーコードブレンド）がより良好なバーコード識別をもたらすと仮定することができる。この仮定を用いて、二分探索を最適なブレンド係数で構成することができ、探索間隔が予め定められた閾値よりも小さい場合は最適化をやめることができる。

二分探索のメカニズムはブレンド係数の最適化のための計算を省くだけにすぎない。実行可能な各位置（ｘ，ｙ）でのブレンド係数の最適化は今なお時間がかかる。例えば、ブレンド係数の良好な精度を得るために、バーコードの検出時間が１５ｍｓであり、二分探索の際に８つの間隔を試す必要がある場合、ブレンド係数の探索は位置毎に１２０ｍｓかかる。１２０ｍｓはアプリケーション全体に対しては長い時間ではない。

しかし、近隣内の実行可能な各位置（ｘ，ｙ）でこの最適化を試す場合、１２０ｍｓは長い時間である。「右側のバーコードは左側のバーコードよりも常に良好である」ことを仮定できないため、ＥＭＢＬの位置の最適化を速度向上させる二分探索を用いることができない。しかし、シャノン＝ハートレーの定理からの指針及び適切なノイズモデルを用いてこの最適化を単純化することができる。

式４は、シャノン＝ハートレー定理の数式である。

式中、Ｃはチャネル容量、Ｂはチャネルの帯域幅、Ｓは信号の大きさ、そしてＮはノイズの大きさである。システムは、この定理によって導かれることで、通信チャネルの信号対ノイズ比（ＳＮＲ）がある一定の限度を越えた場合に妥当なバーコード識別速度を得ることができる。これにより、最小の大きさ（最大の透明度、及びドキュメントへの最小の妨害）でのバーコード伝送のために、ＥＭＢＬの示される位置周辺で最も小さいチャネルノイズを有するドキュメントパッチ（チャネル）を探索することができる。ドキュメントコンテンツ（チャネルノイズ）及びバーコード種類（信号伝送ベース）に関するバーコード伝送に対して最適化を更に行うことができる。

ノイズモデル
最適化の問題における伝送信号（バーコード）は既知であるため、ＳＮＲの最適化はノイズの最適化の問題となる。ドキュメントコンテンツは、通常はバーコードとコンテンツのブレンド後にバーコード認識へ悪影響を与えるため、ドキュメントコンテンツはノイズ評価処理でノイズとみなされる。

図６は、ドキュメントコンテンツ内のエッジがバーコードの復号に与える影響を示している。この例では、不適切なブレンドにより復号の誤りが生じている。ノイズの最適化を行うには、ノイズ推定のための適切なノイズモデルを備えるべきである。通常の線形バーコードはデータの符号化に主に高周波数域を用いるため、ＤＣ及び周波数の非常に低い信号はバーコードの伝送に殆ど影響を与えない。一方、多くのバーコードは紙の上で方向を有するため、ＳＮＲは方向によって変化する。従って、ノイズの最適化には方向性をもったノイズモデルが必要である。例えば３つのノイズモデルが考えられる。

１．ノイズ推定のための第１のモデルは、ドキュメントコンテンツの勾配である。このモデルは、バーコード伝送にさほど影響を与えない低周波数のコンテンツ成分を抑制する。勾配ノイズモデルは方向性をもっていてもよいし（一定方向の勾配を計算）、全方向性（全ての方向の組み合わされた勾配）であってもよい。

２．ノイズ推定のための第２のモデルは、ＳＩＦＴ特徴点などの特徴点に基づいたものである。理論上は、これらの特徴点は画像濃度の変化が顕著（勾配が急）な点である。このモデルも、システムが各特徴点の方向を考慮するかどうかによって方向性をもっていてもよいし、全方向性であってもよい。

３．ノイズ推定のための第３のモデルは、ある一定のスケールでのエッジに基づいたものである（即ち、画像のバンドパスフィルタリング）。観察されるエッジは、ある所定方向における勾配の投影である。このモデルは方向性モデルである。このモデルの通常の方向は垂直、水平又は斜めである。

ＥＭＢＬチャネルにおけるノイズ推定を、ＥＭＢＬチャネル内の全てのピクセルにおけるノイズレベルの合計によって実現することができる。

図７は、テストしたＥＭＢＬチャネルにおいてノイズを推定する例を示している。この図において、左側の画像７００は元のドキュメントを示しており、右側の画像７０１は原画像から計算した各ピクセルの垂直エッジのノイズレベルを示している。ＥＭＢＬを右側画像７０１の長方形の囲み（ボックス）の中に配置した場合、長方形の囲みの中にある各ピクセルのノイズレベルを加算することによってノイズ推定を得ることができる。このノイズ推定を用いて、長方形の囲みを異なる位置に動かすことで、バーコード伝送にとって低ノイズとなるチャネルを選択することにより、あるチャネルのノイズを異なるチャネルのノイズと比較することができる。通常、同じバーコード認識率を達成するために、低ノイズチャネルは、高ノイズチャネルよりもバーコード信号の大きさは小さくてよく、バーコード信号の大きさが小さいことは通常は元のドキュメントへの妨害がより少ないことを意味する。エッジマップから明らかなように、アルゴリズムによれば、バーコードのオーバーレイは空白領域が好ましい。

ノイズの推定例とアルゴリズムの速度向上
特徴点検出器ベースのノイズ推定アルゴリズムを以下の方法で実施することができる。

１．特徴点検出器を用いて、バーコードバーの幅パラメータに応じた適切なスケールで垂直方向のエッジマップを構築する。

２．アンカーポイントが与えられた後に、探索範囲内でいくつかのバウンディングボックスの配置を試し、最小のエッジ点を含む、アンカーポイント周辺のバーコードバウンディングボックスを見い出す。

この最適化アルゴリズムにおいて、エッジ点の加算は全てのピクセルを経る必要があるため、バウンディングボックス探索処理は通常の探索範囲（例えば縦２００ピクセル×横２００ピクセル）に対して莫大な時間を用いてしまう。この問題を積分画像マップの使用によって解決することができる。

図８は、画像８００のキーポイント分布マップから計算したキーポイント積分画像マップ８０１の計算を示している。積分画像マップにおけるピクセルＰの値Ｎ_Ｐは、長方形の囲みの中で画像の左上の隅とＰとの間にある全ての元の画素値を加算することによって計算される。上記問題における各ピクセルの元のノイズ値を、ピクセルでの勾配値又はキーポイントあるいはエッジ点のカウント値（ピクセルがキーポイント又はエッジ点である場合は１、そうでない場合は０）とすることができる。このようにして積分画像マップ８０１を得ることができる。キーポイント分布マップをエッジ点分布マップ又は勾配値マップとしてもよい。

図９は、積分画像マップを用いたノイズ推定の速度向上を示している。この図において、長方形の囲みＡＢＣＤ内の推定ノイズＮ_ＡＢＣＤを下記式によって得ることができる。

この式により、バウンディングボックス（ＥＭＢＬチャネルである可能性があるもの）の中のノイズレベルを３つの演算を用いて推定することができる。これは、バウンディングボックス内の全てのピクセルを調べるよりも計算がはるかに安価である。また、これは一定の位置でブレンド係数を最適化するよりもはるかに計算負荷が低い。更に、ＥＭＢＬの方向及びスケールがわかっている場合、囲みのサイズもわかる。既知のバウンディングボックスサイズを用いて各バウンディングボックス内のノイズ推定を予め計算し、オーサリングツールの更なる計算時間を減ずることができる。

ＥＭＢＬオーバーレイアルゴリズムのデザイン
積分画像マップを用いることにより、ＥＭＢＬオーバーレイのための速度向上アルゴリズムを備えることができる。

１．特徴点検出器を用い、バーコードラインの幅のパラメータに応じた適切なスケールで垂直方向におけるエッジマップを構築する。

２．垂直方向のエッジ積分マップを構築する。

３．アンカーポイントが与えられた後に、アンカーポイント周辺で、垂直方向に最小数のエッジ点を有する、バーコードバウンディングボックスの最適な配置箇所を見出す。バウンディングボックス内のエッジ点の数の加算を、エッジ積分マップを用いて行うことができる。

４．バーコードブレンドパラメータを調節し、ブレンドしたドキュメントパッチを検証のためにバーコードデコーダに送る。ブレンド係数の二分探索を用いて最適なブレンドパラメータを見出すことができる。

実験

通常のドキュメントパッチによる通信は専用のバーコードパッチよりも小さなチャネル容量しか必要でないため、極度に大きなデータ符号化のセットはテストに用いなかった。代わりに、システムの生成したバーコード毎にＣＯＤＥ１２８の４つのキャラクタを実験に用いた。ＣＯＤＥ１２８の定義によると、これら全ての実験におけるコードの総数は、開始及び停止コードを考慮しないで約１００×１００×１００×１００＝１億である。これは、最初のＥＭＢＬの適用には妥当な大きさである。

従来のバーコードとＥＭＢＬとの主な違いの１つは、ブレンド係数である。このブレンド係数は、最大のユーザ便益及びドキュメント便益のために知的エージェント（最適化アルゴリズム）がバーコードデコーダと「交渉する」機会を示す。この交渉により、ＥＭＢＬをＥＭＢＬにより示される位置の近くに移動させることができ、なおもＥＭＢＬはバーコードの利点を全て得ることができる。また、この交渉のために、元のドキュメントのレイアウトやバーコード印刷のための余分な空間の割り当てを変更する必要はない。しかし、これらのＥＭＢＬの利益は全て、十分な利益をバーコードブレンド係数の調節から得ることができるという隠れた仮定によってもたらされる。更に具体的には、殆どのＥＭＢＬのための小さなバーコードブレンド係数は、ＥＭＢＬが略透明で元のドキュメントへの妨害が殆どないように得ることができると推定される。ブレンド係数が１．０に近い場合、ＥＭＢＬの位置における元のドキュメントパッチはバーコードによって略置き換え可能であり、このことはユーザの元のドキュメントについての理解に大いに影響を与える。

ブレンド係数分布のテスト
ブレンド係数分布のテストに際し、ＥＭＢＬのデザイン及び構築アルゴリズムの初期段階における性能評価のためにドキュメントを用いた。ドキュメントは、文、画像及び図を有する２１８８枚のレターサイズ（８．５インチ×１１インチ（21.59ｃｍ×27.94ｃｍ））のドキュメントページである。ページ数が多くコンテンツのばらつきがあるものを実験に用いることで、テストの結果は通常の本に対する信頼性のあるＥＭＢＬ性能評価になるはずである。ＥＭＢＬは各ドキュメントページに小さなパッチを用いているだけであるため、各ページには多数の異なるＥＭＢＬ通信チャネルがある。これらのチャネルを全てテストすることは略不可能であるが、多数のチャネルをランダムにサンプリングすると良好な係数分布評価を得ることができる。この考えに基づき、これらの２１８８ページにおいて３３０００のパッチ位置（ｘ，ｙ）をランダムに生成し、これらの位置に最適なブレンド係数を得る。これらのチャネルにおける本来の係数分布を調べるため、ランダムに選択したこれらの位置の近隣周辺ではＥＭＢＬの位置の最適化を行わなかった。図１０は、これら３３０００のブレンド係数の分布ヒストグラムを示している。小さなブレンド係数よりも大きなブレンド係数の方がより良いバーコード識別をもたらす場合、図１０の累積係数分布が得られる。

図１０の係数分布から、分布の最も高いピークは明らかにα＝０．１であり、分布の高いピークは略全てα＝０．２５を下回る。約９０％のチャネルは０．３未満のブレンド係数を有することが図１１から明らかである。最適なブレンド係数を得るために二分探索アプローチを用いているため、ブレンド係数は０．１又は０．３に完全に等しくなくてもよい。

図１２は、０．０９７７のブレンド係数を用いてバーコード及びコンテンツをブレンドした例を示している。図１３は、０．３００８のブレンド係数を用いてバーコード及びコンテンツをブレンドした例で、左がバーコードがブレンドされた状態、右がその撮影画像にコードの識別結果がオーバーレイされている。これら２つの例からわかるように、これらのブレンド係数は、ユーザによる元のドキュメントの理解をさほど妨げていないことが明らかである。（なお、実際に作成した画像は、本図面の解像度よりも高い解像度で作成されているため、より目立たない。）これらの実験結果は、バーコードブレンド係数の隠れた仮定の正確さを強く支持している。これらは、ブレンド係数の最適化という考えも支持している。

ブレンド係数の分布を更に調べることにより、最小のブレンド係数を０．０２７３程度とすることができる。また、この実験で最も大きなブレンド係数は０．９７２７である。図１４は、この最大のブレンド係数を用いたブレンドの結果を示している。図１４では、バーコードはランダムに選択したパッチ内のコンテンツの略全てを妨げている。これはユーザには受け入れられないであろう。従って、このような場合は、ノイズ推定をベースにしたＥＭＢＬの位置の最適化を用いてＥＭＢＬを配置する。

ノイズ評価をベースにしたＥＭＢＬの位置の最適化により、アルゴリズムはわずか０．１５２３のバーコードブレンド係数を必要とするＥＭＢＬの混合位置を見出す。この最適化の結果を図１５に示す。図１５では、ブレンドをより軽くするために、ＥＭＢＬを図１４と比較して、ノイズのより少ない位置（コンテンツの垂直のエッジ）に動かしている。この結果は、ＥＭＢＬ位置の最適化という考えを裏付ける。

実際のパッチの撮影を用いたＥＭＢＬの実験
異なるチャネルにおける最適なブレンド係数分布の系統的なテストのほかに、異なった仮想環境又は実環境における種々のＥＭＢＬのテストも実施した。図１６（ａ）は、バーコード及びコンテンツを混合したものの識別結果を示している。混合したパッチの元のファイルをバーコードデコーダに送るため、この復号に関連する取得ノイズはない。ＥＭＢＬを取得ノイズに対してロバストにするために、実際のＥＭＢＬ印刷では通常わずかに大きなブレンド係数を用いる。図１６（ｂ）は、通常のオフィス照明で６４０×４８０ピクセルのカメラによって撮影した実際の写真におけるＥＭＢＬの識別を示している。この図から、奥行き方向のわずかな歪みと、でこぼこの表面による歪みが認められる。これらの歪みは、バーコード識別処理にさほど影響を与えなかったようである。

ＥＭＢＬを、バーコードの形態の代わりに既知の形の曲線又は他の幾何学形状にすることもできる。図１７はこのようなＥＭＢＬの例である。この例では、ＣＯＤＥ１２８バーコードの１Ｄプロファイルを用いて図１７（ａ）に示すようないくつかの同心円を生成している。次に、円形のＥＭＢＬについて特徴の希薄なスポットを見出すアルゴリズムを用いる。撮影の際に円の中心を大まかに配置した後、撮影した画像を図１７（ｂ）に示すようなバーコード識別のための半径−角度ドメインに変換することができる。この種類のＥＭＢＬは、非常に正確で計算コストの高い円中心の位置決めを必要としない。円の中心が非常に正確に位置している場合、変換画像はバーコードを表すための一連の直線を備える。円の中心が正確に位置していない場合、変換画像は直線の代わりに一連の曲線を備える。これらの曲線は、通常はデコーダによって認識可能である。曲線の曲率が大きい場合、複数の画像プロファイルを用いてデコーダへの複数の提案を生成し、投票アプローチを用いて復号データを最終的に決定することができる。他の幾何学形状も可能である。バーコードは、ＥＭＢＬ内で正確に配置されるために、適切な幾何学形状に依存する領域に変換されていればよい。

図１８は、本発明の実施の形態による、コンピュータで実施されるデジタルメディア提供方法のフローチャートの例である。まず、コンピュータでは、受信手段が、物品上の埋込みメディアバーコードリンクの画像を受信する（１８００）。次に、抽出手段が、受信した埋込みメディアバーコードリンクから情報を抽出する（１８０１）。続いて、識別手段が、抽出した情報に対応する埋込みデジタルメディアを識別し（１８０２）、検索手段が、識別した埋込みデジタルメディアを検索し（１８０３）、これを提供する（１８０４）。

図１９は、埋込みメディアバーコードリンクを作成するための例示的なフローチャートを示している。まず、システムでは、受信手段が、視覚化されたコンテンツの位置の選択を受信する（１９００）。決定手段が、受信した選択位置からＥＭＢＬの位置及びサイズを決定する（１９０１）。続いて、配置手段が、決定した位置及びサイズに基づいてＥＭＢＬを配置する（１９０２）。

図２０は、システムの例示的な機能図を示している。カメラ２００１を備えたモバイルデバイス２０００は、ＥＭＢＬを含むドキュメント２００２に焦点を合わせ、フィードバックをモバイルデバイスに提供する。モバイルデバイスは、ＥＭＢＬを検出すると、バーコードに含まれるアドレス情報に基づいてデータベース２００３を照会し、ＥＭＢＬの参照先のメディアコンテンツの種類を決定する。データベースはメディアコンテンツについての情報をモバイルデバイスに戻し、モバイルデバイスはメディアコンテンツを実行することができる。

図２１は、本発明の方法の実施の形態を実施できるコンピュータ／サーバシステム２１００の実施の形態を示すブロック図である。システム２１００はコンピュータ／サーバプラットフォーム２１０１を含み、これは、当業者には既知であるように、命令を実行するよう動作するプロセッサ２１０２及びメモリ２１０３を含む。ここでいう「コンピュータ可読媒体」という用語は、実行のためにプロセッサ２１０２に命令を与えることに関与するあらゆる媒体を指す。また、コンピュータプラットフォーム２１０１は、キーボード、マウス、タッチ式デバイス又は言葉による指示など、複数の入力デバイス２１０４からの入力を受信する。また、携帯用ハードドライブ、光媒体（ＣＤ又はＤＶＤ）、ディスク媒体、又はコンピュータが実行可能なコードを読み取ることのできるあらゆる他の媒体など取り外し可能記憶装置２１０５にコンピュータプラットフォーム２１０１を接続することもできる。更に、インターネット、又はローカルなパブリックネットワークもしくはプライベートネットワークの他のコンポーネントに接続するネットワークリソース２１０６にコンピュータプラットフォームを接続することもできる。ネットワークリソース２１０６は、ネットワーク２１０７上の遠隔位置から命令及びデータをコンピュータプラットフォームに提供することができる。ネットワークリソース２１０６への接続は、８０２．１１規格、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はセルラープロトコルなどの無線プロトコル経由でもよいし、ケーブル又は光ファイバーなどの物理的な伝送媒体経由でもよい。ネットワークリソースは、コンピュータプラットフォーム２１０１から離れた位置でデータ及び実行可能な命令を記憶する記憶装置を含むことができる。コンピュータはディスプレイ２１０８と対話し、データ及び他の情報をユーザに出力したり、追加の命令及び入力をユーザから要求したりする。従って、ディスプレイ２１０８はユーザと対話する入力デバイス２１０４として更に機能することができる。

更に、本明細書に開示される本発明の明細書及び実施を考慮して、本発明の他の実施が当業者には明らかであろう。説明した実施の形態の種々の態様及び／又は構成要素は、埋込みメディアバーコードリンクシステムにおいて単独で又はいずれの組み合わせでも使用可能である。明細書及び例を単なる例示的なものとみなし、本発明の真の範囲及び趣意を以下の請求の範囲によって示すことが意図される。

Claims (19)

1. バーコードを含む埋込みメディアバーコードリンク及び視覚化されたコンテンツを含む物品を利用することによってデジタルメディアを提供するためのコンピュータで実施される方法であって、
   ａ．受信手段が、埋め込みメディアバーコードリンクの配置に関連したノイズの推定によって決定されたブレンド係数を利用して物品の視覚化されたコンテンツにアルファブレンドされた埋込みメディアバーコードリンクの画像を受信することと、
   ｂ．抽出手段が、前記受信手段が受信した埋込みメディアバーコードリンクから情報を抽出することと、
   ｃ．識別手段が、前記抽出手段が抽出した情報に対応する埋込みデジタルメディアを識別することと、
   ｄ．検索手段が、前記識別手段が識別した埋込みデジタルメディアを検索することと、
   を含む、方法。
2. 前記ブレンド係数は、前記物品の視覚化されたコンテンツ上の前記埋め込みメディアバーコードリンクの配置のために選択された位置の周りで最も小さなノイズを有する領域が識別されて、最適化されている、
   請求項１に記載の方法。
3. 前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含み、
   前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、前記バーコードにアルファブレンドされている、
   請求項１又は２に記載の方法。
4. 前記埋込みメディアバーコードリンクは、前記埋込みデジタルメディアのメディアの種類を表すメディア種類アイコンを更に含み、
   前記バーコードは、形状がつけられて、前記メディア種類アイコン内に配置されている、
   請求項１又は２に記載の方法。
5. 前記バーコードが前記埋込みデジタルメディアのデータベースアドレス情報を含む、
   請求項１〜４のいずれか１項に記載の方法。
6. 印刷媒体であって、
   ａ．印刷媒体の表面に視覚化されたコンテンツと、
   ｂ．バーコードを含み、埋め込みメディアバーコードリンクの配置に関連したノイズの推定によって決定されたブレンド係数を利用して前記視覚化されたコンテンツにアルファブレンドされた埋込みメディアバーコードリンクであって、データベースに記憶された埋込みデジタルメディアオブジェクトに対応する前記埋込みメディアバーコードリンクと、
   を含む、印刷媒体。
7. 前記ブレンド係数は、前記印刷媒体の視覚化されたコンテンツ上の前記埋め込みメディアバーコードリンクの配置のために選択された位置の周りで最も小さなノイズを有する領域が識別され、最適化されている、
   請求項６に記載の印刷媒体。
8. 前記印刷媒体は、２次元の平面の媒体である、
   請求項６又は７に記載の印刷媒体。
9. 前記埋込みメディアバーコードリンクは、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記視覚化されたコンテンツにアルファブレンドされている、
   請求項６〜８のいずれか１項に記載の印刷媒体。
10. 前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含み、
    前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記バーコードにアルファブレンドされている、
    請求項６〜９のいずれか１項に記載の印刷媒体。
11. 前記埋込みメディアバーコードリンクは、前記バーコード内に配置されたメディア種類アイコンを更に含み、
    前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、
    前記バーコードは、形状がつけられて、前記メディア種類アイコン内に配置されている、
    請求項６〜９のいずれか１項に記載の印刷媒体。
12. 前記バーコードは、前記データベースにおける前記埋込みデジタルメディアオブジェクトにリンクする情報を含む、
    請求項６〜１１のいずれか１項に記載の印刷媒体。
13. 前記バーコードは、幾何学形状領域に変換され、
    前記変換されたバーコードは、前記埋込みメディアバーコードリンク内に配置される、
    請求項６に記載の印刷媒体。
14. 前記埋込みメディアバーコードリンクは、前記メディア種類アイコンの中心、アンカーポイント、方向、又は幾何学形状のサイズのいずれかを更に表す、
    請求項１０又は１１に記載の印刷媒体。
15. 視覚化されたコンテンツと、該コンテンツ上にあると共にバーコードを含む埋込みメディアバーコードリンクとを含む物品を製造するためのコンピュータで実行させるためのコンピュータプログラムであって、
    ａ．受信手段が、物品の視覚化されたコンテンツ上の位置の選択を受信する工程と、
    ｂ．決定手段が、前記受信手段が受信した選択位置付近にある前記視覚化されたコンテンツの複数の特徴量に基づいて、埋込みメディアバーコードリンクの位置、形状、バーコード種類またはサイズを決定する工程と、
    ｃ．配置手段が、前記決定手段が決定した位置、形状、バーコード種類またはサイズに基づいて、前記視覚化されたコンテンツ上の位置に関連するデジタルメディアオブジェクトの利用を示す前記埋込みメディアバーコードリンクを前記物品の前記視覚化されたコンテンツに、前記埋込みメディアバーコードリンクの配置に関連したノイズの推定によって決定されるブレンド係数を利用してアルファブレンドすることによって配置する工程と、
    を含む、コンピュータプログラム。
16. 前記選択された位置の周りで最も小さなノイズを有する領域を識別し、ブレンド係数を最適化することを更に含む、
    請求項１５に記載のコンピュータプログラム。
17. 前記埋込みメディアバーコードリンクは、メディア種類アイコンを含むメディア種類の表示を更に含み、
    前記メディア種類の表示は、前記バーコード内に配置されており、
    前記メディア種類アイコンは、位置決めされ、形状がつけられ、サイズ決めされ、または種類が調節されて、前記バーコードにアルファブレンドされる、
    請求項１５又は１６に記載のコンピュータプログラム。
18. 前記埋込みメディアバーコードリンクは、メディア種類アイコンを更に含み、
    前記メディア種類アイコンは、前記埋込みデジタルメディアのメディアの種類を表し、
    前記バーコードは、位置決めされ、サイズ決めされ、種類が調節され、または形状がつけられて、前記メディア種類アイコン内に配置される、
    請求項１５又は１６に記載のコンピュータプログラム。
19. 前記配置手段が前記埋込みメディアバーコードリンクを前記物品の前記視覚化されたコンテンツに配置することが、
    前記メディア種類アイコンの幾何学形状に基づいて前記バーコードを所定の領域に変換し、前記変換したバーコードを前記メディア種類アイコン内に配置することを更に含む、
    請求項１７又は１８記載のコンピュータプログラム。