JP4323453B2

JP4323453B2 - 情報取得方法、及び情報取得プログラム

Info

Publication number: JP4323453B2
Application number: JP2005096916A
Authority: JP
Inventors: 悠一吉田; 隆佐藤
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2005-03-30
Filing date: 2005-03-30
Publication date: 2009-09-02
Anticipated expiration: 2025-03-30
Also published as: JP2006277445A

Description

本発明は、撮影された２次元コードの画像から、そのコードに含まれる情報を取得する技術に関する。

撮影された２次元コードの画像から、そのコードに含まれる情報を取得する技術が知られている。

このような技術の例として、図３５に示すような２次元コードの白色、及び黒色のパターンをカメラの撮影画像中から抽出し、埋め込まれた情報を取得するものなどがある。このような２次元コードは、白色、及び黒色で塗りつぶされた正方形を並べたものが多く、その白色、及び黒色のパターンに情報が埋め込まれている。この技術を用いることによって、ユーザは２次元コードを携帯情報端末のカメラによって撮影するだけで文字情報等を取得することができる。このため、文字情報を携帯情報端末に入力したり、メモをとったりするよりも素早く情報を端末に取得することができる。この技術はいくつかの分野で利用されている。

この技術の主な利用方法に、ポスター、チラシ、又はカタログ上のコンテンツとネットワーク上でこれらに関わる情報サービスとをスムーズに連携させるシステムがある。例えば、ポスターが、あるアーティストの新曲を宣伝するものであるとする。このポスターには、新曲をオンラインで購入できるインターネットサイトのリンク情報を保持する２次元コードが印刷されているものとする。このポスターを見て、新曲に興味を抱いたユーザは、印刷されている２次元コードを携帯情報端末で読み取ることで、この新曲の販売サイトへアクセスすることができる。

従来ならば印刷されているＵＲＬのメモを取ったり、端末に直接入力したりする必要があったが、この例の様な技術を利用することで、広告と情報サービスとをスムーズに連携させることができる（例えば、特許文献１参照。）。

また、類似する技術として、電子透かしがある。電子透かしは、ポスター等に人にはわからないように情報を埋め込むことができる。この電子透かしは２次元コードと同様にカメラ以外の装置を必要としないため、利用が簡単であるという利点がある(例えば、特許文献２参照。)。しかし、電子透かしは、２次元コードと比較して検出精度が悪い、検出に大きな計算量を必要とする、及び人は電子透かしが埋め込まれていることに気づきにくい、という問題がある。したがって、駅のコンコースで乗客がポスターと携帯情報端末とを用いて、興味のある情報を通勤、通学等の状況で取得するシーンを考慮すると、電子すかしをこのようなシステムに応用することは難しい。
特開２００４−１７９７８３号公報特開平１０−２２４３４２号公報

２次元コードは、一般的にその外見が無機的な印象を与えてしまう。このため、ポスターや雑誌といったメディアに２次元コードを印刷するとき、メディア上の写真や意匠にうまく適合しないという問題があった。このため、美的な不一致の理由で、２次元コードの採用が見送られることがある。

本発明では、ポスター等への不一致感を低減できるコードによる情報取得技術を実現することを目的とする。

そこで、上記課題を解決するために、請求項１に記載の発明は、グラフィックイコライザを模した二次元バーコードを意味するミュージックバーコードを含む対象物を撮影手段で撮影することで取得した撮影画像に含まれるパターンから、画像処理手段が当該パターンに対応つけられた情報を読み取る情報取得方法であって、前記画像処理手段は、ロケータ検出手段が、前記撮影画像から当該ミュージックバーコードの外縁を示すロケータを検出して当該撮影画像からミュージックバーコード領域画像を抽出するロケータ検出ステップと、インジケータマトリックス抽出手段が、前記ミュージックバーコード領域画像からマーク以外の領域を削除したインジケータマトリックス画像を作成し、当該インジケータマトリックス画像からインジケータマトリックスを作成するインジケータマトリックス抽出ステップと、レベル検出手段が、前記インジケータマトリックスから第二の色により前記インジケータのレベル値を検出するレベル検出ステップと、ピークレベル検出手段が、前記インジケータマトリックスから第一の色により前記インジケータのピーク値を検出するピークレベル検出ステップと、識別番号復号手段が、レベル値及びピーク値と識別番号との対応規則に基づいて、前記インジケータのレベル値、及びピーク値から前記インジケータの識別番号を復号する識別番号復号ステップと、を有し、前記ミュージックバーコードは、所定の大きさのマークが縦方向に１列に配置されてなるインジケータを横方向に複数個配置することで構成されるレベルインジケータ、あるいは、所定の大きさのマークが横方向に１列に配置されてなるインジケータを縦方向に複数個配置することで構成されるレベルインジケータであり、前記１つのインジケータは、いずれか１つのマークが前記第一の色を有し、最低のレベルを示すマークから第一の色を有するマークよりも低いレベルに位置する０個以上のマークが前記第二の色を有することを特徴とする。

また、請求項２記載の発明は、前記対象物は音響機器の表示手段であり、前記ミュージックバーコードは当該表示手段に表示されたグラフィックイコライザであることを特徴とする。

また、請求項３記載の発明は、前記対象物は、印刷メディアに印刷されたミュージックバーコードであることを特徴とする。

また、請求項４記載の発明は、請求項１〜３のいずれかに記載の情報取得方法を、コンピュータに実行可能に記載したプログラムである。

請求項１〜４に記載の発明では、ミュージックバーコードから情報を得ることができる。また、ロケータによりミュージックバーコード領域を特定することができる。

さらに、請求項２に記載の発明では、音響機器の表示手段に表示されたイコライザを撮影することで情報を取得することができる。

請求項１〜４に記載の発明によれば、従来のコード等と比較してミュージックバーコードは周囲との不一致を低減することができるので、ポスター等にコードを付する際に周囲との不一致を低減することが可能となる。

さらに、より正確にミュージックバーコードの位置を特定することが可能にとなる。

さらに、請求項２に記載の発明によれば、音響機器を用いて情報を提供することが可能となる。

以下に、本発明の実施形態について図面を用いて説明する。

（実施形態１）
図１に本実施形態で用いる２次元コードを用いた情報取得システムの構成図を示す。図１に示すように、２次元コードを用いた情報取得システムは紙面に印刷されたミュージックバーコード１００からなる２次元コード、及び撮影手段２０４を備える携帯情報端末２００から構成される。

（ミュージックバーコード）
ミュージックバーコード１００は、オーディオ機器に使用されるグラフィックイコライザに似た形状を持つ２次元コードである。このミュージックバーコードは、レベルインジケータ１０１、及びロケータ１０２から構成される。

（ロケータ）
ロケータ１０２は、携帯情報端末２００の撮影手段２０４でミュージックバーコード１００を撮影した撮影画像中において、ミュージックバーコード１００の画像中での位置を探索するために用いられる。

本実施形態では、大きさ、及び色の異なる２つ１組の同心円をロケータ１０２として用いる。この２つの円は、円の中心が一致するように配置されている。また、外側の円から内側の円をくりぬいたドーナツ形状の幅と、中心の円直径とを等しくするため、外側の円と内側の円との半径の比を３：１としている。また、この２つの円は、それぞれ異なる色相を持つ色で塗りつぶされる。本実施形態では、塗りつぶしに青色、赤色、及び黄色の固定の３色を用いている。このマーカーの塗りつぶしに用いる色の組み合わせにロケータ識別番号を割り当て、ロケータ１０２を識別することができる。本実施形態では、図２に示すように、ミュージックバーコード１００の四隅の各頂点に、左上、右上、右下、左下の順に頂点番号を割り振る。このロケータ１０２の頂点番号として、ロケータ識別番号を利用する。本実施形態における色の組み合わせと頂点番号との対応は、図３に示すようになっている。

（レベルインジケータ）
レベルインジケータ１０１は、インジケータ１０３が複数列配置されて構成される。インジケータ１０３は、複数個のマーク１０４の列によって構成される。本実施形態では、マーク１０４に長方形を用いている。このマーク１０４は、それぞれ、緑色、赤色、又は黒色で塗りつぶされる。赤色のマーク１０４は、インジケータ中に常に１個だけ存在する。赤色のマーク１０４より上段に緑色のマーク１０４は、存在しない。この赤色のマーク１０４の段数がインジケータ１０３のピークレベルを表現する。緑色のマーク１０４は、常に最下段から赤色のマーク１０４を超えない任意の段まで塗りつぶされる。この緑色のマーク１０４の個数がインジケータ１０３のレベルを表現する。インジケータ１０３中の緑色でも赤色でもないマーク１０４は、黒色のマーク１０４で塗りつぶされる。図４の場合は、レベルが４、ピークレベルが６となる。

ここで、ｎレベルとｍ列から構成されるレベルインジケータ１０３を持つミュージックバーコード１００が保持できる情報量について説明する。

各インジケータ１０３は、ｎレベルの場合、ｎ×（ｎ＋１）／２通りの表現が可能である。このため、ｍ列をすべて統合すると、（ｎ×（ｎ＋１）／２）^m通りの表現可能となる。例えば、８レベル、８列のレベルインジケータ１０１は、図５及び図６に示すように、２８２１１０９９０７４５６通り（約２０６ｂｉｔ）の表現が可能である。

（携帯情報端末）
携帯情報端末２００は、演算処理手段であるＣＰＵ２０１、データを保存するメモリ手段２０２、液晶モニタ等を用いた映像表示手段２０３、ＣＣＤカメラ若しくはＣＭＯＳカメラを用いた撮影手段２０４、並びに入力手段２２０を備える。

さらに、ＣＰＵ２０１は、ロケータ検出手段２０５、インジケータマトリックス抽出手段２０６、レベル検出手段２０７、ピークレベル検出手段２０８、及び識別番号復号手段２０９を有する、画像処理手段２１０を備える。

（携帯情報端末によるミュージックバーコードの読み取り方法）
まずユーザは、ポスターに印刷されているミュージックバーコード１００を携帯情報端末２００が備える撮影手段２０４で撮影する。撮影後、撮影手段２０４は図７に示すような撮影画像を生成し、この撮影画像をメモリ手段２０２上に保存する。

次に処理は、ＣＰＵ２０１の画像処理手段２１０へ移る。

画像処理手段２１０において、まずロケータ検出手段２０５で処理が行われる。ロケータ検出手段２０５は、固定の３色以外の色相値を持つ撮影画像中の画素の値を黒色に置き換えたロケータ探索用画像をメモリ手段２０２上に作成する。また、撮影画像と同じサイズのロケータ抽出画像をメモリ手段２０２上に作成する。

次に、ロケータ探索用画像を左上隅の点から右方向に調査する。このとき図３に従って、検出した領域の頂点番号も同時に検出する。例えば、赤色、青色、赤色と色が変化している領域が検出された場合、この領域は外側が赤色、内側が青色の円で構成されたロケータの一部であり、頂点番号は６と検出できる。

ロケータ検出手段２０５は、ロケータの一部である領域が検出されると、この領域に対応するロケータ抽出画像の領域に検出した頂点番号を書き込む。撮影画像の１行の調査が終了すると下の行へ移動し、すべてロケータ探索用画像の行に対して、同様の調査を行う。

また、同様の処理を左上の隅の点から下方向について行う。この処理も、すべてロケータ探索用画像の列に対して、調査を行う。

右方向と下方向の調査のいずれにも検出され、さらに上書きされた頂点番号が両方向の調査で一致するロケータ抽出画像中の画素をロケータを構成する領域であるとし、図８に示すようにこの領域の重心を検出する。この重心を各ロケータの中心位置として、頂点番号とともにメモリ手段２０２上に保存する。

その後、ロケータ検出手段２０５は、ロケータ探索用画像、及びロケータ抽出画像をメモリ手段２０２上から削除する。

次に、ロケータ検出手段２０５は、得られた４つのロケータの座標を頂点番号順に並び替え、図９に示すような、この４つのロケータに囲まれたミュージックバーコード領域を決定する。決定されたミュージックバーコード領域を、メモリ手段２０２上に、図１０に示すようなミュージックバーコード領域画像として保存し、撮影画像をメモリ手段２０２上から削除する。

このミュージックバーコード領域画像から、インジケータマトリックス抽出手段２０６がインジケータマトリックスを抽出する。

まず、インジケータマトリックス抽出手段２０６は、所定のミュージックバーコード領域の大きさ、及びレベルインジケータ１０１の大きさの比から、図１１に示すようにミュージックバーコード領域画像をトリミングする。レベルインジケータ１０１のどの部分がマーク１０４であるかは、マーク１０４がレベルインジケータ１０１、及びインジケータ１０３に対し、所定のサイズであることから、判定することが可能である。

次に、インジケータマトリックス抽出手段２０６は、トリミングされたミュージックバーコード領域画像から、図１２に示すようにマーク以外の領域を削除する。これを、インジケータマトリックス画像として、メモリ手段２０２上に保存する。

次に、インジケータマトリックス抽出手段２０６は、インジケータマトリックス画像を６４分割する。このとき６４分割は、レベルインジケータ１０１の縦横比に応じて行われる。本実施例で用いるレベルインジケータ１０１の縦横比は、１：４であるため、図１２のように分割される。

次に、インジケータマトリックス検出手段２０６は、分割された領域中の各画素を緑色、赤色、黒色、及びその他の色の４種類で分類したヒストグラムを、それぞれの領域毎、すなわち６４個、メモリ手段２０２上に生成する。なお、この各領域中のヒストグラムでもっとも頻度の高い色をその領域の色とする。

次に、インジケータマトリックス抽出手段２０６は、メモリ手段２０２上に、図１３に示すような８行８列のインジケータマトリックスを生成する。インジケータマトリックスの行は、分割された領域の行成分に対応する。またインジケータマトリックスの列は、分割された領域の列成分に対応する。インジケータマトリックスの行列成分は、対応する領域の色によって決定される。成分は、赤色の場合は２、緑色の場合は１、黒色の場合は０となる。

インジケータマトリックスをレベル検出手段２０７、及びピークレベル検出手段２０８が読み取った後に、インジケータマトリックス抽出手段２０６は、ヒストグラム、撮影画像、ミュージックバーコード領域画像、及びインジケータマトリックス画像をメモリ手段２０２上から削除する。

レベル検出手段２０７はインジケータマトリックスから、各インジケータ毎のレベルを検出する。

まず、レベル検出手段２０７は、メモリ手段２０２上に、図１４に示すようなレベル行列を生成する。そして、インジケータマトリックスの各列毎に、レベルを算出し、そのレベルを各行毎にレベル行列に保存する。レベルは、各列毎の値が１である要素の個数で決定される。

また、ピークレベル検出手段２０８は、インジケータマトリックスから、各インジケータ毎のピークレベルを検出する。

まず、ピークレベル検出手段２０８は、メモリ手段２０２上に、図１５に示すようなピークレベル行列を生成する。そして、インジケータマトリックスの各列毎に、ピークレベルを算出し、そのピークレベルを各行毎にレベル行列に保存する。ピークレベルは、各列毎の値が２である要素の行数を、インジケータマトリックスの行数から差し引いた値で決定される。

識別番号復号手段２０９では、レベル行列、及びピークレベル行列の値からミュージックバーコード１００が保持する識別番号を復号する。復号は、レベル行列とピークレベル行列の列毎に図１６に示されるように行われる。

このように、ユーザは、携帯情報端末２００が備える撮影手段２０４でミュージックバーコード１００を撮影することで、このミュージックバーコード１００に埋め込まれた識別番号を読み取ることができる。

（実施形態２）
ミュージックバーコード１００に正対し、さらにこのミュージックバーコード１００を横方向（又は縦方向）の画角いっぱいに撮影することを条件とすると、図１７に示すような撮影画像を得ることができる。このような撮影条件を前提とした場合、ミュージックバーコード１００をロケータ１０２なしで構成することも可能である。

以下、図１８に示すように、ロケータ検出手段２０５を、トリミング領域算出手段１８１１、ミュージックバーコード領域画像生成手段１８１２、及びミュージックバーコード領域画像確認手段１８１３を有するミュージックバーコード検出手段１８０５に置き換えて、画像処理手段１８１０を構成した場合のロケータを持たないミュージックバーコードの具体的な処理方法について説明する。

撮影画像中に、横方向（又は縦方向）の画角いっぱいに、かつ、中央にミュージックバーコード１００が撮影されていると仮定する。このとき、撮影画像の横幅がミュージックバーコード１００の横幅（又は高さ）と等しいとすることができる。ここで、ミュージックバーコード１００の縦横比は所定である。したがって、この縦横比、及び撮影画像の横幅（又は高さ）を用いて、トリミング領域算出手段１８１１が、撮影画像中のミュージックバーコード１００の高さ（又は横幅）を算出できる。このようにして算出したミュージックバーコード１００の高さ（又は横幅）を用いて、トリミング領域算出手段１８１１が、図１９に示すように撮影画像からトリミングする領域を決定し、ミュージックバーコード領域画像生成手段１８１２が、この領域をトリミングして、図１１に示すトリミングしたミュージックバーコード領域画像を得ることができる。

ただし、図２０に示すように、ミュージックバーコード１００が中央に撮影されない場合もあると考えられる。このような場合には、図２１に示すようにミュージックバーコード１００が中央にあると仮定して処理を実行すると、図２２に示すように非ミュージックバーコード領域をミュージックバーコード１００として認識してしまう可能性がある。

ここで、マーク１０４間の隙間領域とミュージックバーコード領域画像との面積比は一定である。この情報を利用し、ミュージックバーコード領域画像確認手段１８１３が、トリミング後のミュージックバーコード領域画像の全体の面積に対するマーク１０４間の隙間領域の面積の比率を算出し、正しいトリミング位置かどうかを確認する。そして、トリミング位置が正しくない場合は、トリミング領域の位置をずらし、再びトリミングを行い、確認を行う。

ミュージックバーコードが中央に撮影されないことを考慮する場合は、図１８に示すように、携帯情報端末１８００のミュージックバーコード検出手段１８０５が、この処理を再帰的に行い、正しいミュージックバーコード領域画像を得ることができる。

（実施形態３）
撮影画像中からその画像中での位置を特定できるものであれば、他のロケータを利用することも可能である。例えば、円、正方形、六角形など特定の幾何的形状を持つ図形をロケータとして、適用可能である。

特に、ミュージックバーコード１００の撮影時の姿勢にミュージックバーコード１００に対して正対するという条件下で行う場合は、実施形態１で用いたように個々のロケータ１０２を識別できないロケータ１０２を用いてもミュージックバーコード１００を撮影画像から検出することは可能である。この場合、撮影画像中で、もっとも左上に位置するロケータ１０２は、左上のロケータ１０２であるとしてロケータ１０２を処理する。他のロケータ１０２に対しても同様にロケータ１０２が存在する画像中の位置などでロケータ１０２が対応するミュージックバーコード１００の頂点を判断する。

（実施形態４）
実施形態１では、ミュージックバーコード１００を正対する位置から大きく外れて撮影した場合には、図２３に示すように撮影画像中のミュージックバーコード１００が幾何的に歪んでしまい、図２４に示すようにロケータ抽出画像において検出されたロケータ１０２も歪んでしまう。これではミュージックバーコード１００の安定した検出を期待できない。

そこで、図２５に示すように、ロケータ検出手段２５０５とインジケータマトリックス抽出手段２５０６との間に撮影対象の幾何的な歪みを正規化する画像正規化手段２５１１を追加することで、ミュージックバーコードの安定した検出を可能とする。

この画像正規化手段２５１１は、幾何的な歪みを修整するための画像正規化行列を算出する。この画像正規化行列の算出は、数式１に示す行列計算式を用いて行うことができる。

例えば、図２６に示すように、撮影画像中の長方形の内部の領域の画素が実物の長方形のどこに位置するかを、数式１を用いて計算することができる。

なお、この数式１は、画像正規化行列を用いて、下記のようにして計算することができる。

まず、画像正規化手段２５１１は、ロケータ１０２の実世界のミュージックバーコード１００の４隅の位置と撮影画像中でのロケータ１０２の位置とを対応づける。実世界での４隅の位置は、ミュージックバーコード作成時の所定のサイズとなる。

そして、画像正規化手段２５１１は、画像正規化行列を用いて、数式１の定数を算出する。

その後、画像正規化手段２５１１は、数式１を用いて、図２７、及び図２８に示すようにロケータに囲まれたミュージックバーコード領域を正規化し、図２９に示すように、正規化した正規化ミュージックバーコード領域画像をメモリ手段２５０２上に生成する。

その後、この正規化された正規化ミュージックバーコード領域画像をインジケータマトリックス抽出手段２５０６へ送信する。

そして、撮影画像をメモリ手段２５０２上から削除する。

（実施形態５）
本実施形態では、識別番号を利用し、インターネット上のサイトにアクセスすることを可能とする。

具体的には、図３０に示すように、ＣＰＵ３００１は、識別番号を通信手段３０２１を通して、ミュージックバーコード情報データベースを持つ外部データベース手段３０２２へ送信する。外部データベース手段３０２２は、図３１に示すようなミュージックバーコード情報データベースの中から受信した識別番号に対応するアクセス情報を携帯情報端末３０００へ送信する。ＣＰＵ３００１は、受信したアクセス情報を元に、インターネット上のサイトにアクセスし、その結果を端末の備える映像表示手段３００３に表示する。

（実施形態６）
本実施形態では、ミュージックバーコード１００を液晶モニタに表示することで、音響機器のイコライザ等への応用を可能とする。

図３２に示すように、音響機器の液晶モニタ・コントロールパネルにミュージックバーコードを表示する。

また、ミュージックバーコードを実際のグラフィックイコライザを用いて表現することで、音響機器のグラフィックイコライザにも応用することができる。図３３に示すように、音響機器がグラフィックイコライザを表示するための発光ダイオード等を用いて、ミュージックバーコードを表示する。

これによって、音響機器のパン、ミュート、ボリュームなどのセッティング情報を埋め込んだミュージックバーコードを画面に表示させることができ、ユーザは、このミュージックバーコードを利用して、音響機器のセッティング情報を携帯情報端末に保存することができる。

また、ＣＤ等を再生したときに表示されるイコライザを情報携帯端末で撮影することで、当該イコライザに対応する情報を取得するようにすることも可能である。これにより、再生中のＣＤに関する情報を、当該ＣＤにより再生される音声を聞きながら取得することが可能となる。なお、これは、ＣＤに限られず、イコライザを有する機器を用いて再生されるものであれば適用可能である。

（実施形態７）
図３４に示すように、受信手段３４０１、ＦＭ音声復号手段３４０２、ＦＭデータ復号手段３４０３、スピーカ３４０４、ボタン等を用いた入力手段３４０５、液晶モニタ若しくは発光ダイオード等で構成される情報表示手段３４０６、及びミュージックバーコード生成手段３４０７を備えるラジオ受信機３４００と、ネットワーク通信手段３４１１、曲データベース手段３４１２、曲データベース３４１２の情報をＦＭデータ放送に符号化する曲符号化手段３４１３、及び放送手段３４１４から構成される放送局３４１０とを加えてシステムを構成することで、通信機器を持たない音響機器にも情報を発信する能力を持たせることを可能とする。

放送局３４１０からある曲が放送されているおりに、その曲の曲番号をミュージックバーコード１００によって読み取り、その曲に関する情報をネットワークを通じて、携帯情報端末３４２０によって取得する例を示す。

ユーザは、ラジオ受信機３４００のミュージックバーコード生成を入力手段３４０５によって実行する。すると、ＦＭデータ放送の電波から、ＦＭデータ復号手段３４０２によって放送中の曲の曲番号が復号される。

次にミュージックバーコード生成手段３４０７が、受信した曲番号をもとにミュージックバーコード１００を生成し、グラフィックイコライザや選局情報を表示するための情報表示手段３４０６がミュージックバーコード１００を表示する。

ユーザは、携帯情報端末３４２０を用いて、ミュージックバーコード１００を撮影し、曲番号を取得する。

さらに曲番号を元にネットワーク手段３４３０を介して、曲データベース手段３４１２から現在放送中の曲の名前や属性情報を取得し、携帯情報端末３４２０の映像表示手段(図示省略)に表示する。

ユーザは、これによって、無線等の追加デバイスを持たないラジオ受信機３４００からでも、携帯情報端末３４２０を用いて、放送中の曲の情報を簡単に取得することができる。

（実施形態８）
上記実施形態は、その主旨を変えない範囲で様々に適用可能である。

例えば、ミュージックバーコード１００の位置指定手段は、撮影画像から認識可能な枠あるいは線を用いて構成することが可能である。

また、位置指定手段のロケータ１０２として、認識可能な記号、又は文字を用いて構成することも可能である。

また、実施形態６に記載の表示手段として、液晶モニタや発光ダイオードを用いた場合、表示するミュージックバーコードを時間的に変化させ、時間的に変化するミュージックバーコードの識別番号を一つの時間変化識別番号として、復号するように構成することも可能である。

また、撮影手段により取得した撮影画像を携帯情報端末が有する通信機能により、画像処理手段を有する機器に送信し、当該機器において上記画像処理を行うことも可能である。そしてこの機器から携帯情報端末に抽出した情報を送信することができる。

なお、上記実施形態において必要とするロケータ検出処理、インジケータマトリックス抽出処理、レベル検出処理、ピークレベル検出処理、識別番号復号処理画像正規化処理などをアプリケーションプログラムとして搭載することができる。

また、本実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム又は装置に供給し、そのシステム又は装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することも可能である。この場合、記憶媒体から読み出されたプログラムコード自体が上記実施形態の機能を実現することになり、このプログラムコードを記憶した記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等がある。

２次元コードを用いた情報取得システムの構成図。ミュージックバーコードの四隅にロケータを付した例を示す図。ロケータにおける色の組み合わせと頂点番号との対応を示す図。インジケータの例を示す図。レベルインジケータに埋め込み可能な数値の例を示す図。レベルインジケータに埋め込み可能な数値の例を示す図。撮影画像の例を示す図。ロケータ抽出画像の例を示す図。ミュージックバーコード領域決定の例を示す図。ミュージックバーコード領域画像の例を示す図。トリミングしたミュージックバーコード領域画像の例を示す図。インジケータマトリックス画像の例を示す図。インジケータマトリックスの例を示す図。レベル行列の例を示す図。ピークレベル行列の例を示す図。レベル行列、及びピークレベル行列の値からミュージックバーコードが保持する識別番号を復号する例を示す図。撮影画像の例を示す図。携帯情報端末の構成例を示す図。トリミングしたミュージックバーコード領域画像の例を示す図。携帯情報端末の構成例を示す図。トリミングしたミュージックバーコード領域画像の例を示す図。ミュージックバーコード領域画像の例を示す図。撮影画像の例を示す図。ロケータ抽出画像の例を示す図。携帯情報端末の構成例を示す図。実際の長方形と撮影画像中の長方形との対応例を示す図。ミュージックバーコード領域の例を示す図。撮影画像中のミュージックバーコードの例を示す図。正規化されたミュージックバーコード領域の例を示す図。携帯情報端末の構成例を示す図。識別番号に対応するアクセス情報の例を示す図。響機器の液晶モニタ・コントロールパネルにミュージックバーコードを表示した例を示す図。音響機器がグラフィックイコライザを表示するための発光ダイオード等を用いてミュージックバーコードを表示した例を示す図。情報取得システムの構成例を示す図。ＱＲコードの例を示す図。

符号の説明

１００…ミュージックバーコード
１０１…レベルインジケータ
１０２…ロケータ
１０３…インジケータ
１０４…マーク
２００…携帯情報端末
２０１…ＣＰＵ
２０２…メモリ手段
２０３…映像表示手段
２０４…撮影手段
２０５…ロケータ検出手段
２０６…インジケータマトリックス抽出手段
２０７…レベル検出手段
２０８…ピークレベル検出手段
２０９…識別番号復号手段
２１０…画像処理手段
２２０…入力手段
１８００…携帯情報端末
１８０１…ＣＰＵ
１８０２…メモリ手段
１８０３…映像表示手段
１８０４…撮影手段
１８０５…ミュージックバーコード検出手段
１８０６…インジケータマトリックス抽出手段
１８０７…レベル検出手段
１８０８…ピークレベル検出手段
１８０９…識別番号復号手段
１８１０…画像処理手段
１８１１…トリミング領域算出手段
１８１２…ミュージックバーコード領域画像生成手段
１８１３…ミュージックバーコード領域画像確認手段
１８２０…入力手段
２５００…携帯情報端末
２５０１…ＣＰＵ
２５０２…メモリ手段
２５０３…映像表示手段
２５０４…撮影手段
２５０５…ロケータ検出手段
２５０６…インジケータマトリックス抽出手段
２５０７…レベル検出手段
２５０８…ピークレベル検出手段
２５０９…識別番号復号手段
２５１０…画像処理手段
２５１１…画像正規化手段
２５２０…入力手段
３０００…携帯情報端末
３００１…ＣＰＵ
３００２…メモリ手段
３００３…映像表示手段
３００４…撮影手段
３００５…ロケータ検出手段
３００６…インジケータマトリックス抽出手段
３００７…レベル検出手段
３００８…ピークレベル検出手段
３００９…識別番号復号手段
３０１０…画像処理手段
３０１１…画像正規化手段
３０２０…入力手段
３０２１…通信手段
３０２２…外部データベース手段
３４００…ラジオ受信機
３４０１…受信手段
３４０２…ＦＭ信号復号手段
３４０３…ＦＭデータ復号手段
３４０４…スピーカ
３４０５…入力手段
３４０６…情報表示手段
３４０７…ミュージックバーコード生成手段
３４１０…放送局
３４１１…ネットワーク通信手段
３４１２…曲データベース
３４１３…曲データ符号化手段
３４２０…携帯情報端末
３４３０…ネットワーク手段

Claims

グラフィックイコライザを模した二次元バーコードを意味するミュージックバーコードを含む対象物を撮影手段で撮影することで取得した撮影画像に含まれるパターンから、画像処理手段が当該パターンに対応つけられた情報を読み取る情報取得方法であって、
前記画像処理手段は、
ロケータ検出手段が、前記撮影画像から当該ミュージックバーコードの外縁を示すロケータを検出して当該撮影画像からミュージックバーコード領域画像を抽出するロケータ検出ステップと、
インジケータマトリックス抽出手段が、前記ミュージックバーコード領域画像からマーク以外の領域を削除したインジケータマトリックス画像を作成し、当該インジケータマトリックス画像からインジケータマトリックスを作成するインジケータマトリックス抽出ステップと、
レベル検出手段が、前記インジケータマトリックスから第二の色により前記インジケータのレベル値を検出するレベル検出ステップと、
ピークレベル検出手段が、前記インジケータマトリックスから第一の色により前記インジケータのピーク値を検出するピークレベル検出ステップと、
識別番号復号手段が、レベル値及びピーク値と識別番号との対応規則に基づいて、前記インジケータのレベル値、及びピーク値から前記インジケータの識別番号を復号する識別番号復号ステップと、を有し、
前記ミュージックバーコードは、
所定の大きさのマークが縦方向に１列に配置されてなるインジケータを横方向に複数個配置することで構成されるレベルインジケータ、あるいは、所定の大きさのマークが横方向に１列に配置されてなるインジケータを縦方向に複数個配置することで構成されるレベルインジケータであり、
前記１つのインジケータは、いずれか１つのマークが前記第一の色を有し、最低のレベルを示すマークから第一の色を有するマークよりも低いレベルに位置する０個以上のマークが前記第二の色を有する
ことを特徴とする情報取得方法。
前記対象物は音響機器の表示手段であり、前記ミュージックバーコードは当該表示手段に表示されたグラフィックイコライザであることを特徴とする請求項１記載の情報取得方法。
前記対象物は、印刷メディアに印刷されたミュージックバーコードであることを特徴とする請求項１記載の情報取得方法。
請求項１〜３のいずれかに記載の情報取得方法を、コンピュータに実行可能に記載したプログラム。