JP5215328B2 - ラベル表示装置、ラベル表示方法、およびそのプログラム - Google Patents

Description

本発明は、ラベルを仮想表示させるラベル表示装置、ラベル表示方法、およびそのプログラムに関する。

従来、ファイリングをする際、ファイルの中身を示すシール形式のラベルをファイルの背表紙等に貼り付けていた。このようなファイルは再利用され、ファイルの中身が変わるたびにラベルを再作成して貼り付けなければならず、作業が煩雑となっていた。また、シール形式のラベルを剥がしたり、重ねて貼り付けたりするため、ファイルが劣化する一因となっていた。

一方、商品の内容をわかりやすくするために、商品名や単価などの商品情報を商品とともに表示させる技術が知られている（例えば、特許文献１参照）。特許文献１では、ビデオカメラにより商品を撮像し、この商品に付与されたバーコードに対応付けられた商品名、単価等の情報を商品画像とともにモニタに表示させている。

特開２００９−９３４８９号公報

しかしながら、特許文献１では、商品情報の表示位置が定められていないため、複数の商品が表示された場合のように、商品情報と商品との対応関係を把握することは困難である。
ラベル管理においても同様に、ラベル管理対象物（例えば、ファイル）にどのラベル情報が対応しているかを直感的に把握できないとラベル管理が困難となる。

本発明の目的は、ラベル管理対象物とラベルとの対応関係を容易に把握できるラベル画像を仮想表示するラベル表示装置、ラベル表示方法、およびそのプログラムを提供することである。

本発明のラベル表示装置は、実寸が定められたコード画像によって一意に識別可能であり、ユーザ操作に応じて入力された情報を画像にした複数のラベル情報とそれらの表示サイズとを対応付けて記憶するラベル情報記憶手段と、ラベル管理対象物を拡大または縮小して撮像可能な撮像手段と、前記撮像手段によって撮像された画像を取得し、当該画像に含まれるコード画像を認識して当該コード画像の撮影サイズと位置を検出するコード画像認識手段と、前記認識されたコード画像に対応付けられた複数のラベル情報とそれらの表示サイズとを前記ラベル情報記憶手段から取得し、前記検出されたコード画像の撮影サイズと、前記コード画像の実寸と、に基づいて、前記認識されたコード画像の表示倍率を算出する倍率算出手段と、前記算出された表示倍率で、前記ラベル情報を拡大または縮小したラベル画像を生成し、前記撮像された画像上に、前記コード画像の位置に基づいて複数の前記ラベル画像を重ねて仮想表示させる画像表示手段と、を備えていることを特徴とする。

ここで、撮像された画像とは、ラベル管理を行う際のラベル管理対象物を含む画像である。ラベル管理対象物にはそれぞれ対応するコード画像が印字されており、撮像された画像には、コード画像を含むラベル管理対象物が撮像されている。本発明は、撮像された画像に含まれるコード画像を検出し、このコード画像の位置に、対応するラベル画像を仮想表示させるものである。また、ラベル画像としては、ラベル管理対象物の内容を示すものであればよく、例えば、ラベル管理対象物のタイトル、目次情報、およびクチコミ情報等が挙げられる。
この発明では、撮像された画像から検出されたコード画像の撮影サイズとコード画像の実寸とに基づいて、撮像された画像内におけるコード画像の表示倍率を算出し、この表示倍率をラベル画像の表示サイズに適用する。これによれば、撮像された画像内のコード画像の大きさに応じた大きさのラベル画像を仮想表示するため、違和感のない画像を表示することができる。特に、画像を拡大または縮小表示すると、画像内におけるコード画像の撮影サイズが変化するため、その度に撮影サイズを検出して表示倍率を算出してラベル画像に適用するので、撮像された画像と仮想表示されたラベル画像とをより自然な状態で表示することができる。

また、撮像された画像からコード画像の位置を検出し、この位置に基づいてラベル画像を配置している。コード画像はラベル管理対象物にそれぞれ印字されているため、コード画像とラベル管理対象物との対応関係は一目瞭然である。特に、コード画像の位置に重ねてラベル画像を仮想表示させるとより効果的である。したがって、コード画像の位置に基づいてラベル画像を仮想表示させることで、ラベル管理対象物とラベル画像との対応関係を容易に把握することができる。すなわち、どのラベル画像がどのラベル管理対象物を示しているかを一目で把握することができるので、ラベル管理を容易にすることができる。

本発明のラベル表示装置において、前記コード画像認識手段は、前記画像に含まれるコード画像の向きを検出し、前記画像表示手段は、前記ラベル画像に、前記検出した向きに基づいた３次元加工処理を行うことが好ましい。

この発明では、撮像された画像に含まれるコード画像の向きに基づいてラベル画像に３次元加工処理を行う。ラベル画像は、撮像された画像内においてコード画像と略同じ向きで表示されるため、撮像された画像内に仮想表示されるラベル画像を違和感なく認識することができる。すなわち、撮像された画像と仮想表示されたラベル画像とをより自然な状態で表示することができる。

本発明のラベル表示装置において、画像を撮像し、当該画像を前記コード画像認識手段に送信する撮像手段をさらに備えていることが好ましい。
この発明では、撮像手段によりラベル管理されている対象物を所望の大きさ、角度で撮像することができ、容易に画像を取得することができるため利便性が高い。

本発明のラベル表示装置において、前記コード画像を生成するとともに当該コード画像と向きが異なる複数のパターン画像を生成するコード画像生成手段と、前記生成されたコード画像またはパターン画像によって一意に識別可能なラベル情報と、その表示サイズと、を対応づけて前記ラベル情報記憶手段に記憶させるラベル情報登録手段と、をさらに備えていることが好ましい。

例えば、新しいファイルを作成する場合に新しいラベルを作成する必要がある。このような場合には、コード画像生成手段により新しいコード画像を生成する。コード画像の生成方法としては例えば、コード画像を生成する専用のソフトウェアを用いてもよいし、外部記憶装置から取り込んでもよい。また、コード画像生成手段は、生成したコード画像に対する複数のパターン画像を生成する。パターン画像とは、生成したコード画像の向きが異なるものであり、例えば、所定の角度回転したもの、奥行き方向に傾いたもの、およびこれらを組み合わせたものなどが挙げられる。そして、ラベル情報登録手段により、これらのコード画像（パターン画像含む）と新しいラベル情報とを一意に識別できる状態でラベル情報記憶手段に記憶させる。ラベル情報としては、ラベルの表示内容とそのサイズ等である。
これによれば、ユーザは、ラベル管理対象物が新しく増えた場合に、コード画像およびラベル情報の登録を簡単に行うことができる。すなわち、ラベル管理を容易にすることができる。

本発明のラベル表示装置において、前記ラベル情報記憶手段に記憶されたラベル情報の内容をユーザ操作に応じて更新するラベル更新手段をさらに備えることが好ましい。
ラベル管理対象物（例えば、ファイル）の中身を変更する場合、そのラベル管理対象物に対応付けられたラベルを更新しなければならない。この発明では、ラベル更新手段によりラベルに表示される内容（ラベル情報）を簡単に更新することができる。これによれば、ラベル管理対象物に印字されたコード画像を変更することなく、ラベル画像の表示内容を更新することができるので、ファイルを劣化させることなく簡単にラベルの更新を行うことができる。

本発明のラベル表示装置において、前記コード画像は、２次元コードまたはバーコードで表現された画像データであることが好ましい。
コード画像が２次元コードおよびバーコードであれば、例えば、カメラ付き携帯電話のようにすでに流通している情報端末機器により容易に撮像して認識させることができる。したがって、特別な機器を用意する必要がないので、消費者にとってより便利である。また、２次元コードは、各種規格によりその形状が明確に定められているため、そのコードの画像の検出が容易である。

本発明のラベル表示方法は、実寸が定められたコード画像によって一意に識別可能であり、ユーザ操作に応じて入力された情報を画像にした複数のラベル情報とそれらの表示サイズとを対応付けて記憶するラベル情報記憶手段と、ラベル管理対象物を拡大または縮小して撮像可能な撮像手段と、を備えたラベル表示装置におけるラベル表示方法であって、前記撮像手段によって撮像された画像を取得し、当該画像に含まれるコード画像を認識して当該コード画像の撮影サイズと位置を検出するステップと、前記認識されたコード画像に対応付けられた複数のラベル情報とそれらの表示サイズとを前記ラベル情報記憶手段から取得し、前記検出されたコード画像の撮影サイズと、前記コード画像の実寸と、に基づいて、前記取得したラベル情報の表示倍率を算出するステップと、前記算出された表示倍率で、前記ラベル情報を拡大または縮小したラベル画像を生成し、前記撮像された画像上に、前記コード画像の位置に基づいて複数の前記ラベル画像を重ねて仮想表示させるステップと、を有することを特徴とする。

この発明によれば、撮像された画像内のコード画像の大きさに応じた大きさのラベル画像を仮想表示するため、違和感のない画像を提供することができる。特に、画像を拡大または縮小表示すると、画像内におけるコード画像の撮影サイズが変化するため、その度に撮影サイズを検出して表示倍率を算出してラベル画像に適用するので、撮像された画像と仮想表示されたラベル画像とをより自然な状態で表示することができる。
また、撮像された画像からコード画像の位置を検出し、この位置にラベル画像を仮想表示させるので、ラベル管理対象物とラベル画像との対応関係を容易に把握することができる。すなわち、どのラベル画像がどのラベル管理対象物を示しているかを一目で把握することができるので、ラベル管理を容易にすることができる。

本発明のプログラムは、実寸が定められたコード画像によって一意に識別可能であり、ユーザ操作に応じて入力された情報を画像にした複数のラベル情報とそれらの表示サイズとを対応付けて記憶するラベル情報記憶手段と、ラベル管理対象物を拡大または縮小して撮像可能な撮像手段と、を備えたラベル表示装置のコンピュータに、前記撮像手段によって撮像された画像を取得し、当該画像に含まれるコード画像を認識して当該コード画像の撮影サイズと位置を検出するステップと、前記認識されたコード画像に対応付けられた複数のラベル情報とそれらの表示サイズとを前記ラベル情報記憶手段から取得し、前記検出されたコード画像の撮影サイズと、前記コード画像の実寸と、に基づいて、前記取得したラベル情報の表示倍率を算出するステップと、前記算出された表示倍率で、前記ラベル情報を拡大または縮小したラベル画像を生成し、前記撮像された画像上に、前記コード画像の位置に基づいて複数の前記ラベル画像を重ねて仮想表示させるステップと、を実行させることを特徴とする。

この発明によれば、コンピュータに前述のラベル表示方法を実行させるため、このプログラムをインストールするだけの簡単な構成で、前述と同様の作用効果を得ることができ、有用性が高い。

本発明の第１実施形態にかかる情報表示装置の概略構成を示すブロック図。 前記第１実施形態におけるコード画像の各種パターンを示す図。 前記第１実施形態における情報表示装置のラベル情報登録フェーズの動作を示すフローチャート。 前記第１実施形態において撮像した画像にラベル情報を仮想表示する状態を示す図であり、（Ａ）は現実世界においてファイルが並べられている状態を示す図、（Ｂ）はカメラ付き携帯電話で撮像した画像が表示画面に表示されている状態を示す図、（Ｃ）はカメラ付き携帯電話で撮像した画像にラベル画像が仮想表示された状態で表示画面に表示されている状態を示す図。 前記第１実施形態における情報表示装置の画像表示フェーズの動作を示すフローチャート。 前記第１実施形態において携帯電話の表示画面にラベル情報が仮想表示された状態を示す図であり、（Ａ）は標準サイズを示す図、（Ｂ）は携帯電話のズーム操作により拡大表示させた図。 本発明の第２実施形態にかかる情報表示装置において表示画面にラベル情報が仮想表示された状態を示す図。

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、撮像手段を有する端末装置とこの端末装置にネットワークを介して接続されたサーバとからなるラベル表示装置を例示して説明する。
［１．第１実施形態］
［１−１．ラベル表示装置の構成］
図１に示すように、ラベル表示装置１は、端末装置１００と、インターネット１０を介して端末装置１００に接続されたサーバ２００と、を備えている。

インターネット１０はＴＣＰ／ＩＰなどの汎用のプロトコルに基づくインターネットであるが、これに限られない。例えば、ＬＡＮ（Local Area Network）などのイントラネット、無線媒体により情報が送受信可能な複数の基地局がネットワークを構成する通信回線網や放送網などのネットワーク、さらには、データを直接受信するための媒体となる無線媒体自体など、データを送受信させるいずれの構成も利用できる。

端末装置１００は、画像データやその他の情報を記憶するＲＡＭ（Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶手段と、各種演算を実施するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御手段と、を備えている。
端末装置１００としては例えば、カメラ付き携帯電話、カメラと送受信機能付き電子手帳、カメラと送受信機能付きモバイルコンピュータ、カメラと送受信機能付きパーソナルコンピュータなどを使用できるが、本実施形態ではカメラ付き携帯電話を用いる。
端末装置１００が備える記憶手段（図示しない）には、画像データや各種データが記憶されている。

端末装置１００は、制御手段として、撮像部１１０と、画像を表示する表示部１２０と、撮像部１１０および表示部１２０を制御するためにユーザが入力可能な複数のボタンで構成される入力部１３０と、インターネット１０を介してサーバ２００およびその他の装置とデータの送受信を行う端末送受信部１４０と、を備えている。

撮像部１１０は、カメラである。なお、撮像部１１０は本発明の撮像手段として機能する。
表示部１２０は、モニタであり、撮像部１１０によって得られる画像を表示する。また、端末送受信部１４０で受信した画像データを表示する。本実施形態では、サーバ２００により生成されたラベル画像データ（３Ｄオブジェクト）を、カメラ画像データの所定の位置に仮想表示させる。
入力部１３０は、ユーザが操作可能な複数のボタンにより構成される。撮像部１１０および表示部１２０の動作を制御する。
端末送受信部１４０は、画像データや他の各種データをサーバ２００およびその他の端末と送受信する。

サーバ２００は、端末装置１００と同様に、画像データやその他の情報を記憶するＲＡＭやＲＯＭ等の記憶手段と、各種演算を実施するＣＰＵ等の制御手段と、を備えている。ＲＡＭはデータなどを一時的に記憶できる一時領域などを有しており、ＲＯＭはＯＳ（Operating System:基本ソフトウェア）や各種サーバを制御するプログラム、各種アプリケーション等が格納されている。ＣＰＵは、これらの記憶手段に格納されているプログラムを読み出し、このプログラムに従って各種処理を行う。また、サーバ２００は、図示しないが、キーボードやマウス等の入力手段、登録画面等を画面表示して出力させるモニタ等の出力手段、および各種インターフェース（ＵＳＢ、シリアルインターフェース、パラレルインターフェース等）などを備えており、インターフェースに接続された外部記憶装置から画像データ等を取得することもできる。

サーバ２００は、記憶手段として、ラベル情報データベース２０１と、コード画像データベース２０２と、を備えている。なお、ラベル情報データベース２０１およびコード画像データベース２０２は本発明のラベル情報記憶手段として機能する。
ラベル情報データベース２０１は、例えば、以下の表１に示すように、ラベル情報を一意に識別するＩＤと表示内容と表示サイズとが関連付けられて１つのレコードとして記憶されたテーブル構造となっている。表示内容には、内容を示す文字列が表示されたラベルが画像データとして記憶されている。なお、項目はここに列挙したものに限られず、ラベル情報として表示可能な情報等を適宜追加してもよい。

コード画像データベース２０２は、例えば以下の表２に示すように、コード画像を一意に識別するＩＤと複数の画像データと実寸とが関連付けられて１つのレコードとして記憶されたテーブル構造となっている。ＩＤには、コード画像と一意に識別される上述のラベル情報データベース２０１に記憶されたラベル情報のＩＤが付与されている。この共通のＩＤにより、コード画像とラベル情報とが一意に識別される。なお、項目はここに列挙したものに限られず、コード画像に関する情報等を適宜追加してもよい。

ここで、コード画像について説明する。コード画像としては、バーコードまたは２次元コードを使用することができる。２次元コードとしてはＱＲコードが代表的であり、この他にもＤａｔａＭａｔｒｉｘ、ＰＤＦ４１７等が挙げられる。本実施形態では、コード画像としてＱＲコードを例示して説明する。
コード画像が付与されたラベル管理対象物を撮像するときの向きによって、撮像されたコード画像の向きはあらゆるパターンが想定される。例えば、図２（Ａ）に示すコード画像は通常の状態のパターン１Ａ、図２（Ｂ）は図２（Ａ）よりも右方向へ３０°回転した状態のパターン１Ｂ、図２（Ｃ）は図２（Ａ）よりも右方向へ６０°回転した状態のパターン１Ｃ、図２（Ｄ）は図２（Ａ）の右半分が奥行き方向に傾いた状態のパターン１Ｄとなり、これらの複数のパターン画像が画像データとしてコード画像データベース２０２に記憶される。

また、サーバ２００は、制御手段として、インターネット１０に接続された送受信部２１０と、撮像された画像にラベル情報を仮想表示させる表示制御手段２２０と、ラベル情報を上述の記憶手段に記憶させるラベル情報登録手段２３０と、を備えている。
送受信部２１０は、インターネット１０を介して端末装置１００から画像データ等を受信したり、表示制御手段２２０により生成されたラベル画像データを端末装置１００へ送信したりする。

表示制御手段２２０は、取得したカメラ画像に含まれるＱＲコードを認識し、このＱＲコードと一意に識別されるラベル情報をラベル画像としてカメラ画像に仮想表示させる機能を有している。具体的には、表示制御手段２２０は、カメラ画像データを取得する画像取得部２２１と、取得したカメラ画像データに含まれるＱＲコードを認識するコード画像認識部２２２と、認識したコード画像の撮影サイズ、位置、および向きを検出するコード画像検出部２２３と、検出値をコード画像座標系に変換する座標変換部２２４と、取得したコード画像に関連付けられたラベル情報を取得するラベル情報取得部２２５と、取得したラベル情報の表示倍率を算出する倍率算出部２２６と、算出した倍率に基づいてラベル情報の３Ｄオブジェクトを生成するラベル画像生成部２２７と、を有している。
なお、コード画像認識部２２２およびコード画像検出部２２３は本発明のコード画像認識手段として機能し、ラベル情報取得部２２５および倍率算出部２２６は本発明の倍率算出手段として機能し、ラベル画像生成部２２７および端末装置１００の表示部１２０は本発明の画像表示手段として機能する。

画像取得部２２１は、送受信部２１０でカメラ画像データを受信すると起動し、送受信部２１０から当該カメラ画像データを取得する。
コード画像認識部２２２は、取得したカメラ画像データに含まれるコード画像を認識（検出）する。本実施形態ではＱＲコードを使用しているので、ＱＲコードの位置検出用パターンとして３コーナーに配置された切り出しシンボルを検出することで認識できる。切り出しシンボルを検出できない場合は、一定時間経過後に送受信部２１０を介して端末装置１００にＱＲコード認識不可の旨の情報を送信する。
コード画像検出部２２３は、認識されたＱＲコードの撮影サイズ、位置、および向きを検出する。ここで検出される位置および向きは、端末装置１００の撮像部１１０（カメラ）を視点とした３次元位置姿勢（カメラ座標系）で検出される。

座標変換部２２４は、コード画像検出部２２３で検出した位置および向きの座標系を変換する。すなわち、カメラ座標系で検出された値を、コード画像を視点とする３次元位置姿勢のコード画像座標系に変換する。具体的には、座標変換行列を適用することで変換することができる。
ラベル情報取得部２２５は、コード画像認識部２２２で認識されたＱＲコードと、コード画像データベース２０２に記憶されている複数の画像データ（パターン画像）と、を比較し、ＱＲコードと一致する画像データを特定し、この画像データと一意に対応づけられたラベル情報の表示内容および表示サイズをラベル情報データベース２０１から取得する。同時に、コード画像データベース２０２から当該コード画像の実寸を取得する。

倍率算出部２２６は、コード画像検出部２２３で検出した撮影サイズとコード画像の実寸とから、コード画像の撮影サイズの表示倍率を算出する。
ラベル画像生成部２２７は、倍率算出部２２６で算出した表示倍率を、ラベル情報の表示サイズに適用してラベル画像の大きさを調整する。また、ラベル画像の位置および向きは、コード画像座標系に変換されたＱＲコードの位置および向きと同じになるように調整する。

ラベル情報登録手段２３０は、ラベルに関する新規または更新情報を上述の記憶手段に登録する機能を有している。ラベル情報登録手段２３０は、新規登録または更新対象のラベル情報を取得するラベル情報取得部２３１と、取得したラベル情報と一意に対応付けられたコード画像を生成するコード画像生成手段としてのコード画像生成部２３２と、ラベル情報を記憶手段に登録するラベル情報登録部２３３と、を有している。なお、ラベル情報登録部２３３は、本発明のラベル情報登録手段およびラベル更新手段として機能する。
ラベル情報取得部２３１は、新規登録画面を図示しないモニタ等の出力手段に出力し、新規のラベル情報（表示内容および表示サイズ）をユーザ操作により入力させ、入力値を取得する。なお、ラベル情報の取得方法はこれに限られず、ファイル形式で取得してもよいし、外部記憶装置から取得する方法を用いてもよい。また、更新の場合は、更新画面を図示しないモニタ等の出力手段に出力し、更新対象のラベル情報を画面表示させてユーザ操作により更新情報を入力させ、入力値を取得する。

コード画像生成部２３２は、新規登録の場合のみ機能する。更新処理の場合は、ラベル情報のみを更新し、すでに生成されているコード画像を再利用するため、コード画像を新しく生成する必要がない。
コード画像生成部２３２は、取得したラベル情報に一意に識別可能なＱＲコードを生成する。生成する方法は、専用のソフトウェアを用いてＱＲコードの規定に基づいて作成してもよいし、外部装置で生成されたＱＲコードを画像データとして取得してもよい。また、コード画像生成部２３２は、生成したＱＲコードに対する複数のパターン画像を生成する。パターン画像としては、例えば、所定角度回転した画像データや奥行き方向に傾斜した画像データ等が挙げられる。

ラベル情報登録部２３３は、コード画像生成部２３２で生成されたＱＲコードとこのＱＲコードの実寸とをコード画像データベース２０２に登録するとともに、ラベル情報取得部２３１で取得したラベル情報をラベル情報データベース２０１に記憶させる。コード画像データベース２０２に記憶されたＱＲコードの画像データと、ラベル情報データベース２０１に記憶されたラベル情報とは、ＩＤによって一意に対応付けられる。

［１−２．ラベル表示装置の動作］
次に、ラベル表示装置１の動作について説明する。ラベル表示装置１は、サーバ２００においてラベル情報を登録（更新）する処理と、ラベル情報を仮想表示させる処理と、が別々に動作する。

［１−２−１．ラベル情報登録（更新）処理］
まず、サーバ２００がラベル情報を登録する動作を、図３に基づいて説明する。
ユーザは、ファイルのラベル管理を行う際、各ファイルに印刷するＱＲコードとこのＱＲコードに一意に識別されるラベル情報を登録する。
ステップＳ１１において、ラベル情報取得部２３１は、ラベル情報の新規登録画面をモニタ等の出力手段に出力する。ユーザはキーボード等の入力手段を操作して、新規登録画面の表示に従って、ラベル情報の表示内容、表示サイズを入力する。入力が終了すると、ラベル情報取得部２３１は、入力値を取得して、ステップＳ１２へ進む。

ステップＳ１２では、コード画像生成部２３２は、外部装置で生成されたＱＲコードを画像データとして取得して実寸を算出し、ステップＳ１３へ進む。なお、ＱＲコードの実寸は、新規登録画面でラベル情報を入力するのと同時に、ユーザが直接入力するようにしてもよい。
ステップＳ１３では、取得したＱＲコードの画像データに対する複数のパターン画像を生成する。具体的には、図２（Ａ）がステップＳ１２で取得した画像データとすると、パターン画像として図２（Ｂ）（Ｃ）（Ｄ）に示すコード画像を生成して、ステップＳ１４へ進む。

ステップＳ１４では、ステップＳ１２およびＳ１３で生成したコード画像と、実寸とにＩＤを付与した１つのレコードをコード画像データベース２０２に記憶させる。同時に、当該ＩＤを、ステップＳ１１で取得したラベル情報の表示内容と表示サイズとに付与した１つのレコードをラベル情報データベース２０１に記憶させる。これにより、コード画像により一意に識別可能なラベル情報が登録される。

次に、ファイルの中身が変更された場合にラベル情報を更新する動作について説明する。
ユーザは、すでにラベル管理されているファイルの中身を変更した場合、各ファイルに印刷されているＱＲコードに対応付けられたラベル情報を更新する。
具体的には、まず、ラベル情報取得部２３１は、ラベル情報の更新画面を出力手段に出力する。更新画面にはＱＲコードの入力欄があり、ユーザは、ファイルに印刷されているＱＲコードをスキャナ等で読み込んで更新画面に取り込む。これにより、ラベル情報取得部２３１は、取り込んだＱＲコードと、コード画像データベース２０２に記憶されている画像データと、を比較してＱＲコードと一致するデータを特定し、当該データに一意に識別されるラベル情報をラベル情報データベース２０１から取得して、そのラベル情報を更新画面に出力する。ユーザは、更新画面上でラベルの新しい表示内容を入力する。ラベル情報取得部２３１は入力された情報を取得し、ラベル情報登録部２３３がラベル情報データベース２０１に記憶されている当該ラベル情報の表示内容を新しく入力された情報で更新する。
これにより、更新されたラベル情報がラベル画像として、カメラ画像内に仮想表示されることになる。

［１−２−２．ラベル情報表示処理］
次に、サーバ２００がラベル情報を仮想表示させる動作を、図４、図５および図６に基づいて説明する。
図４（Ａ）に示すように、複数のファイル３１、３２、３３が並べられ、その背表紙３１１、３２１、３３１には各ファイルに対応するＱＲコード３１２、３２２、３３２が印刷されている。これらＱＲコード３１２、３２２、３３２は、上述したラベル情報登録処理によってすでに記憶手段に登録され、ラベル情報と一意に対応付けられている。
ユーザは、携帯電話である端末装置１００の入力部１３０を操作して撮像部１１０（カメラ）を起動し、撮像対象となるファイル３２、３３にレンズを向ける。これにより図４（Ｂ）に示すように、表示部１２０にファイル３２、３３が表示される。このとき、ユーザが入力部１３０の所定のボタンを押すことにより、撮像部１１０は表示部１２０に表示された画像（以降、カメラ画像データと言う。）を撮像し、端末送受信部１４０は撮像されたカメラ画像データをインターネット１０を介してサーバ２００に送信する。

サーバ２００は、送受信部２１０がカメラ画像データを受信すると、表示制御手段２２０が起動し、以下のように動作する。表示制御手段２２０の動作を図５に基づいて説明する。
ステップＳ２１において、画像取得部２２１は、送受信部２１０で受信したカメラ画像データを取得してステップＳ２２に進む。
ステップＳ２２では、コード画像認識部２２２がカメラ画像データに含まれているＱＲコードを認識する。ＱＲコードを認識できた場合はステップＳ２３へ進む。ＱＲコードを認識できない場合は表示制御手段２２０の処理を終了して、端末装置１００に対して認識不可である旨のメッセージを送信する。この場合、端末装置１００は端末送受信部１４０でこのメッセージを受信し、表示部１２０にメッセージ内容を表示する。

ステップＳ２３では、コード画像検出部２２３がカメラ画像データに含まれるＱＲコードの撮影サイズ、位置および向きを検出してステップＳ２４へ進む。ここで検出される位置および向きは、端末装置１００の撮像部１１０（カメラ）を視点とした３次元位置姿勢を示すカメラ座標系である。
ステップＳ２４では、座標変換部２２４がステップＳ２３で検出したＱＲコードの位置および向きを、ＱＲコードを視点とした３次元位置姿勢を示すコード画像座標系に変換して、ステップＳ２５へ進む。具体的には、カメラ座標系における検出値を座標変換行列に適用することで変換できる。この処理により、以降のラベル画像（３Ｄオブジェクト）の描画作業をコード座標系で行うことができる。

ステップＳ２５では、ラベル情報取得部２２５が、ステップＳ２２で認識したＱＲコードと、コード画像データベース２０２に記憶されている画像データ（パターン画像含む）とを比較し、ＱＲコードと一致する画像データを特定するとともにその実寸データを取得する。さらに、当該画像データのＩＤと同じＩＤを有するラベル情報（表示内容、表示サイズ）を、ラベル情報データベース２０１から取得して、ステップＳ２６へ進む。
ステップＳ２６では、倍率算出部２２６が、ステップＳ２３で検出したＱＲコードの撮影サイズと、ステップＳ２５で取得したＱＲコードの実寸と、を比較して表示倍率を算出してステップＳ２７へ進む。
ステップＳ２７では、ラベル画像生成部２２７が、ステップＳ２６で算出された表示倍率を、ステップＳ２５で取得したラベル情報の表示サイズに適用してラベル画像の３Ｄオブジェクトを生成する。なお、ラベル画像の位置および向きは、ステップＳ２４で変換されたコード画像座標系で表示される。このようにして、ラベル画像が生成されるとステップＳ２８へ進む。

ステップＳ２８では、送受信部２１０が、生成されたラベル画像のデータを端末装置１００へ送信する。
なお、上記ステップＳ２３〜Ｓ２８の動作は、カメラ画像データから検出されたＱＲコードの数だけ繰り返し実行される。
端末装置１００は、端末送受信部１４０でラベル画像データを受信すると、表示部１２０は、図４（Ｃ）に示すように、カメラ画像に含まれるＱＲコードの位置に、対応するラベル画像（「人事２００９年」および「経理ファイル」）を重ねて仮想表示させる。すなわち、各ファイルに対応するラベル画像が、各ファイルの背表紙に表示される。

次に、カメラ画像を拡大表示する場合について説明する。図６（Ａ）は、表示部１２０に標準サイズの画像が表示されている状態を示す。３つのファイル３１、３２、３３の背表紙３１１、３２１、３３１にそれぞれ対応するラベル画像（「人事２００８年」「人事２００９年」「経理ファイル」）が仮想表示されている。
ユーザが端末装置１００の入力部１３０を操作して、カメラ画像を拡大表示して所定のボタンを押すと、撮像部１１０は表示部１２０に表示された画像を撮像し、端末送受信部１４０は撮像されたカメラ画像データをインターネット１０を介してサーバ２００に送信する。サーバ２００における動作は、上述のステップＳ２１〜Ｓ２８の処理と同様である。そして、サーバ２００からのラベル画像データ（３Ｄオブジェクト）を端末装置１００が端末送受信部１４０で受信すると、表示部１２０は、図６（Ｂ）に示すように、カメラ画像のＱＲコードの位置に、対応するラベル画像を重ねて仮想表示する。この場合、ＱＲコードの撮影サイズに応じた大きさのラベル画像が仮想表示される。

［１−３．第１実施形態の作用効果］
上述した第１実施形態では、以下に示す作用効果を奏することができる。
コード画像検出部２２３では撮像部１１０（カメラ）により撮像したカメラ画像に含まれるＱＲコードの撮影サイズ、位置、向きを検出し、座標変換部２２４ではこの検出値をコード画像座標系に変換し、ラベル画像生成部２２７ではこの変換後の値に基づいてラベル画像の３Ｄオブジェクトを生成している。すなわち、ラベル画像は、カメラ画像内のＱＲコードの撮影サイズに応じた大きさに調整され、カメラ画像内のＱＲコードの位置が適用され、カメラ画像内のＱＲコードの向きが適用されている。したがって、このようなラベル画像（３Ｄオブジェクト）は、ＱＲコードが表示されていた位置に適切な大きさおよび向きでカメラ画像内に仮想表示されるため、ユーザはファイルとそのファイルに対応するラベル画像とを違和感なく認識することができる。
これによれば、どのラベル情報がどのファイルと対応しているかをユーザは瞬時に把握することができる。すなわち、ユーザにとって認識しやすい画像を提供することができる。

また、コード画像データベース２０２に記憶されている画像データと、ラベル情報データベース２０１に記憶されているラベル情報と、は一意に対応付けられている。
したがって、ファイルの中身が変更された場合には、ラベル情報データベース２０１のラベル情報のみを更新すればよい。例えば、ファイルの中身が備品に関する情報から２０１０年の人事情報に変更された場合は、ラベル情報データベース２０１の表示内容を「備品」から「人事２０１０」に更新する。
これによれば、ファイル自体に更新の処理を施すことがないので、ファイルの劣化を防止することができる。また、簡単にラベルを書き換えることができ、ラベル管理を容易にすることができる。

さらに、上記実施形態では、端末装置１００が撮像部１１０および表示部１２０を有している。端末装置１００は、持ち運びが容易なカメラ付き携帯電話であるので、ユーザは撮像対象の撮像を容易に行うことができる。また、複雑な画像処理をサーバ２００で行い、生成されたラベル画像のみを受信して表示部１２０に表示させる構成であるので、端末装置１００を簡単な構成とすることができ、カメラ付き携帯電話に適用しやすい。

そして、上記実施形態では、ラベル情報の新規登録処理時には新規登録画面が出力され、更新処理時には更新画面が出力される。
これによれば、ユーザはこれらの画面表示に従って、新規にラベル情報を登録したり、すでに登録済みのラベル情報を更新したりする処理を簡単に行うことができる。すなわち、ラベル管理を容易に行うことができる。

［２．第２実施形態］
次に、本発明の第２実施形態について説明する。第２実施形態では、ラベル画像の表示内容および表示方法が異なる以外は第１実施形態と同様の構成であるので、ラベル画像の表示内容および表示方法についてのみ説明する。
第２実施形態におけるラベル情報データベース２０１は、例えば、以下の表３に示すように、ラベル情報を一意に識別するＩＤと表示内容と表示サイズとが関連付けられて１つのレコードとして記憶されたテーブル構造となっている。ＩＤは、上述のコード画像データベース２０２に記憶されたコード画像と共通のＩＤが付与されている。この共通のＩＤにより、コード画像とラベル情報とが一意に識別される。表示内容には、クチコミに関する情報や、目次情報等の複数の情報が画像データとして記憶されている。画像データは複数記憶されていてもよい。表示サイズは、ラベル画像のサイズである。なお、項目はここに列挙したものに限られず、ラベル情報として表示可能な情報等を適宜追加してもよい。

ラベル画像生成部２２７は、上述の倍率算出部２６で算出した表示倍率を、ラベル情報の表示サイズに適用してラベル画像の大きさを調整する。また、ラベル画像の位置は、コード画像座標系に変換されたＱＲコードの位置に基づいて、この位置の周辺に配置されるように調整を行う。例えば、上記表３のＩＤ[111111]をラベル画像として表示する場合、図７に示すように画像データＤと画像データＥの２枚のラベル画像４３および４４を生成する。ラベル画像４３および４４はラベルにそれぞれクチコミＡ、クチコミＢの内容が表示された画像である。ラベル画像４３および４４は、対応するＱＲコードの周辺に配置される。ラベル画像の向きは、コード画像座標系に変換されたＱＲコードの向きと同じになるように調整する。図７では、ラベル画像４３および４４の表示形態を吹き出し形状としたが、ラベル画像の形状はこれに限られず、通常のラベルのみを表示する形態としてもよい。
なお、撮像した画像と生成したラベル画像との合成は、撮像した画像を表示する層と、ラベル画像を表示する層と、を別々に生成し、これらの層を重ね合わせることにより行う。

次に、第２実施形態におけるラベル表示装置のラベル画像生成部２２７の動作について説明する。ステップＳ２１〜Ｓ２６およびＳ２８の動作は第１実施形態と同様である。
ステップＳ２７では、ラベル画像生成部２２７は、ステップＳ２６で算出された表示倍率を、ステップＳ２５で取得したラベル情報の表示サイズに適用してラベル画像の３Ｄオブジェクトを生成する。このとき、ラベル情報データベース２０１に記憶されている画像データの数に応じた単数または複数のラベル画像を生成し、対応するＱＲコードの位置に基づいてラベル画像を配置する。具体的には、ＱＲコードの周辺に配置されたラベル画像のみが表示された層を生成する。

このようにして生成されたラベル画像を含む層は端末装置１００に送信され、このラベル画像を含む層と撮像した画像を表示する層とが重ね合わされた画像が表示部１２０に表示される（図７参照）。図７では、ラベル管理対象物であるファイル３１、３２、３３に印字されたＱＲコードの周辺に複数のラベル画像４１、４２、４３、４４が仮想表示されている。ラベル画像４１には、ファイル３１に収容された資料の目次情報が表示され、ラベル画像４２にはファイル３２の内容に関するクチコミ情報が表示され、ラベル画像４３および４４にはファイル３３の内容に関するクチコミ情報が表示されている。
これらのラベル画像は、それぞれ対応するＱＲコードの周辺に配置されているため、各ラベル画像がどのファイル（ＱＲコード）に関する情報であるかが一目瞭然となる。

図７では、ラベル画像の形状を吹き出し状に形成している。この場合、ラベル画像４１、４２、４３、４４の吹き出し元を示す先端の三角部４１１、４２１、４３１、４４１がＱＲコードに重なる位置となるように調整を行う。これにより、各ラベル画像がどのファイル（ＱＲコード）に関する情報であるかが一目瞭然となる。

以上の第２実施形態では、上述した第１実施形態での作用効果を奏することができるとともに、以下の作用効果を奏することができる。
第２実施形態では、ラベル管理対象物であるファイルに対する複数の情報を仮想表示させることができるため、ユーザに対して多くの情報を与えることができる。特に、表示されたラベル画像の位置、向き、および大きさが、実際に撮像した画像に基づいてそれぞれ調整されるため、その表示態様は自然でありユーザに違和感を与えない。したがって、使用感に優れ、利用の促進を図ることができる。
［３．変形例］
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。
例えば、上記実施形態では、サーバ２００が表示制御手段２２０を有する構成であったが、端末装置１００が表示制御手段２２０を有する構成としてもよい。これによれば、撮像したカメラ画像データおよび生成したラベル画像データを送受信する時間を省略できるため、高速化を図ることができる。

また、端末装置１００がコード画像認識手段を備え、撮影サイズ、位置および向きの検出値のみをサーバ２００に送信する構成としてもよい。これによれば、端末装置１００でコード画像を認識できたかどうかの判定が瞬時になされるため、ユーザには処理がスムーズに行われるように感じられ、操作性に優れる。
さらに、上記実施形態では、サーバ２００がラベル情報登録手段２３０を備えているが、各種データベースおよびラベル情報登録手段２３０を別のサーバが備える構成としてもよい。これによれば、別のサーバがデータベースサーバとして機能し、機能ごとに管理できるため、システム全体を管理しやすくなる。

そして、サーバ２００は撮像手段を備えていてもよい。すなわち、サーバ２００においても、ラベル管理対象物を撮像して図示しないモニタ等の出力手段に撮像した画像を表示させ、ラベル画像を生成して仮想表示させることができる。
また、上記第２実施形態において、ラベル画像の形状を吹き出し形状としたが、これに限られない。対応するＱＲコードの周辺にラベル画像を配置することにより、ラベル画像とＱＲコードとの対応関係を明らかにすることができる。

本発明は、ラベル管理を行うためのラベル表示装置としてファイル等が大量に保管されている事務所等で広く利用することができる。

１…ラベル表示装置
１０…インターネット
１００…端末装置
１１０…撮像部
１２０…表示部
１３０…入力部
２００…サーバ
２０１…ラベル情報データベース
２０２…コード画像データベース
２１０…送受信部
２２０…表示制御手段
２３０…ラベル情報登録手段

Claims (7)

1. 実寸が定められたコード画像によって一意に識別可能であり、ユーザ操作に応じて入力された情報を画像にした複数のラベル情報とそれらの表示サイズとを対応付けて記憶するラベル情報記憶手段と、
   ラベル管理対象物を拡大または縮小して撮像可能な撮像手段と、
   前記撮像手段によって撮像された画像を取得し、当該画像に含まれるコード画像を認識して当該コード画像の撮影サイズと位置を検出するコード画像認識手段と、
   前記認識されたコード画像に対応付けられた複数のラベル情報とそれらの表示サイズとを前記ラベル情報記憶手段から取得し、前記検出されたコード画像の撮影サイズと、前記コード画像の実寸と、に基づいて、前記認識されたコード画像の表示倍率を算出する倍率算出手段と、
   前記算出された表示倍率で、前記ラベル情報を拡大または縮小したラベル画像を生成し、前記撮像された画像上に、前記コード画像の位置に基づいて複数の前記ラベル画像を重ねて仮想表示させる画像表示手段と、
   を備えていることを特徴とするラベル表示装置。
2. 請求項１に記載のラベル表示装置において、
   前記コード画像認識手段は、前記画像に含まれるコード画像の向きを検出し、
   前記画像表示手段は、前記ラベル画像に、前記検出した向きに基づいた３次元加工処理を行う
   ことを特徴とするラベル表示装置。
3. 請求項１または請求項２に記載のラベル表示装置において、
   前記コード画像を生成するとともに当該コード画像と向きが異なる複数のパターン画像を生成するコード画像生成手段と、
   前記生成されたコード画像またはパターン画像によって一意に識別可能なラベル情報と、その表示サイズと、を対応づけて前記ラベル情報記憶手段に記憶させるラベル情報登録手段と、
   をさらに備えていることを特徴とするラベル表示装置。
4. 請求項３に記載のラベル表示装置において、
   前記ラベル情報記憶手段に記憶されたラベル情報の内容をユーザ操作に応じて更新するラベル更新手段をさらに備えることを特徴とするラベル表示装置。
5. 請求項１から請求項４のいずれかに記載のラベル表示装置において、
   前記コード画像は、２次元コードまたはバーコードで表現された画像データである
   ことを特徴とするラベル表示装置。
6. 実寸が定められたコード画像によって一意に識別可能であり、ユーザ操作に応じて入力された情報を画像にした複数のラベル情報とそれらの表示サイズとを対応付けて記憶するラベル情報記憶手段と、ラベル管理対象物を拡大または縮小して撮像可能な撮像手段と、を備えたラベル表示装置におけるラベル表示方法であって、
   前記撮像手段によって撮像された画像を取得し、当該画像に含まれるコード画像を認識して当該コード画像の撮影サイズと位置を検出するステップと、
   前記認識されたコード画像に対応付けられた複数のラベル情報とそれらの表示サイズとを前記ラベル情報記憶手段から取得し、前記検出されたコード画像の撮影サイズと、前記コード画像の実寸と、に基づいて、前記取得したラベル情報の表示倍率を算出するステップと、
   前記算出された表示倍率で、前記ラベル情報を拡大または縮小したラベル画像を生成し、前記撮像された画像上に、前記コード画像の位置に基づいて複数の前記ラベル画像を重ねて仮想表示させるステップと、を有する
   ことを特徴とするラベル表示方法。
7. 実寸が定められたコード画像によって一意に識別可能であり、ユーザ操作に応じて入力された情報を画像にした複数のラベル情報とそれらの表示サイズとを対応付けて記憶するラベル情報記憶手段と、ラベル管理対象物を拡大または縮小して撮像可能な撮像手段と、を備えたラベル表示装置のコンピュータに、
   前記撮像手段によって撮像された画像を取得し、当該画像に含まれるコード画像を認識して当該コード画像の撮影サイズと位置を検出するステップと、
   前記認識されたコード画像に対応付けられた複数のラベル情報とそれらの表示サイズとを前記ラベル情報記憶手段から取得し、前記検出されたコード画像の撮影サイズと、前記コード画像の実寸と、に基づいて、前記取得したラベル情報の表示倍率を算出するステップと、
   前記算出された表示倍率で、前記ラベル情報を拡大または縮小したラベル画像を生成し、前記撮像された画像上に、前記コード画像の位置に基づいて複数の前記ラベル画像を重ねて仮想表示させるステップと、を実行させる
   ことを特徴とするプログラム。

Images