JP6439566B2 - 多言語表示装置、多言語表示システム、多言語表示方法及び多言語表示プログラム - Google Patents

Description

本発明は、商品のパッケージに記載されている文字を多言語で表示可能な多言語表示装置等に関するものである。

近年、外国人観光客による商品の購入が増加している。外国人観光客の多くは日本語が理解できないため、商品説明の多言語化が望まれている。

例えば、商品の棚などにＱＲコード（登録商標）を付しておき、顧客がスマートフォン等で読み取ることによって、商品説明のウェブサイトに誘導する仕組みがある。

また、例えば、特許文献１には、商品のパッケージにマーカーを付しておき、顧客がスマートフォン等で商品のパッケージを撮影すると、撮影画像に所定のコンテンツを重畳して表示する仕組みが開示されている。

特開２０１２−２１５９８９号公報

しかしながら、商品の棚にＱＲコード（登録商標）を付す場合、ＱＲコード（登録商標）と商品との対応付けに間違いがあると、異なる商品のウェブサイトに誘導してしまう。このような対応付けの間違いは、店員が間違える場合だけでなく、顧客が一度手に取った商品を他の棚に戻す場合も発生し、発生確率が高い。外国人観光客の場合、そのような間違いに気付くことは困難であり、商品内容を誤解したまま購入する恐れがある。また、ウェブサイトを利用すると、店舗で実際に購入している臨場感が無くなってしまう。

一方、商品のパッケージにマーカーを付す場合、マーカーを付すスペースが必要になり、パッケージのデザインに制約が出てしまう。また、撮影画像に所定のコンテンツを重畳する際、表示方法によっては、かえって煩わしさを感じる。

本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、誤誘導を減らし、パッケージのデザインに制約がなく、臨場感があり、煩わしさを感じない多言語表示装置等を提供することである。

前述した目的を達成するための第１の発明は、商品のパッケージの形状データと、前記パッケージの印刷用データと、前記印刷用データに対応する多言語表示用データと、を対応付けて記憶する記憶手段と、選択言語を受け付ける受付手段と、前記パッケージを含む撮影画像を撮影する撮影手段と、前記撮影画像における前記パッケージの位置、角度及び倍率を認識し、前記選択言語に対応する前記多言語表示用データの幾何学的変換を行い、前記撮影画像に重ねて表示される重畳画像を生成する制御手段と、前記撮影画像に重ねて前記重畳画像を表示する表示手段と、を備えることを特徴とする多言語表示装置である。第１の発明によって、誤誘導を減らし、パッケージのデザインに制約がなく、臨場感があり、煩わしさを感じない多言語表示を実現することができる。

第１の発明は、音声データを出力する音声出力手段、を更に備え、前記記憶手段は、更に、前記印刷用データに含まれる文字情報ごとの掲載位置と、前記文字情報に対応する多言語音声データとを対応付けて記憶し、前記制御手段は、更に、前記撮影画像における指示物体による指示位置を認識し、前記指示位置と合致する前記掲載位置に係る前記文字情報及び前記選択言語に対応する前記多言語音声データを特定し、前記音声出力手段は、前記制御手段によって特定される前記多言語音声データを出力するようにしても良い。これによって、目の不自由な人や視力が衰えた人であっても、多言語の音声を聞いて、商品の内容を把握することが可能となる。

第１の発明における前記制御手段は、前記パッケージの商品識別情報を読み取り、前記記憶手段は、更に、前記商品識別情報と、記憶時刻と、前記選択言語と、店舗情報とを対応付けて記憶するようにしても良い。これによって、消費者の購買時の行動分析のデータとして活用できるとともに、ＳＮＳ（Social Network Service）での活用も可能となる。

第２の発明は、端末とサーバとがネットワークを介して接続される多言語表示システムであって、前記端末は、選択言語を受け付ける受付手段と、商品のパッケージを含む撮影画像を撮影する撮影手段と、前記撮影画像を前記サーバに送信する送信手段と、前記撮影画像に重ねて表示される重畳画像を前記サーバから受信する受信手段と、前記撮影画像に重ねて前記重畳画像を表示する表示手段と、を備え、前記サーバは、前記パッケージの形状データと、前記パッケージの印刷用データと、前記印刷用データに対応する多言語表示用データと、を対応付けて記憶する記憶手段と、前記端末から前記撮影画像を受信する受信手段と、前記撮影画像における前記パッケージの位置、角度及び倍率を認識し、前記選択言語に対応する前記多言語表示用データの幾何学的変換を行い、前記重畳画像を生成する制御手段と、前記重畳画像を前記端末に送信する送信手段と、を備えることを特徴とする多言語表示システムである。第２の発明によって、誤誘導を減らし、パッケージのデザインに制約がなく、臨場感があり、煩わしさを感じない多言語表示を実現することができる。

第３の発明は、コンピュータが、商品のパッケージの形状データと、前記パッケージの印刷用データと、前記印刷用データに対応する多言語表示用データと、を対応付けて記憶するステップと、選択言語を受け付けるステップと、前記パッケージを含む撮影画像を撮影するステップと、前記撮影画像における前記パッケージの位置、角度及び倍率を認識し、前記選択言語に対応する前記多言語表示用データの幾何学的変換を行い、前記撮影画像に重ねて表示される重畳画像を生成するステップと、前記撮影画像に重ねて前記重畳画像を表示するステップと、を実行することを特徴とする多言語表示方法である。第３の発明によって、誤誘導を減らし、パッケージのデザインに制約がなく、臨場感があり、煩わしさを感じない多言語表示を実現することができる。

第４の発明は、コンピュータを、商品のパッケージの形状データと、前記パッケージの印刷用データと、前記印刷用データに対応する多言語表示用データと、を対応付けて記憶する記憶手段と、選択言語を受け付ける受付手段と、前記パッケージを含む撮影画像を撮影する撮影手段と、前記撮影画像における前記パッケージの位置、角度及び倍率を認識し、前記選択言語に対応する前記多言語表示用データの幾何学的変換を行い、前記撮影画像に重ねて表示される重畳画像を生成する制御手段と、前記撮影画像に重ねて前記重畳画像を表示する表示手段として機能させるための多言語表示プログラムである。第４の発明のプログラムを汎用のコンピュータにインストールすることによって、第１の発明の多言語表示装置を得ることができる。

本発明により、誤誘導を減らし、パッケージのデザインに制約がなく、臨場感があり、煩わしさを感じない多言語表示装置等を提供することができる。

多言語表示システムの概要を示す図 端末のハードウエア構成図 サーバのハードウエア構成図 パッケージの一例を示す図 第１実施形態におけるデータの一例を示す図 第１実施形態における処理の流れを示すフローチャート 第１実施形態における撮影画像の例を示す図 第１実施形態における撮影画像と重畳画像の表示例を示す図 第２実施形態におけるデータの一例を示す図 第２実施形態における処理の流れを示すフローチャート 第２実施形態における撮影画像の例を示す図

以下図面に基づいて、本発明の実施形態を詳細に説明する。最初に、図１〜図４を参照しながら、本発明の全ての実施形態に共通する構成について説明する。

図１は、多言語表示システムの概要を示す図である。多言語表示システム１は、例えば、スーパー、コンビニエンスストア、ドラッグストア等の実店舗において利用される。図１に示すように、多言語表示システム１は、店舗の商品棚等に設置される端末２、及び端末２とネットワーク５を介して接続されるサーバ３によって構成される。

商品は、例えば、日用品、食品、医薬品等である。パッケージ４の形状は、例えば、直方体、円柱、円錐台、平面等である。パッケージ４に記載されている文字の言語は、例えば、日本語である。多言語表示システム１において扱う言語は、例えば、英語、中国語、韓国語、アラビア語等である。いずれの内容も、単なる例示であって、特に限定されるものではない。

ユーザは、パッケージ４に記載されている文字の言語が理解できない場合、多言語表示システム１を利用する。端末２は、ユーザから選択言語を受け付け、商品のパッケージ４を含む撮影画像を取得し、撮影画像をサーバ３に送信する。サーバ３は、端末２から撮影画像を受信し、撮影画像におけるパッケージの位置、角度及び倍率を認識し、選択言語に対応する多言語表示用データの幾何学的変換を行い、撮影画像に重ねて表示される重畳画像を生成し、重畳画像を端末２に送信する。端末２は、サーバ３から重畳画像を受信し、撮影画像に重ねて重畳画像を表示する。

図２は、端末のハードウエア構成図である。なお、図２のハードウエア構成は一例である。端末２は、例えば、タブレット端末であるが、用途、目的に応じて様々な構成を採ることが可能であり、スマートフォン、デスクトップＰＣ（Personal Computer）、ノートＰＣ等であっても良い。

図２に示すように、端末２は、制御部２１、記憶部２２、入力部２３、表示部２４、通信制御部２５、カメラ２６、スピーカ２７等が、バス２８を介して接続される。

制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等によって構成される。ＣＰＵは、記憶部２２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２８を介して接続された各装置を駆動制御し、端末２が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部２２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部２１が各種処理を行う為に使用するワークエリアを備える。

記憶部２２は、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等であり、制御部２１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部２１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。

入力部２３は、データの入力を行い、例えば、タッチパネル、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。ユーザは、入力部２３を介して、端末２に対して、操作指示、動作指示、データ入力等を行うことができる。表示部２４は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部２３及び表示部２４は、タッチパネルディスプレイのように、一体となっていても良い。

通信制御部２５は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク５間の通信を媒介する通信インタフェースであり、ネットワーク５を介して、他のコンピュータ間との通信制御を行う。ネットワーク５は、有線、無線を問わない。

カメラ２６は、ＣＭＯＳ（Complementary Metal Oxide
Semiconductor Image Sensor）等を有し、静止画像や動画像を撮影する。カメラ２６は、表示部２４がある面とその背面の両側に搭載されていても良い。表示部２４がある面に搭載されているカメラは、「インカメラ」と呼ばれる。スピーカ２７は、電気信号を物理振動に代えて、音楽や音声などの音を出力する。バス２８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

図３は、サーバのハードウエア構成図である。なお、図３のハードウエア構成は一例である。サーバ３は、例えば、デスクトップＰＣ、ラックマウント型サーバ、ブレードサーバ等である。

制御部３１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成される。ＣＰＵは、記憶部３２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス３６を介して接続された各装置を駆動制御し、サーバ３が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部３２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部３１が各種処理を行う為に使用するワークエリアを備える。

記憶部３２は、フラッシュメモリ、ＨＤＤ等であり、制御部３１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部３１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。

入力部３３は、データの入力を行い、例えば、タッチパネル、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。ユーザは、入力部３１を介して、サーバ３に対して、操作指示、動作指示、データ入力等を行うことができる。表示部３４は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部３３及び表示部３４は、タッチパネルディスプレイのように、一体となっていても良い。

通信制御部３５は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク５間の通信を媒介する通信インタフェースであり、ネットワーク５を介して、他のコンピュータ間との通信制御を行う。ネットワーク５は、有線、無線を問わない。バス３６は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

図４は、パッケージの一例を示す図である。図４に示すパッケージ４の商品は、子供用歯磨き粉である。パッケージ４は、直方体の形状であって、６つの面を有している。正面図に相当する面には、「こどもハミガキ」の文字情報４１ａと、「いちご味」の文字情報４１ｂと、商品識別情報４２と、「いちご」のイラスト４３が記載されている。底面図に相当する面には、「子供」の文字情報４１ｃが記載されている。右側面図に相当する面には、「ストロベリー」の文字情報４１ｄが記載されている。図示はしていないが、パッケージ４は、他に、背面図、平面図、左側面図に相当する面を有し、各面には他の文字情報等が記載されている。

本発明の実施形態を実現する構成は、図１に示す多言語表示システム１の他、端末２のみによって構成される多言語表示装置でも良い。すなわち、多言語表示装置としての端末２が、ユーザから選択言語を受け付け、商品のパッケージ４を含む撮影画像を取得し、撮影画像におけるパッケージの位置、角度及び倍率を認識し、選択言語に対応する多言語表示用データの幾何学的変換を行い、撮影画像に重ねて表示される重畳画像を生成し、撮影画像に重ねて重畳画像を表示しても良い。以下の各実施形態の説明では、混乱を避けるために、多言語表示装置としての端末２が後述する処理を実行するものとする。

＜第１実施形態＞

図５〜図８を参照しながら、第１実施形態について説明する。図５は、第１実施形態におけるデータの一例を示す図である。端末２の記憶部２２には、商品のパッケージ４ごとに、パッケージ４の３Ｄモデルである形状データ６１と、各面の印刷用データ６２と、印刷用データ６２に対応する多言語表示用データ６３とが対応付けて記憶されている。

図５に示すデータの例は、図４に示すパッケージ４に対応する。形状データ６１は、直方体の３Ｄモデルである。印刷用データ６２は、正面図６２ａ、底面図６２ｂ、右側面図６２ｃ、・・・の各面に対応するデザインデータを含む。

多言語表示用データ６３は、文字情報が英語で記載されているデザインデータであり、正面図６３ａ、底面図６３ｂ、右側面図６３ｃ、・・・の各面に対応するデザインデータを含む。図示はしていないが、端末２の記憶部２２には、その他の多言語表示用データ６３として、文字情報が英語以外の言語で記載されているデザインデータも記憶されている。

図６は、第１実施形態における処理の流れを示すフローチャートである。最初に、端末２の表示部２４には、待ち受け画面として、選択言語の受付画面が表示されている。ユーザが、入力部２３を介して選択言語の入力を行うと、端末２の制御部２１は、選択言語の受付を行い（ステップＳ１１）、その後のメッセージを選択言語で表示するように制御する。尚、ユーザが所有する端末２の場合、ユーザが所望する言語を予め設定しておくことが可能である。また、端末２が音声入力機能を有している場合、音声入力機能によって選択言語を受け付けるようにしても良い。

端末２の表示部２４には、パッケージ４を含む撮影画像の取得を促すメッセージが表示される。ユーザが、パッケージ４に対してカメラ２６のレンズを向けて、撮影の指示を行うと、端末２のカメラ２６は、パッケージ４を撮影し、撮影画像を取得する（ステップＳ１２）。端末２がタブレット端末の場合、インカメラを用いることによって、撮影作業が容易になる。一方、端末２がスマートフォンの場合、背面のカメラを用いることによって、撮影作業が容易になることもある。撮影に用いるカメラ２６は、必要に応じて、インカメラと背面のカメラを切り替えるようにしても良い。

図７は、第１実施形態における撮影画像の例を示す図である。図７では、端末２の表示部２４に撮影画像７１ａが表示されている。撮影画像７１ａは、ユーザが歯磨き粉の箱を手で持っている状態の写真である。

図６の説明に戻る。端末２の制御部２１は、撮影画像７１ａにおけるパッケージ４の位置、角度及び倍率を認識する（ステップＳ１３）。具体的には、制御部２１は、ＡＲ（Augmented Reality：拡張現実）のソフトウエアを用いて、撮影画像７１ａ上のパッケージ４の位置、角度及び倍率を計算する。ＡＲのソフトウエアの例としては、例えば、ＱＵＡＬＣＯＭ（登録商標）社の「Ｖｕｆｏｒｉａ」（登録商標）等が挙げられる。「Ｖｕｆｏｒｉａ」（登録商標）によれば、対象となる商品のパッケージ４について、図５に示す形状データ６１及び印刷用データ６２を予めデータベース化しておくことによって、撮影画像７１ａ上のパッケージ４の位置、角度及び倍率を認識することができる。制御部２１は、撮影画像７１ａよりパッケージ４のデザインパターンを見つけ出し、データベース化されているパッケージ４の形状とデザインの対応を元に、パッケージの位置、角度及び倍率を認識する。ここで、デザインパターンとは、図４における文字情報４１ａ〜４１ｄ、商品識別情報４２、イラスト４３を含むパッケージ４のデザイン要素（文字、図形、記号、模様、色彩等や、それらの位置、大きさ、範囲等）の一部又は全部によって識別されるパターンである。

次に、端末２の制御部２１は、記憶部２２から、選択言語に対応する多言語表示用データ６３を取得し、ステップＳ１３において認識されるパッケージ４の位置、角度及び倍率に合わせて、多言語表示用データ６３の幾何学的変換を行い、変換後の多言語表示用データ６３を重畳画像として生成する（ステップＳ１４）。ここで、幾何学的変換は、線形変換、拡大・縮小、回転、平行移動、アフィン変換、射影変換等を含む。

重畳画像は、パッケージ４の文字情報が選択言語で記載されている画像であって、撮影画像に含まれるパッケージ４の形状に合わせて幾何学的変換が行なわれている画像となる。

重畳画像の生成が成功の場合（ステップＳ１５のＹｅｓ）、端末２の制御部２１は、撮影画像と重畳画像を表示部２４に表示する（ステップＳ１６）。

図８は、第１実施形態における撮影画像と重畳画像の表示例を示す図である。図８に示す例では、撮影画像７１ａに重ねて、重畳画像７２ａ〜７２ｃ、ＰＯＰ画像７４が表示されている。

重畳画像７２ａ〜７２ｃは、それぞれ、図５に示す多言語表示用データ（英語）６３の正面図６３ａ、底面図６３ｂ及び右側面図６３ｃについて、撮影画像７１ａに含まれるパッケージ４の形状に合わせて幾何学的変換が行われている画像である。これによって、ユーザに対して、あたかもパッケージ４の文字情報が自動翻訳されたかのような驚きを与えることができる。また、実物と同様の位置、角度及び倍率で文字情報が多言語化されるので、ユーザに対して臨場感を与えることができる。更に、撮影画像７１上ではユーザの手などによって隠れた文字情報についても正確に多言語化されて表示されるので、通常の自動翻訳技術よりも利便性が高く、ユーザに対して煩わしさを感じさせることがない。

ＰＯＰ画像７４は、選択言語によって記載されている広告宣伝の文字情報を含む画像である。ＰＯＰ画像７４は、言語ごとに、多言語表示用データと対応付けられて、予め記憶部２２に記憶されている。これによって、言語ごとに異なる内容の情報を訴求できるので、特に外国人観光客に対して購買意欲を向上させることができる。

端末２の制御部２１は、ステップＳ１３及びステップＳ１４の処理について、静止画像であれば、画像が撮影される都度実行し、動画像であれば、パッケージ４の位置、角度及び倍率のいずれかが変わる都度実行する。

図６の説明に戻る。重畳画像の生成が失敗の場合（ステップＳ１５のＮｏ）、端末２の制御部２１は、パッケージ４の商品識別情報を読み取る（ステップＳ１７）。図４に示すように、商品識別情報４２は、例えば、ＪＡＮ（Japanese Article Number）コードである。撮影画像７１上の商品識別情報４２が不鮮明で読取ができない場合、制御部２１は、商品識別情報４２の取得を促すメッセージを表示し、再度カメラ２６による撮影を実行しても良い。商品識別情報４２を取得することによって、パッケージ４の商品が判別できるので、制御部２１は、選択言語に対応する商品説明を表示部２４に表示しても良い。

次に、端末２の制御部２１は、ログ情報を記憶部２２に記憶する（ステップＳ１８）。ログ情報は、商品識別情報４２と、記憶時刻と、選択言語と、店舗情報とが対応付けられて記憶される。店舗情報は、店舗名の他、対象の商品が設置されている棚番号などを含む。

ログ情報は、リアルタイム処理またはバッチ処理によって、サーバ３に送信される。サーバ３にログ情報を蓄積することによって、選択言語ごとに、外国人の購買時の行動分析のデータとして活用することができる。また、商品と言語ごとに固有のタグをつけてＳＮＳ（Social Network Service）への投稿と他の投稿リストを確認できるようにすることによって、同じ言語同士で商品の評価を消費者やメーカが確認することができる。

以上、第１実施形態の多言語表示装置（多言語表示システム１）によれば、商品と棚の対応付けに依存せずに多言語化を実現しているので、誤った商品説明に誘導することを抑制できる。また、マーカーレスのＡＲ技術を用いるので、パッケージ４のデザインに制約がない。また、実物と同様の位置、角度及び倍率で文字情報が多言語化されるので、ユーザに対して臨場感を与えることができる。更に、撮影画像７１上ではユーザの手などによって隠れた文字情報についても正確に多言語化されて表示されるので、通常の自動翻訳技術よりも利便性が高く、ユーザに対して煩わしさを感じさせることがない。

＜第２実施形態＞
図９〜図１１を参照しながら、第２実施形態について説明する。図９は、第２実施形態におけるデータの一例を示す図である。端末２の記憶部２２には、商品のパッケージ４ごとに、パッケージ４の３Ｄモデルである形状データ６１と、各面の印刷用データ６２と、印刷用データ６２に対応する多言語表示用データ６３と、多言語音声データ６５とが対応付けて記憶されている。

図９に示すデータの例は、図４に示すパッケージ４に対応する。形状データ６１は、直方体の３Ｄモデルである。印刷用データ６２は、正面図６２ａ、底面図６２ｂ、右側面図６２ｃ、・・・の各面に対応するデザインデータを含む。「こどもハミガキ」の文字情報４１ａ、「いちご味」の文字情報４１ｂ、「子供」の文字情報４１ｃ、「ストロベリー」の文字情報４１ｄ、・・・のそれぞれに対して、文字情報掲載位置６４ａ〜６４ｄ、・・・が定義されている。文字情報掲載位置６４ａ〜６４ｄ、・・・の定義情報は、例えば、矩形領域の左上頂点及び右下頂点の座標である。文字情報掲載位置は、単語単位ではなく、商品名、商品の説明文、原材料、製造者等のカテゴリに纏めて定義するようにしても良い。

多言語表示用データ６３は、文字情報が英語で記載されているデザインデータであり、正面図６３ａ、底面図６３ｂ、右側面図６３ｃ、・・・の各面に対応するデザインデータを含む。図示はしていないが、端末２の記憶部２２には、その他の多言語表示用データ６３として、文字情報が英語以外の言語で記載されているデザインデータも記憶されている。

多言語音声データ６５は、英語の音声データであり、文字情報４１ａ〜４１ｄ、・・・に対応する音声ファイル６５ａ〜６５ｄ、・・・である。図示はしていないが、端末２の記憶部２２には、その他の多言語音声データ６５として、言語が英語以外の音声ファイルも記憶されている。

図１０は、第２実施形態における処理の流れを示すフローチャートである。最初に、端末２の表示部２４には、待ち受け画面として、選択言語の受付画面が表示されている。ユーザが、入力部２３を介して選択言語の入力を行うと、端末２の制御部２１は、選択言語の受付を行い（ステップＳ２１）、その後のメッセージを選択言語で表示するように制御する。

端末２の表示部２４には、パッケージ４を含む撮影画像の取得を促すメッセージが表示される。ユーザが、パッケージ４に対してカメラ２６のレンズを向けて、撮影の指示を行うと、端末２のカメラ２６は、パッケージ４を撮影し、撮影画像を取得する（ステップＳ２２）。

図１１は、第２実施形態における撮影画像の例を示す図である。図１１では、端末２の表示部２４に撮影画像７１ｂが表示されている。撮影画像７１ｂは、ユーザが歯磨き粉の箱を手で持ちながら、人差し指で「こどもハミガキ」の文字情報４１ａを指し示している状態の写真である。後述する処理では、人差し指が指示物体７５と認識され、「こどもハミガキ」の文字情報４１ａの掲載位置が指示位置７６と認識される。指示物体７５は、人差し指などの人体に限るものではなく、ペンや指示棒などの道具であっても良い。

図１０の説明に戻る。端末２の制御部２１は、撮影画像７１ｂにおける指示物体７５による指示位置７６を認識する（ステップＳ２３）。次に、制御部２１は、指示位置７６と合致する文字情報掲載位置を検索し、検索される文字情報掲載位置に係る文字情報及び選択言語に対応する多言語音声データを特定する（ステップＳ２４）。図１１に示す指示位置７６は、図９に示す文字情報掲載位置６４ａと合致する。従って、制御部２１は、「こどもハミガキ」の文字情報４１ａと選択言語に対応する多言語音声データを特定する。選択言語が英語であれば、制御部２１は、図９に示す音声ファイル６５ａを特定する。

次に、端末２の制御部２１は、スピーカ２７から多言語音声データを出力し（ステップＳ２５）、第１実施形態と同様に、ログ情報を記憶する（ステップＳ２６）。尚、制御部２１は、多言語音声データを出力する前に、出力指示ボタンを表示部２４に表示し、ユーザの指示を受け付けるようにしても良い。

端末２の制御部２１は、ステップＳ２３及びステップＳ２４の処理について、静止画像であれば、画像が撮影される都度実行し、動画像であれば、パッケージ４の位置、角度及び倍率のいずれかが変わる都度実行する。また、制御部２１は、ステップＳ２５の処理について、指示位置が変わる都度実行する。

以上、第２実施形態の多言語表示装置（多言語表示システム１）によれば、商品と棚の対応付けに依存せずに多言語化を実現しているので、誤った商品説明に誘導することを抑制できる。また、マーカーレスのＡＲ技術を用いるので、パッケージ４のデザインに制約がない。また、実物を指し示すことによって選択言語による音声データが出力されるので、ユーザに対して臨場感を与えることができる。更に、撮影画像７１上ではユーザの手などによって隠れた文字情報についても正確に多言語化されて出力されるので、通常の自動翻訳技術よりも利便性が高く、ユーザに対して煩わしさを感じさせることがない。また、目の不自由な人や視力が衰えた人であっても、多言語の音声を聞いて、商品の内容を把握することが可能となる。

以上、添付図面を参照しながら、本発明に係る多言語表示装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１………多言語表示システム
２………端末
３………サーバ
４………パッケージ
５………ネットワーク
４１ａ〜４１ｄ………文字情報
４２………商品識別情報
４３………イラスト
６１………形状データ
６２………印刷用データ
６３………多言語表示用データ
６４ａ〜６４ｄ………文字情報掲載位置
６５………多言語音声データ
６５ａ〜６５ｄ………音声ファイル
７１ａ、７１ｂ………撮影画像
７２ａ〜７２ｃ………重畳画像
７４………ＰＯＰ画像
７５………指示物体
７６………指示位置

Claims (6)

1. 商品のパッケージの形状データと、前記パッケージの印刷用データと、前記印刷用データに対応する多言語表示用データと、を対応付けて記憶する記憶手段と、
   選択言語を受け付ける受付手段と、
   前記パッケージを含む撮影画像を撮影する撮影手段と、
   前記撮影画像における前記パッケージの位置、角度及び倍率を認識し、前記選択言語に対応する前記多言語表示用データの幾何学的変換を行い、前記撮影画像に重ねて表示される重畳画像を生成する制御手段と、
   前記撮影画像に重ねて前記重畳画像を表示する表示手段と、
   を備えることを特徴とする多言語表示装置。
2. 音声データを出力する音声出力手段、を更に備え、
   前記記憶手段は、更に、前記印刷用データに含まれる文字情報ごとの掲載位置と、前記文字情報に対応する多言語音声データとを対応付けて記憶し、
   前記制御手段は、更に、前記撮影画像における指示物体による指示位置を認識し、前記指示位置と合致する前記掲載位置に係る前記文字情報及び前記選択言語に対応する前記多言語音声データを特定し、
   前記音声出力手段は、前記制御手段によって特定される前記多言語音声データを出力する
   ことを特徴とする請求項１に記載の多言語表示装置。
3. 前記制御手段は、前記パッケージの商品識別情報を読み取り、
   前記記憶手段は、更に、前記商品識別情報と、記憶時刻と、前記選択言語と、店舗情報とを対応付けて記憶する
   ことを特徴とする請求項１又は請求項２に記載の多言語表示装置。
4. 端末とサーバとがネットワークを介して接続される多言語表示システムであって、
   前記端末は、
   選択言語を受け付ける受付手段と、
   商品のパッケージを含む撮影画像を撮影する撮影手段と、
   前記撮影画像を前記サーバに送信する送信手段と、
   前記撮影画像に重ねて表示される重畳画像を前記サーバから受信する受信手段と、
   前記撮影画像に重ねて前記重畳画像を表示する表示手段と、
   を備え、
   前記サーバは、
   前記パッケージの形状データと、前記パッケージの印刷用データと、前記印刷用データに対応する多言語表示用データと、を対応付けて記憶する記憶手段と、
   前記端末から前記撮影画像を受信する受信手段と、
   前記撮影画像における前記パッケージの位置、角度及び倍率を認識し、前記選択言語に対応する前記多言語表示用データの幾何学的変換を行い、前記重畳画像を生成する制御手段と、
   前記重畳画像を前記端末に送信する送信手段と、
   を備えることを特徴とする多言語表示システム。
5. コンピュータが、
   商品のパッケージの形状データと、前記パッケージの印刷用データと、前記印刷用データに対応する多言語表示用データと、を対応付けて記憶するステップと、
   選択言語を受け付けるステップと、
   前記パッケージを含む撮影画像を撮影するステップと、
   前記撮影画像における前記パッケージの位置、角度及び倍率を認識し、前記選択言語に対応する前記多言語表示用データの幾何学的変換を行い、前記撮影画像に重ねて表示される重畳画像を生成するステップと、
   前記撮影画像に重ねて前記重畳画像を表示するステップと、
   を実行することを特徴とする多言語表示方法。
6. コンピュータを、
   商品のパッケージの形状データと、前記パッケージの印刷用データと、前記印刷用データに対応する多言語表示用データと、を対応付けて記憶する記憶手段と、
   選択言語を受け付ける受付手段と、
   前記パッケージを含む撮影画像を撮影する撮影手段と、
   前記撮影画像における前記パッケージの位置、角度及び倍率を認識し、前記選択言語に対応する前記多言語表示用データの幾何学的変換を行い、前記撮影画像に重ねて表示される重畳画像を生成する制御手段と、
   前記撮影画像に重ねて前記重畳画像を表示する表示手段
   として機能させるための多言語表示プログラム。

Images