JP6300557B2 - 情報素材の「ちぎり取り」を電子的に処理する装置 - Google Patents

Description

ＡＲ三兄弟の川田がこの発明の発明者である。この発明は、ＡＲ（拡張現実）によって、既存の印刷情報媒体、特に「広告チラシ」をより魅力的にすることのできる技術に関するものである。

ある日曜日の朝、発明者の川田は東京の自宅でくつろいでいた。配達された朝刊を手に取り開こうとしたとき、折り込まれた広告チラシに目が留まった。

川田はこの広告チラシを見てふと不思議に思った。「広告チラシのほうが、新聞よりも、物理的な価値は高いのではないか。なのに、その周りにある白黒の文字だけの新聞のほうが世間では価値が高いとされている。チラシは新聞よりもいい紙に印刷されカラーだというのに、新聞と違ってそのチラシを欲しいという人は少ない。」川田は、チラシの価値が低いのは、文化的習慣によるせいなのではないかと考えた。そして、その習慣を自分の持つＡＲ技術で変えることができたら面白い、そう考えたのだ。

広告チラシを、自分のＡＲで魅力的にし、みんなが欲しがるような情報媒体に変貌させたい。それが、この発明のきっかけだった。

しかし、どうすればよいのか？
チラシに載っているのは、企業が世間に伝えたい一方的な情報だ。チラシの持つクーポンの役割は、アプリなどが担うようになっている。しかし、アプリで手に入れるクーポンは、即物的で、紙のチラシが持つ感覚とは違う。紙のチラシの持つ魅力を損なうことなく、ＡＲの技術でさらに魅力的にしたい。

チラシにクーポンがついているときは、その部分を切り取り、財布に入れておいたりする、ということを考えたときに、ある一つの考えが川田にひらめいた。

ファミコンが世に普及したのは、横井軍平が開発したコントローラーの十字キーの存在が大きい。十字キーは、テレビ画面の映像と手元の現実の差分を埋めるのにちょうどいい操作性だった。今までのＡＲは、スマートフォンを対象物にかざして、現実を拡張していた。しかし、「かざす」という行為は、スマートフォンの画面と現実の差分を埋めるのに、不十分である。

そこで、川田が考えたのは、画面と現実の差を埋める拡張現実的な行為として「ちぎり取る」という行為をいれるということだった。

デジタルデータのクーポンは、コピーが簡単で、何度も使えるが、それは必ずしも、魅力にはなっていない。チラシのクーポンの魅力を再現するためには、一回性も重要であり、「ちぎり取る」という行為は、一回性と実際の体験と両方が入っている。

多くのプログラマーは、プログラムのコードからアイディアを発想をするかもしれない。しかし、川田は、触れること、触感を重視しながら常に開発している。頭の中で、何かを「触り」ながら開発しているともいえるかもしれない。

その感覚が今回の開発につながったのだ。

読者の中に、難しいと考える方は読み飛ばしてもらって結構だが、今回川田が発明したＡＲベースの「ちぎる」技術を、特許出願用に正式な様式で難しく記載すると以下のようになる。
「 印刷媒体からの情報素材の「ちぎり取り」を電子的に処理するための装置であって、
印刷媒体を撮像する撮像手段と、
撮像手段で撮像した印刷媒体の画像をリアルタイムにディスプレイに表示する撮像画像表示手段と、
情報素材の画像データを１以上格納する情報素材格納部と、
前記撮像手段で撮像した印刷媒体中に、前記情報素材格納部に格納された１以上の情報素材の画像データが含まれるかを画像マッチングにより判断する情報素材判別手段と、
上記印刷媒体中の上記マッチングした情報素材の画像データがある場合に、上記印刷媒体中の当該情報素材部分を情報素材以外の部分と識別可能にして上記画像表示手段により上記ディスプレイ上に表示する、情報素材表示手段と、
ユーザから上記印刷媒体から情報素材を「ちぎり取る」指示を受け付けると、ちぎり取られた旨を示す識別子を前記ちぎり取る情報素材に関連付けてメモリに格納するちぎり取り情報素材格納手段と、
上記情報素材判別手段でマッチングした情報素材がすでにちぎり取られたものであるかを前記識別子に基づいて判別し、ちぎり取られている場合には、上記印刷媒体中の当該情報素材の部分に情報素材の画像を表示しないようにして上記印刷媒体を上記ディスプレイ上に表示する、情報素材ちぎり取り処理手段と、
前記識別子に基づき、ちぎり取った情報素材を呼び出して表示するちぎり取り情報素材表示部と、
を有する
ことを特徴とする装置。」
次の項では、この川田が発明したＡＲベースの「ちぎり取る」技術を、読者にも分かるように図面を見ながら詳しく説明することにする。

この発明の一実施形態の広告チラシを示す模式図。 同じく、ちぎり取れる箇所を示す模式図。 同じく、ちぎり取り操作の例を示す図。 同じく、ちぎり取り操作の例を示す図。 同じく、ちぎり取り操作の例を示す図。 同じく、ちぎり取り操作の例を示す図。 同じく、ちぎり取った画像の表示方法を示す図。 同じく、システム構成を示す概略図。

ここでは、本発明を実施するためのソフトウエアがスマートフォンにインストールされている場合を例にとって、説明しよう。

図１は、新聞等に折り込まれて提供される広告チラシの例だ。この広告チラシには、読者の購買意欲をそそるようなフォーマットやデザインで、宣伝したい商品やサービスの情報がところ狭しと載せられている。商品やサービスの情報には、多くの場合、商品等の実際の写真や使用イメージ等に簡単な商品説明、そして値段などが含まれる。

そして、この例では、広告チラシ中でクーポンとして利用できる部分の画像が情報素材（クーポン）としてスマートフォン本体のメモリあるいはネット上の情報提供サーバ内に登録されている。この例では、図２に太枠で囲んで示す範囲の３つの部分１〜３がそうだ。

そして、図３に示すように、ユーザがスマートフォン４上でこのソフトを起動すると、背面カメラ（この図では見えない）が起動され、この背面カメラで撮像した映像がディスプレイ５上に表示される。そして、この状態で前記スマートフォン４を広告チラシ上で横に動かすようにスキャンすると、このソフトは、ディスプレイ５に映し出された画像と前記登録された情報素材の画像（図２の１〜３）との間で画像マッチングを実行し、マッチングする画像を含む部分がディスプレイ５上に表示された場合には、図４に示すようにマッチングした画像の範囲６をユーザに識別可能に表示する。この例では、例えば、カラーフィルタ６をかけて表示するが、点滅するようになっていたり、浮いて見えるような画像処理を行うようにしても良い。このことで、ユーザは、紙媒体としての広告チラシの一部分が、クーポンとして「ちぎり取る」ように構成されているのだと知ることができる。

実際に「ちぎり取る」場合には、この例では、図４及び図５のように、人差し指を使って画像部分をドラッグして、手前に引く。ドラッグした画像が元の位置から所定距離ずれたところで、この画像は、チラシから「ちぎり取ら」れ、元の画像のあった箇所が図に符号７で示すようにブラックアウトされて表示される。このことで、「ちぎり取られた」ことになる。この例では人差し指を使ったが、実際に紙をちぎり取るように二本の指の動作で操作するようにしても良いことは言うまでもない。

一度ちぎり取られた部分７は、後でまたこの広告チラシを撮像したとしても、図６に示すようにブラックアウト（７）されたままであり、再度「ちぎり取る」ことはできないようになっている。ちぎり取ったクーポンは通常「元に戻せない」からだ。

また、「ちぎり取った」画像（クーポン）は、図８に示すように、いつでもスマートフォン４で呼び出し、そのディスプレイ５上に表示することができる。この例では、上記太枠で示した１〜３のすべての画像がすでにちぎり取られている。このちぎり取った画像１〜３若しくはそのうちの１つを、店舗で店員に提示することで、一定の割引を受ける等の特典サービスが受けられるようになっている。

このような動作を可能にするため、このソフトは、以下のように構成されている。

図７は、このソフトがインストールされたスマートフォン４の構成を示す概略図である。

このスマートフォン４は、ＣＰＵ８，ＲＡＭ９、通信インタフェース１０、カメラ１１（撮像手段）、ディスプレイ５（表示手段）、ＧＰＳ１２が接続されてなる通信バス１４に、プログラム格納部１５と、データ格納部１６が接続されている。これらの格納部１５、１６は、具体的にはフラッシュメモリ、ＳＤカード、ハードディスクなどの記憶媒体であり、ここに記憶されたプログラムやデータは、前記ＣＰＵ８によりＲＡＭ９上に呼び出され実行されるようになっている。

まず、前記データ格納部１６には、マッチング対象、すなわちちぎり取り対象の画像を含む情報素材１７（情報素材１、情報素材２と表示）を１以上格納する情報素材格納部１６ａと、ちぎり取った情報素材の情報（ちぎり取り情報１８）（ちぎり取り情報１、ちぎり取り情報２と表示）を格納するちぎり取り情報格納部１６ｂが設けられている。

前記情報素材格納部１６ａに格納された情報素材１７は、情報素材ＩＤ１７ａと、この情報素材ＩＤに関連付けられた前記チラシの部分の画像１７ｂと、属性情報１７ｃからなる。属性情報１７ｃには、チラシの発行日、チラシの有効期限、チラシ発行者情報，地域情報等が格納されている。

また、ちぎり取り情報格納部１６ｂには、ちぎり取り情報１８として、切り抜かれた情報素材のＩＤ１８ａ（１７ａ）と、付随情報１８ｂとが、ちぎり取りＩＤ１８ｃに関連付けられて格納されている。付随情報１８ｂとしては、例えば、ユーザが作成したメモ等であるが、上記属性情報１７ｃがそのまま格納されていても良い。

一方、プログラム格納部１５には、背面カメラ１１の映像処理信号を処理する撮像画像処理部２１と、撮像画像処理部２１で処理された画像をディスプレイ上に捧持する画像表示処理部２２と、情報素材ダウンロード部２３と、情報素材判別部２４と、情報素材表示部２５と、ちぎり取り情報格納部２６と、情報素材ちぎり取り処理部２７と、ちぎり取り情報素材表示部２８と、が格納されている。

情報素材ダウンロード部２３は、上記情報素材１７を情報素材提供サーバ３０からこのスマートフォン４に予めダウンロードして情報素材格納部１６ａに格納する機能を奏する。この際、この情報素材ダウンロード部２３は、前記ＧＰＳ１２等により特定された位置情報及び日付情報によりサーバ３０からダウンロードすべき情報素材を特定し、特定された情報のみダウンロードする。例えば、チラシが特定の地域専用でかつ有効期限がある場合には、上記情報素材１７の属性情報１７ｃを参照し、それにマッチする素材情報１７のみダウンロードする。なお、素材情報１７をこのスマートフォン４にダウンロードせず、前記サーバ３０に格納された素材情報１７を直接参照するようにしても良い。このように、サーバ３０に格納されたすべての素材情報１７ではなく、限られた数の情報素材１７のみを格納若しくは参照対象とすることで、システム動作の高速化を図ることが可能である。また、情報素材ダウンロード部２３は、このスマートフォン４にダウンロードした情報素材１７のうち、期限切れや対象地域外となる等して、不要になった情報素材１７を適宜上記データ格納部１６から消去する。このことでスマートフォン４の記憶容量を確保するようになっている。

次に、情報素材判別部２４は、前記背面カメラ１１で撮像した広告チラシ中に、前記情報素材格納部１６ａに格納された１以上の情報素材１７の画像１７ｂが含まれるかを画像マッチングにより判断する。なお、上述したように、この例では、上述したように、画像１７ｂは、このスマートフォン４に格納されているが、サーバ３０上に格納されてダウンロードされずに参照されるものであっても良い。

情報素材表示部２５は、上記広告チラシ中の上記マッチングした情報素材１７の画像１７ａがある場合に、上記広告チラシ中の当該画像部分をそれ以外の部分と識別可能にして上記ディスプレイ５上に表示する。この例では、ＡＲにより上述したようにカラーフィルタ６をかけて表示する（図４）。

ちぎり取り情報素材格納部１６ｂは、上記広告チラシから情報素材をちぎり取る旨の指示を受け付けると、ちぎり取られた旨を示す識別子（この例では情報素材ＩＤ１８ａ（１７ａ））を前記ちぎり取り情報ＩＤ１８ｃに関連付けてメモリに格納する。上記したように、この例では、情報素材ＩＤ１８ａ（１７ａ）のみを格納するようにしているが、ＩＤ１７ａのみでなくちぎり取った画像１７ｂも格納するようにしても良い。

情報素材ちぎり取り処理部２７は、上記情報素材判別部２４でマッチングした情報素材１７（画像１７ｂ）がすでにちぎり取られたものであるかを前記ちぎり取り情報格納部１６ｂにその情報素材ＩＤ１８ａ（１７ａ）が格納されているかに基づいて判別し、格納されている場合には、上記印広告チラシ中の当該情報素材１７の部分に情報素材１７の画像１７ｂの代わりにその部分をブラックアウトにした状態（若しくはブラックフィルタを重ねた状態）で上記広告チラシを上記ディスプレイ５上に表示する（図５、図６）。この例では、上述したようにブラックアウトにしたが、それ以外の方法であっても良い。

ちぎり取り情報素材表示部２８は、前記ちぎり取り情報格納部１６ｂに格納された情報素材ＩＤ１８に基づき、該当するちぎり取った情報素材ＩＤ１８に該当する画像を、前記情報素材格納部１６ａから呼び出してディスプレイ５上に表示する。この例では、図６に示すように、３つの画像１〜３を選択可能に表示するようにしている。また、このちぎり取り情報素材表示部２８は、ユーザが特定の店舗を訪問したことをこのスマートフォン４で検出すると、上記情報素材１７の属性情報１７ｃとのマッチングを行い、その場所で使えるクーポン（ちぎり取った情報素材）をポップアップでユーザに通知するようになっている。その他、上記情報素材１７の属性情報１７ｃに基づき、特定の日等の条件に合致した場合に、適宜ポップアップ等によりユーザに通知するように構成されていることが好ましい。

以上、この発明の一実施形態を説明したが、この発明はこれに限定されるものではなく、発明の要旨を変更しない範囲で種々変形することが可能である。

例えば、上記実施形態では、印刷媒体として広告チラシを例に説明したが、これに限定されるものではない。また、印刷媒体は、デジタル化された印刷媒体（電子チラシ、電子書籍やＰＤＦ文書等）を含む意味である。

４…スマートフォン
５…ディスプレイ
６…カラーフィルタ
７…部分
８…ＣＰＵ
９…ＲＡＭ
１０…通信インタフェース
１１…カメラ
１２…ＧＰＳ
１４…通信バス
１５…プログラム格納部
１６…データ格納部
１６ａ…情報素材格納部
１６ｂ…ちぎり取り情報格納部
１７…情報素材
１７ａ…情報ＩＤ
１７ｂ…画像
１７ｃ…属性情報
１８…ちぎり取り情報
１８ａ…情報素材ＩＤ
１８ｂ…付随情報
１８ｃ…ＩＤ
２１…撮像画像処理部
２２…画像表示処理部
２３…情報素材ダウンロード部
２４…情報素材判別部
２５…情報素材表示部
２６…ちぎり取り情報素材格納部
２７…情報素材ちぎり取り処理部
２８…ちぎり取り情報素材表示部
３０…情報素材提供サーバ

Claims (3)

1. 印刷媒体からの情報素材の「ちぎり取り」を電子的に処理するための装置であって、
   印刷媒体を撮像する撮像手段と、
   撮像手段で撮像した印刷媒体の画像をリアルタイムにディスプレイに表示する撮像画像表示手段と、
   情報素材の画像データを１以上格納する情報素材格納部と、
   前記撮像手段で撮像した印刷媒体中に、前記情報素材格納部に格納された１以上の情報素材の画像データが含まれるかを画像マッチングにより判断する情報素材判別手段と、
   上記印刷媒体中の上記マッチングした情報素材の画像データがある場合に、上記印刷媒体中の当該情報素材部分を情報素材以外の部分と識別可能にして上記画像表示手段により上記ディスプレイ上に表示する、情報素材表示手段と、
   ユーザから上記印刷媒体から情報素材を「ちぎり取る」指示を受け付けると、ちぎり取られた旨を示す識別子を前記ちぎり取る情報素材に関連付けてメモリに格納するちぎり取り情報素材格納手段と、
   上記情報素材判別手段でマッチングした情報素材がすでにちぎり取られたものであるかを前記識別子に基づいて判別し、ちぎり取られている場合には、上記印刷媒体中の当該情報素材の部分に情報素材の画像を表示しないようにして上記印刷媒体を上記ディスプレイ上に表示する、情報素材ちぎり取り処理手段と、
   前記識別子に基づき、ちぎり取った情報素材を呼び出して表示するちぎり取り情報素材表示部と、
   を有する
   ことを特徴とする装置。
2. 請求項１記載の装置であって、
   さらに、この装置の位置情報あるいは現在時間にマッチングする画像データのみを選択的にダウンロードして前記情報素材格納部に格納する情報データダウンロード手段をさらに有する
   ことを特徴とする装置。
3. 請求項１記載の装置であって、
   前記情報素材判別手段は、この装置の位置情報あるいは現在時間にマッチングする情報素材の画像データのみを画像マッチングの対象とするものである
   ことを特徴とする装置。