JP6435779B2 - 情報処理装置及び情報処理プログラム - Google Patents

情報処理装置及び情報処理プログラム Download PDF

Info

Publication number
JP6435779B2
JP6435779B2 JP2014221053A JP2014221053A JP6435779B2 JP 6435779 B2 JP6435779 B2 JP 6435779B2 JP 2014221053 A JP2014221053 A JP 2014221053A JP 2014221053 A JP2014221053 A JP 2014221053A JP 6435779 B2 JP6435779 B2 JP 6435779B2
Authority
JP
Japan
Prior art keywords
image
module
information
identification information
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014221053A
Other languages
English (en)
Other versions
JP2016091079A (ja
Inventor
裕一 大根田
裕一 大根田
彰司 坂本
彰司 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2014221053A priority Critical patent/JP6435779B2/ja
Priority to US14/694,530 priority patent/US9641719B2/en
Priority to SG10201503382UA priority patent/SG10201503382UA/en
Priority to AU2015202328A priority patent/AU2015202328C1/en
Publication of JP2016091079A publication Critical patent/JP2016091079A/ja
Application granted granted Critical
Publication of JP6435779B2 publication Critical patent/JP6435779B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2108Intermediate information storage for one or a few pictures for one picture only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/04Billing or invoicing

Description

本発明は、情報処理装置及び情報処理プログラムに関する。
特許文献1には、位置情報付き画像コンテンツを撮影し送信するだけで、撮影対象物に関する情報を検索することを課題とし、位置情報付き画像に基づいて、画像に関連する情報を検索するコンテンツ検索システムであって、ユーザの携帯端末から入力された位置情報付きの検索クエリ画像内の特徴情報を抽出する検索クエリ画像特徴抽出モジュールと、抽出された特徴情報に基づいて、検索クエリ画像内のランドマークを推測するランドマーク推測モジュールと、推測されたランドマークに関連する情報をWeb上に掲載されているコンテンツから検索する推測ランドマーク関連情報検索モジュールと、検索により取得した推測ランドマーク関連情報を、携帯端末へ出力する推測ランドマーク関連情報提示モジュールと、を備えることが開示されている。
特開2010−224745号公報
本発明は、撮影した画像の画像特徴量と対応するコンテンツにアクセスするための情報又はコンテンツ情報を取得するにあたって、画像内に記載された人又は画像が印刷された媒体を識別するための識別情報によって、画像特徴量の検索範囲を限定することができるようにした情報処理装置及び情報処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、撮像対象は、人又は媒体を識別するための識別情報と、画像とが別々に印刷されており、前記撮像対象内の前記人又は媒体を識別するための識別情報の画像を撮像する第1の撮影手段と、前記第1の撮影手段によって撮像された画像内に記載された人又は前記画像が印刷された媒体を識別するための識別情報を用いて検索を要求する検索要求手段と、検索結果として、前記識別情報に対応する画像特徴量を受信する受信手段と、前記受信手段が前記画像特徴量を受信した場合は、前記撮像対象内の前記画像を撮像する第2の撮影手段と、前記受信した画像特徴量と、前記第2の撮影手段によって撮像された画像から抽出した画像特徴量とが対応する場合に、コンテンツにアクセスするための情報又はコンテンツ情報を取得する取得手段を備える情報処理装置である。
請求項の発明は、前記識別情報として、予め定められた方式で変換された変換情報を用いる請求項1記載の情報処理装置である。
請求項の発明は、コンピュータを、撮像対象は、人又は媒体を識別するための識別情報と、画像とが別々に印刷されており、前記撮像対象内の前記人又は媒体を識別するための識別情報の画像を撮像する第1の撮影手段と、前記第1の撮影手段によって撮像された画像内に記載された人又は前記画像が印刷された媒体を識別するための識別情報を用いて検索を要求する検索要求手段と、検索結果として、前記識別情報に対応する画像特徴量を受信する受信手段と、前記受信手段が前記画像特徴量を受信した場合は、前記撮像対象内の前記画像を撮像する第2の撮影手段と、前記受信した画像特徴量と、前記第2の撮影手段によって撮像された画像から抽出した画像特徴量とが対応する場合に、コンテンツにアクセスするための情報又はコンテンツ情報を取得する取得手段として機能させるための情報処理プログラムである。
請求項1の情報処理装置によれば、撮影した画像の画像特徴量と対応するコンテンツにアクセスするための情報又はコンテンツ情報を取得するにあたって、画像内に記載された人又は画像が印刷された媒体を識別するための識別情報によって、画像特徴量の検索範囲を限定することができる。
請求項の情報処理装置によれば、識別情報として予め定められた方式で変換された変換情報を用いることができる。
請求項の情報処理プログラムによれば、撮影した画像の画像特徴量と対応するコンテンツにアクセスするための情報又はコンテンツ情報を取得するにあたって、画像内に記載された人又は画像が印刷された媒体を識別するための識別情報によって、画像特徴量の検索範囲を限定することができる。
第1の実施の形態(情報処理装置(作成処理))の構成例についての概念的なモジュール構成図である。 第1の実施の形態(情報処理装置(読取処理))の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したシステム構成例(ソフトウェア観点)を示す説明図である。 本実施の形態を利用したシステム構成例(ハードウェア観点)を示す説明図である。 本実施の形態を利用したユースケース例を示す説明図である。 第1の実施の形態による処理例を示すフローチャートである。 第1の実施の形態による処理例を示すフローチャートである。 第1の実施の形態による処理例を示すフローチャートである。 ポストカード情報テーブルのデータ構造例を示す説明図である。 第1の実施の形態による処理例を示す説明図である。 第1の実施の形態による処理例を示す説明図である。 第2の実施の形態(情報処理装置(読取装置))の構成例についての概念的なモジュール構成図である。 第2の実施の形態(情報処理装置(アプリケーションサーバー))の構成例についての概念的なモジュール構成図である。 第2の実施の形態による処理例を示すフローチャートである。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
<<第1の実施の形態>>
図1は、第1の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
第1の実施の形態である情報処理装置は、情報処理装置(作成処理)100によって作成された印刷媒体を、情報処理装置(読取処理)200が読み取るものであって、情報処理装置(作成処理)100は、図1の例に示すように、画像選択モジュール110、動画選択モジュール115、作成モジュール120、識別情報変換モジュール125、有効期限設定モジュール130、通信モジュール135を有している。情報処理装置(作成処理)100は、例えば通信機能を有するパーソナルコンピュータ(PC)、携帯端末装置(スマートフォンを含む携帯電話等)等で実現してもよい。
情報処理装置(作成処理)100は、画像を選択し、その画像とともに識別情報を媒体に印刷する、又は印刷するため指示を行う。そして、その画像に対応するコンテンツを選択する。ここで「媒体」として、例えば、ポストカード(年賀状等を含む)、名刺等が該当し、材質(紙、プラスチック等)は問わない。媒体がポストカードの場合、画像として、一般的には差出人の家族写真、差出人が旅行した場所の風景写真等がある。媒体が名刺の場合、画像として、一般的には本人の顔写真等がある。ただし、これらに画像は限定されるものではなく、媒体に印刷され得る画像であればよい。また、画像のソースとして、動画像の一フレーム(一場面)であってもよいし、複数の画像から選択するようにしてもよい。そして、識別情報として、媒体がポストカード等の場合、一般的には、差出人の郵便番号、住所、氏名等がある。媒体が名刺の場合、識別情報として、一般的には氏名、会社名、電話番号、メールアドレス等がある。ただし、これらに識別情報は限定されるものではなく、媒体に印刷され得る情報であればよく、媒体に印刷されている人又は媒体を識別するための情報であればよい。媒体を識別するための情報は、個々の媒体を識別するための情報であってもよいし、例えば差出人等である前記人を識別するための情報であってもよい。具体的には、例えば、人又は媒体を指し示すシリアルナンバー等がある。また、ここで「コンテンツ(コンテンツ情報)」としては、動画データ(3D動画データであってもよい)、静止画像データ(3D画像データであってもよい)、音声データ、テキストデータ、これらの組み合わせ等がある。例えば、その画像(媒体に印刷された画像)を最初の一フレームとして始まる動画像であってもよいし、その画像に関連する画像であってもよいし、その画像に関連する音声であってもよいし、その画像に関連するHP(ホームページ)等であってもよい。なお、以下、印刷媒体としてポストカード、識別情報として差出人の郵便番号、住所、氏名の組み合わせ、コンテンツとして動画像を主に例示する。
なお、1人の差出人に対して、1種類のポストカードのみならず、複数種類のポストカード(それぞれ異なる画像を用いたポストカード)が作成されてもよい。
画像選択モジュール110は、作成モジュール120と接続されている。画像選択モジュール110は、媒体に印刷する画像を選択する。例えば、情報処理装置(作成処理)100に備え付けられたタッチパネル、キーボード、マウス等に対する利用者の選択操作に応じて、画像データベースから選択するようにしてもよいし、動画選択モジュール115で選択された動画像の一フレームを選択するようにしてもよいし、情報処理装置(作成処理)100に備え付けられているスキャナ、カメラ(静止画カメラ、デジタルビデオカメラ等)を用いて撮影した画像であってもよい。
動画選択モジュール115は、作成モジュール120と接続されている。動画選択モジュール115は、画像選択モジュール110によって選択された画像と対応するコンテンツとしての動画像を選択する。例えば、利用者の選択操作に応じて、動画像データベースから選択するようにしてもよいし、画像選択モジュール110が選択した画像(フレーム)を含む動画像を選択するようにしてもよいし、情報処理装置(作成処理)100に備え付けられているカメラ(デジタルビデオカメラ等)を用いて撮影した動画像であってもよい。
作成モジュール120は、画像選択モジュール110、動画選択モジュール115、識別情報変換モジュール125、通信モジュール135と接続されている。作成モジュール120は、画像選択モジュール110で選択された画像を用いて、ポストカード等の媒体に印刷すべき画像である印刷画像を生成する。また、作成モジュール120は、差出人の郵便番号、住所、氏名等の識別情報を受け付け、画像選択モジュール110で選択された画像と合成して、印刷画像を生成する。また、画像選択モジュール110で選択された画像に対して、加工を施してもよい。加工として、例えば、文字、他の画像、図形等の付加、拡大縮小、回転、変形等のアフィン変換、色変換等の色処理等がある。なお、識別情報は、利用者の入力操作によって入力させるようにしてもよいし、予め記憶された識別情報リスト(例えば、住所録データベース等)から選択するようにしてもよい。
そして、作成モジュール120は、生成した印刷画像を、情報処理装置(作成処理)100に備え付けられた印刷装置、又は通信モジュール135を介した印刷装置で、ポストカード等の媒体に印刷させる。
また、作成モジュール120は、差出人の郵便番号、住所、氏名等の識別情報を、通信モジュール135を介して、アプリケーションサーバー310に送信する。又は、作成モジュール120は、差出人の郵便番号、住所、氏名等の識別情報を識別情報変換モジュール125に渡し、変換後の変換情報を、通信モジュール135を介して、アプリケーションサーバー310に送信するようにしてもよい。つまり、「変換情報」は、識別情報の一部を構成する概念である。したがって、(1)識別情報を送信してもよいし、(2)識別情報を予め定めた方式で変換した変換情報を送信してもよい。これにともなって、アプリケーションサーバー310(第2の実施形態ではアプリケーションサーバー1410)では、(1)識別情報を受信してもよいし、(2)変換情報を受信してもよい。そして、アプリケーションサーバー310(第2の実施形態ではアプリケーションサーバー1410)の記憶装置(例えば、後述する図9に示すポストカード情報テーブル900)では、(1)識別情報に対応するように画像特徴量を記憶しておいてもよいし、(2)変換情報に対応するように画像特徴量を記憶しておいてもよい。以下(第2の実施の形態を含む)、主に「変換情報」を例示して説明するが、「変換情報」を変換前の識別情報と読み替えることによって、識別情報を用いる場合の説明となる。そして、識別情報を用いる場合は、識別情報変換モジュール125、識別情報変換モジュール230による処理(例えば、ハッシュ値の生成処理)は、不要となる。
次に、画像選択モジュール110で選択された画像と動画選択モジュール115で選択された動画像を対応付けて、通信モジュール135を介して、アプリケーションサーバー310に送信する。
識別情報変換モジュール125は、作成モジュール120と接続されている。識別情報変換モジュール125は、作成モジュール120から受け取った識別情報を変換して変換情報を生成する。ここでの「変換」は、通信モジュール135を介して行う通信において、識別情報そのものを秘匿するための処理である。例えば、暗号化処理、ハッシュ処理等がある。ハッシュ処理の場合、変換情報はハッシュ値となる。以下、ハッシュ処理を主に例示する。また、変換対象の識別情報は、識別情報全体であってもよいし、その一部分であってもよい。例えば、差出人の郵便番号、住所、氏名のうち、3つ全てを対象として、ハッシュ値に変換してもよいし、そのうちの2つである差出人の郵便番号、氏名を対象として、ハッシュ値に変換してもよい。
有効期限設定モジュール130は、通信モジュール135と接続されている。画像と対応するコンテンツにアクセスするための情報又はコンテンツ情報には、アクセスし得る期限が設定されている。例えば、ポストカードが年賀状である場合、期限のデフォルト値として、1月3日まで等がある。それまでは、予め定められた価格(無料を含む)であって、その期限を延長すると課金するようにしてもよい。アプリケーションサーバー310が課金処理を行う。有効期限設定モジュール130は、利用者の操作に応じて、通信モジュール135を介してアプリケーションサーバー310に対して、期限延長の要求を行う。なお、アクセスし得る期限の設定は、コンテンツにアクセスするための情報又はコンテンツ情報とアクセス期限を対応させたテーブルを予め用意しておけばよい。なお、このテーブル内に記憶する情報として、コンテンツにアクセスするための情報又はコンテンツ情報そのものでなくても、それらを指し示す情報(例えば、識別情報)であってもよい。
通信モジュール135は、作成モジュール120、有効期限設定モジュール130と接続されている。通信モジュール135は、通信回線を介して、後述するアプリケーションサーバー310、動画配信サービス320等と通信を行う。
図2は、第1の実施の形態(情報処理装置(読取処理)200)の構成例についての概念的なモジュール構成図である。情報処理装置(読取処理)200は、図2の例に示すように、撮影モジュール210、文字認識モジュール215、画像特徴抽出モジュール220、検索要求モジュール225、取得モジュール235、動画提示モジュール245、通信モジュール250を有している。情報処理装置(読取処理)200は、例えば通信機能を有する携帯端末装置、パーソナルコンピュータ等で実現してもよい。なお、情報処理装置(読取処理)200は、情報処理装置(作成処理)100内に構成されていてもよい。つまり、情報処理装置(作成処理)100(情報処理装置(読取処理)200)内に、図1と図2の例に示したモジュールを含めてもよい。
情報処理装置(読取処理)200は、情報処理装置(作成処理)100によって作成された印刷媒体に印刷された画像を撮影モジュール210で読み取り、その画像に対応するコンテンツにアクセスする。コンテンツが動画像データである場合は、動画が再生される。なお、印刷媒体には、画像(画像選択モジュール110で選択された画像)の他に識別情報が印刷されている。また、その印刷媒体に印刷された識別情報を読み取り、画像に対応するコンテンツを限定するために用いる。
撮影モジュール210は、文字認識モジュール215、画像特徴抽出モジュール220と接続されている。撮影モジュール210は、情報処理装置(作成処理)100によって作成された印刷媒体に印刷された画像を撮影する。例えば、情報処理装置(作成処理)100の利用者A(差出人)から郵送されたポストカードを、利用者B(受取人)の操作によって撮影モジュール210が撮影する。情報処理装置(読取処理)200をスマートフォンで実現した場合は、そのスマートフォンに備え付けられているカメラを用いればよい。
文字認識モジュール215は、撮影モジュール210、検索要求モジュール225と接続されている。文字認識モジュール215は、撮影モジュール210によって撮影された画像内の識別情報を、文字認識処理によって、テキストコードに変換する。識別情報は、撮影モジュール210が撮影した画像内に記載された人又は画像が印刷された媒体を識別するための情報である。印刷された識別情報として、具体的には、ポストカードが年賀状である場合、差出人の郵便番号、住所、氏名等が該当する。その印刷面は、裏面(画像が印刷された面)が望ましいが、表面(あて先が記載された面)であってもよい。裏面である場合は、画像と識別情報を撮影するのに、ポストカードを裏返す必要はない。ここでの文字認識処理は、既存の技術を用いてよい。
検索要求モジュール225は、識別情報変換モジュール230を有しており、文字認識モジュール215、通信モジュール250と接続されている。検索要求モジュール225は、文字認識モジュール215が文字認識処理した識別情報を識別情報変換モジュール230に変換させ、通信モジュール250を介してアプリケーションサーバー310に対して、変換情報を用いて検索を要求する。ここでの「検索の要求」とは、画像特徴抽出モジュール220によって抽出された画像特徴と対応する可能性のある画像特徴量を取得するための要求である。これによって、対応判別モジュール240が、画像特徴のマッチング処理を行う対象を限定することになる。具体的には、アプリケーションサーバー310に登録されている画像特徴量全てとマッチング処理を行う必要がなくなり、利用者A(差出人)の操作によって登録された画像の画像特徴量とのマッチング処理で足りることになる。そして、この要求に対して、取得モジュール235は、通信モジュール250を介してアプリケーションサーバー310から検索結果として、変換情報に対応する画像特徴量を受信することとなる。
識別情報変換モジュール230は、前述の情報処理装置(作成処理)100の識別情報変換モジュール125と同等の処理を行う。つまり、文字認識モジュール215が文字認識処理した識別情報を変換して変換情報を生成する。例えば、認識結果(識別情報)に対してハッシュ処理を施してハッシュ値を生成する。
画像特徴抽出モジュール220は、撮影モジュール210、取得モジュール235と接続されている。画像特徴抽出モジュール220は、撮影モジュール210によって撮影された画像の画像特徴量を抽出する。ここでの特徴抽出は、既存の技術を用いてよい。なお、画像特徴として、人間が特徴として識別できるもの(例えば、顔画像等)だけでなく、その画像を特定するのに必要な画像特徴であればよい。
取得モジュール235は、対応判別モジュール240を有しており、画像特徴抽出モジュール220、通信モジュール250と接続されている。取得モジュール235は、前述のように、通信モジュール250を介してアプリケーションサーバー310から検索結果として、検索要求モジュール225が検索要求した変換情報に対応する画像特徴量を受信する。そして、受信した画像特徴量Aと、画像特徴抽出モジュール220が抽出した画像特徴量Bとが対応するか否かを対応判別モジュール240に判別させ、対応する場合は、画像特徴量Aに対応するコンテンツにアクセスするための情報又はコンテンツ情報を取得する。ここで「コンテンツにアクセスするための情報」として、例えば、ファイル名であってもよいし、そのコンテンツが記憶されている場所を指し示す記述であるURI(Uniform Resource Identifier、なお、URL:Uniform Resource Locatorを含む)等であってもよい。また、コンテンツ情報そのものを取得するようにしてもよい。以下(第2の実施の形態を含む)、「コンテンツにアクセスするための情報」を主に例示して説明するが、「コンテンツにアクセスするための情報」を「コンテンツ情報」と読み替えることによって、コンテンツ情報を取得する場合の説明となる。そして、その場合、「コンテンツにアクセスするための情報」からコンテンツ情報を取得する処理(具体的には、図8の例に示したステップS812、ステップS814)が不要となる。ここで「コンテンツにアクセスするための情報(以下、アクセス情報ともいう)を取得する」のに、画像特徴量Aと対応したアクセス情報を受信しておき、それを取得してもよいし、画像特徴量Bと対応する画像特徴量A(又は画像特徴量Aの識別情報)をアプリケーションサーバー310に送信して、アプリケーションサーバー310から画像特徴量Aと対応したアクセス情報を受信するようにしてもよい。
対応判別モジュール240は、取得モジュール235から、受信した画像特徴量Aと画像特徴抽出モジュール220が抽出した画像特徴量Bとを受け取り、両者が対応するか否かを判別する。ここで「対応」とは、完全一致することの他に、両者の差分が予め定められた範囲内である場合は、対応するとしてもよい。
動画提示モジュール245は、通信モジュール250と接続されている。動画提示モジュール245は、取得モジュール235によって取得された「コンテンツにアクセスするための情報」から、コンテンツを取得して、そのコンテンツを提示する。コンテンツが動画像データである場合は、その動画を液晶ディスプレイ等の出力装置で再生する。
通信モジュール250は、検索要求モジュール225、取得モジュール235、動画提示モジュール245と接続されている。通信モジュール250は、通信回線を介して、後述するアプリケーションサーバー310、動画配信サービス320等と通信を行う。
図3は、本実施の形態を利用したシステム構成例(ソフトウェア観点)を示す説明図である。
モバイルアプリ300は、アプリケーションサーバー310、動画配信サービス320と通信可能に接続されており、情報処理装置(作成処理)100又は情報処理装置(読取処理)200の機能を有している。具体的には、モバイルアプリ300は、ポストカードの作成処理、又はポストカードから動画の再生処理を行う。
アプリケーションサーバー310は、モバイルアプリ300と接続されている。アプリケーションサーバー310は、ポストカードデータの管理を行う。具体的には、差出人の郵便番号、住所、氏名等のハッシュ値(変換情報)である差出人情報(前述したように、ハッシュ関数の対象となる差出人の郵便番号、住所、氏名等の識別情報としてもよい)、ポストカードイメージの画像特徴量、動画像データのURL(ポストカードイメージに関連付けられた動画の記憶場所)、有効期限等を管理する。ここでの管理は、後述する図9の例に示すポストカード情報テーブル900のように、これらの情報を対応付けて記憶しておき、変換情報(又は識別情報)に対応して、画像特徴量等の情報を抽出する処理である。アプリケーションサーバー310は、情報処理装置(読取処理)200から、画像内に記載された人又は画像が印刷された媒体を識別するための識別情報を変換した変換情報(前述したように、変換前の識別情報であってもよい)を用いた検索要求を受け付ける。そして、その変換情報(識別情報を受け付けた場合は識別情報)を用いて、ポストカード情報テーブル900に記憶された画像特徴量を検索する。その検索要求に対する検索した結果として、変換情報(識別情報を受け付けた場合は識別情報)に対応する画像特徴量をモバイルアプリ300に送信する。
動画配信サービス320は、モバイルアプリ300と接続されている。動画配信サービス320は、コンテンツの管理、配信を行う。具体的には、動画像データをモバイルアプリ300に渡し、モバイルアプリ300がその動画を再生する。
図4は、本実施の形態を利用したシステム構成例(ハードウェア観点)を示す説明図である。
情報処理装置(作成処理)100A、情報処理装置(作成処理)100B、情報処理装置(読取処理)200A、情報処理装置(読取処理)200B、アプリケーションサーバー310、サービス提供装置410、動画配信サーバー420は、通信回線490を介してそれぞれ接続されている。通信回線490は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット等であってもよい。
なお、前述のアプリケーションサーバー310、動画配信サービス320は、ハードウェアとしてのアプリケーションサーバー310、動画配信サービス320を実装している動画配信サーバー420として個別に構成してもよいし、アプリケーションサーバー310、動画配信サービス320の両方を実装しているサービス提供装置410として構成してもよい。
図5は、本実施の形態を利用したユースケース例を示す説明図である。いわゆる動作列仕様の例であって、第1の実施の形態が実行でき、利用者590A又は利用者590Bと相互作用できるような変種を含む。
利用者590Aは、ポストカードを作成する者である。利用者590Bは、そのポストカードを受け取って、ポストカードに印刷された画像からコンテンツの提示を受ける者である。
利用者590Aによる操作に応じて、モバイルアプリ(ポストカード作成時)300Aが、アプリケーションサーバー310に対して、処理512、処理514を行わせ、動画配信サービス320に対して、処理526を行わせる。そして、処理502では、プリンタでポストカードの印刷を行わせ、ポストカードの配布(郵送)を行う。
そして、そのポストカードを受け取った利用者590Bによる操作に応じて、モバイルアプリ(ポストカード読取時)300Bが、アプリケーションサーバー310に対して、処理516を行わせ、動画配信サービス320に対して、処理528を行わせる。
なお、各処理内容は以下の通りである。処理512では、ポストカードを作成する。処理514では、ポストカードの有効期限を更新する。処理516では、差出人情報をキーにして画像特徴量を取得する。処理502では、ポストカードの印刷・配布を行う。処理526では、動画を登録する。処理528では、動画を取得する。
図6は、第1の実施の形態による処理例を示すフローチャートである。ポストカードを作成する利用者Aの指示によって行われる処理である。ここでのモバイルアプリ300は、利用者Aが有している情報処理装置(作成処理)100内に構成されている。
ステップS602では、モバイルアプリ300の画像選択モジュール110が、利用者Aに対して動画からフレームを選択させる。この例では、ポストカードに印刷すべき画像として、その動画内のフレーム画像を用いている。なお、動画選択モジュール115によって、既に動画は選択されているとする。
ステップS604では、モバイルアプリ300の作成モジュール120が、選択されたフレームにデコレートを施すことでポストカードイメージを作成させる。例えば、ポストカードが年賀状である場合、「賀正」等の文字を付加する編集を画像に対して行う。
ステップS606では、モバイルアプリ300の作成モジュール120が、差出人の郵便番号、住所、氏名を入力させる。
ステップS608では、モバイルアプリ300の作成モジュール120が、差出人の記述を含むポストカードの全体イメージを、アプリに保存する。ここでの「ポストカードの全体イメージ」とは、デコレートが施された画像、差出人の郵便番号、住所、氏名を含む。
ステップS610では、モバイルアプリ300の識別情報変換モジュール125が、差出人の郵便番号と氏名を元にハッシュ値(差出人情報)を生成する。
ステップS612では、モバイルアプリ300が動画配信サービス320に対して、動画をアップロードする。
ステップS614では、動画配信サービス320がモバイルアプリ300に対して、動画URLを送信する。つまり、動画URLにアクセスすると、ステップS612でアップロードした動画を再生できる。
ステップS616では、モバイルアプリ300がアプリケーションサーバー310に対して、ポストカードデータ(差出人情報、ポストカードイメージ、動画URL)を登録する。アプリケーションサーバー310は、これらのデータを、例えばポストカード情報テーブル900によって管理する。図9は、ポストカード情報テーブル900のデータ構造例を示す説明図である。ポストカード情報テーブル900は、ポストカードID欄910、識別情報(ハッシュ値)欄920、画像特徴量欄930、有効期限欄940、動画URL欄950を有している。ポストカードID欄910は、本実施の形態において、ポストカードを一意に識別するための情報(ポストカードID:IDentification)を記憶している。識別情報(ハッシュ値)欄920は、そのポストカードIDに対応する差出人情報である識別情報(ハッシュ値)を記憶している。画像特徴量欄930は、そのポストカードIDに対応する画像特徴量を記憶している。有効期限欄940は、そのポストカードIDに対応する有効期限を記憶している。動画URL欄950は、そのポストカードIDに対応する動画URLを記憶している。ステップS616で受信した差出人情報、動画URLを、それぞれ識別情報(ハッシュ値)欄920、動画URL欄950に記憶させる。そして、それらの組み合わせを示すポストカードIDを生成し、ポストカードID欄910に記憶させる。
ステップS618では、アプリケーションサーバー310がモバイルアプリ300に対して、ステップS616で受信したデータの組を示すポストカードIDを送信する。
ステップS620では、モバイルアプリ300が、ポストカードIDを保存する。
ステップS622では、アプリケーションサーバー310が、ポストカードイメージ(又はポストカード内の画像)から画像特徴量を抽出して、ポストカード情報テーブル900の画像特徴量欄930に保存する。同時に有効期限を規定のもの(予め定められた値(デフォルト値)であって、例えば1週間後)に設定する。なお、有効期限の変更については、図7の例を用いて後述する。
そして、作成されたポストカードは印刷され、利用者Bへ郵送される。
図7は、第1の実施の形態による処理例を示すフローチャートである。利用者Aの指示によって行われる処理である。ここでのモバイルアプリ300は、利用者Aが有している情報処理装置(作成処理)100内に構成されている。
ステップS702では、モバイルアプリ300が、アプリに保存されているポストカードIDを取得する。
ステップS704では、モバイルアプリ300がアプリケーションサーバー310に対して、そのポストカードIDに対応する有効期限の延長を指示する。アプリケーションサーバー310では、期限の延長に応じて課金する。例えば、単位期間(1日等)の料金に延長期間を乗算して金額を算出して課金すること、モバイルアプリ300の利用者の過去の利用状況に応じて課金すること等、予め定められた規則にしたがって課金する。
図8は、第1の実施の形態による処理例を示すフローチャートである。ポストカードを受け取った利用者Bの指示によって行われる処理である。ここでのモバイルアプリ300は、利用者Bが有している情報処理装置(読取処理)200内に構成されている。
ステップS802では、モバイルアプリ300の撮影モジュール210が、カメラで差出人の郵便番号と氏名を撮影し、文字認識モジュール215がその撮影画像を文字認識し、識別情報変換モジュール230がハッシュ関数を適用して差出人情報を生成する。
ステップS804では、モバイルアプリ300の検索要求モジュール225がアプリケーションサーバー310に対して、検索要求として差出人情報を送信する。
ステップS806では、アプリケーションサーバー310が、差出人情報をキーとするポストカードの有効期限が切れていないこと(有効期限内であること)を確認する。切れていれば、エラーを返す。具体的には、ポストカード情報テーブル900内の差出人情報に対応する有効期限欄940を参照して判断する。
ステップS808では、有効期限内である場合は、アプリケーションサーバー310がモバイルアプリ300に対して、画像特徴量、動画URLを送信する。具体的には、ポストカード情報テーブル900内の画像特徴量欄930、動画URL欄950の組み合わせを送信する。
ステップS810では、モバイルアプリ300が、ステップS808でアプリケーションサーバー310から取得した画像特徴量とマッチするまで、カメラのプレビューから画像を取得し続ける。つまり、ポストカードに印刷された画像を撮影モジュール210が撮影し、画像特徴抽出モジュール220がその画像から画像特徴を抽出する。なお、撮影には、シャッターを押すことであってもよいし、画像をメモリに蓄積する(いわゆるプレビュー)ことであってもよい。つまり、画像特徴抽出モジュール220が画像特徴を抽出できる状態にすればよい。そして、対応判別モジュール240が、撮影した画像の特徴量が、アプリケーションサーバー310から取得した画像特徴量とマッチするか否かを判別する。マッチした場合は、ステップS812に進む。なお、マッチには、前述したように、完全一致の他に、両者の差分が予め定められた範囲内である場合を含めてもよい。
ステップS812では、モバイルアプリ300の動画提示モジュール245が動画配信サービス320に対して、ステップS810でマッチした画像特徴量に対応する動画URLにアクセスする。
ステップS814では、動画配信サービス320がモバイルアプリ300に対して、動画を送信する。その後、モバイルアプリ300の動画提示モジュール245で動画を再生する。
図10は、第1の実施の形態による処理例(図8に示すフローチャートにおけるステップS802の処理例)を示す説明図である。ポストカード1012には、デザイン画像1014、差出人情報記載領域1015が印刷されている。
図10(a)に示す例は、情報処理装置(読取処理)200に備え付けられた液晶ディスプレイ等の表示装置の画面1000に、ポストカード1012の撮影画像1010を表示したものであり、差出人情報記載領域1015を文字認識の対象とするための操作画面を示している。認識領域設定枠1020、メッセージ領域1030(郵便番号と名前を認識します。差出人に枠(認識領域設定枠1020)を合わせてください)、メッセージ領域1040(キーボードから入力する場合はこちら)を表示している。利用者Bは、認識領域設定枠1020に差出人情報記載領域1015を合わせる(キャプチャする)ように、カメラ(又は情報処理装置(読取処理)200本体)の位置を調整する。また、動画提示処理を中止する場合は、キャンセルボタン1045が選択される。なお、撮影している画像(撮影画像1010)を背景にし、認識領域設定枠1020等を前景にしたレイヤ構造とした表示を行っている。
図10(b)に示す例は、認識領域設定枠1020内の画像の文字認識結果を表示している。この表示は、文字認識結果としての確信度が予め定められた閾値を超えた場合又は以上である場合、確認ダイアログを表示する。
差出人情報認識結果表示領域1050は、郵便番号の文字認識結果を示す郵便番号欄1052、氏名の文字認識結果を示す名前欄1054、文字認識(又は認識領域の設定)をやり直すための戻るボタン1056、文字認識結果が正しいことを示すOKボタン1058を有している。OKボタン1058が選択された場合は、郵便番号欄1052、名前欄1054内の値に対してハッシュ関数を適用して、差出人情報を生成して、アプリケーションサーバー310に送信する(ステップS804)。そして、その差出人情報に対応する画像特徴量、動画URLの組み合わせを情報処理装置(読取処理)200が受信する(ステップS808)。
図11は、第1の実施の形態による処理例(図8に示すフローチャートにおけるステップS810の処理例)を示す説明図である。
図11の例に示す画面1000は、デザイン画像1014を画像特徴抽出の対象とするための操作画面を示しており、画像特徴抽出設定枠1120、メッセージ領域1130(写真にかざしてください)を表示している。利用者Bは、画像特徴抽出設定枠1120にデザイン画像1014を合わせるように、カメラ(又は情報処理装置(読取処理)200本体)の位置を調整する。また、コンテンツ提示処理を中止する場合は、キャンセルボタン1145が選択される。画像特徴抽出モジュール220は、画像特徴抽出設定枠1120内の画像特徴を抽出する。抽出した画像特徴量がアプリケーションサーバー310から受信した画像特徴量とマッチした場合は、その画像特徴量に対応する画像URLにアクセスして、動画像を取得して、再生する。
<<第2の実施の形態>>
図12は、第2の実施の形態(情報処理装置(読取装置)1200)の構成例についての概念的なモジュール構成図である。第1の実施の形態では、情報処理装置(読取処理)200が画像特徴を抽出し、対応判別を行っているが、第2の実施の形態では、情報処理装置(アプリケーションサーバー)1300(アプリケーションサーバー310に対応)が画像特徴を抽出し、対応判別を行う。なお、第2の実施の形態においても、第1の実施の形態の情報処理装置(作成処理)100、動画配信サービス320と同等のものを用いる。
情報処理装置(読取装置)1200は、第1の実施の形態の情報処理装置(読取処理)200に対応し、撮影モジュール1210、文字認識モジュール1215、検索要求モジュール1225、取得モジュール1235、動画提示モジュール1245、通信モジュール1250を有している。第1の実施の形態において対応するモジュールを示して説明する。
撮影モジュール1210は、文字認識モジュール1215、通信モジュール1250と接続されている。撮影モジュール1210は、撮影モジュール210と同等の処理を行う。そして、撮影モジュール1210が撮影した画像を、通信モジュール1250を介して情報処理装置(アプリケーションサーバー)1300に送信する。画像特徴の抽出を情報処理装置(アプリケーションサーバー)1300で行わせるためである。
文字認識モジュール1215は、撮影モジュール1210、検索要求モジュール1225と接続されている。文字認識モジュール1215は、文字認識モジュール215と同等の処理を行う。
検索要求モジュール1225は、識別情報変換モジュール1230を有しており、文字認識モジュール1215、通信モジュール1250と接続されている。検索要求モジュール1225は、検索要求モジュール225と同等の処理を行う。識別情報変換モジュール1230は、識別情報変換モジュール230と同等の処理を行う。
なお、情報処理装置(読取装置)1200においても、文字認識処理を行い、文字認識結果を変換して変換情報を生成しているのは、個人情報としての可能性が高い識別情報をそのまま(認識結果、識別情報が記載された画像)送信しないようするためである。なお、前述したように、変換前の識別情報を送信するようにしてもよい。
取得モジュール1235は、通信モジュール1250と接続されている。取得モジュール1235は、通信モジュール1250を介して、情報処理装置(アプリケーションサーバー)1300から動画URLを受信する。つまり、変換情報(又は識別情報)に対応する画像特徴量と、撮影モジュール1210が撮像した画像から抽出した画像特徴量とが対応する場合に、検索結果として、コンテンツにアクセスするための情報を取得する。なお、「変換情報(又は識別情報)に対応する画像特徴量と、撮影モジュール1210が撮像した画像から抽出した画像特徴量とが対応する」か否かの判別は、情報処理装置(アプリケーションサーバー)1300が行う。
動画提示モジュール1245は、通信モジュール1250と接続されている。動画提示モジュール1245は、動画提示モジュール245と同等の処理を行う。具体的には、取得モジュール1235が受信した動画URLにアクセスして動画を再生する。
通信モジュール1250は、撮影モジュール1210、検索要求モジュール1225、取得モジュール1235、動画提示モジュール1245と接続されている。通信モジュール1250は、通信モジュール250と同等の処理を行う。
図13は、第2の実施の形態(情報処理装置(アプリケーションサーバー)1300)の構成例についての概念的なモジュール構成図である。
情報処理装置(アプリケーションサーバー)1300は、第1の実施の形態のアプリケーションサーバー310に対応し、検索範囲限定モジュール1310、画像特徴抽出モジュール1320、対応判別モジュール1330、画像特徴記憶モジュール1340、通信モジュール1350を有している。
検索範囲限定モジュール1310は、対応判別モジュール1330、通信モジュール1350と接続されている。検索範囲限定モジュール1310は、情報処理装置(読取装置)1200から、画像内に記載された人又は画像が印刷された媒体を識別するための識別情報を変換した変換情報(前述したように、識別情報を受け付けた場合は識別情報)を用いた検索要求を受け付ける。そして、画像特徴の対応処理を行うのに、変換情報(識別情報を受け付けた場合は識別情報)に対応する画像特徴量に限定するように、対応判別モジュール1330に指示する。ここでの限定処理は、変換情報(識別情報を受け付けた場合は識別情報)を用いて、画像特徴記憶モジュール1340に記憶された画像特徴量を検索することである。そして、対応判別モジュール1330は、この検索結果の範囲内で対応処理を行う。
画像特徴抽出モジュール1320は、対応判別モジュール1330、通信モジュール1350と接続されている。画像特徴抽出モジュール1320は、情報処理装置(読取装置)1200から、画像を受け取り、その画像の特徴抽出を行う。
対応判別モジュール1330は、検索範囲限定モジュール1310、画像特徴抽出モジュール1320、画像特徴記憶モジュール1340、通信モジュール1350と接続されている。対応判別モジュール1330は、変換情報(識別情報を受け付けた場合は識別情報)に対応する画像特徴量(画像特徴記憶モジュール1340に記憶されている画像特徴量であって、検索範囲限定モジュール1310によって変換情報(識別情報を受け付けた場合は識別情報)に対応したものに限られている画像特徴量)と、画像特徴抽出モジュール1320によって画像から抽出した画像特徴量とが対応する場合に、検索要求に対する検索結果として、コンテンツにアクセスするための情報を、通信モジュール1350を介して情報処理装置(読取装置)1200に送信する。
画像特徴記憶モジュール1340は、対応判別モジュール1330と接続されている。画像特徴記憶モジュール1340は、情報処理装置(作成処理)100によって作成された画像の特徴量を記憶している。例えば、前述したように図9に示したポストカード情報テーブル900を記憶するようにしてもよい。
通信モジュール1350は、検索範囲限定モジュール1310、画像特徴抽出モジュール1320、対応判別モジュール1330と接続されている。通信モジュール1350は、通信回線を介して、情報処理装置(作成処理)100、情報処理装置(読取装置)1200等と通信を行う。
図14は、第2の実施の形態による処理例を示すフローチャートである。第1の実施の形態における図8の例に示すフローチャートと対応するものである。ここでのモバイルアプリ1400は、利用者Bが有している情報処理装置(読取装置)1200内に構成されており、アプリケーションサーバー1410は、情報処理装置(アプリケーションサーバー)1300内に構成されている。
ステップS1452では、モバイルアプリ1400の撮影モジュール1210が、カメラで差出人の郵便番号と氏名を撮影し、文字認識モジュール1215がその撮影画像を文字認識し、識別情報変換モジュール1230がハッシュ関数を適用して差出人情報を生成する。
ステップS1454では、モバイルアプリ1400の検索要求モジュール1225がアプリケーションサーバー1410に対して、検索要求として差出人情報を送信する。
ステップS1456では、アプリケーションサーバー1410が、差出人情報をキーとするポストカードの有効期限が切れていないこと(有効期限内であること)を確認する。切れていれば、エラーを返す。具体的には、ポストカード情報テーブル900内の差出人情報に対応する有効期限欄940を参照して判断する。
ステップS1458では、有効期限内である場合は、アプリケーションサーバー1410がモバイルアプリ1400に対して、OKを送信する。
ステップS1460では、モバイルアプリ1400の撮影モジュール1210が、カメラで画像を撮影する。
ステップS1462では、モバイルアプリ1400の通信モジュール1250がアプリケーションサーバー1410に対して、ステップS1460で撮影した画像を送信する。
ステップS1464では、アプリケーションサーバー1410の画像特徴抽出モジュール1320が、ステップS1462で受信した画像の特徴を抽出する。
ステップS1466では、アプリケーションサーバー1410の対応判別モジュール1330が、検索範囲限定モジュール1310によって差出人情報で限定された範囲内で抽出した特徴量とマッチするものを検索する。
ステップS1468では、アプリケーションサーバー1410の対応判別モジュール1330がモバイルアプリ1400に対して、NG又は動画URLを送信する。
ステップS1470では、モバイルアプリ1400の取得モジュール1235が、動画URLであるか否かを判断し、動画URLである場合はステップS1472へ進み、それ以外の場合(ステップS1468でNGを受信した場合)はステップS1460に戻る。
ステップS1472では、モバイルアプリ1400の動画提示モジュール1245が動画配信サービス320に対して、ステップS1468で受信した動画URLにアクセスする。
ステップS1474では、動画配信サービス320がモバイルアプリ1400に対して、動画を送信する。その後、モバイルアプリ1400の動画提示モジュール1245で動画を再生する。
図15を参照して、本実施の形態の情報処理装置(情報処理装置(作成処理)100、情報処理装置(読取処理)200、アプリケーションサーバー310、サービス提供装置410、動画配信サーバー420、情報処理装置(読取装置)1200、情報処理装置(アプリケーションサーバー)1300)のハードウェア構成例について説明する。図15に示す構成は、例えばパーソナルコンピュータ(PC)等によって構成されるものであり、スキャナ、カメラ等のデータ読み取り部1517と、プリンタ等のデータ出力部1518を備えたハードウェア構成例を示している。なお、携帯端末装置として構成する場合は、プリンタ等は接続されていなくてもよい。
CPU(Central Processing Unit)1501は、前述の実施の形態において説明した各種のモジュール、すなわち、画像選択モジュール110、動画選択モジュール115、作成モジュール120、識別情報変換モジュール125、有効期限設定モジュール130、通信モジュール135、撮影モジュール210、文字認識モジュール215、画像特徴抽出モジュール220、検索要求モジュール225、識別情報変換モジュール230、取得モジュール235、対応判別モジュール240、動画提示モジュール245、通信モジュール250、モバイルアプリ300、動画配信サービス320、撮影モジュール1210、文字認識モジュール1215、検索要求モジュール1225、識別情報変換モジュール1230、取得モジュール1235、動画提示モジュール1245、通信モジュール1250、検索範囲限定モジュール1310、画像特徴抽出モジュール1320、対応判別モジュール1330、通信モジュール1350等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
ROM(Read Only Memory)1502は、CPU1501が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)1503は、CPU1501の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバス等から構成されるホストバス1504により相互に接続されている。
ホストバス1504は、ブリッジ1505を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス1506に接続されている。
キーボード1508、マウス等のポインティングデバイス1509は、操作者により操作される入力デバイスである。ディスプレイ1510は、液晶表示装置又はCRT(Cathode Ray Tube)等があり、各種情報をテキストやイメージ情報として表示する。
HDD(Hard Disk Drive)1511は、ハードディスクを内蔵し、ハードディスクを駆動し、CPU1501によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、撮影画像、動画、ポストカード情報テーブル900等が格納され、画像特徴記憶モジュール1340等としての機能を実現させる。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
ドライブ1512は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体1513に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース1507、外部バス1506、ブリッジ1505、及びホストバス1504を介して接続されているRAM1503に供給する。リムーバブル記録媒体1513も、ハードディスクと同様のデータ記録領域として利用可能である。
接続ポート1514は、外部接続機器1515を接続するポートであり、USB、IEEE1394等の接続部を持つ。接続ポート1514は、インタフェース1507、及び外部バス1506、ブリッジ1505、ホストバス1504等を介してCPU1501等に接続されている。通信部1516は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部1517は、例えばカメラ、スキャナであり、ドキュメントの読み取り処理を実行する。データ出力部1518は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
なお、図15に示す情報処理装置のハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図15に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図15に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)等に組み込まれていてもよい。
なお、1枚のポストカードに複数の動画を関連付けることも可能である。例えば、以下のようにしてもよい。
情報処理装置(作成処理)100でのポストカード作成時には、複数の動画を選択させて、それぞれからフレームを抽出してもよい。そして、それら複数のフレームを利用者の操作に従って配置したものをポストカードとして作成してもよい。
また、アプリケーションサーバー310(又は情報処理装置(アプリケーションサーバー)1300)の構成として、1つのポストカード情報に対して、画像特徴量と動画URLのペアを複数関連付けられるようにすればよい。
そして、情報処理装置(読取処理)200(又は情報処理装置(読取装置)1200)でポストカードを読み取る場合には、プレビューで読み取った画像の画像特徴量とアプリケーションサーバー310からダウンロードした複数の画像特徴量(又は情報処理装置(アプリケーションサーバー)1300に記憶された複数の画像特徴量)とをそれぞれマッチングさせ、その差分が予め定められた閾値未満又は以下である場合、マッチした画像特徴量と関連付けられた動画URLを取得するようにしてもよい。
又は、情報処理装置(作成処理)100でのポストカード作成時に、1つの動画から複数のフレームを抽出する。そして、それぞれのフレームに対応する動画として、その動画における動画開始時刻を関連付けるようにしてもよい。つまり、画像に対応する動画として、その動画開始時刻までスキップして再生すればよい。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
100…情報処理装置(作成処理)
110…画像選択モジュール
115…動画選択モジュール
120…作成モジュール
125…識別情報変換モジュール
130…有効期限設定モジュール
135…通信モジュール
200…情報処理装置(読取処理)
210…撮影モジュール
215…文字認識モジュール
220…画像特徴抽出モジュール
225…検索要求モジュール
230…識別情報変換モジュール
235…取得モジュール
240…対応判別モジュール
245…動画提示モジュール
250…通信モジュール
300…モバイルアプリ
310…アプリケーションサーバー
320…動画配信サービス
410…サービス提供装置
420…動画配信サーバー
490…通信回線
1200…情報処理装置(読取装置)
1210…撮影モジュール
1215…文字認識モジュール
1225…検索要求モジュール
1230…識別情報変換モジュール
1235…取得モジュール
1245…動画提示モジュール
1250…通信モジュール
1300…情報処理装置(アプリケーションサーバー)
1310…検索範囲限定モジュール
1320…画像特徴抽出モジュール
1330…対応判別モジュール
1340…画像特徴記憶モジュール
1350…通信モジュール
1400…モバイルアプリ
1410…アプリケーションサーバー

Claims (3)

  1. 撮像対象は、人又は媒体を識別するための識別情報と、画像とが別々に印刷されており、
    前記撮像対象内の前記人又は媒体を識別するための識別情報の画像を撮像する第1の撮影手段と、
    前記第1の撮影手段によって撮像された画像内に記載された人又は前記画像が印刷された媒体を識別するための識別情報を用いて検索を要求する検索要求手段と、
    検索結果として、前記識別情報に対応する画像特徴量を受信する受信手段と、
    前記受信手段が前記画像特徴量を受信した場合は、前記撮像対象内の前記画像を撮像する第2の撮影手段と、
    前記受信した画像特徴量と、前記第2の撮影手段によって撮像された画像から抽出した画像特徴量とが対応する場合に、コンテンツにアクセスするための情報又はコンテンツ情報を取得する取得手段
    を備える情報処理装置。
  2. 前記識別情報として、予め定められた方式で変換された変換情報を用いる請求項1記載の情報処理装置。
  3. コンピュータを、
    撮像対象は、人又は媒体を識別するための識別情報と、画像とが別々に印刷されており、
    前記撮像対象内の前記人又は媒体を識別するための識別情報の画像を撮像する第1の撮影手段と、
    前記第1の撮影手段によって撮像された画像内に記載された人又は前記画像が印刷された媒体を識別するための識別情報を用いて検索を要求する検索要求手段と、
    検索結果として、前記識別情報に対応する画像特徴量を受信する受信手段と、
    前記受信手段が前記画像特徴量を受信した場合は、前記撮像対象内の前記画像を撮像する第2の撮影手段と、
    前記受信した画像特徴量と、前記第2の撮影手段によって撮像された画像から抽出した画像特徴量とが対応する場合に、コンテンツにアクセスするための情報又はコンテンツ情報を取得する取得手段
    として機能させるための情報処理プログラム。
JP2014221053A 2014-10-30 2014-10-30 情報処理装置及び情報処理プログラム Active JP6435779B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014221053A JP6435779B2 (ja) 2014-10-30 2014-10-30 情報処理装置及び情報処理プログラム
US14/694,530 US9641719B2 (en) 2014-10-30 2015-04-23 Method for searching captured images using identification information
SG10201503382UA SG10201503382UA (en) 2014-10-30 2015-04-29 Information processing apparatus and information processing program
AU2015202328A AU2015202328C1 (en) 2014-10-30 2015-05-04 Information processing apparatus and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014221053A JP6435779B2 (ja) 2014-10-30 2014-10-30 情報処理装置及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2016091079A JP2016091079A (ja) 2016-05-23
JP6435779B2 true JP6435779B2 (ja) 2018-12-12

Family

ID=55854115

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014221053A Active JP6435779B2 (ja) 2014-10-30 2014-10-30 情報処理装置及び情報処理プログラム

Country Status (4)

Country Link
US (1) US9641719B2 (ja)
JP (1) JP6435779B2 (ja)
AU (1) AU2015202328C1 (ja)
SG (1) SG10201503382UA (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017004252A (ja) * 2015-06-10 2017-01-05 株式会社ウイル・コーポレーション 画像情報処理システム
US11010806B2 (en) * 2016-11-10 2021-05-18 Gerald McLaughlin Method and system for distributed manufacturing
US9923851B1 (en) * 2016-12-30 2018-03-20 Dropbox, Inc. Content management features for messaging services
CN107038408A (zh) 2017-01-11 2017-08-11 阿里巴巴集团控股有限公司 基于增强现实的图像识别方法及装置
EP3635667A4 (en) * 2017-05-18 2021-08-25 Codex LLC PROCESS AND SYSTEM FOR DECENTRALIZED DISTRIBUTION OF DIGITAL CONTENT USING BLOCK CHAINS

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768521A (en) * 1994-05-16 1998-06-16 Intel Corporation General purpose metering mechanism for distribution of electronic information
US5774869A (en) * 1995-06-06 1998-06-30 Interactive Media Works, Llc Method for providing sponsor paid internet access and simultaneous sponsor promotion
JPH09153054A (ja) * 1995-11-29 1997-06-10 Nec Corp 情報検索・発信端末装置および検索サーバ
US6038333A (en) 1998-03-16 2000-03-14 Hewlett-Packard Company Person identifier and management system
JP2000187731A (ja) * 1998-12-21 2000-07-04 Ricoh Co Ltd 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002300158A (ja) * 2000-11-02 2002-10-11 Hitachi Ltd 総合データ配信サービスにおける権利保護方法
US7815124B2 (en) 2002-04-09 2010-10-19 L-1 Secure Credentialing, Inc. Image processing techniques for printing identification cards and documents
KR100393821B1 (en) * 2002-12-09 2003-08-02 Bong Chun Jeung System for managing non-certification connection of cooperated site linking with ad
EP1610268A4 (en) 2003-03-28 2011-07-27 Fujitsu Ltd PICTURE DEVICE AND PERSONAL IDENTIFICATION SYSTEM
US7460737B2 (en) * 2004-02-12 2008-12-02 Hoshiko Llc Method and apparatus for photograph finding
US20060104483A1 (en) 2004-11-12 2006-05-18 Eastman Kodak Company Wireless digital image capture device with biometric readers
US7765231B2 (en) * 2005-04-08 2010-07-27 Rathus Spencer A System and method for accessing electronic data via an image search engine
EP2165279A4 (en) * 2007-06-01 2012-01-18 Getty Images Inc METHOD AND SYSTEM FOR SEARCHING FOR DIGITAL ASSETS
JP5384979B2 (ja) 2009-03-23 2014-01-08 Kddi株式会社 コンテンツ検索システムおよびコンテンツ検索プログラム
JP5471124B2 (ja) * 2009-07-29 2014-04-16 ソニー株式会社 画像検索装置、画像検索方法及び画像検索プログラム
JP2011253424A (ja) * 2010-06-03 2011-12-15 Bill Haraguchi 画像認識装置及び画像認識方法並びに情報提供システム
CN103038765B (zh) * 2010-07-01 2017-09-15 诺基亚技术有限公司 用于适配情境模型的方法和装置
JP5793353B2 (ja) * 2011-06-20 2015-10-14 株式会社東芝 顔画像検索システム、及び顔画像検索方法
US8924890B2 (en) * 2012-01-10 2014-12-30 At&T Intellectual Property I, L.P. Dynamic glyph-based search

Also Published As

Publication number Publication date
US20160127597A1 (en) 2016-05-05
SG10201503382UA (en) 2016-05-30
AU2015202328C1 (en) 2017-09-14
AU2015202328B2 (en) 2017-05-11
US9641719B2 (en) 2017-05-02
AU2015202328A1 (en) 2016-05-19
JP2016091079A (ja) 2016-05-23

Similar Documents

Publication Publication Date Title
US9525798B2 (en) Image-related methods and systems
JP6435779B2 (ja) 情報処理装置及び情報処理プログラム
US8554690B2 (en) Techniques for using media keys
US9525547B2 (en) Transmission of media keys
US20070229678A1 (en) Camera for generating and sharing media keys
EP1840898B1 (en) Techniques for using media keys
JP4911903B2 (ja) 表示装置、表示システム、表示方法、及びプログラム
US20070233612A1 (en) Techniques for generating a media key
TWI591575B (zh) 用於增進已擷取資料的方法及系統
US9973649B2 (en) Photographing apparatus, photographing system, photographing method, and recording medium recording photographing control program
US8699747B2 (en) Image-related methods and systems
CN109587196B (zh) 一种快速影像处理与方便上传下载的管理系统
JP6677117B2 (ja) 画像処理装置、画像処理システム及び画像処理プログラム
JP6191500B2 (ja) 画像処理装置、画像処理システム及び画像処理プログラム
JP6720755B2 (ja) 情報処理装置及び情報処理プログラム
JP6520254B2 (ja) 動画データ再生方法及びプログラム
JP6720734B2 (ja) 画像処理装置及び画像処理プログラム
JP4983489B2 (ja) 情報処理装置及び情報処理プログラム
JP4389728B2 (ja) 画像形成装置、画像選択画面生成方法、及びプログラム
JP6432735B2 (ja) プリンタ
JP6191391B2 (ja) 画像処理装置
JP5240184B2 (ja) 画像送信装置、画像送信プログラム、及び画像表示システム
JP4494450B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2018176601A (ja) 印刷サービスシステムおよびプリント端末
JP2012003448A (ja) 画像処理装置及び画像処理プログラム。

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181029

R150 Certificate of patent or registration of utility model

Ref document number: 6435779

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350