JP6435779B2 - 情報処理装置及び情報処理プログラム - Google Patents
情報処理装置及び情報処理プログラム Download PDFInfo
- Publication number
- JP6435779B2 JP6435779B2 JP2014221053A JP2014221053A JP6435779B2 JP 6435779 B2 JP6435779 B2 JP 6435779B2 JP 2014221053 A JP2014221053 A JP 2014221053A JP 2014221053 A JP2014221053 A JP 2014221053A JP 6435779 B2 JP6435779 B2 JP 6435779B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- module
- information
- identification information
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2108—Intermediate information storage for one or a few pictures for one picture only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/04—Billing or invoicing
Description
請求項1の発明は、撮像対象は、人又は媒体を識別するための識別情報と、画像とが別々に印刷されており、前記撮像対象内の前記人又は媒体を識別するための識別情報の画像を撮像する第1の撮影手段と、前記第1の撮影手段によって撮像された画像内に記載された人又は前記画像が印刷された媒体を識別するための識別情報を用いて検索を要求する検索要求手段と、検索結果として、前記識別情報に対応する画像特徴量を受信する受信手段と、前記受信手段が前記画像特徴量を受信した場合は、前記撮像対象内の前記画像を撮像する第2の撮影手段と、前記受信した画像特徴量と、前記第2の撮影手段によって撮像された画像から抽出した画像特徴量とが対応する場合に、コンテンツにアクセスするための情報又はコンテンツ情報を取得する取得手段を備える情報処理装置である。
<<第1の実施の形態>>
図1は、第1の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
情報処理装置(作成処理)100は、画像を選択し、その画像とともに識別情報を媒体に印刷する、又は印刷するため指示を行う。そして、その画像に対応するコンテンツを選択する。ここで「媒体」として、例えば、ポストカード(年賀状等を含む)、名刺等が該当し、材質(紙、プラスチック等)は問わない。媒体がポストカードの場合、画像として、一般的には差出人の家族写真、差出人が旅行した場所の風景写真等がある。媒体が名刺の場合、画像として、一般的には本人の顔写真等がある。ただし、これらに画像は限定されるものではなく、媒体に印刷され得る画像であればよい。また、画像のソースとして、動画像の一フレーム(一場面)であってもよいし、複数の画像から選択するようにしてもよい。そして、識別情報として、媒体がポストカード等の場合、一般的には、差出人の郵便番号、住所、氏名等がある。媒体が名刺の場合、識別情報として、一般的には氏名、会社名、電話番号、メールアドレス等がある。ただし、これらに識別情報は限定されるものではなく、媒体に印刷され得る情報であればよく、媒体に印刷されている人又は媒体を識別するための情報であればよい。媒体を識別するための情報は、個々の媒体を識別するための情報であってもよいし、例えば差出人等である前記人を識別するための情報であってもよい。具体的には、例えば、人又は媒体を指し示すシリアルナンバー等がある。また、ここで「コンテンツ(コンテンツ情報)」としては、動画データ(3D動画データであってもよい)、静止画像データ(3D画像データであってもよい)、音声データ、テキストデータ、これらの組み合わせ等がある。例えば、その画像(媒体に印刷された画像)を最初の一フレームとして始まる動画像であってもよいし、その画像に関連する画像であってもよいし、その画像に関連する音声であってもよいし、その画像に関連するHP(ホームページ)等であってもよい。なお、以下、印刷媒体としてポストカード、識別情報として差出人の郵便番号、住所、氏名の組み合わせ、コンテンツとして動画像を主に例示する。
なお、1人の差出人に対して、1種類のポストカードのみならず、複数種類のポストカード(それぞれ異なる画像を用いたポストカード)が作成されてもよい。
動画選択モジュール115は、作成モジュール120と接続されている。動画選択モジュール115は、画像選択モジュール110によって選択された画像と対応するコンテンツとしての動画像を選択する。例えば、利用者の選択操作に応じて、動画像データベースから選択するようにしてもよいし、画像選択モジュール110が選択した画像(フレーム)を含む動画像を選択するようにしてもよいし、情報処理装置(作成処理)100に備え付けられているカメラ(デジタルビデオカメラ等)を用いて撮影した動画像であってもよい。
そして、作成モジュール120は、生成した印刷画像を、情報処理装置(作成処理)100に備え付けられた印刷装置、又は通信モジュール135を介した印刷装置で、ポストカード等の媒体に印刷させる。
また、作成モジュール120は、差出人の郵便番号、住所、氏名等の識別情報を、通信モジュール135を介して、アプリケーションサーバー310に送信する。又は、作成モジュール120は、差出人の郵便番号、住所、氏名等の識別情報を識別情報変換モジュール125に渡し、変換後の変換情報を、通信モジュール135を介して、アプリケーションサーバー310に送信するようにしてもよい。つまり、「変換情報」は、識別情報の一部を構成する概念である。したがって、(1)識別情報を送信してもよいし、(2)識別情報を予め定めた方式で変換した変換情報を送信してもよい。これにともなって、アプリケーションサーバー310(第2の実施形態ではアプリケーションサーバー1410)では、(1)識別情報を受信してもよいし、(2)変換情報を受信してもよい。そして、アプリケーションサーバー310(第2の実施形態ではアプリケーションサーバー1410)の記憶装置(例えば、後述する図9に示すポストカード情報テーブル900)では、(1)識別情報に対応するように画像特徴量を記憶しておいてもよいし、(2)変換情報に対応するように画像特徴量を記憶しておいてもよい。以下(第2の実施の形態を含む)、主に「変換情報」を例示して説明するが、「変換情報」を変換前の識別情報と読み替えることによって、識別情報を用いる場合の説明となる。そして、識別情報を用いる場合は、識別情報変換モジュール125、識別情報変換モジュール230による処理(例えば、ハッシュ値の生成処理)は、不要となる。
次に、画像選択モジュール110で選択された画像と動画選択モジュール115で選択された動画像を対応付けて、通信モジュール135を介して、アプリケーションサーバー310に送信する。
識別情報変換モジュール125は、作成モジュール120と接続されている。識別情報変換モジュール125は、作成モジュール120から受け取った識別情報を変換して変換情報を生成する。ここでの「変換」は、通信モジュール135を介して行う通信において、識別情報そのものを秘匿するための処理である。例えば、暗号化処理、ハッシュ処理等がある。ハッシュ処理の場合、変換情報はハッシュ値となる。以下、ハッシュ処理を主に例示する。また、変換対象の識別情報は、識別情報全体であってもよいし、その一部分であってもよい。例えば、差出人の郵便番号、住所、氏名のうち、3つ全てを対象として、ハッシュ値に変換してもよいし、そのうちの2つである差出人の郵便番号、氏名を対象として、ハッシュ値に変換してもよい。
通信モジュール135は、作成モジュール120、有効期限設定モジュール130と接続されている。通信モジュール135は、通信回線を介して、後述するアプリケーションサーバー310、動画配信サービス320等と通信を行う。
情報処理装置(読取処理)200は、情報処理装置(作成処理)100によって作成された印刷媒体に印刷された画像を撮影モジュール210で読み取り、その画像に対応するコンテンツにアクセスする。コンテンツが動画像データである場合は、動画が再生される。なお、印刷媒体には、画像(画像選択モジュール110で選択された画像)の他に識別情報が印刷されている。また、その印刷媒体に印刷された識別情報を読み取り、画像に対応するコンテンツを限定するために用いる。
文字認識モジュール215は、撮影モジュール210、検索要求モジュール225と接続されている。文字認識モジュール215は、撮影モジュール210によって撮影された画像内の識別情報を、文字認識処理によって、テキストコードに変換する。識別情報は、撮影モジュール210が撮影した画像内に記載された人又は画像が印刷された媒体を識別するための情報である。印刷された識別情報として、具体的には、ポストカードが年賀状である場合、差出人の郵便番号、住所、氏名等が該当する。その印刷面は、裏面(画像が印刷された面)が望ましいが、表面(あて先が記載された面)であってもよい。裏面である場合は、画像と識別情報を撮影するのに、ポストカードを裏返す必要はない。ここでの文字認識処理は、既存の技術を用いてよい。
識別情報変換モジュール230は、前述の情報処理装置(作成処理)100の識別情報変換モジュール125と同等の処理を行う。つまり、文字認識モジュール215が文字認識処理した識別情報を変換して変換情報を生成する。例えば、認識結果(識別情報)に対してハッシュ処理を施してハッシュ値を生成する。
取得モジュール235は、対応判別モジュール240を有しており、画像特徴抽出モジュール220、通信モジュール250と接続されている。取得モジュール235は、前述のように、通信モジュール250を介してアプリケーションサーバー310から検索結果として、検索要求モジュール225が検索要求した変換情報に対応する画像特徴量を受信する。そして、受信した画像特徴量Aと、画像特徴抽出モジュール220が抽出した画像特徴量Bとが対応するか否かを対応判別モジュール240に判別させ、対応する場合は、画像特徴量Aに対応するコンテンツにアクセスするための情報又はコンテンツ情報を取得する。ここで「コンテンツにアクセスするための情報」として、例えば、ファイル名であってもよいし、そのコンテンツが記憶されている場所を指し示す記述であるURI(Uniform Resource Identifier、なお、URL:Uniform Resource Locatorを含む)等であってもよい。また、コンテンツ情報そのものを取得するようにしてもよい。以下(第2の実施の形態を含む)、「コンテンツにアクセスするための情報」を主に例示して説明するが、「コンテンツにアクセスするための情報」を「コンテンツ情報」と読み替えることによって、コンテンツ情報を取得する場合の説明となる。そして、その場合、「コンテンツにアクセスするための情報」からコンテンツ情報を取得する処理(具体的には、図8の例に示したステップS812、ステップS814)が不要となる。ここで「コンテンツにアクセスするための情報(以下、アクセス情報ともいう)を取得する」のに、画像特徴量Aと対応したアクセス情報を受信しておき、それを取得してもよいし、画像特徴量Bと対応する画像特徴量A(又は画像特徴量Aの識別情報)をアプリケーションサーバー310に送信して、アプリケーションサーバー310から画像特徴量Aと対応したアクセス情報を受信するようにしてもよい。
対応判別モジュール240は、取得モジュール235から、受信した画像特徴量Aと画像特徴抽出モジュール220が抽出した画像特徴量Bとを受け取り、両者が対応するか否かを判別する。ここで「対応」とは、完全一致することの他に、両者の差分が予め定められた範囲内である場合は、対応するとしてもよい。
通信モジュール250は、検索要求モジュール225、取得モジュール235、動画提示モジュール245と接続されている。通信モジュール250は、通信回線を介して、後述するアプリケーションサーバー310、動画配信サービス320等と通信を行う。
モバイルアプリ300は、アプリケーションサーバー310、動画配信サービス320と通信可能に接続されており、情報処理装置(作成処理)100又は情報処理装置(読取処理)200の機能を有している。具体的には、モバイルアプリ300は、ポストカードの作成処理、又はポストカードから動画の再生処理を行う。
アプリケーションサーバー310は、モバイルアプリ300と接続されている。アプリケーションサーバー310は、ポストカードデータの管理を行う。具体的には、差出人の郵便番号、住所、氏名等のハッシュ値(変換情報)である差出人情報(前述したように、ハッシュ関数の対象となる差出人の郵便番号、住所、氏名等の識別情報としてもよい)、ポストカードイメージの画像特徴量、動画像データのURL(ポストカードイメージに関連付けられた動画の記憶場所)、有効期限等を管理する。ここでの管理は、後述する図9の例に示すポストカード情報テーブル900のように、これらの情報を対応付けて記憶しておき、変換情報(又は識別情報)に対応して、画像特徴量等の情報を抽出する処理である。アプリケーションサーバー310は、情報処理装置(読取処理)200から、画像内に記載された人又は画像が印刷された媒体を識別するための識別情報を変換した変換情報(前述したように、変換前の識別情報であってもよい)を用いた検索要求を受け付ける。そして、その変換情報(識別情報を受け付けた場合は識別情報)を用いて、ポストカード情報テーブル900に記憶された画像特徴量を検索する。その検索要求に対する検索した結果として、変換情報(識別情報を受け付けた場合は識別情報)に対応する画像特徴量をモバイルアプリ300に送信する。
動画配信サービス320は、モバイルアプリ300と接続されている。動画配信サービス320は、コンテンツの管理、配信を行う。具体的には、動画像データをモバイルアプリ300に渡し、モバイルアプリ300がその動画を再生する。
情報処理装置(作成処理)100A、情報処理装置(作成処理)100B、情報処理装置(読取処理)200A、情報処理装置(読取処理)200B、アプリケーションサーバー310、サービス提供装置410、動画配信サーバー420は、通信回線490を介してそれぞれ接続されている。通信回線490は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット等であってもよい。
なお、前述のアプリケーションサーバー310、動画配信サービス320は、ハードウェアとしてのアプリケーションサーバー310、動画配信サービス320を実装している動画配信サーバー420として個別に構成してもよいし、アプリケーションサーバー310、動画配信サービス320の両方を実装しているサービス提供装置410として構成してもよい。
利用者590Aは、ポストカードを作成する者である。利用者590Bは、そのポストカードを受け取って、ポストカードに印刷された画像からコンテンツの提示を受ける者である。
利用者590Aによる操作に応じて、モバイルアプリ(ポストカード作成時)300Aが、アプリケーションサーバー310に対して、処理512、処理514を行わせ、動画配信サービス320に対して、処理526を行わせる。そして、処理502では、プリンタでポストカードの印刷を行わせ、ポストカードの配布(郵送)を行う。
そして、そのポストカードを受け取った利用者590Bによる操作に応じて、モバイルアプリ(ポストカード読取時)300Bが、アプリケーションサーバー310に対して、処理516を行わせ、動画配信サービス320に対して、処理528を行わせる。
なお、各処理内容は以下の通りである。処理512では、ポストカードを作成する。処理514では、ポストカードの有効期限を更新する。処理516では、差出人情報をキーにして画像特徴量を取得する。処理502では、ポストカードの印刷・配布を行う。処理526では、動画を登録する。処理528では、動画を取得する。
ステップS602では、モバイルアプリ300の画像選択モジュール110が、利用者Aに対して動画からフレームを選択させる。この例では、ポストカードに印刷すべき画像として、その動画内のフレーム画像を用いている。なお、動画選択モジュール115によって、既に動画は選択されているとする。
ステップS604では、モバイルアプリ300の作成モジュール120が、選択されたフレームにデコレートを施すことでポストカードイメージを作成させる。例えば、ポストカードが年賀状である場合、「賀正」等の文字を付加する編集を画像に対して行う。
ステップS606では、モバイルアプリ300の作成モジュール120が、差出人の郵便番号、住所、氏名を入力させる。
ステップS608では、モバイルアプリ300の作成モジュール120が、差出人の記述を含むポストカードの全体イメージを、アプリに保存する。ここでの「ポストカードの全体イメージ」とは、デコレートが施された画像、差出人の郵便番号、住所、氏名を含む。
ステップS612では、モバイルアプリ300が動画配信サービス320に対して、動画をアップロードする。
ステップS614では、動画配信サービス320がモバイルアプリ300に対して、動画URLを送信する。つまり、動画URLにアクセスすると、ステップS612でアップロードした動画を再生できる。
ステップS616では、モバイルアプリ300がアプリケーションサーバー310に対して、ポストカードデータ(差出人情報、ポストカードイメージ、動画URL)を登録する。アプリケーションサーバー310は、これらのデータを、例えばポストカード情報テーブル900によって管理する。図9は、ポストカード情報テーブル900のデータ構造例を示す説明図である。ポストカード情報テーブル900は、ポストカードID欄910、識別情報(ハッシュ値)欄920、画像特徴量欄930、有効期限欄940、動画URL欄950を有している。ポストカードID欄910は、本実施の形態において、ポストカードを一意に識別するための情報(ポストカードID:IDentification)を記憶している。識別情報(ハッシュ値)欄920は、そのポストカードIDに対応する差出人情報である識別情報(ハッシュ値)を記憶している。画像特徴量欄930は、そのポストカードIDに対応する画像特徴量を記憶している。有効期限欄940は、そのポストカードIDに対応する有効期限を記憶している。動画URL欄950は、そのポストカードIDに対応する動画URLを記憶している。ステップS616で受信した差出人情報、動画URLを、それぞれ識別情報(ハッシュ値)欄920、動画URL欄950に記憶させる。そして、それらの組み合わせを示すポストカードIDを生成し、ポストカードID欄910に記憶させる。
ステップS620では、モバイルアプリ300が、ポストカードIDを保存する。
ステップS622では、アプリケーションサーバー310が、ポストカードイメージ(又はポストカード内の画像)から画像特徴量を抽出して、ポストカード情報テーブル900の画像特徴量欄930に保存する。同時に有効期限を規定のもの(予め定められた値(デフォルト値)であって、例えば1週間後)に設定する。なお、有効期限の変更については、図7の例を用いて後述する。
そして、作成されたポストカードは印刷され、利用者Bへ郵送される。
ステップS702では、モバイルアプリ300が、アプリに保存されているポストカードIDを取得する。
ステップS704では、モバイルアプリ300がアプリケーションサーバー310に対して、そのポストカードIDに対応する有効期限の延長を指示する。アプリケーションサーバー310では、期限の延長に応じて課金する。例えば、単位期間(1日等)の料金に延長期間を乗算して金額を算出して課金すること、モバイルアプリ300の利用者の過去の利用状況に応じて課金すること等、予め定められた規則にしたがって課金する。
ステップS802では、モバイルアプリ300の撮影モジュール210が、カメラで差出人の郵便番号と氏名を撮影し、文字認識モジュール215がその撮影画像を文字認識し、識別情報変換モジュール230がハッシュ関数を適用して差出人情報を生成する。
ステップS804では、モバイルアプリ300の検索要求モジュール225がアプリケーションサーバー310に対して、検索要求として差出人情報を送信する。
ステップS806では、アプリケーションサーバー310が、差出人情報をキーとするポストカードの有効期限が切れていないこと(有効期限内であること)を確認する。切れていれば、エラーを返す。具体的には、ポストカード情報テーブル900内の差出人情報に対応する有効期限欄940を参照して判断する。
ステップS810では、モバイルアプリ300が、ステップS808でアプリケーションサーバー310から取得した画像特徴量とマッチするまで、カメラのプレビューから画像を取得し続ける。つまり、ポストカードに印刷された画像を撮影モジュール210が撮影し、画像特徴抽出モジュール220がその画像から画像特徴を抽出する。なお、撮影には、シャッターを押すことであってもよいし、画像をメモリに蓄積する(いわゆるプレビュー)ことであってもよい。つまり、画像特徴抽出モジュール220が画像特徴を抽出できる状態にすればよい。そして、対応判別モジュール240が、撮影した画像の特徴量が、アプリケーションサーバー310から取得した画像特徴量とマッチするか否かを判別する。マッチした場合は、ステップS812に進む。なお、マッチには、前述したように、完全一致の他に、両者の差分が予め定められた範囲内である場合を含めてもよい。
ステップS812では、モバイルアプリ300の動画提示モジュール245が動画配信サービス320に対して、ステップS810でマッチした画像特徴量に対応する動画URLにアクセスする。
ステップS814では、動画配信サービス320がモバイルアプリ300に対して、動画を送信する。その後、モバイルアプリ300の動画提示モジュール245で動画を再生する。
図10(a)に示す例は、情報処理装置(読取処理)200に備え付けられた液晶ディスプレイ等の表示装置の画面1000に、ポストカード1012の撮影画像1010を表示したものであり、差出人情報記載領域1015を文字認識の対象とするための操作画面を示している。認識領域設定枠1020、メッセージ領域1030(郵便番号と名前を認識します。差出人に枠(認識領域設定枠1020)を合わせてください)、メッセージ領域1040(キーボードから入力する場合はこちら)を表示している。利用者Bは、認識領域設定枠1020に差出人情報記載領域1015を合わせる(キャプチャする)ように、カメラ(又は情報処理装置(読取処理)200本体)の位置を調整する。また、動画提示処理を中止する場合は、キャンセルボタン1045が選択される。なお、撮影している画像(撮影画像1010)を背景にし、認識領域設定枠1020等を前景にしたレイヤ構造とした表示を行っている。
図10(b)に示す例は、認識領域設定枠1020内の画像の文字認識結果を表示している。この表示は、文字認識結果としての確信度が予め定められた閾値を超えた場合又は以上である場合、確認ダイアログを表示する。
差出人情報認識結果表示領域1050は、郵便番号の文字認識結果を示す郵便番号欄1052、氏名の文字認識結果を示す名前欄1054、文字認識(又は認識領域の設定)をやり直すための戻るボタン1056、文字認識結果が正しいことを示すOKボタン1058を有している。OKボタン1058が選択された場合は、郵便番号欄1052、名前欄1054内の値に対してハッシュ関数を適用して、差出人情報を生成して、アプリケーションサーバー310に送信する(ステップS804)。そして、その差出人情報に対応する画像特徴量、動画URLの組み合わせを情報処理装置(読取処理)200が受信する(ステップS808)。
図11の例に示す画面1000は、デザイン画像1014を画像特徴抽出の対象とするための操作画面を示しており、画像特徴抽出設定枠1120、メッセージ領域1130(写真にかざしてください)を表示している。利用者Bは、画像特徴抽出設定枠1120にデザイン画像1014を合わせるように、カメラ(又は情報処理装置(読取処理)200本体)の位置を調整する。また、コンテンツ提示処理を中止する場合は、キャンセルボタン1145が選択される。画像特徴抽出モジュール220は、画像特徴抽出設定枠1120内の画像特徴を抽出する。抽出した画像特徴量がアプリケーションサーバー310から受信した画像特徴量とマッチした場合は、その画像特徴量に対応する画像URLにアクセスして、動画像を取得して、再生する。
図12は、第2の実施の形態(情報処理装置(読取装置)1200)の構成例についての概念的なモジュール構成図である。第1の実施の形態では、情報処理装置(読取処理)200が画像特徴を抽出し、対応判別を行っているが、第2の実施の形態では、情報処理装置(アプリケーションサーバー)1300(アプリケーションサーバー310に対応)が画像特徴を抽出し、対応判別を行う。なお、第2の実施の形態においても、第1の実施の形態の情報処理装置(作成処理)100、動画配信サービス320と同等のものを用いる。
情報処理装置(読取装置)1200は、第1の実施の形態の情報処理装置(読取処理)200に対応し、撮影モジュール1210、文字認識モジュール1215、検索要求モジュール1225、取得モジュール1235、動画提示モジュール1245、通信モジュール1250を有している。第1の実施の形態において対応するモジュールを示して説明する。
撮影モジュール1210は、文字認識モジュール1215、通信モジュール1250と接続されている。撮影モジュール1210は、撮影モジュール210と同等の処理を行う。そして、撮影モジュール1210が撮影した画像を、通信モジュール1250を介して情報処理装置(アプリケーションサーバー)1300に送信する。画像特徴の抽出を情報処理装置(アプリケーションサーバー)1300で行わせるためである。
文字認識モジュール1215は、撮影モジュール1210、検索要求モジュール1225と接続されている。文字認識モジュール1215は、文字認識モジュール215と同等の処理を行う。
検索要求モジュール1225は、識別情報変換モジュール1230を有しており、文字認識モジュール1215、通信モジュール1250と接続されている。検索要求モジュール1225は、検索要求モジュール225と同等の処理を行う。識別情報変換モジュール1230は、識別情報変換モジュール230と同等の処理を行う。
なお、情報処理装置(読取装置)1200においても、文字認識処理を行い、文字認識結果を変換して変換情報を生成しているのは、個人情報としての可能性が高い識別情報をそのまま(認識結果、識別情報が記載された画像)送信しないようするためである。なお、前述したように、変換前の識別情報を送信するようにしてもよい。
動画提示モジュール1245は、通信モジュール1250と接続されている。動画提示モジュール1245は、動画提示モジュール245と同等の処理を行う。具体的には、取得モジュール1235が受信した動画URLにアクセスして動画を再生する。
通信モジュール1250は、撮影モジュール1210、検索要求モジュール1225、取得モジュール1235、動画提示モジュール1245と接続されている。通信モジュール1250は、通信モジュール250と同等の処理を行う。
情報処理装置(アプリケーションサーバー)1300は、第1の実施の形態のアプリケーションサーバー310に対応し、検索範囲限定モジュール1310、画像特徴抽出モジュール1320、対応判別モジュール1330、画像特徴記憶モジュール1340、通信モジュール1350を有している。
検索範囲限定モジュール1310は、対応判別モジュール1330、通信モジュール1350と接続されている。検索範囲限定モジュール1310は、情報処理装置(読取装置)1200から、画像内に記載された人又は画像が印刷された媒体を識別するための識別情報を変換した変換情報(前述したように、識別情報を受け付けた場合は識別情報)を用いた検索要求を受け付ける。そして、画像特徴の対応処理を行うのに、変換情報(識別情報を受け付けた場合は識別情報)に対応する画像特徴量に限定するように、対応判別モジュール1330に指示する。ここでの限定処理は、変換情報(識別情報を受け付けた場合は識別情報)を用いて、画像特徴記憶モジュール1340に記憶された画像特徴量を検索することである。そして、対応判別モジュール1330は、この検索結果の範囲内で対応処理を行う。
画像特徴抽出モジュール1320は、対応判別モジュール1330、通信モジュール1350と接続されている。画像特徴抽出モジュール1320は、情報処理装置(読取装置)1200から、画像を受け取り、その画像の特徴抽出を行う。
対応判別モジュール1330は、検索範囲限定モジュール1310、画像特徴抽出モジュール1320、画像特徴記憶モジュール1340、通信モジュール1350と接続されている。対応判別モジュール1330は、変換情報(識別情報を受け付けた場合は識別情報)に対応する画像特徴量(画像特徴記憶モジュール1340に記憶されている画像特徴量であって、検索範囲限定モジュール1310によって変換情報(識別情報を受け付けた場合は識別情報)に対応したものに限られている画像特徴量)と、画像特徴抽出モジュール1320によって画像から抽出した画像特徴量とが対応する場合に、検索要求に対する検索結果として、コンテンツにアクセスするための情報を、通信モジュール1350を介して情報処理装置(読取装置)1200に送信する。
画像特徴記憶モジュール1340は、対応判別モジュール1330と接続されている。画像特徴記憶モジュール1340は、情報処理装置(作成処理)100によって作成された画像の特徴量を記憶している。例えば、前述したように図9に示したポストカード情報テーブル900を記憶するようにしてもよい。
通信モジュール1350は、検索範囲限定モジュール1310、画像特徴抽出モジュール1320、対応判別モジュール1330と接続されている。通信モジュール1350は、通信回線を介して、情報処理装置(作成処理)100、情報処理装置(読取装置)1200等と通信を行う。
ステップS1452では、モバイルアプリ1400の撮影モジュール1210が、カメラで差出人の郵便番号と氏名を撮影し、文字認識モジュール1215がその撮影画像を文字認識し、識別情報変換モジュール1230がハッシュ関数を適用して差出人情報を生成する。
ステップS1454では、モバイルアプリ1400の検索要求モジュール1225がアプリケーションサーバー1410に対して、検索要求として差出人情報を送信する。
ステップS1456では、アプリケーションサーバー1410が、差出人情報をキーとするポストカードの有効期限が切れていないこと(有効期限内であること)を確認する。切れていれば、エラーを返す。具体的には、ポストカード情報テーブル900内の差出人情報に対応する有効期限欄940を参照して判断する。
ステップS1460では、モバイルアプリ1400の撮影モジュール1210が、カメラで画像を撮影する。
ステップS1462では、モバイルアプリ1400の通信モジュール1250がアプリケーションサーバー1410に対して、ステップS1460で撮影した画像を送信する。
ステップS1464では、アプリケーションサーバー1410の画像特徴抽出モジュール1320が、ステップS1462で受信した画像の特徴を抽出する。
ステップS1466では、アプリケーションサーバー1410の対応判別モジュール1330が、検索範囲限定モジュール1310によって差出人情報で限定された範囲内で抽出した特徴量とマッチするものを検索する。
ステップS1468では、アプリケーションサーバー1410の対応判別モジュール1330がモバイルアプリ1400に対して、NG又は動画URLを送信する。
ステップS1470では、モバイルアプリ1400の取得モジュール1235が、動画URLであるか否かを判断し、動画URLである場合はステップS1472へ進み、それ以外の場合(ステップS1468でNGを受信した場合)はステップS1460に戻る。
ステップS1472では、モバイルアプリ1400の動画提示モジュール1245が動画配信サービス320に対して、ステップS1468で受信した動画URLにアクセスする。
ステップS1474では、動画配信サービス320がモバイルアプリ1400に対して、動画を送信する。その後、モバイルアプリ1400の動画提示モジュール1245で動画を再生する。
情報処理装置(作成処理)100でのポストカード作成時には、複数の動画を選択させて、それぞれからフレームを抽出してもよい。そして、それら複数のフレームを利用者の操作に従って配置したものをポストカードとして作成してもよい。
また、アプリケーションサーバー310(又は情報処理装置(アプリケーションサーバー)1300)の構成として、1つのポストカード情報に対して、画像特徴量と動画URLのペアを複数関連付けられるようにすればよい。
そして、情報処理装置(読取処理)200(又は情報処理装置(読取装置)1200)でポストカードを読み取る場合には、プレビューで読み取った画像の画像特徴量とアプリケーションサーバー310からダウンロードした複数の画像特徴量(又は情報処理装置(アプリケーションサーバー)1300に記憶された複数の画像特徴量)とをそれぞれマッチングさせ、その差分が予め定められた閾値未満又は以下である場合、マッチした画像特徴量と関連付けられた動画URLを取得するようにしてもよい。
又は、情報処理装置(作成処理)100でのポストカード作成時に、1つの動画から複数のフレームを抽出する。そして、それぞれのフレームに対応する動画として、その動画における動画開始時刻を関連付けるようにしてもよい。つまり、画像に対応する動画として、その動画開始時刻までスキップして再生すればよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
110…画像選択モジュール
115…動画選択モジュール
120…作成モジュール
125…識別情報変換モジュール
130…有効期限設定モジュール
135…通信モジュール
200…情報処理装置(読取処理)
210…撮影モジュール
215…文字認識モジュール
220…画像特徴抽出モジュール
225…検索要求モジュール
230…識別情報変換モジュール
235…取得モジュール
240…対応判別モジュール
245…動画提示モジュール
250…通信モジュール
300…モバイルアプリ
310…アプリケーションサーバー
320…動画配信サービス
410…サービス提供装置
420…動画配信サーバー
490…通信回線
1200…情報処理装置(読取装置)
1210…撮影モジュール
1215…文字認識モジュール
1225…検索要求モジュール
1230…識別情報変換モジュール
1235…取得モジュール
1245…動画提示モジュール
1250…通信モジュール
1300…情報処理装置(アプリケーションサーバー)
1310…検索範囲限定モジュール
1320…画像特徴抽出モジュール
1330…対応判別モジュール
1340…画像特徴記憶モジュール
1350…通信モジュール
1400…モバイルアプリ
1410…アプリケーションサーバー
Claims (3)
- 撮像対象は、人又は媒体を識別するための識別情報と、画像とが別々に印刷されており、
前記撮像対象内の前記人又は媒体を識別するための識別情報の画像を撮像する第1の撮影手段と、
前記第1の撮影手段によって撮像された画像内に記載された人又は前記画像が印刷された媒体を識別するための識別情報を用いて検索を要求する検索要求手段と、
検索結果として、前記識別情報に対応する画像特徴量を受信する受信手段と、
前記受信手段が前記画像特徴量を受信した場合は、前記撮像対象内の前記画像を撮像する第2の撮影手段と、
前記受信した画像特徴量と、前記第2の撮影手段によって撮像された画像から抽出した画像特徴量とが対応する場合に、コンテンツにアクセスするための情報又はコンテンツ情報を取得する取得手段
を備える情報処理装置。 - 前記識別情報として、予め定められた方式で変換された変換情報を用いる請求項1に記載の情報処理装置。
- コンピュータを、
撮像対象は、人又は媒体を識別するための識別情報と、画像とが別々に印刷されており、
前記撮像対象内の前記人又は媒体を識別するための識別情報の画像を撮像する第1の撮影手段と、
前記第1の撮影手段によって撮像された画像内に記載された人又は前記画像が印刷された媒体を識別するための識別情報を用いて検索を要求する検索要求手段と、
検索結果として、前記識別情報に対応する画像特徴量を受信する受信手段と、
前記受信手段が前記画像特徴量を受信した場合は、前記撮像対象内の前記画像を撮像する第2の撮影手段と、
前記受信した画像特徴量と、前記第2の撮影手段によって撮像された画像から抽出した画像特徴量とが対応する場合に、コンテンツにアクセスするための情報又はコンテンツ情報を取得する取得手段
として機能させるための情報処理プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014221053A JP6435779B2 (ja) | 2014-10-30 | 2014-10-30 | 情報処理装置及び情報処理プログラム |
US14/694,530 US9641719B2 (en) | 2014-10-30 | 2015-04-23 | Method for searching captured images using identification information |
SG10201503382UA SG10201503382UA (en) | 2014-10-30 | 2015-04-29 | Information processing apparatus and information processing program |
AU2015202328A AU2015202328C1 (en) | 2014-10-30 | 2015-05-04 | Information processing apparatus and information processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014221053A JP6435779B2 (ja) | 2014-10-30 | 2014-10-30 | 情報処理装置及び情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016091079A JP2016091079A (ja) | 2016-05-23 |
JP6435779B2 true JP6435779B2 (ja) | 2018-12-12 |
Family
ID=55854115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014221053A Active JP6435779B2 (ja) | 2014-10-30 | 2014-10-30 | 情報処理装置及び情報処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9641719B2 (ja) |
JP (1) | JP6435779B2 (ja) |
AU (1) | AU2015202328C1 (ja) |
SG (1) | SG10201503382UA (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017004252A (ja) * | 2015-06-10 | 2017-01-05 | 株式会社ウイル・コーポレーション | 画像情報処理システム |
US11010806B2 (en) * | 2016-11-10 | 2021-05-18 | Gerald McLaughlin | Method and system for distributed manufacturing |
US9923851B1 (en) * | 2016-12-30 | 2018-03-20 | Dropbox, Inc. | Content management features for messaging services |
CN107038408A (zh) | 2017-01-11 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 基于增强现实的图像识别方法及装置 |
EP3635667A4 (en) * | 2017-05-18 | 2021-08-25 | Codex LLC | PROCESS AND SYSTEM FOR DECENTRALIZED DISTRIBUTION OF DIGITAL CONTENT USING BLOCK CHAINS |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5768521A (en) * | 1994-05-16 | 1998-06-16 | Intel Corporation | General purpose metering mechanism for distribution of electronic information |
US5774869A (en) * | 1995-06-06 | 1998-06-30 | Interactive Media Works, Llc | Method for providing sponsor paid internet access and simultaneous sponsor promotion |
JPH09153054A (ja) * | 1995-11-29 | 1997-06-10 | Nec Corp | 情報検索・発信端末装置および検索サーバ |
US6038333A (en) | 1998-03-16 | 2000-03-14 | Hewlett-Packard Company | Person identifier and management system |
JP2000187731A (ja) * | 1998-12-21 | 2000-07-04 | Ricoh Co Ltd | 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2002300158A (ja) * | 2000-11-02 | 2002-10-11 | Hitachi Ltd | 総合データ配信サービスにおける権利保護方法 |
US7815124B2 (en) | 2002-04-09 | 2010-10-19 | L-1 Secure Credentialing, Inc. | Image processing techniques for printing identification cards and documents |
KR100393821B1 (en) * | 2002-12-09 | 2003-08-02 | Bong Chun Jeung | System for managing non-certification connection of cooperated site linking with ad |
EP1610268A4 (en) | 2003-03-28 | 2011-07-27 | Fujitsu Ltd | PICTURE DEVICE AND PERSONAL IDENTIFICATION SYSTEM |
US7460737B2 (en) * | 2004-02-12 | 2008-12-02 | Hoshiko Llc | Method and apparatus for photograph finding |
US20060104483A1 (en) | 2004-11-12 | 2006-05-18 | Eastman Kodak Company | Wireless digital image capture device with biometric readers |
US7765231B2 (en) * | 2005-04-08 | 2010-07-27 | Rathus Spencer A | System and method for accessing electronic data via an image search engine |
EP2165279A4 (en) * | 2007-06-01 | 2012-01-18 | Getty Images Inc | METHOD AND SYSTEM FOR SEARCHING FOR DIGITAL ASSETS |
JP5384979B2 (ja) | 2009-03-23 | 2014-01-08 | Kddi株式会社 | コンテンツ検索システムおよびコンテンツ検索プログラム |
JP5471124B2 (ja) * | 2009-07-29 | 2014-04-16 | ソニー株式会社 | 画像検索装置、画像検索方法及び画像検索プログラム |
JP2011253424A (ja) * | 2010-06-03 | 2011-12-15 | Bill Haraguchi | 画像認識装置及び画像認識方法並びに情報提供システム |
CN103038765B (zh) * | 2010-07-01 | 2017-09-15 | 诺基亚技术有限公司 | 用于适配情境模型的方法和装置 |
JP5793353B2 (ja) * | 2011-06-20 | 2015-10-14 | 株式会社東芝 | 顔画像検索システム、及び顔画像検索方法 |
US8924890B2 (en) * | 2012-01-10 | 2014-12-30 | At&T Intellectual Property I, L.P. | Dynamic glyph-based search |
-
2014
- 2014-10-30 JP JP2014221053A patent/JP6435779B2/ja active Active
-
2015
- 2015-04-23 US US14/694,530 patent/US9641719B2/en active Active
- 2015-04-29 SG SG10201503382UA patent/SG10201503382UA/en unknown
- 2015-05-04 AU AU2015202328A patent/AU2015202328C1/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20160127597A1 (en) | 2016-05-05 |
SG10201503382UA (en) | 2016-05-30 |
AU2015202328C1 (en) | 2017-09-14 |
AU2015202328B2 (en) | 2017-05-11 |
US9641719B2 (en) | 2017-05-02 |
AU2015202328A1 (en) | 2016-05-19 |
JP2016091079A (ja) | 2016-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9525798B2 (en) | Image-related methods and systems | |
JP6435779B2 (ja) | 情報処理装置及び情報処理プログラム | |
US8554690B2 (en) | Techniques for using media keys | |
US9525547B2 (en) | Transmission of media keys | |
US20070229678A1 (en) | Camera for generating and sharing media keys | |
EP1840898B1 (en) | Techniques for using media keys | |
JP4911903B2 (ja) | 表示装置、表示システム、表示方法、及びプログラム | |
US20070233612A1 (en) | Techniques for generating a media key | |
TWI591575B (zh) | 用於增進已擷取資料的方法及系統 | |
US9973649B2 (en) | Photographing apparatus, photographing system, photographing method, and recording medium recording photographing control program | |
US8699747B2 (en) | Image-related methods and systems | |
CN109587196B (zh) | 一种快速影像处理与方便上传下载的管理系统 | |
JP6677117B2 (ja) | 画像処理装置、画像処理システム及び画像処理プログラム | |
JP6191500B2 (ja) | 画像処理装置、画像処理システム及び画像処理プログラム | |
JP6720755B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP6520254B2 (ja) | 動画データ再生方法及びプログラム | |
JP6720734B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP4983489B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP4389728B2 (ja) | 画像形成装置、画像選択画面生成方法、及びプログラム | |
JP6432735B2 (ja) | プリンタ | |
JP6191391B2 (ja) | 画像処理装置 | |
JP5240184B2 (ja) | 画像送信装置、画像送信プログラム、及び画像表示システム | |
JP4494450B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2018176601A (ja) | 印刷サービスシステムおよびプリント端末 | |
JP2012003448A (ja) | 画像処理装置及び画像処理プログラム。 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170926 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180807 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181029 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6435779 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |