JP7130977B2 - 考査処理装置及び印画物作製システム - Google Patents

Description

本発明は、考査処理装置及び印画物作製システムに関する。

従来、デジタルカメラやスマートフォン等で撮影した画像を、ネットワーク上にアップロードして保存することが行われている。また、アップロードした画像をプリントして、フォトブックやポスター等を作製するサービスが知られている（例えば特許文献１参照）。

フォトブックを作製するにあたり、サービス提供者は、顧客からアップロードされた画像がフォトブックに適した画像であるか否か等を判定する、いわゆる考査を行っている。例えば、考査では、画像が著作権や肖像権を侵害していないか、公序良俗に反していないか、不正転売の目的がないかなどを判断する。著作権を侵害する画像には、ウェブサイトなどインターネット上で閲覧可能な画像を流用したものも含まれる。

従来、考査は人手による目視で行っていた。そのため、フォトブックの注文数の増加に伴い、人的コストの増加や、考査業務の遅延に伴うフォトブックの納品遅延等の問題が発生するおそれがあった。

特開２００５－３３９２１４号公報

本発明は、ユーザ画像の考査の作業負荷を低減する考査処理装置及び印画物作製システムを提供することを課題とする。

本発明による考査処理装置は、ユーザ端末からユーザ画像を受信する受信部と、前記ユーザ画像を用いた印画物の注文を受け付ける注文処理部と、イベントの開催日時及び開催場所の情報を含むイベント情報を記憶するイベント情報記憶部と、前記ユーザ画像に埋め込まれているヘッダ情報から撮影日時及び撮影場所の情報を抽出し、前記撮影日時及び撮影場所の情報と前記イベント情報との比較結果、及び前記ユーザ画像のシーン解析の解析結果に基づいて、前記ユーザ画像が、印画物の作製に使用してよい画像か、又は考査者による考査が必要な画像かを判定する考査処理部と、を備えるものである。

本発明の一態様では、前記考査処理部は、前記撮影日時及び撮影場所の情報と前記イベント情報とが一致するユーザ画像に対してシーン解析を行う。

本発明の一態様では、複数の要注意キーワードと、各要注意キーワードに対応するスコアとを記憶するキーワード情報記憶部をさらに備え、前記考査処理部は、前記ユーザ画像内のシーンの構成要素をキーワードとして抽出し、抽出したキーワードと、前記要注意キーワードとを比較し、一致した要注意キーワードのスコアを加算し、合計スコアが所定値以上である場合、前記ユーザ画像は考査者による考査が必要な画像であると判定する。

本発明の一態様では、前記ユーザ画像から前記ヘッダ情報を抽出するヘッダ情報抽出部と、前記ユーザ画像と編集アイテムとを合成したプリント用画像を生成する編集処理部と、前記プリント用画像を記憶するプリントデータ記憶部と、をさらに備え、前記編集処理部は、前記ユーザ画像から前記ヘッダ情報を破棄して前記プリント用画像を生成し、前記ヘッダ情報抽出部は、前記プリント用画像に含まれるユーザ画像に対応するヘッダ情報を前記プリント用画像に紐付けて前記プリントデータ記憶部に格納する。

本発明による印画物作製システムは、上記考査処理装置と、前記考査処理部により印画物作製可と判定されたユーザ画像を含むプリント用画像を物品に印画して印画物を作製するプリンタと、を備えるものである。

本発明によれば、ユーザ画像の考査の作業負荷を低減できる。

本発明の実施形態に係る印画物作製システムの概略図である。 同実施形態に係るサーバ装置の構成及び機能ブロックを示す図である。 イベント情報の例を示す図である。 キーワード情報の例を示す図である。 画像ヘッダ情報の例を示す図である。 同実施形態に係る考査処理を説明するフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。

図１に示すように、本発明の実施形態に係る印画物作製システムは、サーバ装置１及び考査者端末３を備える。サーバ装置１は、インターネット等の通信ネットワークを介して、考査者端末３及びユーザ端末７と通信可能となっている。サーバ装置１は、ユーザ端末７からアップロードされたユーザ画像を保存する。

ユーザ端末７は、ＰＣ、スマートフォン、タブレット端末等である。ユーザ画像は、例えば、ユーザがデジタルカメラやスマートフォン等で撮影した画像である。

ユーザは、自身がアップロードしたユーザ画像を、好みのフレームやスタンプ等の編集アイテムと合成する編集操作を行う。ユーザは、編集操作により作成した合成画像（プリント用画像）を印画する物品や個数を選択し、料金の支払い方法を選択し、プリント注文を完了する。

サーバ装置１は、ユーザ（ユーザ端末７）からプリント注文を受け付けると、考査処理を行い、プリント用画像に含まれるユーザ画像が、印画物の作製に使用してよい画像であるか否かを判定する。印画物の作製に使用できない画像は、例えば、著作権を侵害する画像である。

考査で否認になる画像は、スポーツイベントや音楽イベント等で撮影された画像が多数を占める。デジタルカメラ等で撮影した画像には、そのヘッダ情報に撮影日時情報や、撮影場所情報（ＧＰＳ情報）が含まれている。サーバ装置１は、ヘッダ情報から撮影日時情報及び撮影場所情報を抽出し、イベントの開催日時及びイベント会場の位置と一致するか否か判定する。イベントの開催日時及びイベント会場の位置を含むイベント情報は予めサーバ装置１に登録されている。

また、スポーツイベントや音楽イベント等で撮影された画像の要素はある程度決まっており、想定されるＮＧシーン（ミュージシャンやスポーツ選手が写っているシーン）を予めサーバ装置１に学習させておく。例えば、音楽イベントでは、ステージ上に楽器を持った数名の人物が立っていたり、ステージ下に大勢の人物が立っていたりする。スポーツイベントでは、芝生の上に同じ服装の人物が数名立っていたり、芝生の外に大勢の人物が存在していたりする。

サーバ装置１は、ヘッダ情報から抽出した撮影日時情報及び撮影場所情報が、イベントの開催日時及びイベント会場の位置と一致するユーザ画像に対して画像解析を行い、ユーザ画像に上述のようなＮＧシーンが含まれるか否かを判定し、ＮＧシーンを含む可能性のある画像にはスコア（要注意スコア）を加点する。

サーバ装置１は、ヘッダ情報から抽出した撮影日時情報及び撮影場所情報が、イベントの開催日時及びイベント会場の位置と一致しない場合、考査者による目視確認（２次考査）が不要な、印画物作製可能なユーザ画像であると判定し、プリント注文内容を含むプリントデータを工場５へ送信する。

また、撮影日時情報及び撮影場所情報がイベントの開催日時及びイベント会場の位置と一致する場合でも、上述の合計スコアが所定値未満である場合は、ミュージシャンやスポーツ選手を撮影した画像である可能性は低く、サーバ装置１は、印画物作製可能なユーザ画像であると判定し、プリント注文内容を含むプリントデータを工場５へ送信する。

一方、撮影日時情報及び撮影場所情報がイベントの開催日時及びイベント会場の位置と一致し、かつ合計スコアが所定値以上の場合、ミュージシャンやスポーツ選手を撮影した画像である可能性が高いため、サーバ装置１は、考査者による目視確認（２次考査）が必要な画像と判定し、判定結果を考査者端末３へ通知する。考査者は、考査者端末３を操作して、サーバ装置１が印画物作製可と判定しなかったユーザ画像を目視確認し、考査を行う。このとき、考査者端末３には、ユーザ画像に含まれていたヘッダ情報も表示され、考査者は、ヘッダ情報の内容も考慮して考査を行う。

工場５に設置されたプリンタ（図示略）は、受信したプリントデータに基づいて印画処理を行い、指定された物品にプリント用画像を印画して印画物６を作製する。作製される印画物６は、写真、ポスター、カレンダー、フォトブック、バッチ、マグカップなどである。工場５で作製された印画物６は、ユーザへ配送される。

このように、本実施形態によれば、サーバ装置１が、１次考査として、アップロードされたユーザ画像に埋め込まれているヘッダ情報から撮影日時情報及び撮影場所情報を抽出し、予め登録しておいたイベント情報と比較し、さらにシーン解析を行う。考査者は、撮影日時情報及び撮影場所情報がイベント情報と一致し、かつ要注意スコアの合計点の高いユーザ画像だけを確認すればよい。そのため、人手（目視）で行う考査対象の画像数を削減し、考査のための人的コストの増加を抑えると共に、印画物６を早期にユーザに納品することができる。

次に、サーバ装置１の構成について説明する。なお、以下の実施形態では、印画物６としてフォトブックを作製する例について説明する。サーバ装置１は、ユーザ端末７からユーザ画像を受信し、画像編集画面を生成してユーザ端末７へ送信し、画像編集操作及びフォトブックのプリント注文を受け付け、ユーザ画像の考査処理を行い、編集操作により生成されたプリント用画像データを含むプリントデータを工場５へ送信するものである。

図２に示すように、サーバ装置１は、制御部１０、記憶部２０、及び通信部３０を備える。制御部１０は、サーバ装置１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを読み出して実行することにより、各種機能を実現する。

記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラムやデータ等を記憶するための記憶領域であり、ハードディスクや半導体メモリ等が用いられる。記憶部２０は、テンプレートＤＢ（データベース）２１、ユーザ画像ＤＢ２２、プリントデータＤＢ２３、注文情報ＤＢ２４、イベント情報ＤＢ２５、キーワード情報ＤＢ２６、及び画像判定結果ＤＢ２７を有する。

テンプレートＤＢ２１は、テンプレートを記憶する記憶領域である。テンプレートは、ユーザ画像と合成される画像であり、ユーザ画像の配置位置を指定するフレームや、スタンプ、背景画像等の編集アイテムを含む。

図３に示すように、イベント情報ＤＢ２５には、イベントの開催日時や開催場所を示すイベント情報が登録されている。イベント情報は、イベント内容を含んでいてもよい。図３では説明の便宜上、開催場所の位置情報に施設名を記載しているが、実際には緯度・経度が登録される。

キーワード情報ＤＢ２６は、画像に含まれるＮＧシーンの構成要素となる要注意キーワードと、各キーワードのスコア（要注意スコア）とを対応付けたキーワード情報を記憶する記憶領域である。図４はキーワード情報の一例を示す。例えば、「パフォーマンス」「エンターテイメント」「ステージ」「ダンサー」「コンサート」等は、音楽イベントの構成要素となる要注意キーワードである。

制御部１０は、受信部１１、編集処理部１２、ヘッダ情報抽出部１３、注文処理部１４、及び考査処理部１５を備える。受信部１１は、通信部３０を用いて、ユーザ端末７からユーザ画像のデータを受信し、ユーザ画像データをユーザ画像ＤＢ２２に格納する。制御部１０は、受信部１１が受信したユーザ画像の解像度やデータサイズから、印画に適した画像か否かを判定し、判定結果をユーザ端末７に通知してもよい。

編集処理部１２は、テンプレートやユーザ画像を選択する処理、選択されたユーザ画像をフレーム内に配置する処理、選択したスタンプを配置する処理等の画像編集が可能な編集画面を生成し、通信部３０を用いてユーザ端末７へ送信する。編集処理部１２は、ユーザがユーザ端末７を用いて編集画面で行った編集操作を受け付け、テンプレートやユーザ画像等が組み合わされた合成画像（プリント用画像）を生成する。生成されたプリント用画像のデータを含む、フォトブック作製用のプリントデータが、プリントデータＤＢ２３に格納される。

ヘッダ情報抽出部１３は、ユーザ端末７から受信したユーザ画像に埋め込まれているヘッダ情報を抽出する。例えば、図５に示すように、ユーザ画像は、ヘッダ情報と画像データとから構成されている。ヘッダ情報は、主画像情報、著作権情報、Ｅｘｉｆ（登録商標）固有情報、ＧＰＳ情報、サムネイル情報等を含む。

Ｅｘｉｆ固有情報に含まれる原画像データ生成日時が、撮影日時を示す。ＧＰＳ情報の測定位置が、撮影場所を示す。

編集処理部１２で生成されるプリント用画像は、その後に変更されることがないように、ＰＤＦ等の画像編集ができないファイル形式になっており、プリント用画像を生成する際に、ユーザ画像に当初埋め込まれていたヘッダ情報は破棄されている。ヘッダ情報抽出部１３は、ユーザ画像から抽出したヘッダ情報を、プリント用画像に紐付けてプリントデータＤＢ２３に格納する。

注文処理部１４は、ユーザ端末７から、プリント用画像を印画する物品の選択や、作製する印画物６の数などの注文を受け付ける。この例では、注文処理部１４は、プリント注文として、フォトブックのプリント冊数を受け付ける。必要に応じて、決済部（図示略）が決済処理を行い、プリント注文が完了する。

プリント注文が完了すると、注文処理部１４は、プリント注文の注文番号と、プリント注文されたフォトブックに含まれる各画像の画像識別番号とを組み合わせた情報を、注文情報ＤＢ２４に格納する。注文処理部１４は、プリント注文を行ったユーザの連絡先等を含む注文者情報を生成し、注文情報ＤＢ２４に格納してもよい。

考査処理部１５は、プリント注文されたフォトブックに含まれる各画像について、画像に紐付けられたヘッダ情報から撮影日時・撮影場所の情報を抽出し、イベント情報ＤＢ２５に登録されているイベント情報と比較する。

考査処理部１５は、撮影日時・撮影場所がイベント情報と一致した画像についてシーン解析を行い、画像内のシーンの構成要素をキーワード（テキストタグ）として抽出する。考査処理部１５は、抽出したキーワードと、キーワード情報ＤＢ２６に登録されている要注意キーワードとを比較し、一致したキーワードのスコアを加算して、各画像の合計スコアを算出する。

考査処理部１５は、撮影日時・撮影場所がイベント情報と一致しない場合、フォトブックの作製に使用してよい画像であると判定する。また、考査処理部１５は、撮影日時・撮影場所がイベント情報と一致しても、合計スコアが所定値未満である場合は、フォトブックの作製に使用してよい画像であると判定する。例えば、イベント会場で、ミュージシャンやスポーツ選手でなく、一緒に観劇・観戦に行った友人同士で撮影した画像などが、これに相当する。

一方、考査処理部１５は、撮影日時・撮影場所がイベント情報と一致し、かつ、合計スコアが所定値以上である場合、考査対象の画像は、著名人が出演（出場）するイベントで著名人を撮影した可能性が高い、すなわちＮＧシーンを含み、著作権や肖像権を侵害する可能性が高く、考査者による目視確認（２次考査）が必要なものであると判定する。

例えば、考査対象の画像の撮影日時が１０月２日１９時４８分、撮影位置が東京ドームである場合、図３に示すイベント情報と一致する。シーン解析により「ピッチングフォーム」「ユニフォーム」「背番号」というキーワードが抽出された場合、キーワード情報を参照し、これらのキーワードのスコアの合計点は４５と算出される。２次考査要否のスコアの閾値が４０点である場合、この画像は２次考査“要”と判定される。

また、例えば、考査対象の画像の撮影日時が１０月２日１０時１２分、撮影位置が東京ドームである場合、この画像の撮影位置はイベント開催場所と一致するが、撮影日時がイベント開催日時と一致しない。そのため、考査処理部１５は、この画像について２次考査“不要”と判定する。

次に、図６に示すフローチャートを用いて、プリント注文に対する考査処理について説明する。

考査処理部１５は、注文情報ＤＢ２４を参照し、考査対象のプリント注文の注文番号が紐付けられた画像のうち、未だ考査を行っていない画像を選択し、選択した画像に紐付けられたヘッダ情報から撮影日時及び撮影場所の情報を抽出する（ステップＳ１、Ｓ２）。

考査処理部１５は、ヘッダ情報から抽出した情報と、イベント情報ＤＢ２５のイベント情報とを比較する。比較結果が一致した場合（ステップＳ３＿Ｙｅｓ）、ミュージシャンやスポーツ選手等を撮影した可能性があるため、シーン解析を行い、構成要素をキーワード（テキストタグ）として抽出する（ステップＳ４）。

考査処理部１５は、ステップＳ４で抽出したキーワードと、キーワード情報ＤＢ２６に登録されている要注意キーワードとを比較し、一致したキーワードに対応付けられているスコアを加算して、考査対象画像の合計スコアを算出する（ステップＳ５）。

合計スコアが所定値以上の場合（ステップＳ６＿Ｙｅｓ）、ＮＧシーンを含み、肖像権等を侵害した画像の可能性が高いため、考査者による二次考査が必要であると判定する（ステップＳ７）。

合計スコアが所定値未満の場合（ステップＳ６＿Ｎｏ）、肖像権等を侵害している可能性が低く、考査者による二次考査は不要であり、フォトブックの作製に使用してよい画像であると判定する（ステップＳ８）。また、ヘッダ情報から抽出した撮影日時及び撮影場所がイベント情報と一致しない場合は（ステップＳ３＿Ｎｏ）、ミュージシャンやスポーツ選手等を撮影している可能性が低く、フォトブックの作製に使用してよい画像であると判定する（ステップＳ８）。

考査対象のプリント注文に含まれる全てのユーザ画像について考査を行うまで、ステップＳ１～Ｓ８を繰り返す（ステップＳ９）。考査処理部１５は、各画像についての判定結果を画像判定結果ＤＢ２７に登録する。

考査対象のプリント注文に含まれる全てのユーザ画像について、考査処理部１５が、フォトブックの作製に使用してよい画像であると判定した場合（ステップＳ１０＿Ｙｅｓ）、考査処理が終了する。制御部１０は、通信部３０を用いて、考査を終えたプリント注文のプリントデータを工場５へ送信する。

考査対象のプリント注文に、考査者による二次考査が必要と判定された画像が含まれている場合（ステップＳ１０＿Ｎｏ）、制御部１０は、通信部３０を用いて、二次考査が必要な画像があることを考査者端末３に通知する（ステップＳ１１）。

考査者は、考査者端末３を用いて、目視による二次考査を行う（ステップＳ１２）。例えば、制御部１０は、二次考査が必要と判定した画像をリスト化した要注意画像リストを考査者端末３に送信する。考査者は、このリストから二次考査“要”の画像を特定し、この画像をディスプレイに表示して、問題がないか確認する。このとき、画像に紐付けられたヘッダ情報もあわせてディスプレイに表示することができる。考査者は、必要に応じて、画像の入手経路、フォトブックの用途、著名人との関係等をユーザに問い合わせる。考査者による二次考査により問題が無いことが確認されると、サーバ装置１は、プリントデータを工場５へ送信する。

工場５では、プリント用画像を印画紙にプリントし、製本して、フォトブックを作製する。

このように、本実施形態によれば、考査処理装置としての機能を有するサーバ装置１が、ユーザがアップロードしたユーザ画像の考査（１次考査）を行い、著作権等を侵害しているか否かを判定する。サーバ装置１は、画像の撮影日時・撮影場所と、著名人が出演・出場するイベントの開催日時・会場とを比較し、比較結果が一致した画像についてシーン解析を行い、ＮＧシーン、すなわち著名人が写ったシーンを含むか否かを判定する。そのため、サーバ装置１は、ユーザ画像が著作権等を侵害しているか否かを精度良く判定できる。

考査者は、サーバ装置１により、著作権等を侵害している可能性が高く、二次考査が必要であると判定された画像だけを確認すればよい。そのため、人手（目視）で行う考査対象の画像数を削減し、考査の作業負荷を低減できる。多数のプリント注文があった場合でも、考査のための人的コストの増加を抑えると共に、フォトブックを早期に作製して、ユーザに納品することができる。

上記実施形態では、サーバ装置１にアップロードされたユーザ画像のヘッダ情報から撮影日時・撮影場所の情報を抽出し、イベント情報と比較する例について説明したが、イベント情報をユーザ端末７へ送信し、ユーザ端末７側で、ヘッダ情報内の撮影日時・撮影場所と、イベント情報との比較処理を行ってもよい。これにより、サーバ装置１での処理負荷を軽減できる。

上記実施形態では、撮影日時・撮影場所がイベント情報と一致した画像についてのみシーン解析を行う例について説明したが、サーバ装置１での計算量は増えるが、考査対象の全てのユーザ画像に対してシーン解析を行ってもよい。

イベント情報は、インターネット上のウェブサイトを検索して、自動的に収集してもよい。

上記実施形態において、サーバ装置１はウェブサーバ、ファイルサーバ、データベースサーバ等の複数のサーバで構成されていてもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１ サーバ装置
３ 考査者端末
５ 工場
６ 印画物
７ ユーザ端末
１０ 制御部
１１ 受信部
１２ 編集処理部
１３ ヘッダ情報抽出部
１４ 注文処理部
１５ 考査処理部
２０ 記憶部
３０ 通信部

Claims (5)

1. ユーザ端末からユーザ画像を受信する受信部と、
   前記ユーザ画像を用いた印画物の注文を受け付ける注文処理部と、
   イベントの開催日時及び開催場所の情報を含むイベント情報を記憶するイベント情報記憶部と、
   前記ユーザ画像に埋め込まれているヘッダ情報から前記ユーザ画像の撮影日時及び撮影場所の情報を抽出し、前記撮影日時及び撮影場所の情報と前記イベント情報との比較結果、及び前記ユーザ画像のシーン解析の解析結果に基づいて、前記ユーザ画像が、印画物の作製に使用してよい画像か、又は考査者による考査が必要な画像かを判定する考査処理部と、
   を備え、
   前記考査処理部は、前記撮影日時又は前記撮影場所の情報が前記イベント情報と一致しない場合、前記ユーザ画像は印画物の作製に使用してよい画像であると判定する、考査処理装置。
2. 前記考査処理部は、前記撮影日時及び撮影場所の情報と前記イベント情報とが一致するユーザ画像に対してシーン解析を行うことを特徴とする請求項１に記載の考査処理装置。
3. 複数の要注意キーワードと、各要注意キーワードに対応するスコアとを記憶するキーワード情報記憶部をさらに備え、
   前記考査処理部は、前記シーン解析により解析された前記ユーザ画像内のシーンの構成要素をキーワードとして抽出し、抽出したキーワードと、前記要注意キーワードとを比較し、一致した要注意キーワードのスコアを加算し、合計スコアが所定値以上である場合、前記ユーザ画像は考査者による考査が必要な画像であると判定することを特徴とする請求項２に記載の考査処理装置。
4. 前記ユーザ画像から前記ヘッダ情報を抽出するヘッダ情報抽出部と、
   前記ユーザ画像と編集アイテムとを合成したプリント用画像を生成する編集処理部と、
   前記プリント用画像を記憶するプリントデータ記憶部と、
   をさらに備え、
   前記編集処理部は、前記ユーザ画像から前記ヘッダ情報を破棄して前記プリント用画像を生成し、
   前記ヘッダ情報抽出部は、前記プリント用画像に含まれるユーザ画像に対応するヘッダ情報を前記プリント用画像に紐付けて前記プリントデータ記憶部に格納することを特徴とする請求項１乃至３のいずれかに記載の考査処理装置。
5. 請求項１乃至４のいずれかに記載の考査処理装置と、
   前記考査処理部により印画物作製可と判定されたユーザ画像を含むプリント用画像を物品に印画して印画物を作製するプリンタと、
   を備える印画物作製システム。

Images