(本発明の基礎となった知見)
Deep Learningを用いた一般物体認識に関する技術が検討されている。しかし、その認識性能を向上させるためには大量のタグ付き画像を学習対象として用意する必要があり、多くの人手と工数を必要とする。そのため、大量の画像へのタグ付け作業を依頼者が作業者に依頼するクラウドソーシングサービスの利用が想定される。
しかし、当該クラウドソーシングサービスを実施(提供)する際に、サービス提供者や依頼者にとっては、大量の画像を作業者に配信することになるので、画像に映りこんだ個人情報(人の顔や、場所・個人を特定できる情報など)に対するプライバシ保護が課題となる。
この際、画像中の全ての物体・オブジェクトに対してプライバシ保護の処理(プライバシ処理)を施してしまうと、作業者はタグ付け作業ができない。よって、画像中のよりプライバシ性の高い領域のみに対してプライバシ処理を施す必要がある。
また、プライバシ処理を行った画像の保管方式やアクセス方式に関して、一様にセキュリティ強度を高く設計すると、当該クラウドソーシングサービスのように大量の画像を扱うシステムにおいては、システムへの負荷が上がってしまう。すなわち、プライバシ処理(保管方式・アクセス方式)に関するセキュリティ強度の設計では、システムへの処理負荷(メモリ負荷)も考慮する必要がある。
また、作業者は、大量の画像に対してタグ付けをする作業を行う。多数のオブジェクトが写りこんでいる画像などに関しては、タグ付け対象のオブジェクトがどのオブジェクトかを即座に判断できないため、効率的なタグ付け作業ができない。すなわち、クラウドソーシングによるタグ付けサービスを実施(提供)する際には、プライバシ保護を満足しながらも、システム側の処理負荷を軽減し、さらに作業者によるタグ付け作業の効率化を図る必要がある。これらを満たすための技術的な解決策に関して、従来検討はされていなかった。
このような課題を解決するために、本発明の一態様に係る画像タグ付け装置は、第1メモリに保管されるマスタ画像の中のプライバシ情報に関連する第1物体に対応する第1領域画像を変更することで、前記マスタ画像に含まれるプライバシ情報を除去した第1画像を生成する第1機能部と、第1機能部で生成された前記第1画像を取得し、前記第1画像の中のタグ付け対象でない第2物体に対応する第2領域画像を変更することで作業依頼画像を生成する第2機能部と、前記画像タグ付け装置とネットワークを介して接続するタグ付け作業端末装置に前記生成された作業依頼画像を配信する作業依頼画像配信部と、前記タグ付け作業端末装置から前記ネットワークを介して、前記配信された作業依頼画像に対する応答としての画像タグ情報を受信する画像タグ情報受信部と、前記マスタ画像と前記画像タグ情報から、タグ付き画像を生成するタグ付き画像生成部と、を具備する。
この構成により、画像のタグ付け依頼者は、タグ付け作業者にプライバシ情報を除去した画像を作業依頼画像として配信することができ、作業者端末から作業依頼画像が流出した場合にプライバシ侵害を最小限に抑えることができる。また、タグ付け対象でない物体の画像領域には画像変更処理(モザイク、ぼかし、塗り潰し等)が行われているので、タグ付け作業者は、その部分に関しては、タグ付け対象の物体を探す必要がなくなり、その結果、対象物体に対する画像領域の切出し及びタグ付け作業の効率が向上する。
また、前記第2機能部は、第2メモリを含み、前記第2機能部は、前記受信した画像タグ情報を、前記第2メモリに保管し、前記第2機能部は、前記第2メモリに保管した前記画像タグ情報を前記タグ付き画像生成部へ出力してもよい。
また、前記第1機能部は、第1保管方式を用いて前記マスタ画像を前記第1メモリに保管し、前記第2機能部は、第2保管方式を用いて前記画像タグ情報を前記第2メモリに保管し、前記第1保管方式と、前記第2保管方式とは、互いに異なる保管方式としてもよい。
第1機能部と第2機能部とで異なるデータの保管方式を用いることにより、マスタ画像及びプライバシ情報が除去された画像のそれぞれについてタグ付け依頼者が規定するプライバシポリシに応じた方式で運用できる。この構成の方が、マスタ画像もプライバシ情報が除去された画像も一律の方式で運用するよりも、画像タグ付け装置の運用コスト(例えば、暗号強度に起因する、使用するメモリサイズや演算量、消費電力、それら設備の価格等)を削減できる。
また、前記第1保管方式は、前記第2保管方式よりも、セキュリティ強度が高い保管方式としてもよい。
また、前記第1保管方式は、第1暗号アルゴリズムを用いて、前記マスタ画像を暗号化し、前記暗号化したマスタ画像を第1メモリに保管する方式であり、前記第2保管方式は、第2暗号アルゴリズムを用いて、前記画像タグ情報を暗号化し、前記暗号化した画像タグ情報を第2メモリに保管する方式であってもよい。
また、前記第1機能部は、第1鍵データを用いて前記暗号化したマスタ画像を復号し、前記第2機能部は、第2鍵データを用いて前記暗号化した画像タグ情報を復号し、前記第1鍵データのビット長は、前記第2鍵データのビット長よりも大きくてもよい。
この構成により、外部からの不正なアクセスに対し、第2機能部に不正アクセスを許したとしても、第1機能部の不正アクセスに必要な暗号解析計算量、認証解析計算量等は、第2機能部への不正アクセスに必要な暗号解析計算量、認証解析計算量等よりも大きい。したがって、第1機能部については、不正アクセス対策のための時間を稼ぐことができる。
また、前記第1機能部が前記第1メモリに保管する前記マスタ画像にアクセスするときの第1アクセス方式は、前記第2機能部が前記第2メモリに保管する前記タグ付き画像にアクセスするときの第2アクセス方式と異なってもよい。
この構成により、第1機能部と第2機能部とでデータのアクセス方式が異なることにより、マスタ画像及びプライバシ情報が除去された画像を一律の方式で運用する方よりも、タグ付け依頼者が規定するプライバシポリシに応じた方式で運用できる。この構成の方が、画像タグ付け装置の運用コスト(例えば、暗号強度に起因する、使用するメモリサイズや演算量、消費電力、それら設備の価格等)を削減できる。
また、前記第1アクセス方式は、前記第2アクセス方式よりも、セキュリティ強度が高いアクセス方式であってもよい。
また、前記第1機能部が用いる前記第1アクセス方式は、前記第2機能部が用いる前記第2アクセス方式よりも、より大きなメモリ領域を必要としてもよい、また、前記第1機能部が用いる前記第1アクセス方式は、前記アクセスに必要な演算量が第2アクセス方式より多くてもよい。
この構成により、第1機能部のセキュリティ強度は高くなり、また、画像タグ付け装置の全機能部を一律に暗号演算の使用メモリサイズ及びステップ数を大きくした構成と比較して、運用コストを削減できる。
また、前記第1機能部は、第1画像変更部を具備し、前記第2機能部は、第2画像変更部を具備し、前記第1画像変更部は、前記マスタ画像の中の前記第1物体を検出し、前記検出した前記第1物体に対応する前記第1領域画像を変更し、前記第2画像変更部は、前記第1画像の中の前記第2物体を検出し、前記検出した第2物体に対応する第2領域画像を変更するのでもよい。
また、前記第1物体は、異なる種類の物体を含み、前記第1画像変更部は、複数の画像変更器を含み、前記複数の画像変更器は、それぞれ、前記異なる種類の物体を前記マスタ画像の中から検出し、前記検出した物体に対応する領域の画像を変更してもよい。
第1機能部が1つの画像変更器のみで画像を変更するのではなく、様々な一般物体に対する画像変更器を逐次もしくは並列に駆動させて画像を変更することによって、作業依頼画像において、プライバシ保護のために画像変更された画像領域の面積を大きくすることができる。
また、前記第2物体は、異なる種類の物体を含み、前記第2画像変更部は、複数の画像変更器を含み、前記複数の画像変更器は、それぞれ、前記異なる種類の物体を前記第1画像の中から検出し、前記検出した物体に対応する領域の画像を変更してもよい。
この構成により、第2機能部が1つの画像変更器のみで画像を変更するのではなく、様々な一般物体に対する画像変更器を逐次もしくは並列に駆動させて画像を変更することによって、作業依頼画像において、タグ付け作業効率化のために画像変更された画像領域の面積を大きくすることができる。
また、前記第1画像変更部は、プライバシ保護が必要と事前に設定された物体を前記第1物体として、前記マスタ画像の中から検出し、前記マスタ画像の中の前記検出した第1物体に対応する前記第1領域画像を変更する第1画像変更器を具備してもよい。
この構成により、人物、ナンバプレート、看板の文字等のプライバシに関する物体をそれぞれ、第1の物体として検出・画像変更する画像変更器群を駆動させる。これによって、作業依頼画像におけるプライバシ保護のために画像変更された画像領域の面積を大きくすることができる。
また、前記第2画像変更部は、前記タグ付け対象でないと設定された物体を前記第2物体として前記第1画像の中から検出し、前記第1画像の中の前記検出した第2物体に対応する前記第2領域画像の画像を変更する第2画像変更器を具備してもよい。
この構成により、画像タグ付け作業に不要な物体を検出・画像変更する画像変更器群を駆動させる。これによって、作業依頼画像におけるタグ付け効率化のために画像変更された画像領域の面積を大きくすることができる。
また、前記第2画像変更部は、前記第2画像変更器によって前記第2領域画像が変更された前記第1画像において、前記第1領域画像及び前記第2領域画像とは異なる領域画像のうち、予め定めた条件を満足する部分の領域の画像を変更する穴埋め処理部を具備してもよい。
この構成により、作業依頼画像に対するタグ付け効率化のために画像変更された画像領域の面積を大きくすることができる。
また、前記第2画像変更部は、前記第1画像変更器及び前記第2画像変更器によって前記第2領域画像が変更された前記第1画像において、前記第1領域画像及び前記第2領域画像とは異なる領域画像の面積を演算し、前記面積が閾値以上であった場合、当該領域画像を含む矩形画像を前記作業依頼画像とする事前切出し処理部を具備してもよい。
この構成により、タグ付け対象の画像領域が大部分を占める画像を配布することができ、タグ付けの作業の効率が向上する。
また、前記第1画像変更部は、(i)人物を前記第1物体として前記マスタ画像の中から検出して、前記検出した第1物体に対応する第1領域画像を変更する、人物画像変更器、(ii)車両のナンバーを前記第1物体として前記マスタ画像の中から検出して、前記検出した第1物体に対応する第1領域画像を変更する、ナンバプレート画像変更器、及び、(iii)文字を前記第1物体として前記マスタ画像の中から検出して、前記検出した第1物体に対応する第1領域画像を変更する、文字画像変更器、のうち少なくとも一つを含んでもよい。
前記第2画像変更部は、(i)空を前記第2物体として前記第1画像の中から検出して、前記第1画像の中の前記検出した第2物体に対応する第2領域画像を変更する、上空画像変更器、(ii)道路を前記第2物体として前記第1画像の中から検出して、前記第1画像の中の前記検出した第2物体に対応する第2領域画像を変更する、道路画像変更器、(iii)植物を前記第2物体として前記第1画像の中から検出して、前記第1画像の中の前記検出した第2物体に対応する第2領域画像を変更する、植物画像変更器、及び、(iv)建築物を含むランドマークを前記第2物体として前記第1画像の中から検出して、前記第1画像の中の前記検出した第2物体に対応する第2領域画像を変更する、ランドマーク変更器、のうち少なくとも一つを含んでもよい。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
(提供するサービスの全体像)
まず、本実施の形態における画像タグ付け装置が提供するクラウドソーシングサービスの全体像について説明する。
図15Aは、本実施の形態における画像タグ付け装置が提供するクラウドソーシングサービスの全体像を示す図である。このクラウドソーシングサービスは、図15Aに示される情報管理システムを利用して提供される。
グループ1100は、例えば企業、団体又は家庭等であり、その規模を問わない。グループ1100は、第1の機器及び第2の機器を含む複数の機器1101及びホームゲートウェイ1102を備える。複数の機器1101は、インターネットと接続可能な機器(例えば、スマートフォン、パーソナルコンピュータ(PC)又はテレビ等)を含む。複数の機器1101は、それ自身ではインターネットと接続不可能であっても、ホームゲートウェイ1102を介してインターネットと接続可能となる機器を含んでもよい。また、タグ付け作業者1010は、グループ1100内の複数の機器1101を使用する。複数の機器1101は、例えば、後述する図1に示すタグ付け作業端末装置103A、タグ付け作業端末装置103B、タグ付け作業端末装置103C、またはタグ付け作業端末装置103Dである。
データセンタ運営会社1110は、クラウドサーバ1111を備える。クラウドサーバ1111は、インターネットを介して様々な機器と連携する仮想化サーバである。クラウドサーバ1111は、主に通常のデータベース管理ツール等で扱うことが困難な巨大なデータ(ビッグデータ)等を管理する。データセンタ運営会社1110は、データの管理、クラウドサーバ1111の管理、及びそれらを行うデータセンタの運営等を行っている。データセンタ運営会社1110が行っている役務の詳細については後述する。
ここで、データセンタ運営会社1110は、データの管理又はクラウドサーバ1111の管理のみを行っている会社に限らない。例えば、図15Bに示すように、複数の機器1101のうちの一つの機器を開発又は製造している機器メーカが、データの管理又はクラウドサーバ1111の管理等を行っている場合は、機器メーカがデータセンタ運営会社1110に該当する。また、データセンタ運営会社1110は一つの会社に限らない。例えば、図15Cに示すように、機器メーカ及び管理会社が共同又は分担してデータの管理又はクラウドサーバ1111の管理を行っている場合は、両者又はいずれか一方がデータセンタ運営会社1110に該当する。
サービスプロバイダ1120は、サーバ1121を備える。ここで言うサーバ1121とは、その規模は問わず、例えば、個人用PC内のメモリ等も含む。また、サービスプロバイダ1120がサーバ1121を備えていない場合もある。
ここで、後述する画像タグ付け装置101に含まれる各構成の一部または全部が、クラウドサーバ1111内に備えられていてもよいし、サーバ1121内に備えられていてもよい。
なお、上記の情報管理システムにおいて、ホームゲートウェイ1102は必須ではない。例えば、クラウドサーバ1111が全てのデータ管理を行っている場合等は、ホームゲートウェイ1102は不要となる。また、家庭内の全ての機器がインターネットに接続されている場合のように、それ自身ではインターネットと接続不可能な機器は存在しない場合もホームゲートウェイ1102は不要である。
次に、上記の情報管理システムにおける情報の流れを説明する。
まず、グループ1100の第1の機器又は第2の機器は、画像タグ情報をデータセンタ運営会社1110のクラウドサーバ1111に送信する。クラウドサーバ1111は、第1の機器又は第2の機器の画像タグ情報を集積する(図15Aの矢印1131)。なお、画像タグ情報は、インターネットを介して複数の機器1101自体から直接、クラウドサーバ1111に提供されてもよい。また、画像タグ情報は、複数の機器1101から一旦、ホームゲートウェイ1102に集積され、ホームゲートウェイ1102からクラウドサーバ1111に提供されてもよい。
次に、データセンタ運営会社1110のクラウドサーバ1111は、集積した画像タグ情報を一定の単位量でサービスプロバイダ1120に提供する。ここで、一定の単位量とは、データセンタ運営会社1110が集積した情報を整理してサービスプロバイダ1120に提供することのできる単位量でもよいし、サービスプロバイダ1120が要求する単位でもよい。また、一定の単位量での提供に代えて、状況に応じて提供する情報量が変化してもよい。画像タグ情報は、必要に応じてサービスプロバイダ1120が保有するサーバ1121に保存される(図15Aの矢印1132)。そして、サービスプロバイダ1120は、画像タグ情報をタグ付け依頼者1020に提供する(図15Aの矢印1134)。
タグ付け作業者1010への作業依頼画像情報(例えば、タグ付け対象の画像データや配信画像を一意に示すID、何の物体が写った画像をタグ付けして欲しいのかを示す依頼情報等)の配信方法としては、例えば、サービスプロバイダ1120から直接タグ付け作業者1010へ作業依頼画像情報が配信されてもよい(図15Aの矢印1133)。または、作業依頼画像情報がサービスプロバイダ1120からデータセンタ運営会社1110のクラウドサーバ1111を経由して配信されてもよい(図15Aの矢印1135,1136)。
(実施の形態)
本実施の形態では、一例として、道路標識(警戒標識、規制標識、指示標識等)のタグ付き画像を生成するための画像タグ付け装置101について図1を用いて説明する。また、図11に本実施の形態における画像タグ付け装置101の処理フローを示す。
画像タグ付け装置101とタグ付け作業端末装置103A〜103Dは、ネットワーク102を介して接続されており、このネットワーク102経由でデータの送受信を行う。
画像タグ付け装置101は、第1機能部104と、第2機能部105と、作業依頼画像配信部110Aと、画像タグ情報受信部113とで構成される。
また、画像タグ付け装置101は、ハードウェア構成としては、例えば、図示しないプロセッサとメモリなどを有する。メモリには、例えば、プログラムが記憶されている、プログラムは、例えば、第1機能部104、第2機能部105、作業依頼画像配信部110A、及び画像タグ情報受信部113のうちの少なくとも一つを機能させるためのプログラムである。プロセッサがプログラムを実行することにより、第1機能部104、第2機能部105、作業依頼画像配信部110A、及び画像タグ情報受信部113のうちの少なくとも一つが機能する。
また、第1機能部104、第2機能部105、作業依頼画像配信部110A、及び画像タグ情報受信部113のそれぞれに対応するプログラムがメモリに記憶されていれば、プロセッサがこれらのプログラムを実行することで、第1機能部104、第2機能部105、作業依頼画像配信部110A、及び画像タグ情報受信部113がそれぞれ機能する。
また、画像タグ付け装置101は、第1機能部104、第2機能部105、作業依頼画像配信部110A、及び画像タグ情報受信部113のうちの少なくとも1つの機能を組み込んだ集積回路を含んでもよい。この構成により、集積回路に組み込まれた機能に対応するプログラムは不要となる。
第1機能部104は、図1に示すようにタグ付き画像生成部116と、マスタ画像保管部106と、第1画像変更部107とを備える。
第1機能部104は、他の機能部と比較して、セキュリティ強度が高いポリシで構築される。他の機能部とは、例えば第2機能部105である。
第1機能部104は、例えば、図示しない第1メモリを含む。セキュリティの観点から第1メモリへのアクセスは第1機能部104のみが行えることが望ましいが、そうでなくてもよい。
第2機能部105は、例えば、図示しないメモリ(第2メモリ)を含む。セキュリティの観点から第2メモリへのアクセスは第2機能部105のみが行えることが望ましいが、そうでなくてもよい。
第1機能部104は、所定の保管方式(第1保管方式)を用いて、第1メモリにデータを格納する。
また、第2機能部105は、所定の保管方式(第2保管方式)を用いて、第2メモリにデータを保管する。
第1保管方式と、第2保管方式とは、互いに異なる保管方式であり、第1保管方式は、第2保管方式と比較して、よりセキュリティ強度の高い保管方式である。
保管方式とは、例えば、データの暗号化方式である。
例えば、第2機能部は、データの暗号化方式にブロック長128ビットのAdvanced Encryption Standard(AES)方式(第2暗号化方式)を用いてデータを暗号化し、第2メモリに記憶する。
これに対し、第1機能部104は、ブロック長256ビットのAES方式(第1暗号化方式)を用いてデータを暗号化し、第1メモリに記憶する。
第1の暗号化方式は、第2の暗号化方式よりもブロック長のビット長が大きいAES方式であるため、第2の暗号化方式よりも、よりセキュリティ強度が高い。
また、第1機能部104は、所定のアクセス方式(第1アクセス方式)を用いて第1メモリが保管する暗号化されたデータへのアクセスを行う。
また、第2機能部105は、所定のアクセス方式(第2アクセス方式)を用いて第2メモリが保管する暗号化されたデータへのアクセスを行う。
第1アクセス方式と、第2アクセス方式とは、互いに異なるアクセス方式であり、第1アクセス方式は、第2アクセス方式よりセキュリティ強度の高いアクセス方式である。
暗号化されたデータへのアクセス方式とは、暗号化されたデータを鍵データを用いて復号した後、復号化されたデータを得る方式である。
例えば、第1機能部104は、第1メモリが保管する暗号化されたデータにアクセスする場合、暗号化されたデータを、所定の鍵データを用いて復号する。
第1機能部104は、暗号化されたデータにアクセスする場合、第1メモリにおいて、復号を行うための領域を一時的に確保し、この領域において、暗号化されたデータの復号を行うとともに、復号したデータを用いた処理を行う。
また、第1メモリが暗号化されたデータを複数保管する場合、第1機能部104は、同じ鍵データを用いて復号をしてもよいし、複数の暗号化されたデータのそれぞれに対して異なる鍵データを用いて復号をしてもよい。
本実施の形態では、第1機能部104が復号に利用する鍵データを第1鍵データとして説明を行う。
また、例えば、第2機能部105は、第2メモリが保管する暗号化されたデータにアクセスする場合、暗号化されたデータを、所定の鍵データを用いて復号する。
第2機能部105は、暗号化されたデータにアクセスする場合、第2メモリにおいて、復号を行うための領域を一時的に確保し、この領域において、暗号化されたデータの復号を行うとともに、復号したデータを用いた処理を行う。
また、第2メモリが暗号化されたデータを複数保管する場合、第2機能部105は、同じ鍵データを用いて復号をしてもよいし、複数の暗号化されたデータのそれぞれに対して異なる鍵データを用いて復号をしてもよい。
本実施の形態では、第2機能部105が復号に利用する鍵データを第2鍵データとして説明を行う。
第1機能部104が復号に利用する鍵データのビット長は、第2機能部105が復号に利用する鍵データのビット長よりも大きい。
結果、データのサイズが同じ場合、第1機能部104が利用する第1暗号化方式により暗号化されたデータを復号するときに確保すべきメモリの領域は、第2機能部105が利用する第2暗号化方式により暗号化されたデータを復号するときに確保すべきメモリの領域よりも大きい。
また、データのサイズが異なる場合であっても、第2暗号化方式よりもセキュリティ強度の高い第1暗号化方式を用いる第1機能部104が復号時に確保すべきメモリの領域は、第2機能部105が復号時に確保すべきメモリの領域よりも大きい場合が多い。
また、第1機能部104が利用する第1暗号化方式により暗号化されたデータを復号するときに必要な演算量は、第2機能部105が利用する第2暗号化方式により暗号化されたデータを復号するときに必要な演算量よりも多い。
なお、第2機能部105、作業依頼画像配信部110A、画像タグ情報受信部113のセキュリティ強度が同じでも構わない。
以上のように構成される画像タグ付け装置101では、図11に示すように、まず、第1機能部104が配信開始命令を受信する(ステップS101)。この配信開始命令は、少なくとも配信する画像を一意に示すID(シーンID)を含む。シーンIDは、数字、文字、記号等で構成される。
次に、配信開始命令を受信すると、第1画像変更部107が、マスタ画像保管部106からシーンIDに対応する画像(マスタ画像)を取得する(ステップS102)。
図2は、マスタ画像保管部106がマスタ画像を保管する構成の一例を示す図である。マスタ画像202は、任意の時間に任意の場所で撮影された画像であり、プライバシ情報を含む可能性もある。マスタ画像保管部106は、マスタ画像202をシーンID201に対応付けて保管する。当然、このように管理された画像が複数保管されていても構わない。マスタ画像保管部106は、第1メモリ(図示せず)のうちの一部の領域である。マスタ画像保管部106は、第1機能部104が利用するデータを保管する。第1メモリとは、例えば、書き込み可能なメモリ、ハードディスクなどである。
第1機能部104は、例えば、マスタ画像を第1保管方式でマスタ画像保管部106に保管する。第1保管方式とは、ブロック長256ビットのAES方式(第1暗号方式)を用いてマスタ画像を暗号化し、暗号化したマスタ画像をマスタ画像保管部106に保管する方式である。
また、第1機能部104は第1アクセス方式を用いて、マスタ画像保管部106に保管されている暗号化されたマスタ画像へのアクセスを行う。第1アクセス方式とは、暗号化されたマスタ画像を、第1鍵データを用いて復号して復号したマスタ画像を得る方式である。暗号化されたマスタ画像を復号化するときに用いる第1鍵データは、例えば、第1機能部104が管理する第1メモリに予め記憶されている。
次に、第1画像変更部107は、マスタ画像のプライバシ情報を除去するための画像変更処理を行う(ステップS103)。
図12は、第1画像変更部107が、本実施の形態におけるマスタ画像の中のプライバシ情報を除去するための画像変更処理に関するフロー図を示す。マスタ画像の中のプライバシ情報の除去とは、例えば、マスタ画像の中の、プライバシ情報に関連する物体の画像を変更することで、このマスタ画像から当該物体を特定できなくすることである。
ここで、第1画像変更部107は、マスタ画像保管部106の暗号化されたマスタ画像に第1アクセス方式を用いてアクセスし、復号化されたマスタ画像を得ているものとする。以後の説明において、復号化されたマスタ画像を、マスタ画像と称して説明を行う。第1画像変更部107による画像変更処理の一例を、図3に示すマスタ画像を用いて説明する。
第1画像変更部107は、マスタ画像の中のプライバシ情報に関連する物体(第1物体)を検出する。第1画像変更部107は、更に、マスタ画像の中の検出した第1物体に対応する第1領域の画像(第1領域画像)を変更する。
プライバシ情報に関連する物体は、1つでも複数でもよいし、複数種類にわたってもよい。
本実施の形態では、プライバシ情報に関連する複数種類の物体とは、人物、車のナンバプレート、文字情報を含む物体である場合を例に説明をする。
本実施の形態では、プライバシ情報に関連する物体が複数ある場合、それぞれの物体に対応する変更器を含む。各変更器は、対応する物体をマスタ画像の中から検出し、マスタ画像において、検出した物体(第1物体)に対応する領域の画像(第1領域画像)を変更する。
本実施の形態では、プライバシ情報に関連する物体とは、人物、車のナンバプレート、文字情報を含む物体の3つであるため、第1画像変更部107は、人体画像変更器107A、ナンバプレート画像変更器107B、文字画像変更器107Cの3つを含む。
また、第1画像変更部107は、プライバシに関連する特定の種類の物体を検出し、検出した物体に対応する領域の画像を変更する変更器を複数含んでもよい。複数の変更器は、検出する物体の種類が互いに異なる。この場合、第1画像変更部107は、例えば、プライバシ情報に関連する物体の種類に関する情報を第1メモリに予め設定し、設定された種類の物体に対応する変更器を複数の変更器の中から選択し、動作させてもよい。
この場合、例えば、画像タグ付け装置101を操作する者は、各マスタ画像から第1画像を生成するとき、当該マスタ画像の中のプライバシ情報に関連する物体に関する情報を第1メモリに設定してもよい。
このようにすることで、第1画像変更部107は、マスタ画像の中のプライバシ情報に関連する物体に関する情報を第1メモリから読み出して、当該マスタ画像の中の、プライバシ情報に関連する物体に対応する領域の画像を変更することができる。
このようにすれば、マスタ画像毎に必要な第1画像変更部107の変更器のみを動作させることができるので、第1画像変更部107における処理の時間が短くなることが期待できる。
また、プライバシ情報に関連する物体をマスタ画像の中から検出するには、例えば、パターンマッチングを用いた方法、学習アルゴリズムを用いた方法といった既存の手法を用いて検出できるので、ここでは、詳細な説明を省略する。
まず、人体画像変更器107Aがマスタ画像に対して物体検出を行い、物体301を人物と判定し、その領域の画像を変更する(ステップS201)。次にナンバプレート画像変更器107Bが、マスタ画像に対して物体検出を行い、物体302をナンバプレートと判定し、その領域の画像を変更する(ステップS202)。そして、文字画像変更器107Cが、マスタ画像に対して物体検出を行い、物体303を文字画像と判定し、その領域の画像を変更する(ステップS203)。
ここで、ステップS201〜ステップS203のそれぞれにおいて、該当する領域の画像を変更する処理とは、例えば、該当する領域の画像を所定の色(例えば、黒色)で塗りつぶす処理である。
図4は、マスタ画像の中から検出された物体301、物体302、物体303のそれぞれに対応する領域の画像が変更された結果の一例(1次変更画像)を示す図である。
図4に示すように、1次変更画像では、図3に示すマスタ画像の中の人物に対応する物体301の領域の画像、車のナンバプレートに対応する物体302に対応する領域の画像、及び文字を含む物体303の文字の部分の領域の画像が、それぞれ、黒く塗りつぶされている。
人物に対応する物体301の領域の画像が黒く塗りつぶされることにより、人物が写っているのは、認識できるが、写っている人物が誰であるのかは特定できなくなる。また、車のナンバプレートに対応する物体302に対応する領域の画像が黒く塗りつぶされているので、ナンバプレートに基づいて車の所有者を特定することはできなくなる。また、文字を含む物体303の文字の部分が黒く塗りつぶされるので、マスタ画像を撮影した場所を文字情報から特定することはできなくなる。
第1画像変更部107の画像変更処理によって、マスタ画像に含まれるプライバシ情報が除去された1次変更画像(第1画像)が生成される。また、法制度や一般社会の認識の変化に伴い、プライバシ情報になり得る物体が新たに発生した場合は、その物体に対応した画像変更器を追加する。
なお、図12では、人体画像変更器107A、ナンバプレート画像変更器107B、文字画像変更器107Cの各画像変更処理のフローが逐次的に示されているが、並列に処理されても構わない。また、その画像変更処理は1種類に限定されず、例えば人体画像変更器107Aによる画像変更処理はモザイク処理であり、他の変更部による変更処理は塗りつぶし処理でも構わない。
次に、第1機能部104(より具体的には、第1画像変更部107)により生成された1次変更画像は、第2機能部105(より具体的には、第2画像変更部109)に送信される(ステップS104)。第2機能部105は、生成された1次変更画像を第1機能部104から取得する。第2機能部105(より具体的には、第2画像変更部109)は1次変更画像に対して画像変更処理を行う(ステップS105)。
1次変更画像には、タグ付き画像の生成の対象となる物体である道路標識(警戒標識、規制標識、指示標識等)以外に、植物、建築物(鉄塔)などが含まれる。
植物及びランドマークの一例である建築物(鉄塔)などはプライバシ情報とは関連性は低いかもしれないが、タグ付け作業者の立場で考えると、画像の中でタグ付け作業を行うべき部分の特定に時間がかかる要因になることも考えられる。
そこで、第2画像変更部109は、例えば、図4に示す1次変更画像(マスタ画像からプライバシ情報を除去した第1画像)において、更に、タグ付け対象でない物体(第2物体)を検出し、1次変更画像において検出した第2物体に対応する第2領域の画像(第2領域画像)を変更する。
タグ付け対象でない物体は、1つでも複数でもよいし、複数種類にわたってもよい。
タグ付け対象でない物体が、複数ある場合、第2画像変更部109は、それぞれの物体に対応する変更器を含む。各変更器は、対応する物体を1次変更画像の中から検出し、1次変更画像において、検出した物体に対応する領域の画像(第2領域画像)を変更する。
本実施の形態では、タグ付け対象でない物体とは、空、道路、植物、ランドマークである例を説明する。
本実施の形態では、タグ付け対象でない物体とは、空、道路、植物、ランドマークの4つであるため、第2画像変更部109は、上空画像変更器109A、道路画像変更器109B、植物画像変更器109C、ランドマーク画像変更器109Dを含む。
また、第2画像変更部109は、予め定められた特定の種類の物体を検出し、検出した物体に対応する領域の画像を変更する変更器を複数含んでもよい。複数の変更器は、検出する物体の種類が互いに異なる。この場合、例えば、第2画像変更部109は、例えば、タグ付け対象でない種類の物体に関する情報を第2メモリに予め設定し、設定された種類の物体に対応する変更器を複数の変更器の中から選択し、動作させてもよい。
この場合、例えば、画像タグ付け装置101を操作する者は、各マスタ画像から作業依頼画像を生成するとき、当該マスタ画像の中のタグ付け対象でない物体に関する情報を第2メモリに設定すればよい。
このようにすることで、第2画像変更部109は、タグ付け対象でない物体に関する情報を第2メモリから読み出して、1次変更画像(またはマスタ画像)の中のタグ付け対象でない物体に対応する領域の画像を変更することができる。
このようにすれば、マスタ画像毎に必要な第2画像変更部109の変更器のみを動作させることができるので、第2画像変更部109における処理の時間が短くなることが期待できる。
また、タグ付け対象でない物体を第1画像の中から検出するには、例えば、パターンマッチングを用いた方法、学習アルゴリズムを用いた方法といった既存の手法を用いて検出できるので、ここでは、詳細な説明を省略する。
また、第2画像変更部109は、更に、穴埋め処理器109E、及び、事前切出し処理器109Fを含む。
図13は、第2画像変更部109における本実施の形態での1次変更画像に対する画像変更処理に関するフロー図を示す。
まず、使用画像変更部情報保管部108から、1次変更画像からの画像変更に使用する画像変更部を規定する設定情報を取得し、使用する画像変更器を決定する(ステップS301)。本実施の形態では、上空画像変更器109A、道路画像変更器109B、植物画像変更器109C、ランドマーク画像変更器109D、穴埋め処理器109E、及び事前切出し処理器109Fが記述された設定情報を使用画像変更部情報保管部108から取得する。使用画像変更部情報保管部108に保管される設定情報は、例えば、タグ付け依頼者によって事前に記述された情報であっても良いし、また、配信開始命令に含まれたデータに基づき、自動的に上書き保管された情報であっても良い。
使用画像変更部情報保管部108は、例えば、第2機能部105が管理する第2メモリ(図示せず)のうちの一部の領域である。第2メモリとは、例えば、書き込み可能なメモリ、ハードディスクなどである。
第2機能部105は、例えば、設定情報を第2保管方式で使用画像変更部情報保管部108に保管する。第2保管方式とは、ブロック長128ビットのAES方式(第2暗号方式)を用いて画像タグ情報901を暗号化し、暗号化した設定情報を使用画像変更部情報保管部108に保管する方式である。
また、第2機能部105は第2アクセス方式を用いて、使用画像変更部情報保管部108に保管されている暗号化されたデータに対応する設定情報へのアクセスを行う。第2アクセス方式とは、暗号化された設定情報を、第2鍵データを用いて復号して設定情報を得る方式である。暗号化された設定情報を復号化するときに用いる第2鍵データは、例えば、第2機能部105が管理する第2メモリに予め記憶されている。
次に、1次変更画像に対して設定情報に基づいて画像処理を行う。まず、上空画像変更器109Aが1次変更画像に対して物体検出を行い、物体304を空と判定し、その領域の画像を変更する(ステップS302)。次に、道路画像変更器109Bが、1次変更画像に対して物体検出を行い、物体305を道路と判定し、その領域の画像を変更する(ステップS303)。次に、植物画像変更器109Cが、1次変更画像に対して物体検出を行い、物体306を植物と判定し、その領域の画像を変更する(ステップS304)。そして、ランドマーク画像変更器109Dが、1次変更画像に対して物体検出を行い、物体306をランドマーク(例えば、塔や城などの象徴的な建築物や自然物)と判定し、その領域の画像を変更する(ステップS305)。図5は、図13のステップS305までに示した各画像変更処理が全て塗りつぶし処理の場合における、1次変更画像がさらに画像変更処理された結果の一例を示す図である。
図5に示すように、図4に示す1次変更画像の中の空に対応する物体304、道路に対応する物体305、植物に対応する物体306、及びランドマークに対応する物体307が、更に、黒く塗りつぶされているのがわかる。
次に、穴埋め処理器109Eが、穴埋め処理を行う。穴埋め処理は、1次変更画像において、上空画像変更器109A、道路画像変更器109B、植物画像変更器109C、及びランドマーク画像変更器109Dによる処理がなされた後の画像(図5の画像)に対して行われる。
例えば、図5に示す画像において、例えば、道路標識に対応する領域の画像、車に対応する領域の画像、壁に対応する領域の画像は、第1画像変更部107及び第2画像変更部により変更されなかった領域の画像である。但し、壁に対応する領域の画像においては、文字を示す部分の画像については、第1画像変更部107により変更がなされている。
このうち、壁の画像において文字情報を黒く塗りつぶした部分の間には壁の画像が変更されないままに残っている。また、植物の輪郭部分に対応する画像が、変更されないままに残っている。これらの部分に対応する領域の画像は、例えば、横方向または縦方向の画素の数が少ないので、画像の変更の処理を行ったとしても影響は少ない。
穴埋め処理は、例えば、変更されないままに残っている領域の画像の中から、上述するような変更しても影響のない領域の画像を検出し、変更を行うものである。
穴埋め処理は、具体的には、例えば、図5に示す画像において、第1領域画像とも第2領域画像とも異なる領域画像(つまり、変更されないままに残っている画像領域)を走査し、所定の条件を満足する一部の領域について、変更を行う。(ステップS306)。
穴埋め処理は、例えば、縦方向における位置を固定して横方向に上述の領域画像を走査したとき横方向の連続する画素の数が所定の閾値(第1の閾値)以下であれば、これらの画素の画素値について変更を行う。
穴埋め処理は、例えば、横方向における位置を固定して縦方向に上述の領域画像を走査したとき縦方向の連続する画素の数が所定の閾値(第2の閾値)以下であれば、これらの画素の画素値について変更を行う。
穴埋め処理は、例えば、上述の領域画像を走査したとき、所定の閾値(第3の閾値)以下の面積を有する領域の画像について変更を行う。
このようにすることで、例えば、図5に示す画像において、第1領域画像とも第2領域画像とも異なる領域画像のうち変更しても影響の少ない領域の画像を変更できる。
図6は、図5に示した画像がステップS306によって画像変更処理された結果の一例である。
図6に示すように、穴埋め処理がされた画像では、図5に示した画像の中の、壁の画像において文字情報を黒く塗りつぶした部分の間、植物の輪郭部分のそれぞれに対応する領域の画像が、更に、黒く塗りつぶされている。
そして、事前切出し処理器109Fが、事前切出し処理を行う。事前切出し処理は、例えば、図6において、第1領域画像、第2領域画像、及び穴埋め処理された領域の画像のいずれとも異なる領域の画像に対応する画像未変更領域を走査し、画像未変更領域の面積が、予め定めた閾値(第4の閾値:事前切出し処理用の面積閾値情報)以上であれば、その領域を内包する矩形画像を図6より生成する(ステップS307)。図7Aは、図6に示した画像がステップS307によって画像変更処理された結果の一例である。図7Aに示す画像は、図6に示す画像から、道路標識、車、壁を含む部分の矩形画像を抽出することで図7Aに示す画像が生成される。例えば、図6に示す画像の上端部付近の画像が切り取られ、図7Aに示す画像が生成されている。本実施の形態では、この画像が作業依頼画像となる。このようにすることにより、作業依頼画像のサイズを小さくできる。
なお、事前切出し処理器109Fは、実行した処理の内容を示す情報をシーンIDと対応付けた切出し処理情報を生成して切出し処理情報保管部115に保管する(ステップS308)。切出し処理情報保管部115は、第2機能部に含まれる第2メモリの領域うち、使用画像変更部情報保管部108に対応する領域とは異なる領域である。図7Bは、切出し処理情報701の構成を示す例である。シーンID702には、図2のシーンID201と同じ内容の情報(この例では、123450)が格納される。切出し情報703には、事前切出し処理によって削除された範囲を示す情報が格納される。この例では、上端から(TはTOPの意味)180という数値で表わされる範囲(単位は任意)が削除されたことを示す。切出し情報703の形式はこの例に限定されず、例えば座標形式が用いられてもよい。事前切出し処理によって作業依頼画像として残された範囲、又は作業依頼画像から除かれた範囲が分かればよい。
第2機能部105は、例えば、事前切出し処理器109Fから出力された切出し処理情報701を第2保管方式で切出し処理情報保管部115に保管する。第2保管方式とは、ブロック長128ビットのAES方式(第2暗号方式)を用いて切出し処理情報701を暗号化し、暗号化した切出し処理情報701を画像タグ切出し処理情報保管部115に保管することである。
また、第2機能部105は第2アクセス方式を用いて、切出し処理情報保管部115に保管されている暗号化されたデータに対応する切出し処理情報701へのアクセスを行う。
第2アクセス方式とは、暗号化された切出し処理情報701を、第2鍵データを用いて復号して切出し処理情報701を得ることである。
暗号化された切出し処理情報701を復号化するときに用いる第2鍵データは、例えば、第2機能部105が管理する第2メモリに予め記憶されている。
なお、上述の閾値情報(第1の閾値、第2の閾値、第3の閾値、第4の閾値など)は、事前に設定された情報であっても良いし、例えば、配信開始命令に含まれたデータによって、生成された情報であっても良い。
ステップS105における第2画像変更部109による画像変更処理が完了した後、作業依頼画像配信部110Aが、ネットワーク102を経由して、作業依頼画像(図7A)及び対応するシーンID(図2の201)をタグ付け作業端末装置103A〜103Dのうちの少なくとも1つに配信する(ステップS106)。ここでは、タグ付け作業端末装置103Aに配信するときを例に説明を行うが、タグ付け作業端末装置103B〜103Dに配信する場合についても同様である。
ここで、タグ付け作業端末装置103Aは、例えば、作業依頼画像受信部110、画像タグ情報生成部111、画像タグ情報送信部112で構成される。なお、タグ付け作業端末装置103B〜103Dについても同様の構成である。
まず、作業依頼画像受信部110が作業依頼画像及び対応するシーンIDを受信する(ステップS107)。
次に、画像タグ情報生成部111が、例えば、図8に示すユーザインタフェイスをタグ付け作業者に提供する。タグ付け作業者は、作業依頼画像を見て、該当する画像領域801を指定してタグ802を付ける。タグのバリエーションは、画像タグ付け装置101が、タグ付け作業端末装置103Aに作業依頼以前に配信しても構わないし、ステップS106のタイミングの配信でも構わない。
また、本実施の形態では、道路標識のアイコンでタグを示しているが、例えば、タグ付け作業者がキーボードやタッチパネル等で入力した文字列をタグとしても構わない。タグ付け後、その画像領域801とタグ802に基づいて画像タグ情報901を生成する(ステップS108)。図9は、画像タグ情報901の構成を示す例である。シーンID902には、図2のシーンID201と同じ内容の情報(この例では、123450)が格納される。矩形情報903には、図8の801を基に生成された座標情報が格納される。タグID904には、図8の802を基に生成された情報が格納される。
次に、画像タグ情報送信部112が、配信された作業依頼画像に対する応答としての画像タグ情報901を画像タグ付け装置101に送信する(ステップS109)。もし、該当する画像が作業依頼画像に無かった場合は、シーンIDの作業依頼画像に対応する画像タグ情報は無いことを示すデータを画像タグ付け装置101に送信しても構わない。
そして、画像タグ情報受信部113が、画像タグ情報901を受信し(ステップS110)、画像タグ情報保管部114が、画像タグ情報901を保管する(ステップS111)ことで、一連の画像のタグ付け処理が完了する。画像タグ情報保管部114は、第2機能部に含まれる第2メモリの領域うち、使用画像変更部情報保管部108に対応する領域および切出し処理情報保管部115に対応する領域とは異なる領域である。
第2機能部105は、例えば、画像タグ情報受信部113から出力された画像タグ情報901を第2保管方式で画像タグ情報保管部114に保管する。第2保管方式とは、ブロック長128ビットのAES方式(第2暗号方式)を用いて画像タグ情報901を暗号化し、暗号化した画像タグ情報901を画像タグ情報保管部114に保管することである。
また、第2機能部105は第2アクセス方式を用いて、画像タグ情報保管部114に保管されている暗号化されたデータに対応する画像タグ情報901へのアクセスを行う。
第2アクセス方式とは、暗号化された画像タグ情報901を、第2鍵データを用いて復号して画像タグ情報901を得ることである。
暗号化された画像タグ情報901を復号化するときに用いる第2鍵データは、例えば、第2機能部105が管理する第2メモリに予め記憶されている。
なお、本実施の形態では、画像タグ付け装置101は、マスタ画像202に画像変更処理を行い、タグ付け作業端末装置103A〜103Dに対して画像を配信し、タグ付け作業端末装置103A、103B、103C、及び103Dは、それぞれが受信した作業依頼画像に対する応答としての画像タグ情報901を画像タグ付け装置101に返信するフローを逐次的に示している。しかし、当然、複数の配信画像を並列に処理し、一括でタグ付け作業端末装置103A、103B、103C、103Dに配信し、作業依頼画像受信部110が一時的に複数の配信画像を蓄積しても構わない。また、画像タグ情報送信部112は、ある程度の量の画像タグ情報901が溜まってから、画像タグ付け装置101に一括して送信しても構わない。
図14は、タグ付け依頼者が、タグ付き画像を取得するためのフローを示す。
まず、タグ付き画像生成部116が、第2機能部105に画像タグ情報(例えば、画像タグ情報901)の取得を要求する。第2機能部105は、第2アクセス方式に従って、例えば、画像タグ情報保管部114が保管する暗号化されたデータに対応する画像タグ情報901および切出し処理情報保管部115が保管する暗号化されたデータに対応する切出し処理情報701にアクセスを行う。次に第2機能部105は、取得した画像タグ情報901の矩形情報903を、切出し処理情報701の切出し情報703を用いてマスタ画像に適用可能な矩形情報に変換してからこの画像タグ情報901をタグ付き画像生成部116へ出力する。これは、事前切出し処理が行われた場合には、矩形情報903である座標情報の基準(原点)が、第1機能部104とは共有されていないためである。
タグ付き画像生成部116は、第2機能部105から出力された画像タグ情報901を取得する(ステップS401)。次に、タグ付き画像生成部116は、第1アクセス方式に従って、例えばマスタ画像保管部106が保管する暗号化されたデータに対応するマスタ画像202にアクセスし、マスタ画像202を取得する(ステップS402)。プライバシ情報を含む可能性があるマスタ画像を扱うので、タグ付き画像生成部116は、第1機能部104に含まれるのが望ましい。そして、画像タグ情報901の矩形情報903に示される領域に対応する画像データをマスタ画像202から抽出する。タグ付き画像生成部116は、更に、抽出した領域の画像データと、タグID904を関連付けたタグ付き画像を生成する(ステップS403)。生成したタグ付き画像は、第1のメモリに第1の保管方式により保管される。
図10Aは、タグ付き画像生成部116が生成するタグ付き画像の画像データの一例であり、図10Bは、生成されるタグ付き画像の一例である。なお、タグ付き画像生成部116による画像タグ情報の取得に際し、取得に使用する識別子は、シーンID902もしくはタグID904である。よって、その際に取得する画像タグ情報の数は1つとは限られず、複数の場合もある。この場合、タグ付き画像生成部116は、それぞれの画像タグ情報に示される矩形情報に示される領域に対応する画像データをマスタ画像202からそれぞれ抽出し、抽出したそれぞれ領域の画像データと、対応するタグIDを関連付けてタグ付き画像を生成すればよい。
以上、本実施の態様によれば、タグ付け作業者は人物、及びタグ付けの対象ではない物体に対して画像変更処理を実施した画像を作業依頼画像として、タグ付け作業端末装置103A〜103Dへ送信する。従って、タグ付け作業者は、作業依頼画像から、認識ターゲットとする物体をより見つけやすくなる。
従って、タグ付け作業者は、作業依頼画像から対象となる画像領域を切出し、タグ付けする作業をより容易に行える。よって、作業依頼画像に写りこんだ人物のプライバシ保護に加えて、作業者によるタグ付けにおける作業効率の向上も実現できる。また、プライバシレベルの高い処理を行う第1機能部104が利用する第1保管方式及び第1アクセス方式に関して、第2機能部が利用する第2保管方式及び第2アクセス方式と比較して、セキュリティ強度の高い保管方式・アクセス方式を採用している。
すなわち、全ての処理に対して一様に高いセキュリティ強度の方式を採用するのではなく、処理に応じて必要なセキュリティ強度の方式を採用することで、サーバ(画像タグ付け装置101)の処理負荷を軽減している。
なお、上記態様の説明において、文字情報については、第1画像変更部107、特に、文字画像変更器107Cにおいて画像変更処理を行う例を説明したが、これに限定されるものではない。
文字情報については、例えば、画像を撮影した場所が、文字情報から特定されるかもしれないため、画像変更処理を行った。
しかしながら、画像に映る文字情報が場所とは関連しない情報であれば、このような文字情報について、必ずしも、画像変更処理を行う必要はない。
例えば、県、市、町、村などの名前(地名とも言う)に関する情報(地名辞書情報)を画像タグ付け装置101のメモリ(図示せず)に蓄積しておき、画像に映る文字情報が地名に関する情報を含むのであれば、画像変更処理を行い、そうでなければ、画像変更処理を行わないようにしてもよい。
このようにすることで、マスタ画像に含まれるプライバシ情報とは関連が低い文字情報を塗りつぶすのに要する時間の削減が見込め、第1画像の生成に要する時間の削減が期待できる。
また、上記態様の説明において、第2機能部105は、タグ付き画像生成部116から画像タグ情報の取得の要求があってから、画像タグ情報901と切出し処理情報701とにアクセスして矩形情報を変換した。
しかしながら、画像タグ情報保管部114が画像タグ情報受信部11から画像タグ情報901を受信して画像タグ情報901を保管する前に切出し処理情報701にアクセスし、この画像タグ情報901に含まれる矩形情報を変換してから保管してもよい。
このようにすることで、タグ付き画像生成部116からの画像タグ情報の取得の要求に対してより速く応答して画像タグ情報901をタグ付き画像生成部116へ出力することができる。
図7Aに示す作業依頼画像において、道路標識から離れて位置する車、壁が、黒く塗りつぶされていないのは、第2機能部105において、これらを検出するための変更部を含まない、または、使用画像変更部情報保管部108が保管する設定情報に、車及び壁の情報が含まれていないからである。
当然のことながら、第2画像変更部が、車又は壁を第1画像の中から検出し、検出した領域の画像を変更する変更部を有するのであれば、図7Aにおける車又は壁は黒く塗りつぶされる。
上述した実施の形態において、画像タグ付け装置101の各構成要素は、各構成要素の機能を実現する専用のハードウェアを用いて構成してもよい。
また、上述した実施の形態において、画像タグ付け装置101は、各構成要素のそれぞれに対応するソフトウェアプログラムを記録するハードディスクまたは半導体メモリなどの記録媒体を有し、画像タグ付け装置101が備えるCPUまたはプロセッサなどのプログラム実行部によりソフトウェアプログラムを実行することにより、画像タグ付け装置101は、各構成要素の機能を実現してもよい。
また、画像タグ付け装置101のいずれかの構成要素を専用のハードウェアを用いて構成し、残りの構成要素に対応するソフトウェアプログラムを記録媒体に記録し、プログラム実行部によりソフトウェアプログラムを実行することにより、画像タグ付け装置101は、各構成要素の機能を実現してもよい。
また、画像タグ付け装置101の各構成要素において、機能の実現に利用するデータは、ハードディスクまたは半導体メモリなどの記録媒体に記録してもよい。上述のデータを記録する記録媒体は、画像タグ付け装置101に含まれていてもよいし、画像タグ付け装置101の外部にあってもよい。要するに、画像タグ付け装置101の各構成要素の機能の実現において、上述のデータを記録する記録媒体へアクセスできるような構成であればよい。
これらの点は、タグ付け作業端末装置103A〜103Dの各構成要素についても同様である。
なお、上記態様において説明された技術は、例えば、以下のクラウドサービスの類型において実現されうる。しかし、上記態様において説明された技術が実現されるクラウドサービスの類型はこれらに限られるものでない。
(サービスの類型1:自社データセンタ型クラウドサービス)
図16は、サービスの類型1(自社データセンタ型クラウドサービス)における情報管理システムが提供するサービスの全体像を示す図である。本類型では、サービスプロバイダ1120がグループ1100から情報を取得し、ユーザに対してサービスを提供する。本類型では、サービスプロバイダ1120が、データセンタ運営会社の機能を有している。すなわち、サービスプロバイダ1120が、ビッグデータを管理するクラウドサーバ1111を保有している。したがって、データセンタ運営会社は存在しない。
本類型では、サービスプロバイダ1120は、データセンタ(クラウドサーバ)1203を運営及び管理している。また、サービスプロバイダ1120は、オペレーティングシステム(OS)1202及びアプリケーション1201を管理する。サービスプロバイダ1120は、サービスプロバイダ1120が管理するOS1202及びアプリケーション1201を用いてサービスを提供する(矢印1204)。
(サービスの類型2:IaaS利用型クラウドサービス)
図17は、サービスの類型2(IaaS利用型クラウドサービス)における情報管理システムが提供するサービスの全体像を示す図である。ここで、IaaSとは、インフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築及び稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社1110が、データセンタ(クラウドサーバ)1203を運営及び管理している。また、サービスプロバイダ1120は、OS1202及びアプリケーション1201を管理する。サービスプロバイダ1120は、サービスプロバイダ1120が管理するOS1202及びアプリケーション1201を用いてサービスを提供する(矢印1204)。
(サービスの類型3:PaaS利用型クラウドサービス)
図18は、サービスの類型3(PaaS利用型クラウドサービス)における情報管理システムが提供するサービスの全体像を示す図である。ここで、PaaSとは、プラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築及び稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社1110は、OS1202を管理し、データセンタ(クラウドサーバ)1203を運営及び管理している。また、サービスプロバイダ1120は、アプリケーション1201を管理する。サービスプロバイダ1120は、データセンタ運営会社1110が管理するOS1202及びサービスプロバイダ1120が管理するアプリケーション1201を用いてサービスを提供する(矢印1204)。
(サービスの類型4:SaaS利用型クラウドサービス)
図19は、サービスの類型4(SaaS利用型クラウドサービス)における情報管理システムが提供するサービスの全体像を示す図である。ここで、SaaSとは、ソフトウェア・アズ・ア・サービスの略である。SaaS利用型クラウドサービスは、例えば、データセンタ(クラウドサーバ)を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ(クラウドサーバ)を保有していない会社又は個人などの利用者がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社1110は、アプリケーション1201を管理し、OS1202を管理し、データセンタ(クラウドサーバ)1203を運営及び管理している。また、サービスプロバイダ1120は、データセンタ運営会社1110が管理するOS1202及びアプリケーション1201を用いてサービスを提供する(矢印1204)。
以上、いずれのクラウドサービスの類型においても、サービスプロバイダ1120がサービスを提供する。また、例えば、サービスプロバイダ又はデータセンタ運営会社は、OS、アプリケーション又はビッグデータのデータベース等を自ら開発してもよいし、また、第三者に外注させてもよい。