JPWO2015136796A1 - 情報処理装置、記憶媒体、および制御方法 - Google Patents

情報処理装置、記憶媒体、および制御方法 Download PDF

Info

Publication number
JPWO2015136796A1
JPWO2015136796A1 JP2016507272A JP2016507272A JPWO2015136796A1 JP WO2015136796 A1 JPWO2015136796 A1 JP WO2015136796A1 JP 2016507272 A JP2016507272 A JP 2016507272A JP 2016507272 A JP2016507272 A JP 2016507272A JP WO2015136796 A1 JPWO2015136796 A1 JP WO2015136796A1
Authority
JP
Japan
Prior art keywords
information
control unit
image data
unit
identify
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016507272A
Other languages
English (en)
Other versions
JP6531341B2 (ja
Inventor
和之 迫田
和之 迫田
矢島 正一
正一 矢島
竹原 充
充 竹原
有希 甲賀
有希 甲賀
智也 大沼
智也 大沼
丹下 明
明 丹下
隆俊 中村
隆俊 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015136796A1 publication Critical patent/JPWO2015136796A1/ja
Application granted granted Critical
Publication of JP6531341B2 publication Critical patent/JP6531341B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095Systems or arrangements for the transmission of the picture signal
    • H04N1/00103Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/21Intermediate information storage
    • H04N2201/218Deletion of stored data; Preventing such deletion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】撮像画像に対して個人を特定できるオブジェクトを欠落させる処理を行った上で画像を流通させることで、プライバシー侵害の防止と撮像画像の流通との両立を図ることが可能な情報処理装置、記憶媒体、および制御方法を提供する。【解決手段】撮像部により撮像された画像データから、個人を特定できるオブジェクトを検出するオブジェクト検出部と、前記オブジェクトを復元可能な情報を記憶部に記憶する記憶制御部と、前記画像データから前記個人を特定できるオブジェクトに関する情報を欠落させて生成された画像データを、サーバに転送するよう制御する通信制御部と、を備える、情報処理装置。【選択図】図3

Description

本開示は、情報処理装置、記憶媒体、および制御方法に関する。
近年、監視カメラシステムのように、特定の場所に複数の固定カメラを設置して周囲の様子を撮像するカメラシステムが様々な用途に利用されている。例えばビルやショッピングモール、テーマパーク、観光スポット、空港等の特定の場所に複数の固定カメラが設置され、それぞれの場所においてローカルサーバにより管理されている。
また、カメラの管理を行うローカルサーバが外部ネットワークと接続し、クラウドサーバとも通信を行う場合は、大量の撮像画像がクラウドサーバに転送され、外部のモニタで閲覧することが可能である。
このようなカメラシステムに関し、例えば下記特許文献1では、撮影対象となる来場者のみに無線タグのような通信手段を配布し、その通信手段から発信される識別情報の検出に基づいて撮影を行う画像撮影システムが開示されている。
特開2001−177750号公報
しかしながら、上記カメラシステムでは、撮像画像がクラウドサーバに転送されて外部モニタから閲覧できるので、誰がどこにいたか、誰と会っていたかといった個人情報が第三者に知られてしまっていた。
また、特許文献1に記載の画像撮影システムは、サービスの享受者であるユーザにとっては問題ないが、サービス享受者であるユーザの近くにいた他ユーザが写り込む可能性もあり、この場合他ユーザに対するプライバシー侵害が問題となる。
そこで、本開示では、撮像画像に対して個人を特定できるオブジェクトを欠落させる処理を行った上で画像を流通させることで、プライバシー侵害の防止と撮像画像の流通との両立を図ることが可能な情報処理装置、記憶媒体、および制御方法を提案する。
本開示によれば、撮像部により撮像された画像データから、個人を特定できるオブジェクトを検出するオブジェクト検出部と、前記オブジェクトを復元可能な情報を記憶部に記憶する記憶制御部と、前記画像データから前記個人を特定できるオブジェクトに関する情報を欠落させて生成された画像データを、サーバに転送するよう制御する通信制御部と、を備える情報処理装置を提案する。
本開示によれば、撮像部により撮像された画像データから個人を特定できるオブジェクトに関する情報を欠落させた画像データを、外部装置から受信する通信制御部と、前記個人を特定できるオブジェクトに対応する領域にオブジェクトIDを割り当て、前記画像データと対応付けて記憶部に記憶する記憶制御部と、を備え、前記通信制御部は、前記オブジェクトIDを前記外部装置に返信するよう制御する情報処理装置を提案する。
本開示によれば、コンピュータを、撮像部により撮像された画像データから、個人を特定できるオブジェクトを検出するオブジェクト検出部と、前記オブジェクトを復元可能な情報を記憶部に記憶する記憶制御部と、前記画像データから前記個人を特定できるオブジェクトに関する情報を欠落させて生成された画像データを、サーバに転送するよう制御する通信制御部と、として機能させるためのプログラムを記憶した記憶媒体を提案する。
本開示によれば、撮像部により撮像された画像データから個人を特定できるオブジェクトに関する情報を欠落させた画像データを、外部装置から受信することと、前記個人を特定できるオブジェクトに対応する領域にオブジェクトIDを割り当て、前記画像データと対応付けて記憶部に記憶することと、前記オブジェクトIDを前記外部装置に返信するよう制御すること、を含む制御方法を提案する。
以上説明したように本開示によれば、撮像画像に対して個人を特定できるオブジェクトを欠落させる処理を行った上で画像を流通させることで、プライバシー侵害の防止と撮像画像の流通との両立を図ることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態によるカメラシステムの全体構成を示す図である。 従来のカメラシステムについて説明する図である。 本実施形態によるカメラシステムにおける撮像画像の取得時の概略を説明する図である。 本実施形態によるカメラシステムにおける撮像画像の閲覧時の概略を説明する図である。 本実施形態による固定カメラの基本構成例を示すブロック図である。 オブジェクト検出部によるオブジェクトの検出について説明する図である。 本実施形態による固定カメラの記憶部のデータ構成例について説明する図である。 本実施形態によるローカルサーバの基本構成例を示すブロック図である。 本実施形態によるローカルサーバの記憶部のデータ構成例について説明する図である。 本実施形態による撮像画像取得時の処理(分離処理)を示すシーケンス図である。 本実施形態による撮像画像取得時の処理(紐付処理)を示すシーケンス図である。 本実施形態による撮像画像取得時の処理(削除処理)を示すシーケンス図である。 本実施形態による撮像画像閲覧時の処理を示すシーケンス図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態によるカメラシステムの概要
2.基本構成
2−1.固定カメラの構成例
2−2.ローカルサーバの構成例
3.動作処理
3−1.撮像画像取得時の処理
3−2.撮像画像閲覧時の処理
4.まとめ
<<1.本開示の一実施形態によるカメラシステムの概要>>
まず、本開示の一実施形態によるカメラシステムの概要について図1を参照して説明する。図1は、本開示の一実施形態によるカメラシステムの全体構成を示す図である。
図1に示すように、本実施形態によるカメラシステムは、多数の固定カメラ10A〜10Cと、ローカルサーバ30と、クラウドサーバ38と、を含む。
固定カメラ10A〜10Cは、特定の場所の天井や壁等に取り付けられ、周囲を継続的に撮像する監視カメラ、定点カメラ等である。また、固定カメラ10A〜10Cは、被写体(ユーザ3)が所持する情報処理端末(例えばスマートフォン2)と通信を行い、デバイス情報を取得し得る。
ローカルサーバ30は、多数の固定カメラ10A〜10Cの管理を行う。また、ローカルサーバ30は、これらのカメラ群に近い場所に設置される。図1に示す例では、1つのカメラ群(固定カメラ10A〜10C)と、これを管理するローカルサーバ30の一対のみが示されているが、例えばテーマパークに設置されたカメラ群を管理するローカルサーバ、ショッピングモールに設置されたカメラ群を管理するローカルサーバといったように、複数のローカルサーバが存在し得る。そして、これら複数のローカルサーバは、外部ネットワークとのやりとりをするゲートウエイとしても機能し、クラウドサーバ38と通信を行う。
また、ローカルサーバ30は、固定カメラ10A〜10Cから取得した撮像画像をクラウドサーバ38に転送する。
クラウドサーバ38は、スマートフォン2の情報開示属性(プライバシーレベル)を記憶する。当該情報開示属性は、例えば予めユーザ3により登録され得る。また、クラウドサーバ38は、一般家庭400の表示装置40や、PC(Personal Computer)41、タブレット端末42、スマートフォン2等の外部モニタからのアクセスに応じて、ローカルサーバ30から転送された撮像画像を提供する。なお図1に示す例では、ローカルサーバ30とクラウドサーバ38が別途の装置としているが、ローカルサーバ30は、クラウドサーバ38の機能を含んでもよい。
一般家庭400の表示装置40(テレビジョン装置や、家庭用プロジェクタ、壁面ディスプレイ等)は、DSL(Digital Subscriber Line)でネットワーク5に接続されている。また、PC41、タブレット端末42、スマートフォン2等は、携帯電話網を介してネットワーク5に接続されている。これにより、外出時にユーザ3が固定カメラ10A〜10Cで撮像された画像を、帰宅後に表示装置40、PC41、タブレット端末42、またはスマートフォン2等の外部モニタからクラウドサーバ38またはローカルサーバ30にアクセスすることで、閲覧することができる。
(背景)
ここで、従来のカメラシステムについて図2を参照して説明する。図2に示すように、従来のカメラシステムは、固定カメラ50A〜50Cと、ローカルサーバ500と、クラウドサーバ520と、を含む。
固定カメラ50A〜50Cは、撮像画像をそのままローカルサーバ500に送信し、ローカルサーバ500も収集した撮像画像をそのままクラウドサーバ520に転送する。
クラウドサーバ520に転送された撮像画像は、表示装置40等の外部モニタからのアクセスに応じて提供され、ユーザは表示装置40により固定カメラ50A〜50Cで撮像された画像を閲覧することができる。
このように従来のカメラシステムでは、固定カメラ50A〜50Cで撮像された画像が、何ら加工等が行われずにそのまま外部モニタに提供されるので、誰がいつどこにいたかといった個人情報が第三者に知られてしまっていた。また、上記カメラシステムにより撮像画像を提供するといったサービスの享受者にとっては問題がないが、当該享受者の近くに居た人物の姿も写り込んだ撮像画像も提供されてしまうため、プライバシー侵害の問題が懸念された。
そこで、本実施形態では、撮像画像に対して個人を特定できるオブジェクト(プライバシー侵害が懸念される部分)を欠落させる処理を行った上で画像を流通させることで、プライバシー侵害の防止と撮像画像の流通との両立を図るカメラシステムを提供する。以下、図3〜図4を参照して本実施形態によるカメラシステムの概略について説明する。
図3は本実施形態によるカメラシステムにおける撮像画像の取得時の概略を説明する図である。図3に示すように、固定カメラ10がユーザ3を撮像して撮像画像300を取得する。固定カメラ10は、撮像画像300に対して、人物などの動的物体オブジェクトを切り出して、オブジェクト部分(以下、オブジェクト画像302と称す)とそれ以外の部分(以下、背景画像301と称す)に分離する処理を行う(ステップS1)。また、固定カメラ10は、分離したオブジェクト画像302にオブジェクトIDを付与する。背景画像301は、個人を特定できるオブジェクト(プライバシー侵害が懸念される部分)が欠落された画像であって、欠落部分は、例えば図3に示すようにシルエット(オブジェクトがくり抜かれた部分が塗り潰されている状態)の他、所定のアバターや架空の人物などプライバシー懸念のない画像が合成されてもよいし、モザイク処理やぼかし処理が施されてもよい。
そして、固定カメラ10は、オブジェクトIDおよび背景画像301をローカルサーバ30に送信する(ステップS2)。
上記撮影、分離処理と並行して、固定カメラ10は、近傍に存在する情報処理端末との通信を常時試みていることにより、ユーザ3が所持する情報処理端末(例えばスマートフォン2)と通信を行い、デバイス情報を取得することが可能である。デバイス情報には、デバイスID(例えば電話番号、ユーザ名、またはパスワード等)が含まれる。また、固定カメラ10は、スマートフォン2との通信に基づいて、信号強度や信号送受の遅延時間などから固定カメラ10とスマートフォン2との距離情報も抽出する。
そして、固定カメラ10は、デバイスIDおよび距離情報をデバイス情報としてローカルサーバ30に送信する(ステップS3)。
次いで、ローカルサーバ30は、固定カメラ10から受信したデバイス情報、背景画像301、オブジェクトIDに基づいて、背景画像301の欠落部分に相当するオブジェクト(オブジェクトID)とデバイスIDとの紐付を行う(ステップS4)。具体的には、ローカルサーバ30は、デバイス情報に含まれる距離情報(固定カメラ10とスマートフォン2との距離)を用いて、背景画像301のどの物体オブジェクトが、デバイスIDで示されるスマートフォン2の持ち主であるかを判断する。この際、ユーザ3を特定できるオブジェクト部分は欠落しているが、欠落部分(シルエットやモザイク処理部分)として認識され得る。
そして、ローカルサーバ30は、オブジェクトIDとデバイスIDとの紐付情報(マッピング情報)を固定カメラ10に送信する(ステップS5)。
また、ローカルサーバ30は、上記紐付処理と並行して、固定カメラ10が通信を行ったデバイス(スマートフォン2)の情報開示属性(以下、プライバシーレベルと称す)を取得し、これを固定カメラ10に送信する(ステップS6)。プライバシーレベルは、例えば予めユーザにより登録され、固定カメラ10で撮像された際に当該撮像画像に含まれたユーザ自身の画像(ユーザを特定できるオブジェクト)を開示(公開)するか否かを設定する情報である。また、開示するよう設定する際は、自分自身に対してのみ開示するのか、特定の他者まで開示するのかといった開示レベルを設定することが可能である。
固定カメラ10は、ローカルサーバ30から送信されたデバイスのプライバシーレベルに応じて、当該デバイスのデバイスIDに紐付けられるオブジェクトIDに対応するオブジェクト画像302を削除する。例えば固定カメラ10は、ユーザ3が所持するスマートフォン2のプライバシーレベルが「高」(開示不可)に設定されていた場合、スマートフォン2に紐付けられたオブジェクト画像302(撮像画像300から分離した、ユーザ3を特定できる撮像画像)を削除する。これにより、予めプライバシーレベルを「高」に設定しておくことで、固定カメラ10に撮像された場合も自身を特定する情報(自身の撮像画像)を削除させることができる。
また、固定カメラ10は、スマートフォン2のプライバシーレベルが「低」(開示可能)の場合、スマートフォン2に紐付けられたオブジェクト画像302を保管する。プライバシーレベルが「低」に設定され、オブジェクト画像302が保管された場合、ユーザ3は、後から固定カメラ10で撮像された撮像画像を外部モニタから閲覧することが可能である。以下、撮像画像の閲覧について図4を参照して説明する。
図4は、本実施形態によるカメラシステムにおける撮像画像の閲覧時の概略を説明する図である。図4に示すように、ユーザ3は、表示装置40(外部モニタの一例)からローカルサーバ30に対して撮像画像の閲覧要求を行う。この際、ユーザ3が所持するスマートフォンのデバイスID(例えば電話番号、ユーザ名、またはパスワード等)を送信する(ステップS11)。なお図1に示すように、本実施形態によるカメラシステムにはクラウドサーバ38が含まれ、一般家庭400に設置される表示装置40は、ネットワーク5に接続するクラウドサーバ38を介してローカルサーバ30にアクセスするが、図4に示す概略図ではクラウドサーバ38の図示を省略する。
次いで、ローカルサーバ30は、要求に含まれるデバイスIDに応じて、当該オブジェクトIDに紐付けられているオブジェクトIDで示されるオブジェクト画像302を保管している固定カメラ10Aに問い合わせを行う(ステップS12)。
次に、固定カメラ10Aは、ローカルサーバ30からの問い合わせに応じて、デバイスIDに紐付けられているオブジェクトIDで示されるオブジェクト画像302をローカルサーバ30に送信する(ステップS13)。
次いで、ローカルサーバ30は、保管していた背景画像301と、受信したオブジェクト画像302を合成して復元画像303を生成し、これを表示装置40に送信する。これにより、ユーザ3は、自身が写り込んだ復元画像303を表示装置40で閲覧することができる。
以上説明したように、本実施形態によるカメラシステムでは、プライバシーレベルに応じて、個人を特定する情報を、固定カメラ10で撮像した撮像画像から欠落させることが可能である。また、撮像画像を後で閲覧したいユーザは、プライバシーレベルを低く設定しておくことで、分離された自身の撮像画像(オブジェクト画像302)を固定カメラ10に保管させ、後日、復元処理により自身が写り込んだ画像を閲覧することができる。また、アクセス権限を有さない人物(プライバシーレベルにより公開対象にされていない者)に対しては、ローカルサーバ30は復元処理を行わず、背景画像301(オブジェクト画像302が欠落した画像)を提供することで、ユーザのプライバシーを保護することができる。
<<2.基本構成>>
<2−1.固定カメラの構成例>
次に、本実施形態によるカメラシステムに含まれる固定カメラ10の構成について図5を参照して説明する。図5は、本実施形態による固定カメラ10の基本構成例を示すブロック図である。
図5に示すように、固定カメラ10は、制御部11、ネットワークI/F(インターフェース)13、無線通信部15、撮像部17、および記憶部19を有する。
制御部11は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、固定カメラ10の各構成を制御する。
また、本実施形態による制御部11は、図5に示すように、オブジェクト検出部11a、記憶制御部11b、および通信制御部11cとして機能する。オブジェクト検出部11aは、撮像部17により撮像された画像データから、個人を特定できるオブジェクトを検出する。具体的には、オブジェクト検出部11aは、動的物体オブジェクトのうち人物のオブジェクトを検出し、これを抽出する。また、オブジェクト検出部11aは、検出したオブジェクトにオブジェクトIDを付与する。
(オブジェクトの検出)
ここで、図6を参照してオブジェクト検出部11aによるオブジェクトの検出について説明する。図6に示すように、固定カメラ10により撮像された撮像画像300に対して、オブジェクト検出部11aは、動的物体である人物のオブジェクト310a、310b、310cを検出する。固定カメラ10は周囲を継続的に撮像しているため、オブジェクト検出部11aは、動きのない物体(建物、木、道等の背景)と、動きのある物体(人物、車等)とを認識することが可能である。
そして、図6下に示すように、撮像画像300から、個人を特定できる情報を含むオブジェクト画像302a〜302cが抽出されると共に、オブジェクト画像302a〜302cが欠落した背景画像301が生成される。背景画像301は、図6に示すように、オブジェクト画像302a〜302cに相当する領域がシルエット(影オブジェクト)320a〜320cとなり、個人を特定できる情報が欠落している。
記憶制御部11bは、撮像画像から欠落させたオブジェクトを復元可能な情報を記憶部19に記録するよう制御する。例えば、記憶制御部11bは、オブジェクト検出部11aにより撮像画像300から検出(抽出)されたオブジェクト画像302を記憶部19に記憶する。若しくは、個人を特定する情報が欠落した背景画像として、人物オブジェクトに対してアバターが合成されたり、モザイク処理、ぼかし処理等が行われたりした場合、記憶制御部11bは、これらを復元するための情報を記憶部19に記憶する。なお、撮像画像から欠落させたオブジェクトを復元可能な情報の記憶先は、固定カメラ10に内蔵される記憶部19に限定されず、外部記憶部であってもよい。
また、記憶制御部11bは、ローカルサーバ30から送信されたデバイスIDとオブジェクトIDとの紐付情報を記憶部19に記憶する。
通信制御部11cは、外部装置との通信を制御する機能を有する。例えば、通信制御部11cは、オブジェクト検出部11aが、撮像画像300から個人を特定できるオブジェクトに関する情報(オブジェクト画像302)を欠落させた背景画像301と、オブジェクト画像302に付与されたオブジェクトIDを、ネットワークI/F13を介してローカルサーバ30に送信するよう制御する。
また、通信制御部11cは、無線通信部15を介して情報処理端末(例えばスマートフォン2)から取得したデバイス情報を、ネットワークI/F13を介してローカルサーバ30に送信する。通信制御部11cは、デバイス情報をローカルサーバ30に送信する際、デバイスIDに加えて、固定カメラ10と情報処理端末の距離を示す距離情報を含める。
また、通信制御部11cは、ローカルサーバ30から、デバイスIDとオブジェクトIDとの紐付情報を受信する。さらに、通信制御部11cは、ローカルサーバ30からの要求に応じて、当該要求に含まれるデバイスIDに紐付けられたオブジェクトIDが付与されたオブジェクト画像302を記憶部19から抽出し、ローカルサーバ30に返信するよう制御する。
ネットワークI/F13は、インターネットに接続し、ローカルサーバ30と通信を行う機能を有する。
無線通信部15は、周囲に存在する情報処理端末(携帯デバイス)と無線通信を行う。通信手段は、例えばWi−Fi(登録商標)、Bluetooth(登録商標)、赤外線通信等が用いられる。また、無線通信部15は、情報処理端末との通信を常時試みているため、情報処理端末が固定カメラ10の撮像範囲に入ってきた場合に瞬時にこれを検知し、情報処理端末からデバイス情報を取得することができる。情報処理端末の検知は、例えばビーコン信号の定期的な送信や、プローブ信号に応答があるかを確認することで行われる。また、情報処理端末を検知する際、信号強度や信号送受の遅延時間などから、固定カメラ10と情報処理端末との距離に準じる情報(以下、距離情報とも称す)も抽出される。
撮像部17は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。
本実施形態による撮像部17は、継続的に周囲を撮像し、撮像画像を制御部11に出力する。
記憶部19は、制御部11による各種処理を実行するためのプログラムが格納される。また、記憶部19は、オブジェクト検出部11aにより検出されたオブジェクト画像を格納する。ここで、図7を参照して記憶部19のデータ構成例について説明する。
図7では、オブジェクト画像が、オブジェクトIDおよびデバイスIDと対応付けられたデータ構成が示されている。例えば、オブジェクト画像1は、オブジェクトID1およびデバイスID1と対応付けられている。オブジェクトIDは、上述したように、オブジェクト検出部11aにより撮像画像300からオブジェクト画像が検出された際に付与される識別情報である。また、デバイスIDは、ローカルサーバ30から送信されるオブジェクトIDとデバイスIDとの紐付情報に基づいて格納される。
以上、本実施形態による固定カメラ10の基本構成について説明した。次に、本実施形態によるカメラシステムに含まれるローカルサーバ30の基本構成について説明する。
<2−2.ローカルサーバの構成例>
図8は、ローカルサーバ30の構成例を示すブロック図である。図8に示すように、ローカルサーバ30は、制御部31、ネットワークI/F33、および記憶部35を有する。ローカルサーバ30は、固定カメラ10からオブジェクトIDを受信すると、当該オブジェクトIDの管理を開始する。
制御部31は、例えばCPU、ROM、RAM、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、ローカルサーバ30の各構成を制御する。
また、本実施形態による制御部31は、図5に示すように、紐付部31a、記憶制御部31b、通信制御部31c、および復元部31dとして機能する。
紐付部31aは、固定カメラ10から送信されたオブジェクトIDとデバイスIDとの紐付けを行う。具体的には、例えば紐付部31aは、デバイスの距離情報の時系列変化と、トラックしたオブジェクトシルエットの動きに基づいて、紐付けを行う。
まず、紐付部31aは、固定カメラ10から継続的に送信される背景画像301における、個人を特定する情報が欠落した部分であるオブジェクトのシルエット(影オブジェクト)320の動きをトラックする。この際、紐付部31aは、画像処理等に基づいて、固定カメラ10とシルエットとの距離を第1の距離として推定することも可能である。また、複数の固定カメラ10から同様に背景画像301が継続的に送信される場合、紐付部31aは、各背景画像301におけるシルエット320の動きをトラックして、同一のオブジェクを捉えている複数の背景画像301を検出することも可能である。次いで、紐付部31aは、シルエット(影オブジェクト)320の動き(第1の距離の変化)と、固定カメラ10から送られるデバイス情報に含まれる、固定カメラ10とオブジェクトとの距離を示す距離情報(第2の距離)の時系列変化とを比較することで、どのシルエットが当該デバイス情報に対応するかを判断することができる。そして、紐付部31aは、対応するシルエットのオブジェクトIDと、デバイス情報に含まれるデバイスIDとの紐付けを行う。これにより、デバイスの持ち主と、当該持ち主をカメラで捉えたオブジェクト画像との紐付けが実現される。
なお、本実施形態によるオブジェクトIDとデバイスIDとの紐付けは、距離情報に基づく場合に限定されず、例えばデバイスIDに応じた属性、顔認識(顔の特徴パターン情報)、QRコード(登録商標)等の画像マーカーなどを用いてもよい。すなわち、デバイスIDに持ち主属性として「性別」「年齢」が含まれ、オブジェクトIDにも、固定カメラ10で認識された対象オブジェクトの「性別」「年齢」が含まれている場合、これらを比較することで、紐付部31aは、どのオブジェクトがどのデバイスに対応するかを判断することができる。また、オブジェクトIDに、固定カメラ10で認識された対象オブジェクトから読み取ったQRコードの情報が含まれ、かつ当該QRコードの情報がデバイスIDに対応する場合、紐付部31aは、どのオブジェクトがどのデバイスに対応するかを判断することができる。
記憶制御部31bは、紐付部31aによるオブジェクトIDとデバイスIDとの紐付情報を記憶部35に記憶するよう制御する。この際、記憶制御部31bは、オブジェクトIDに、オブジェクトを捉えたカメラの情報と、その時刻の情報とも対応付けて記憶する。
また、記憶制御部31bは、クラウドサーバ38からデバイスの情報開示属性(プライバシーレベル)を取得した場合、デバイスIDと当該情報開示属性とを対応付けて記憶部35に記憶するよう制御する。
通信制御部31cは、ネットワークI/F33を介して、外部装置との通信を制御する機能を有する。例えば、通信制御部31cは、固定カメラ10から背景画像301やオブジェクトID、およびデバイス情報を受信する。また、通信制御部31cは、オブジェクトIDとデバイスIDとの紐付情報を固定カメラ10に送信する。
また、通信制御部31cは、固定カメラ10から受信したデバイスIDに対応する情報開示属性をクラウドサーバ38に問い合わせるよう制御する。また、通信制御部31cは、デバイスIDに対応する情報開示属性を固定カメラ10に送信するよう制御する。さらに、通信制御部31cは、後述する復元部31dにより復元された元の撮像画像をローカルサーバ30に送信するよう制御する。
復元部31dは、固定カメラ10から受信した、オブジェクトを復元可能な情報に基づいて、個人を特定できる情報を含む元画像データを復元する。例えば、復元部31dは、固定カメラ10から取得したオブジェクト画像302を、記憶部35に既に記憶されていた背景画像301に合成し、元の撮像画像(以下、復元画像とも称する)を生成する。
ネットワークI/F33は、インターネットに接続し、固定カメラ10またはクラウドサーバ38と通信を行う機能を有する。また、ネットワークI/F33は、ネットワーク5を介して表示装置40やスマートフォン2等と接続して通信を行うことも可能である。
記憶部35は、制御部31による各種処理を実行するためのプログラムが格納される。また、記憶部35は、ネットワークI/F33を介して受信したオブジェクトIDに関する情報、およびデバイスIDに関する情報を記憶する。ここで、図9を参照して記憶部35のデータ構成例について説明する。
図9上では、オブジェクトID関連情報351aのデータ構成例が示される。具体的には、オブジェクトIDが、デバイスID、対象オブジェクトの格納場所、および撮像日時と対応付けられている。例えばオブジェクトID1は、デバイスID1と紐付けられ、また、オブジェクトID1が示すオブジェクト画像は固定カメラ10Aに格納されていること(格納場所情報)、およびオブジェクト画像は2014年2月17日の10時30分45秒に撮像されたこと(撮像日時情報)が対応付けられている。
図9下では、デバイスID関連情報351bのデータ構成例が示される。具体的には、デバイスIDと、プライバシーレベル(デバイス開示属性)が対応付けられている。例えば、デバイスID関連情報351bの1レコード目では、デバイスID1のプライバシーレベルが「低」であることが示されている。
以上、本実施形態によるローカルサーバ30の構成について具体的に説明した。続いて、本実施形態の動作処理について具体的に説明する。
<<3.動作処理>>
本実施形態によるカメラシステムでは、図3および図4を参照して概要を説明したように、撮像画像の取得時における処理(図3参照)と、撮像画像の閲覧時における処理(図4参照)とを実行する。以下、撮像画像取得時の処理について図10〜図12を参照して具体的に説明し、次いで撮像画像閲覧時の処理について図13を参照して具体的に説明する。
<3−1.撮像画像取得時の処理>
図10は、撮像画像取得時の処理(分離処理)を示すシーケンス図である。図10に示すように、まず、ステップS103において、固定カメラ10の撮像部17は、撮像画像の取得(カメラ撮影)を行う。
次に、ステップS106において、オブジェクト検出部11aは、撮像部17により継続的に撮像される撮像画像の中から新規オブジェクトの検知を行う。
次いで、新規オブジェクトが検知された場合(S106/Yes)、ステップS109において、オブジェクト検出部11aは、検知した新規オブジェクトにオブジェクトIDを付与し、また、当該オブジェクトを以降の分離処理対象に追加(登録)する。このように、新規オブジェクトを検知する毎に分離処理対象に追加していくことで、以降、継続的に撮像される撮像画像に対して、同オブジェクトを分離し続けることができる。
次に、ステップS112において、オブジェクト検出部11aは、撮像画像から分離処理対象のオブジェクトを分離(抽出)し、撮像画像から個人を特定する情報が欠落させる。なお複数のオブジェクトが分離処理対象として登録されている場合、オブジェクト検出部11aは、図6に示すように、撮像画像300から複数のオブジェクト310a〜310cを分離する。
次いで、ステップS115において、記憶制御部11bは、分離したオブジェクトを記憶部19に記憶するよう制御する。なお後述するS142に示すように、分離したオブジェクトはデバイスIDと対応付けて記憶されるが、デバイスIDと紐付けがされていない段階であっても、分離したオブジェクト画像を一時的に記憶し、後にデバイスIDとの紐付けを行うことが可能である。
続いて、ステップS118において、通信制御部11cは、オブジェクトを分離した(個人を特定する情報が欠落した)背景画像301と、分離したオブジェクトに付与したオブジェクトIDをネットワークI/F13からローカルサーバ30に送信する。
次に、ステップS121において、ローカルサーバ30の記憶制御部31bは、ネットワークI/F33を介して固定カメラ10から受信したオブジェクトIDを記憶部35に記憶する。
次いで、ステップS124において、紐付部31aは、固定カメラ10から受信した背景画像301における、オブジェクトIDに対応する影オブジェクト(分離されたオブジェクトに相当する領域)をトラックする。固定カメラ10からは背景画像301が継続的に送信、若しくは一定時間の動画像として背景画像301が定期的/不定期的に送信されるので、紐付部31aは、背景画像301の中で影オブジェクトの動きを追う。
以上説明したオブジェクトの分離処理と並行して、デバイス情報の取得と紐付処理が行われる。以下、図11を参照して説明する。
図11は、本実施形態による撮像画像取得時の処理(紐付処理)を示すシーケンス図である。まず、ステップS127に示すように、固定カメラ10は、無線通信部15により周囲に存在する情報処理端末(例えばスマートフォン2)のデバイス情報を受信し、新規デバイスの検知を行う。固定カメラ10は、上述したように、周囲の情報処理端末との通信を常時試みているため、情報処理端末が固定カメラ10の撮像範囲に入ってきた場合に瞬時にこれを検知し、情報処理端末からデバイス情報を取得することができる。
次に、新規のデバイス情報を受信した場合(ステップS127/Yes)、ステップS130において、通信制御部11cは、ネットワークI/F13から新規のデバイス情報をローカルサーバ30に送信するよう制御する。なお、図11に示すシーケンス図では、新規のデバイス情報が一度しか送信されない場合が例示されているが、距離情報の変更等に伴い複数回送信される場合もある。すなわち、固定カメラ10は、新規のデバイス情報との距離情報を一定時間抽出し続け、これを継続的にローカルサーバ30に送信する。
次いで、ステップS133において、ローカルサーバ30の紐付部31aは、受信したデバイス情報に含まれるデバイスIDと、オブジェクトIDとの紐付を行う。具体的には、紐付部31aは、デバイス情報に含まれる固定カメラ10との距離情報の時系列変化等と、背景画像301に含まれるシルエット320の動き(上記S124でトラックした動き)とを比較することで、デバイスの持ち主のシルエット320(影オブジェクト)を判断する。そして、紐付部31aは、対応するシルエット320のオブジェクトIDに、当該デバイスIDを紐付ける。
次に、ステップS139において、通信制御部31cは、オブジェクトIDとデバイスIDとの紐付情報を固定カメラ10に送信するよう制御する。
そして、ステップS142において、固定カメラ10の記憶制御部31bは、ローカルサーバ30から受信した紐付情報を参照し、上記S112で分離したオブジェクト画像に、オブジェクトIDおよびデバイスIDを対応付けて記憶するよう制御する。なお当該S142に示す処理は、上記S115と併せて行われてもよい。また、後述するように、図10〜図12に示す各処理は繰り返し行われるため、以降、同様のオブジェクトに対しては、当該デバイスIDが紐付けられる(S127/No、S142)。
続いて、上記S115またはS142で一時的に格納したオブジェクトIDの削除処理について図12を参照して説明する。図12は、撮像画像取得時の処理(削除処理)を示すシーケンス図である。図12に示す処理は、図10、図11に示す処理と並列して処理され得る。
図12に示すように、まず、ステップS145において、固定カメラ10の通信制御部11cは、新規のデバイス情報を受信した場合に(S127/Yes)、ネットワークI/F13を介して、デバイスの情報開示属性をローカルサーバ30に問い合わせる。
次に、ステップS148において、ローカルサーバ30の制御部31は、固定カメラ10から問い合わせがあったデバイスの情報開示属性が既知であるか否かを判断する。
次いで、問い合わせがあったデバイスの情報開示属性が記憶部19に記憶されていなかった場合(S148/No)、ステップS151において、通信制御部31cは、クラウドサーバ38に対してデバイスの情報開示属性の問い合わせを行う。
次に、ステップS154において、クラウドサーバ38は、ローカルサーバ30からの問い合わせに応じて、当該デバイスの情報開示属性を返送する。
次いで、情報開示属性を受信した場合(S154)、または情報開示属性が既知であった場合(S148/Yes)、ステップS157において、ローカルサーバ30の記憶制御部31bは、デバイスIDと情報開示属性(プライバシーレベル)との紐付情報を記憶部19に記憶する。
次に、ステップS160において、通信制御部31cは、問い合わせに対応するデバイスのプライバシーレベルを固定カメラ10に送信する。
続いて、ステップS163において、固定カメラ10の記憶制御部11bは、受信したデバイスのプライバシーレベルに応じて、当該デバイスのデバイスIDに対応付けられたオブジェクト画像(上記S142参照)の削除制御を行う。具体的には、記憶制御部11bは、デバイスのプライバシーレベルの高低を判断する。ここで、プライバシーレベル「高」は開示不可を示し、プライバシーレベル「低」は開示可能を示す。また、プライバシーレベル「低」の場合、さらに開示対象のユーザが特定されていてもよい。具体的には、例えば開示可能なユーザのデバイスIDが特定される。
次に、デバイスのプライバシーレベルが「高」の場合(S163/Yes)、ステップS166において、記憶制御部11bは、当該デバイスのデバイスIDに対応付けられたオブジェクト画像を記憶部19から削除するよう制御する。また、記憶制御部11bは、以降、当該オブジェクトに関わる情報は格納しないよう制御する。これにより、ユーザ3が予めプライバシーレベルを「高」に設定しておくことで、固定カメラ10に撮像された場合にユーザ自身を特定する情報(自身の撮像画像)を削除させることができる。
一方、デバイスのプライバシーレベルが「低」の場合(S163/No)、そのデバイスに対応するオブジェクトは開示可能であるので、記憶部19に記憶したままとする。また、記憶制御部11bは、当該オブジェクトを、記憶部19に記憶してよい対象としてマークし、以降、当該オブジェクトに関わる情報を格納するよう制御する。
以上、本実施形態による撮像画像取得時の処理について図10〜図11を参照して具体的に説明した。なお、図10〜図11に示す処理は、繰り返し継続的に行われ得る。また、上記S160〜S163に代わって、ローカルサーバ30がプライバシーレベルの高低を判断し、「高」の場合は、固定カメラ10に対して該当オブジェクト画像の削除要求を行ってもよい。続いて、本実施形態による撮像画像閲覧時の処理について、図13を参照して説明する。
<3−2.撮像画像閲覧時の処理>
図13は、撮像画像閲覧時の処理を示すシーケンス図である。なおローカルサーバ30と表示装置40は、ネットワーク5およびクラウドサーバ38を介して通信を行うが、図13に示すシーケンス図ではクラウドサーバ38を省略する。
まず、ステップS203において、表示装置40は、ローカルサーバ30に対して閲覧要求を行う。閲覧要求には、閲覧対象の画像を特定するために必要な情報が含まれており、例えば時間、場所、デバイスIDが含まれる。例えば、ユーザ3は、昨日の3時〜5時に訪れた所定の観光スポットでの写真を見たい場合、これらの日時と場所情報に加えて、自身が有するデバイスのデバイスIDを、表示装置40に入力して閲覧要求を発信させる。
次に、ステップS206において、ローカルサーバ30は、表示装置40から閲覧要求を受信する。
次いで、ステップS209において、ローカルサーバ30の記憶制御部31bは、閲覧要求で特定されている時間・場所における背景画像301を記憶部35から抽出する。
次に、ステップS212において、記憶制御部31bは、閲覧要求に含まれているデバイスIDを管理しているか否かを判断し、当該デバイスIDに紐付けられているオブジェクトIDが存在するかを調べる。
次いで、該当するオブジェクトIDが存在しない場合(S212/No)、ステップS215において、通信制御部31cは、抽出した背景画像301を表示装置40に送信するよう制御する。背景画像301は、個人を識別できる情報が欠落した状態であるので、不特定多数の表示装置40に転送されても、プライバシーの問題は発生しない。
一方、該当するオブジェクトIDが存在する場合(S212/Yes)、ステップS218において、通信制御部31cは、当該オブジェクトIDに対応するオブジェクト画像を格納している固定カメラ10に対して、再生すべき画像を特定するための情報(時間、場所、デバイスID、オブジェクトID等)を送信し、問い合わせを行う。なお、当該問い合わせは、オブジェクトIDに対応するデバイスIDのプライバシーレベルが「低」の場合に、オブジェクト画像の送信を要求する問い合わせとして行われ得る。
次に、ステップS221において、固定カメラ10の通信制御部11cは、ローカルサーバ30からの問い合わせに含まれる情報に基づいて、記憶部19から対象のオブジェクト画像302を抽出し、ローカルサーバ30に転送する。
続いて、ステップS224において、ローカルサーバ30の復元部31dは、固定カメラ10から受信したオブジェクト画像302を、記憶部35に記憶していた背景画像301に合成して、元の撮像画像(復元画像)を生成する。
なお、図6に示すように、分離されたオブジェクト画像が複数ある場合、そのうち1つのオブジェクト画像が問い合わせに含まれるデバイスID等に合致したものとして送信される場合も想定される。この場合、例えばオブジェクト画像302aのみが送信され、復元部31dは、当該オブジェクト画像302aを背景画像301に合成して復元画像を生成する。したがって、他ユーザ(オブジェクト画像302b、302c)を特定できる情報は欠落したまま、該当するユーザ(オブジェクト画像302a)を特定できる情報のみが復元された画像が生成され得る。これにより、他ユーザのプライバシーの問題は発生しない。
次いで、ステップS227において、通信制御部31cは、復元画像を表示装置40に送信する。
そして、ステップS230において、表示装置40は、受信した復元画像を表示する。
<<4.まとめ>>
上述したように、本開示の実施形態によるカメラシステムでは、撮像画像に対して個人を特定できるオブジェクト(プライバシー侵害が懸念される部分)を欠落させる処理を行った上で画像を流通させることで、プライバシー侵害の防止と撮像画像の流通との両立を図ることができる。
また、復元されて外部モニタに転送される情報(復元画像)には、デバイスIDに対応付けて登録した情報開示属性(プライバシーレベル)により公開が許された物体オブジェクトの情報のみが含まれているので、画像に写り込んだ他者のプライバシーを担保することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した固定カメラ10、ローカルサーバ30に内蔵されるCPU、ROM、およびRAM等のハードウェアに、固定カメラ10、ローカルサーバ30の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、分離したオブジェクトに対するオブジェクトIDの付与は、ローカルサーバ30側で行ってもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
撮像部により撮像された画像データから、個人を特定できるオブジェクトを検出するオブジェクト検出部と、
前記オブジェクトを復元可能な情報を記憶部に記憶する記憶制御部と、
前記画像データから前記個人を特定できるオブジェクトに関する情報を欠落させて生成された画像データを、サーバに転送するよう制御する通信制御部と、
を備える、情報処理装置。
(2)
前記通信制御部は、さらに前記オブジェクトに対応するオブジェクトIDをサーバに転送し、
前記記憶制御部は、前記オブジェクトIDを紐づけて、前記オブジェクトに関する情報を記憶する、前記(1)に記載の情報処理装置。
(3)
前記情報処理装置は、無線端末と通信可能な無線通信部をさらに備え、
前記通信制御部は、前記無線通信部により検出された無線端末のデバイスIDと、当該無線端末までの距離に関する情報とをサーバに転送する、前記(2)に記載の情報処理装置。
(4)
前記サーバでは、デバイスID単位でプライバシーレベルを管理し、前記サーバに転送されたオブジェクトIDと前記デバイスIDが前記無線端末までの距離に応じて紐づけられ、
前記通信制御部は、前記プライバシーレベルが高いオブジェクトIDに対応するオブジェクトを復元可能な情報を記憶している情報処理装置として、前記サーバから当該オブジェクトを復元可能な情報の削除要求を受信し、
前記記憶制御部は、前記削除要求に応じて、当該オブジェクトを復元可能な情報を前記記憶部から削除する、前記(3)に記載の情報処理装置。
(5)
前記通信制御部は、前記サーバから受信したオブジェクトIDを含む閲覧要求に応じて前記記憶部から読み出された当該オブジェクトIDに対応するオブジェクトを復元可能な情報を、前記サーバに転送する、前記(3)に記載の情報処理装置。
(6)
撮像部により撮像された画像データから個人を特定できるオブジェクトに関する情報を欠落させた画像データを、外部装置から受信する通信制御部と、
前記個人を特定できるオブジェクトに対応する領域にオブジェクトIDを割り当て、前記画像データと対応付けて記憶部に記憶する記憶制御部と、
を備え、
前記通信制御部は、前記オブジェクトIDを前記外部装置に返信するよう制御する、情報処理装置。
(7)
前記通信制御部は、前記外部装置が周辺の無線端末から検出した当該無線端末のデバイスIDを受信し、
前記情報処理装置は、
前記個人を特定できるオブジェクトに対応する領域にオブジェクトIDと前記デバイスIDとを紐づける紐付部をさらに備える、前記(6)に記載の情報処理装置。
(8)
前記通信制御部は、前記外部装置が周辺の無線端末から受信した当該無線端末のデバイスIDと、前記外部装置と前記無線端末間の距離に関する情報を受信し、
前記紐付部は、前記画像データ内の前記個人を特定できるオブジェクトに対応する領域と前記外部装置間の距離を示す第1の距離と、前記外部装置と前記無線端末間の距離に関する情報から推定される第2の距離とを比較して、前記オブジェクトIDと前記デバイスIDとを紐づける、前記(7)に記載の情報処理装置。
(9)
前記デバイスIDには、プライバシーレベルが設定され、
前記紐付部は、デバイスIDに基づいて、前記オブジェクトIDのプライバシーレベルを設定する、前記(8)に記載の情報処理装置。
(10)
前記通信制御部は、前記プライバシーレベルが高い場合、前記オブジェクトIDに対応する外部装置に対して削除要求を送信する、前記(9)に記載の情報処理装置。
(11)
前記通信制御部は、外部から閲覧要求として、閲覧対象の時刻、前記外部装置を特定可能な情報、およびデバイスIDを受信し、
前記記憶制御部は、当該外部装置を特定可能な情報によって特定された外部装置から受信した、個人を特定できるオブジェクトに関する情報を欠落させた画像データのうち、前記閲覧対象の時刻に対応する画像データを前記記憶部から抽出し、
前記通信制御部は、前記デバイスIDに紐付けられている前記オブジェクトIDに設定された前記プライバシーレベルが低いとき、前記オブジェクトIDに対応するオブジェクトを復元可能な情報を要求する要求情報を送信するとともに、前記要求情報に対応して返信されたオブジェクトを復元可能な情報を受信し、
前記情報処理装置は、
前記記憶部から抽出した画像データと、前記受信したオブジェクトを復元可能な情報とに基づいて、個人を特定できる情報を含む元画像データを復元する復元部をさらに備え、
前記通信制御部は、前記閲覧要求元に、前記復元部により復元された元画像データを送信する、前記(9)に記載の情報処理装置。
(12)
コンピュータを、
撮像部により撮像された画像データから、個人を特定できるオブジェクトを検出するオブジェクト検出部と、
前記オブジェクトを復元可能な情報を記憶部に記憶する記憶制御部と、
前記画像データから前記個人を特定できるオブジェクトに関する情報を欠落させて生成された画像データを、サーバに転送するよう制御する通信制御部と、
として機能させるためのプログラムを記憶した、記憶媒体。
(13)
撮像部により撮像された画像データから個人を特定できるオブジェクトに関する情報を欠落させた画像データを、外部装置から受信することと、
前記個人を特定できるオブジェクトに対応する領域にオブジェクトIDを割り当て、前記画像データと対応付けて記憶部に記憶することと、
前記オブジェクトIDを前記外部装置に返信するよう制御すること、
を含む、制御方法。
2 スマートフォン
3 ユーザ
5 ネットワーク
10、10A〜10C 固定カメラ
11 制御部
11a オブジェクト検出部
11b 記憶制御部
11c 通信制御部
13 ネットワークI/F
15 無線通信部
17 撮像部
19 記憶部
30 ローカルサーバ
31 制御部
31a 紐付部
31b 記憶制御部
31c 通信制御部
31d 復元部
33 ネットワークI/F
35 記憶部
38 クラウドサーバ
40 表示装置
41 PC
42 タブレット端末
300 撮像画像
302 オブジェクト画像
310 オブジェクト
320 シルエット(影オブジェクト)

Claims (13)

  1. 撮像部により撮像された画像データから、個人を特定できるオブジェクトを検出するオブジェクト検出部と、
    前記オブジェクトを復元可能な情報を記憶部に記憶する記憶制御部と、
    前記画像データから前記個人を特定できるオブジェクトに関する情報を欠落させて生成された画像データを、サーバに転送するよう制御する通信制御部と、
    を備える、情報処理装置。
  2. 前記通信制御部は、さらに前記オブジェクトに対応するオブジェクトIDをサーバに転送し、
    前記記憶制御部は、前記オブジェクトIDを紐づけて、前記オブジェクトに関する情報を記憶する、請求項1に記載の情報処理装置。
  3. 前記情報処理装置は、無線端末と通信可能な無線通信部をさらに備え、
    前記通信制御部は、前記無線通信部により検出された無線端末のデバイスIDと、当該無線端末までの距離に関する情報とをサーバに転送する、請求項2に記載の情報処理装置。
  4. 前記サーバでは、デバイスID単位でプライバシーレベルを管理し、前記サーバに転送されたオブジェクトIDと前記デバイスIDが前記無線端末までの距離に応じて紐づけられ、
    前記通信制御部は、前記プライバシーレベルが高いオブジェクトIDに対応するオブジェクトを復元可能な情報を記憶している情報処理装置として、前記サーバから当該オブジェクトを復元可能な情報の削除要求を受信し、
    前記記憶制御部は、前記削除要求に応じて、当該オブジェクトを復元可能な情報を前記記憶部から削除する、請求項3に記載の情報処理装置。
  5. 前記通信制御部は、前記サーバから受信したオブジェクトIDを含む閲覧要求に応じて前記記憶部から読み出された当該オブジェクトIDに対応するオブジェクトを復元可能な情報を、前記サーバに転送する、請求項3に記載の情報処理装置。
  6. 撮像部により撮像された画像データから個人を特定できるオブジェクトに関する情報を欠落させた画像データを、外部装置から受信する通信制御部と、
    前記個人を特定できるオブジェクトに対応する領域にオブジェクトIDを割り当て、前記画像データと対応付けて記憶部に記憶する記憶制御部と、
    を備え、
    前記通信制御部は、前記オブジェクトIDを前記外部装置に返信するよう制御する、情報処理装置。
  7. 前記通信制御部は、前記外部装置が周辺の無線端末から検出した当該無線端末のデバイスIDを受信し、
    前記情報処理装置は、
    前記個人を特定できるオブジェクトに対応する領域にオブジェクトIDと前記デバイスIDとを紐づける紐付部をさらに備える、請求項6に記載の情報処理装置。
  8. 前記通信制御部は、前記外部装置が周辺の無線端末から受信した当該無線端末のデバイスIDと、前記外部装置と前記無線端末間の距離に関する情報を受信し、
    前記紐付部は、前記画像データ内の前記個人を特定できるオブジェクトに対応する領域と前記外部装置間の距離を示す第1の距離と、前記外部装置と前記無線端末間の距離に関する情報から推定される第2の距離とを比較して、前記オブジェクトIDと前記デバイスIDとを紐づける、請求項7に記載の情報処理装置。
  9. 前記デバイスIDには、プライバシーレベルが設定され、
    前記紐付部は、デバイスIDに基づいて、前記オブジェクトIDのプライバシーレベルを設定する、請求項8に記載の情報処理装置。
  10. 前記通信制御部は、前記プライバシーレベルが高い場合、前記オブジェクトIDに対応する外部装置に対して削除要求を送信する、請求項9に記載の情報処理装置。
  11. 前記通信制御部は、外部から閲覧要求として、閲覧対象の時刻、前記外部装置を特定可能な情報、およびデバイスIDを受信し、
    前記記憶制御部は、当該外部装置を特定可能な情報によって特定された外部装置から受信した、個人を特定できるオブジェクトに関する情報を欠落させた画像データのうち、前記閲覧対象の時刻に対応する画像データを前記記憶部から抽出し、
    前記通信制御部は、前記デバイスIDに紐付けられている前記オブジェクトIDに設定された前記プライバシーレベルが低いとき、前記オブジェクトIDに対応するオブジェクトを復元可能な情報を要求する要求情報を送信するとともに、前記要求情報に対応して返信されたオブジェクトを復元可能な情報を受信し、
    前記情報処理装置は、
    前記記憶部から抽出した画像データと、前記受信したオブジェクトを復元可能な情報とに基づいて、個人を特定できる情報を含む元画像データを復元する復元部をさらに備え、
    前記通信制御部は、前記閲覧要求元に、前記復元部により復元された元画像データを送信する、請求項9に記載の情報処理装置。
  12. コンピュータを、
    撮像部により撮像された画像データから、個人を特定できるオブジェクトを検出するオブジェクト検出部と、
    前記オブジェクトを復元可能な情報を記憶部に記憶する記憶制御部と、
    前記画像データから前記個人を特定できるオブジェクトに関する情報を欠落させて生成された画像データを、サーバに転送するよう制御する通信制御部と、
    として機能させるためのプログラムを記憶した、記憶媒体。
  13. 撮像部により撮像された画像データから個人を特定できるオブジェクトに関する情報を欠落させた画像データを、外部装置から受信することと、
    前記個人を特定できるオブジェクトに対応する領域にオブジェクトIDを割り当て、前記画像データと対応付けて記憶部に記憶することと、
    前記オブジェクトIDを前記外部装置に返信するよう制御すること、
    を含む、制御方法。
JP2016507272A 2014-03-10 2014-12-05 情報処理装置、サーバ、記憶媒体、および制御方法 Expired - Fee Related JP6531341B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014046371 2014-03-10
JP2014046371 2014-03-10
PCT/JP2014/082298 WO2015136796A1 (ja) 2014-03-10 2014-12-05 情報処理装置、記憶媒体、および制御方法

Publications (2)

Publication Number Publication Date
JPWO2015136796A1 true JPWO2015136796A1 (ja) 2017-04-06
JP6531341B2 JP6531341B2 (ja) 2019-06-19

Family

ID=54071261

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016507272A Expired - Fee Related JP6531341B2 (ja) 2014-03-10 2014-12-05 情報処理装置、サーバ、記憶媒体、および制御方法

Country Status (4)

Country Link
US (1) US10282619B2 (ja)
EP (1) EP3119075A4 (ja)
JP (1) JP6531341B2 (ja)
WO (1) WO2015136796A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102308763B1 (ko) * 2015-01-20 2021-10-05 삼성전자주식회사 개인 정보 데이터 보안을 강화하는 장치 및 방법
WO2017155126A1 (ja) * 2016-03-08 2017-09-14 一般社団法人 日本画像認識協会 情報伝送システム、情報送信装置、情報受信装置、およびコンピュータプログラム
JP6699518B2 (ja) * 2016-11-14 2020-05-27 オムロン株式会社 画像認識処理方法、画像認識処理プログラム、データ提供方法、データ提供システム、データ提供プログラム、記録媒体、プロセッサ及び電子機器
JP2021121877A (ja) * 2018-04-27 2021-08-26 ソニーグループ株式会社 情報処理装置および情報処理方法
US20190349517A1 (en) * 2018-05-10 2019-11-14 Hanwha Techwin Co., Ltd. Video capturing system and network system to support privacy mode
JP6644337B1 (ja) * 2018-09-20 2020-02-12 株式会社グラフシステム 鍵写真電子アルバム、鍵写真電子アルバム化プログラムおよび鍵写真電子アルバム化方法
JP2020141212A (ja) * 2019-02-27 2020-09-03 沖電気工業株式会社 画像処理システム、画像処理装置、画像処理プログラム、画像処理方法、及び表示装置
WO2020179052A1 (ja) * 2019-03-07 2020-09-10 日本電気株式会社 画像処理装置、制御方法、及びプログラム
JP7234718B2 (ja) * 2019-03-18 2023-03-08 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
JP2021072606A (ja) * 2019-11-01 2021-05-06 昌樹 加藤 自動匿名化カメラによる個人追尾式監視ネットワークシステム
US11430088B2 (en) * 2019-12-23 2022-08-30 Samsung Electronics Co., Ltd. Method and apparatus for data anonymization
EP3869391A1 (en) * 2020-02-20 2021-08-25 Aletheaid Limited Secure facial recognition
EP3916620A1 (en) * 2020-05-26 2021-12-01 Aletheaid Limited Mobile device-assisted facial recognition
WO2023112269A1 (ja) * 2021-12-16 2023-06-22 日本電気株式会社 システム、サーバ装置、サーバ装置の制御方法及び記憶媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062560A (ja) * 2002-07-30 2004-02-26 Omron Corp 顔照合装置および顔照合方法
JP2005080156A (ja) * 2003-09-03 2005-03-24 Hitachi Kokusai Electric Inc 映像監視システム
JP2006217161A (ja) * 2005-02-02 2006-08-17 Advanced Telecommunication Research Institute International 画像撮影システム
JP2008160354A (ja) * 2006-12-22 2008-07-10 Matsushita Electric Ind Co Ltd 映像出力装置
JP2009033738A (ja) * 2007-07-04 2009-02-12 Sanyo Electric Co Ltd 撮像装置、画像ファイルのデータ構造
JP2009194687A (ja) * 2008-02-15 2009-08-27 Sony Corp 画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム
WO2013160539A1 (en) * 2012-04-27 2013-10-31 Nokia Corporation Method and apparatus for privacy protection in images

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7859551B2 (en) * 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
JP3919437B2 (ja) 1999-10-08 2007-05-23 富士フイルム株式会社 画像撮影システム、画像処理システムおよびこれらを接続した画像提供システム
JP2002281486A (ja) * 2001-03-16 2002-09-27 Dd Marketing:Kk 画像取得システム
EP1276320B1 (de) * 2001-06-15 2015-05-27 L-1 Identity Solutions AG Verfahren zur Unkenntlichmachung und Wiederherstellung von Bildinhalten
US7623675B2 (en) * 2005-09-19 2009-11-24 International Business Machines Corporation Video data management using encapsulation assets
JP5150067B2 (ja) * 2006-07-05 2013-02-20 パナソニック株式会社 監視システム、監視装置及び監視方法
US8233677B2 (en) * 2007-07-04 2012-07-31 Sanyo Electric Co., Ltd. Image sensing apparatus and image file data structure
US8973149B2 (en) * 2013-01-14 2015-03-03 Lookout, Inc. Detection of and privacy preserving response to observation of display screen
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
US9420168B2 (en) * 2013-09-20 2016-08-16 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US10394657B2 (en) * 2014-08-21 2019-08-27 Veeam Software Ag User authorization for file level restoration from image level backups

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062560A (ja) * 2002-07-30 2004-02-26 Omron Corp 顔照合装置および顔照合方法
JP2005080156A (ja) * 2003-09-03 2005-03-24 Hitachi Kokusai Electric Inc 映像監視システム
JP2006217161A (ja) * 2005-02-02 2006-08-17 Advanced Telecommunication Research Institute International 画像撮影システム
JP2008160354A (ja) * 2006-12-22 2008-07-10 Matsushita Electric Ind Co Ltd 映像出力装置
JP2009033738A (ja) * 2007-07-04 2009-02-12 Sanyo Electric Co Ltd 撮像装置、画像ファイルのデータ構造
JP2009194687A (ja) * 2008-02-15 2009-08-27 Sony Corp 画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム
WO2013160539A1 (en) * 2012-04-27 2013-10-31 Nokia Corporation Method and apparatus for privacy protection in images

Also Published As

Publication number Publication date
US20160364615A1 (en) 2016-12-15
EP3119075A1 (en) 2017-01-18
EP3119075A4 (en) 2017-11-15
US10282619B2 (en) 2019-05-07
JP6531341B2 (ja) 2019-06-19
WO2015136796A1 (ja) 2015-09-17

Similar Documents

Publication Publication Date Title
WO2015136796A1 (ja) 情報処理装置、記憶媒体、および制御方法
JP5150067B2 (ja) 監視システム、監視装置及び監視方法
US9986276B2 (en) Authentication system and method of operating the same
WO2013182101A1 (zh) 目标人的确定方法、装置及移动终端
CN110073405B (zh) 图像识别系统以及图像识别方法
US20120041982A1 (en) Method and system for associating co-presence information with a media item
JP6028457B2 (ja) 端末装置、サーバ及びプログラム
JP2012247841A (ja) 近隣人物特定装置、近隣人物特定方法、近隣人物特定プログラム及び近隣人物特定システム
KR20190117477A (ko) 제어 장치 및 방법
US20200053326A1 (en) Camera control and image streaming
JP2014158117A (ja) 撮像装置、管理サーバ、画像送信方法およびプログラム
KR20180113214A (ko) 이미지 획득 방법, 피제어 기기 및 서버
JP6663703B2 (ja) 見守りシステム
JP2015233204A (ja) 画像記録装置及び画像記録方法
JP2009171471A (ja) 映像ネットワークシステム
US9086723B2 (en) Image processing apparatus and control method for determining and associating private information with an image
KR20190015456A (ko) 미디어 중심 사물 인터넷 기반의 미디어 사물 및 이의 동작 방법
JP6435640B2 (ja) 混雑度推定システム
JP5743017B2 (ja) 画像管理装置及びプログラム
JP2001292440A (ja) 場景監視システム
JP2006101028A (ja) 監視システム
JP3634790B2 (ja) 蓄積型映像発信システム
JP5885480B2 (ja) 情報処理装置、情報処理装置の制御方法、プログラム
JP2021064825A (ja) 撮像装置、学習装置、制御方法、学習方法、及びコンピュータプログラム
JP2016038682A (ja) 情報処理装置及びその制御方法、サーバ装置及びその制御方法、コンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181221

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190416

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190429

R151 Written notification of patent or utility model registration

Ref document number: 6531341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees