JPWO2006115156A1 - 監視カメラシステム、撮影装置および映像表示装置 - Google Patents

監視カメラシステム、撮影装置および映像表示装置 Download PDF

Info

Publication number
JPWO2006115156A1
JPWO2006115156A1 JP2007514639A JP2007514639A JPWO2006115156A1 JP WO2006115156 A1 JPWO2006115156 A1 JP WO2006115156A1 JP 2007514639 A JP2007514639 A JP 2007514639A JP 2007514639 A JP2007514639 A JP 2007514639A JP WO2006115156 A1 JPWO2006115156 A1 JP WO2006115156A1
Authority
JP
Japan
Prior art keywords
video
subject
display device
video display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007514639A
Other languages
English (en)
Other versions
JP4197048B2 (ja
Inventor
横田 薫
薫 横田
大森 基司
基司 大森
渡邊 和久
和久 渡邊
佐草 敦
敦 佐草
瑞穂 榊原
瑞穂 榊原
山本 尚明
尚明 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP4197048B2 publication Critical patent/JP4197048B2/ja
Publication of JPWO2006115156A1 publication Critical patent/JPWO2006115156A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

被写体のプライバシーを適切に保護でき、かつ、必要とされる監視機能が実現可能な撮影装置(1)は、被写体を撮影し、撮影映像を配信する撮影装置(1)であって、被写体を撮影する撮影部(10)と、被写体ごとに、当該被写体が含まれる撮影映像の表示を許可する映像表示装置に対応付けられた暗号鍵データを記憶している暗号鍵リスト保管部(13)と、映像表示装置に対応付けられた被写体である特定被写体が、撮影映像中に含まれるか否かを判定する通信部(12)と、前記通信部(12)において特定被写体が含まれると判定された場合に、前記撮影映像中の少なくとも特定被写体の部分映像を、特定被写体の映像表示装置指定情報に対応付けられた暗号鍵データを用いて暗号化することにより暗号化映像に変換し、当該暗号化映像を含む限定化撮影映像を生成する映像暗号化部(15)と、限定化撮影映像を映像表示装置に配信する映像送信部(16)とを備える。

Description

本発明は、被写体に対して適度なプライバシーを確保しつつ、監視カメラによる監視が行えるような監視カメラシステムに関する。
近年、屋内への不審者侵入を抑止する目的で、マンションや家などに監視カメラを設置するようになってきた。また、ニュータウンなどを中心に、町内の街角や公園などに監視カメラを設置して、地域住民が屋内から監視画像を閲覧できるようにしている地域もある。これにより、親は家に居ながらにして、公園などで遊んでいる子供の様子を知ることができるので、子供を安心して外で遊ばせることができる。
その一方、監視カメラの普及は、プライバシーの問題を引き起こす要因となる。即ち、人は、町中や公園の各所に設置された監視カメラによる監視の目に晒されることになり、第三者によって各人の行動が逐次把握されてしまう恐れがある。
したがって、監視カメラを設置することによる安全性および安心感の確保と、上記のような監視カメラの被写体のプライバシー保護を両立させる仕組みが望まれる。
このような仕組みを実現するための一方式として、特許文献1にて開示されている監視カメラシステムがある。
特許文献1記載のシステムでは、予め特定人物の顔画像をシステムに登録しておき、監視カメラの監視映像の中から、前記登録した顔画像が検出された場合、その顔画像に対してモザイク処理を施した映像を、監視カメラシステムの映像表示装置に出力する、といったものである。
この方式では、監視カメラに写りたくない人物(例えば、その家、マンション、地域の住民)の顔画像を予め登録しておけば、監視画像の中のその人物の顔画像には全てモザイク処理が施される。これにより、家、マンション、地域の住民は、監視映像に顔が映らないようにできるので、住民のプライバシーは保護できる。
特開2004−62560号公報
しかしながら、前記従来技術においては、以下のような利用形態において必要な監視機能と被写体のプライバシー保護という問題がうまく両立できないという課題を有していた。
例えば、町内あるいはマンション内の公園などにいる子供の安全を確認するために、親が家から監視する、といった利用形態を考える。このとき、親は当然、子供が写っている監視映像を家の中から、常時見ることができる必要があるが、一方、それ以外の町内あるいはマンション住人には、プライバシー保護の観点からは、子供の監視映像が見られたくない。即ち、住民Aの家族が写っている監視映像は、住民Aの映像表示装置からは見ることができても、住民A以外の人の映像表示装置からは見ることができない、という状態が実現できる必要があるが、前記従来技術では、実現できない。
本発明は、前記のような課題を解決するもので、上記のような利用形態においても、被写体のプライバシーを適切に保護でき、かつ、必要とされる監視機能が実現可能な監視カメラシステムを提供することを目的とする。
本発明に係る監視カメラシステムは、被写体を撮影し、撮影映像を配信する撮影装置と、前記撮影映像を受信して表示する映像表示装置とを備える監視カメラシステムであって、前記撮影装置は、被写体を撮影する撮影手段と、被写体ごとに、当該被写体が含まれる撮影映像の表示を許可する映像表示装置に対応付けられた暗号鍵データを記憶している暗号鍵記憶手段と、前記映像表示装置に対応付けられた被写体である特定被写体が、前記撮影映像中に含まれるか否かを判定する被写体判定手段と、前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像中の少なくとも前記特定被写体の部分映像を、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより暗号化映像に変換し、当該暗号化映像を含む限定化撮影映像を生成する限定化撮影映像生成手段と、前記限定化撮影映像を前記映像表示装置に配信する映像配信手段とを備え、前記映像表示装置は、前記限定化撮影映像を受信する受信手段と、前記映像表示装置に対応付けられた復号鍵データを記憶する復号鍵記憶手段と、前記復号鍵データを用いて前記限定化撮影映像に含まれる暗号化映像を復号することにより、復号映像を生成する映像復号手段とを備える。
この構成によると、映像表示装置に対応付けられている被写体である特定被写体が、撮影映像中に含まれると判断された場合には、その特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて、特定被写体の部分画像を暗号化している。このため、限定化撮影映像を受信した映像表示装置は、その映像表示装置に対応付けられている被写体が表示されている場合には、復号鍵データを用いて復号することにより、復号された限定化撮影映像見ることができるが、それ以外の被写体のみが表示されている場合には、限定化撮影映像を復号して見ることができない。このため、復号された映像の閲覧者は、他人のプライバシーを守りつつ、監視したい被写体のみを監視することができる。よって、被写体のプライバシーを適切に保護でき、かつ、必要とされる監視機能が実現可能な監視カメラシステムを提供することができる。
本発明の他の局面に係る撮影装置は、被写体を撮影し、撮影映像を配信する撮影装置であって、被写体を撮影する撮影手段と、被写体ごとに、当該被写体が含まれる撮影映像の表示を許可する映像表示装置に対応付けられた暗号鍵データを記憶している暗号鍵記憶手段と、前記映像表示装置に対応付けられた被写体である特定被写体が、前記撮影映像中に含まれるか否かを判定する被写体判定手段と、前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像中の少なくとも前記特定被写体の部分映像を、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより暗号化映像に変換し、当該暗号化映像を含む限定化撮影映像を生成する限定化撮影映像生成手段と、前記限定化撮影映像を前記映像表示装置に配信する映像配信手段とを備える。
好ましくは、前記限定化撮影映像生成手段は、映像暗号鍵データを生成する鍵生成手段と、前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像中の少なくとも前記特定被写体の部分映像を、前記鍵生成手段で生成された前記映像暗号鍵データを用いて暗号化することにより、暗号化映像に変換する撮影映像暗号化手段と、前記鍵生成手段で生成された前記映像暗号鍵データを、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより、暗号化映像暗号鍵データに変換する映像鍵暗号化手段と、前記映像暗号化手段で生成された前記暗号化映像と前記映像暗号化手段で生成された前記暗号化映像暗号鍵データとを含む前記限定化撮影映像を生成する生成手段とを備える。
映像暗号鍵を、特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化するようにしている。このため、限定化撮影映像を配信する映像表示装置が複数あるような場合には、暗号化映像を映像表示装置ごとに作成する必要がなくなる。このため、映像配信手段より配信される限定化撮影映像のデータサイズを小さくすることができる。
また、前記限定化撮影映像生成手段は、前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像中の前記特定被写体の映像である特定被写体映像を、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより暗号化特定被写体映像に変換する変換手段と、前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像から前記特定被写体映像を除去した背景映像を生成する背景映像生成手段と、前記変換手段により生成された前記暗号化特定被写体映像と前記背景映像生成手段で生成された前記背景映像とを含む前記限定化撮影映像を生成する生成手段とを備えていてもよい。
撮影映像中に複数の特定被写体が映っている場合であっても、特定被写体映像ごとに被写体限定化撮影映像を生成することができる。このため、限定化撮影映像を受信した映像表示装置では、同じ映像中であっても、ある特定被写体映像のみを復号でき、その他の特定被写体映像は復号できないようにすることができる。このように、復号された映像の閲覧者は、他人のプライバシーを守りつつ、監視したい被写体のみを監視することができる。よって、被写体のプライバシーを適切に保護でき、かつ、必要とされる監視機能が実現可能な監視カメラシステムを提供することができる。
なお、本発明は、このような特徴的な手段を備える撮影装置等として実現することができるだけでなく、撮影装置等に含まれる特徴的な手段をステップとする撮影方法等として実現したり、撮影方法等に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc−Read Only Memory)等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
本発明の監視カメラシステムによれば、監視映像に写っている被写体に応じて、その監視映像が見ることができる映像表示装置を指定して監視映像を配信することが可能となるので、被写体のプライバシーを適切に保護でき、かつ、必要とされる監視機能が実現可能な監視カメラシステムが実現されるという効果がある。
図1は、本発明の実施の形態1に係る監視カメラシステムの構成を示すブロック図である。 図2は、本発明の実施の形態1に係る撮影装置の構成を示すブロック図である。 図3は、撮影装置が実行する処理のフローチャートである。 図4は、装置鍵リスト保管部が保管しているリストの一例を示す図である。 図5は、本発明の実施の形態1に係る暗号化映像データの構成を示すブロック図である。 図6は、本発明の実施の形態1に係る映像表示装置の構成を示すブロック図である。 図7は、映像表示装置が実行する処理のフローチャートである。 図8は、本発明の実施の形態2に係る監視カメラシステムの構成を示すブロック図である。 図9は、本発明の実施の形態2に係る撮影装置の構成を示すブロック図である。 図10は、撮影装置が実行する処理のフローチャートである。 図11は、本発明の実施の形態2に係るフレーム画像の構成を示すブロック図である。 図12は、本発明の実施の形態2に係る第1抽出顔画像の構成を示すブロック図である。 図13は、本発明の実施の形態2に係る第2抽出顔画像の構成を示すブロック図である。 図14は、本発明の実施の形態2に係る背景画像の構成を示すブロック図である。 図15は、本発明の実施の形態2に係る映像表示装置の構成を示すブロック図である。 図16は、映像表示装置が実行する処理のフローチャートである。 図17は、モザイク画像の一例を示す図である。 図18は、映像表示装置に表示されるデジタル画像データの一例を示す図である。
符号の説明
1 撮影装置
2a〜2c 被写体
3 ネットワーク
4a〜4c、7a〜7c 映像表示装置
5 暗号化映像データ
6 撮影装置
10、60 撮像部
11、61 映像処理部
12、62 通信部
13 暗号鍵リスト保管部
14 暗号鍵取得部
15 映像暗号化部
16、69 映像送信部
21a、21b IDタグ
40、70 映像受信部
41、71 装置鍵保管部
42 映像復号部
43、74 映像表示部
51a 第1映像表示装置識別子
51b 第1暗号化コンテンツ鍵データ
51c 第2映像表示装置識別子
51d 第2暗号化コンテンツ鍵データ
52 暗号化コンテンツデータ
63 顔画像リスト保管部
64 顔画像取得部
65 顔映像分離部
66 装置鍵リスト保管部
67 装置鍵取得部
68 顔映像暗号化部
72 顔映像復号部
73 映像合成部
90 フレーム画像
91 背景画像
92a 第1抽出顔画像
92b 第2抽出顔画像
(実施の形態1)
以下、本発明に係る実施の形態1について、図面を参照しながら説明する。
<監視カメラシステムの概要>
図1は、本発明の実施の形態1における監視カメラシステムの構成例を示したブロック図である。本監視カメラシステムは、予め定められた被写体のプライバシーを保護しつつ、当該被写体の監視を行なうシステムであり、撮影装置1と、ネットワーク3を介して接続された映像表示装置4a、4bおよび4cとを備えている。
ここでは、撮影装置1は、被写体2a、2b、2cを撮像しているものとする。また、被写体2aはID(Identification)タグ21aを、被写体2bはIDタグ21bをそれぞれ身につけており、被写体2cはIDタグを身につけていないものとする。
本監視カメラシステムでは、撮影装置1が被写体2a、2b、2cを撮影する。撮影装置1は、撮影した映像を、ネットワーク3を介して、映像表示装置4a、4b、4cに配信する。以下では、この手順を詳細に説明する。
<監視カメラシステムのセットアップ>
映像表示装置4a、4b、4cには、映像表示装置識別子IDa、IDb、IDcがそれぞれ設定されている。また、監視カメラシステム立ち上げ時に、映像表示装置4a、4b、4cには、それぞれ異なる装置鍵Ka、Kb、Kcが設定されている。
撮影装置1は、映像表示装置に設定されている装置鍵を管理するために、映像表示装置識別子と装置鍵とを対応付けたリストを保管している。また、各映像表示装置識別子が記憶されたIDタグが、各映像表示装置の管理者に配布される。このIDタグは、映像表示装置の管理者が、自分が管理する映像表示装置で監視したい人物に渡して身につけさせるようにする。例えば、管理者が各家庭の親で、監視したい人物がその子供であるような場合が考えられる。
図1では、映像表示装置識別子IDaが記憶されたIDタグ21aを被写体2aが身に付け、映像表示装置識別子IDbが記憶されたIDタグ21bを被写体2bが身に付けているものとする。IDタグは、撮影装置1との間で無線通信を行ない、映像表示装置識別子を撮影装置1に送信する。
次に、撮影装置1が、被写体を撮影し、撮影により得られた監視映像を映像表示装置4a〜4cに配信し、映像表示装置4a〜4cが、配信された監視映像を閲覧するまでの処理手順について説明する。
<撮影装置1の構成と動作>
図2は、撮影装置1の構成例を示すブロック図である。撮影装置1は、被写体を撮影し、映像表示装置に配信する装置であり、撮像部10と、映像処理部11と、通信部12と、暗号鍵リスト保管部13と、暗号鍵取得部14と、映像暗号化部15と、映像送信部16とを備えている。
撮像部10は、レンズおよび撮像素子から構成され、被写体からレンズを介して受け付けた光を電荷に変換して最終的にはデジタル映像信号として出力する処理部である。
映像処理部11は、撮像部10より出力されるデジタル映像信号に対して画像処理を施してデジタル映像データとして出力する処理部である。
通信部12は、被写体の撮影中にIDタグから映像表示装置識別子を受信する処理部である。
暗号鍵リスト保管部13は、各映像表示装置が保持している装置鍵と映像表示装置識別子をリストとして保管している記憶部である。
暗号鍵取得部14は、暗号鍵リスト保管部13から必要な装置鍵を取得する処理部である。
映像暗号化部15は、暗号鍵取得部14より取得された装置鍵を用いて、映像処理部11より出力されるデジタル映像データを暗号化する処理部である。
映像送信部16は、暗号化されたデジタル映像データを含む監視映像を、映像表示装置4a〜4cに配信する処理部である。
以下、撮影装置1が、被写体を撮影して、映像表示装置4a〜4cに監視映像を配信するまでの処理について説明する。図3は、撮影装置1が実行する処理のフローチャートである。
撮像部10は、レンズを介して被写体2a、2b、2cから光を受け付けて電荷に変換し、サンプリング、自動利得調整などの処理を経て、デジタル映像信号を生成する。そして、デジタル映像信号を、映像処理部11に転送する。
映像処理部11は、デジタル映像信号に対して画像処理を行って、デジタル映像データを生成する(S2)。そして、映像処理部11は、デジタル映像データを映像暗号化部15に転送する。このとき、映像処理部11は、デジタル映像データを、所定のフレーム数ごとに分割する。ここで、所定のフレーム数ごとに分割されたデジタル映像データを。時系列に沿って、デジタル映像データM1、M2、M3、・・・とする。映像処理部11は、デジタル映像データM1、M2、M3、の順に、当該デジタル映像データを所定の時間間隔で映像暗号化部15に転送する。
映像暗号化部15は、デジタル映像データMn(n=1、2、3、4・・・)を受信するごとに、暗号鍵取得部14に装置鍵要求を行う(S4)。
暗号鍵取得部14は、装置鍵要求に応答して、通信部12にIDタグデータ要求を行う(S6)。
通信部12は、IDタグリーダの機能を有しており、IDタグデータ要求に応答して、IDタグの誰何信号を送信する(S8)。通信部12は、誰何信号に対して応答したIDタグのタグデータを受信する(S10でYES、S12)。ここで、「タグデータ」とは、IDタグが内部に保持しているデータ、即ち、映像表示装置識別子を指す。通信部12は、誰何信号に対して複数のIDタグが応答した場合には(S10でYES)、応答したIDタグの全てからタグデータ(映像表示装置識別子)を受信する(S12)。
通信部12は、IDタグから受信した全ての映像表示装置識別子を暗号鍵取得部14に転送する(S14)。なお、通信部12が送信した誰何信号に対して、応答するIDタグがない場合には(S10でNO)、通信部12は、映像表示装置識別子として「識別子なし」を表すデータを、暗号鍵取得部14に送信する(S32)。図1に示す例では、通信部12は、被写体2aと被写体2bがそれぞれ身につけているIDタグ21aおよび21bから映像表示装置識別子IDaおよびIDbを受信する。
暗号鍵取得部14は、受信した映像表示装置識別子を、装置鍵リスト保管部13に転送することにより、装置鍵の要求を行う(S16)。ただし、「識別子なし」を表すデータを通信部12から受信した場合には、この要求は行わない。図1の例では、暗号鍵取得部14は、映像表示装置識別子IDaおよびIDbを暗号鍵リスト保管部13に転送する。
暗号鍵リスト保管部13は、監視カメラシステムに登録されている全ての映像表示装置に関して、映像表示装置識別子と装置鍵の組をリストとして保管している。図4は、暗号鍵リスト保管部13が保管しているリストの一例を示す図である。同図に示されるように、リストには、映像表示装置識別子IDaと装置鍵Kaとの組、映像表示装置識別子IDbと装置鍵Kbとの組、映像表示装置識別子IDcと装置鍵Kcとの組が含まれる。
暗号鍵リスト保管部13は、暗号鍵取得部14から送信された映像表示装置識別子を受信し、上記リストを検索し、その識別子に対応する装置鍵を暗号鍵取得部14に転送する(S18)。なお、暗号鍵リスト保管部13は、複数の映像表示装置識別子を受信した場合には、それぞれの映像表示装置識別子に対応する装置鍵を検索して、全ての装置鍵を暗号鍵取得部14に転送する。図1の例では、暗号鍵リスト保管部13は、映像表示装置識別子IDaおよびIDbに対応する装置鍵KaおよびKbを、暗号鍵取得部14に転送する。
暗号鍵取得部14は、暗号鍵リスト保管部13から受信した装置鍵を映像表示装置識別子とともに、映像暗号化部15に転送する(S20)。ただし、暗号鍵取得部14は、「識別子なし」を表すデータを通信部12から受信した場合には、装置鍵および映像表示装置識別子の代わりに「装置鍵なし」を表すデータを映像暗号化部15に転送する(S34)。図1の例では、暗号鍵取得部14は、装置鍵KaおよびKbと映像表示装置識別子IDaおよびIDbとを、映像暗号化部15に転送する。
映像暗号化部15は、暗号鍵取得部14から受信した装置鍵を用いて、以下のようにして、デジタル映像データMnの暗号化を行う。まず、映像暗号化部15は、コンテンツ鍵Kcontをランダムに生成し、このコンテンツ鍵Kcontを用いてデジタル映像データMnの暗号化を行い、暗号化コンテンツデータを生成する(S22)。次に、映像暗号化部15は、暗号鍵取得部14から受信した装置鍵を用いてコンテンツ鍵Kcontを暗号化し、暗号化コンテンツ鍵データを生成する(S24)。このとき、暗号鍵取得部14から複数の装置鍵を受信した場合には、それぞれの装置鍵で暗号化した暗号化コンテンツ鍵データを作成する。図1の例では、映像暗号化部15は、装置鍵Kaを用いてコンテンツ鍵Kcontを暗号化した暗号化コンテンツ鍵と、装置鍵Kbを用いてコンテンツ鍵Kcontを暗号化した暗号化コンテンツ鍵とを生成する。
映像暗号化部15は、作成した暗号化コンテンツ鍵と、表示装置識別子と、暗号化コンテンツデータとからなる暗号化映像データCnを、映像送信部16に転送する(S26)。図1の例では、映像暗号化部15は、図5に示すような暗号化映像データ5を生成する。暗号化映像データ5は、第1映像表示装置識別子(IDa)51aと、装置鍵Kaを用いてコンテンツ鍵Kcontを暗号化した第1暗号化コンテンツ鍵データ51bと、第2映像表示装置識別子(IDb)51cと、装置鍵Kbを用いてコンテンツ鍵Kcontを暗号化した第2暗号化コンテンツ鍵データ51dと、コンテンツ鍵Kcontを用いてデジタル映像データMnを暗号化した暗号化コンテンツデータ52とを含む。なお、映像暗号化部15は、暗号鍵取得部14から「装置鍵なし」を表すデータを受信した場合には、デジタル映像データMnをそのまま映像送信部16に転送する(S36)。
映像送信部16は、映像暗号化部15から受信した暗号化映像データCnもしくはデジタル映像データMnを、ネットワーク3を介して、映像表示装置4a、4b、4cに配信する(S28、S38)。
<映像表示装置4aの構成と動作>
次に、撮影装置1より暗号化映像データCnまたはデジタル映像データMnを受信する映像表示装置4a、4b、4cの構成と動作について、図6を用いて説明する。映像表示装置4a、4b、4cの内部構成は同じであるから、ここでは、映像表示装置4aについて説明する。
映像表示装置4aは、撮影装置1より配信された映像を表示する装置であり、映像受信部40と、装置鍵保管部41と、映像復号部42と、映像表示部43とを備える。
映像受信部40は、撮影装置1より暗号化映像データCnまたはデジタル映像データMnを受信する処理部である。
装置鍵保管部41は、映像表示装置4aの装置鍵を保管する記憶部である。
映像復号部42は、映像受信部40が受信した暗号化映像データCnを復号することにより、デジタル映像データを生成する処理部である。
映像表示部43は、映像受信部40が受信したデジタル映像データMnまたは映像復号部42で生成されたデジタル映像データMnを表示する処理部である。
以下、映像表示装置4aが実行する処理について説明する。図7は、映像表示装置4aが実行する処理のフローチャートである。
映像受信部40は、撮影装置1よりデータを受信する(S52)。受信したデータがデジタル映像データMn(n=1、2、3・・・)の場合には(S54でNO)、映像受信部40は、デジタル映像データMnを受信するごとに、映像表示部43に送信する。映像受信部40は、受信したデジタル映像データMnを表示する(S64)。
受信したデータが暗号化映像データCn(n=1、2、3・・・)の場合には(S54でYES)、映像受信部40は、暗号化映像データCnを受信するごとに、受信した暗号化映像データCnを映像復号部42に転送する。
映像復号部42は、内部に自身の映像表示装置識別子を保持している。例えば、映像表示装置4aの映像復号部42は、映像表示装置識別子IDaを保持している。
映像復号部42は、映像受信部40より暗号化映像データCnを受信した場合には(S54でYES)、暗号化映像データに含まれる映像表示装置識別子の中に、自身が保持している映像表示装置識別子と一致するものがあるか否かを検索する。
一致するものが無い場合には(S56でNO)、受信した暗号化映像データCnは、この映像表示装置4aでは復号できないと判断をして、以下の処理は中止する。
一致するものが含まれる場合には(S56でYES)、映像復号部42は、暗号化映像データCnから、自身が保持する映像表示装置識別子IDaに対応する暗号化コンテンツ鍵データを取り出す。また、映像復号部42は、装置鍵保管部41から装置鍵Kaを読み出す(S58)。そして、映像復号部42は、装置鍵Kaを用いて、暗号化映像データCnに含まれる暗号化コンテンツ鍵データを復号することにより、コンテンツ鍵Kcontを求める(S60)。さらに、映像復号部42は、コンテンツ鍵Kcontを用いて、暗号化映像データCnに含まれる暗号化コンテンツデータを復号することにより、デジタル映像データMnを求める(S62)。映像復号部42は、求めたデジタル映像データMnを映像表示部43に転送する。映像受信部40が、図5に示す暗号化映像データ5を受信した場合、この暗号化映像データ5には、映像復号部42が保持している映像表示装置識別子IDaと一致する第1映像表示装置識別子51aが含まれる。このため、映像復号部42は、第1映像表示装置識別子51aに対応する第1暗号化コンテンツ鍵データ51bを取得する。そして、映像復号部42は、この第1暗号化コンテンツ鍵データ51bを、装置鍵保管部41が保管する装置鍵Kaを用いて復号することにより、コンテンツ鍵Kcontを求める。さらに、映像復号部42は、コンテンツ鍵Kcontを用いて暗号化コンテンツデータ52を復号することにより、デジタル映像データMnを求める。
映像表示部43は、映像復号部42から受信したデジタル映像データMnを、監視映像閲覧者が閲覧できる形で表示する(S64)。
図5に示す暗号化映像データ5には、第1映像表示装置識別子IDa(51a)および第2映像表示装置識別子IDb(51c)と、それらにそれぞれ対応する第1暗号化コンテンツ鍵データ51bおよび第2暗号化コンテンツ鍵データ51dとが含まれている。このため、映像表示装置4aおよび4bは、それぞれ内部に保持している装置鍵Ka、Kbを用いて暗号化コンテンツ鍵データからコンテンツ鍵を求めることができる。しかし、暗号化映像データ5には、映像表示装置4cが保持する装置鍵Kcで復号可能な暗号化コンテンツ鍵データは含まれていない。このため、映像表示装置4cは、コンテンツ鍵を求めることはできない。即ち、映像表示装置4cは、デジタル映像データを入手できない。
このことから、映像表示装置識別子IDaが記憶されたIDタグ21aを身に付けた被写体2aと映像表示装置識別子IDbが記憶されたIDタグ21bを身に付けた被写体2bとが写っているデジタル映像データMnは、映像表示装置4aおよび映像表示装置4bでのみ閲覧することが可能であり、映像表示装置4cでは閲覧不可能であることがわかる。
例えば、図1において、映像表示装置4a、4b、4cが、それぞれ、Aさん、Bさん、Cさんの家に設置されているものとする。また、AさんおよびBさんが、それぞれ自分の家の子供に、映像表示装置識別子IDaおよびIDbがそれぞれ記憶されたIDタグ21aおよび21bを身につけさせるとする。このとき、撮影装置1が設置された公園で、Aさんの家の子供(被写体2a)とBさんの家の子供(被写体2b)が、IDタグを身につけていない子供(被写体2c)と遊んでいるとする。撮影装置1は、3人の子供(被写体2a〜2c)を撮影して、撮影装置1とネットワーク3を介して接続している全ての映像表示装置4a〜4cに暗号化映像データCnを配信するが、その暗号化映像データCnを実際に復号して閲覧できるのは、AさんとBさんの家の映像表示装置4aと4bからのみであり、Cさんの家の映像表示装置4cからは閲覧することができない。
以上説明したように、監視映像の閲覧者は、自分の家の子供が遊んでいる場合には、その様子を撮像した映像を見ることができるが、IDタグを身につけた他人の家の子供のみが遊んでいる場合には、その様子を見ることができない。このため、適切にプライバシーを保護することができる。
なお、本実施の形態では、撮影した映像を暗号化した後、ネットワークを介して映像表示装置に配信することとしているが、撮影により得られた映像を撮影装置内部、映像表示装置内部または外部の記憶媒体に蓄積して、後で再生閲覧するようにしてもよい。
また、IDタグを身に付けた被写体が存在しない状態で撮影した場合には、撮影により得られた映像を暗号化せずに映像表示装置に配信しているが、このような状態専用の鍵を別途設定して、その鍵を用いて暗号化するようにしてもよい。
また、装置鍵は、映像表示装置ごとに1つだけ設定されているが、ひとつの映像表示装置に複数の装置鍵が設定されていてもよい。
また、写っている被写体に関わらず、全ての撮影映像を閲覧可能な映像表示装置を設けて、映像を暗号化する際には、その映像表示装置に設定した装置鍵(マスター鍵)で暗号化した暗号化コンテンツ鍵を必ず含めるようにしてもよい。例えば、このようなマスター鍵を、マンションの管理組合の組合長の家の映像表示装置に記憶させれば、組合長は、全ての撮影映像を閲覧することができる。
また、装置鍵は、メモリカードのような着脱可能な記憶媒体に格納して、映像表示装置で映像を閲覧するときに、前記記憶媒体を装着して使用するようにしてもよい。
また、装置鍵は、ネットワークを介して別の映像表示装置に送付できるようにしてもよい。これにより、例えば、Aさんの家の親が買い物などで外出する際に、Aさんの映像表示装置の装置鍵を、Bさんの家の映像表示装置に送付して、Aさんの代わりにBさんにAさんの家の子供の映像を監視してもらうことができる。
(実施の形態2)
次に、本発明に係る実施の形態2について、図面を参照しながら説明する。
<監視カメラシステムの概要>
監視カメラシステムの概要を図8に示す。本実施の形態に係る監視カメラシステムは、図1を参照して説明した実施の形態1に係る監視カメラシステムにおいて、撮影装置1を撮影装置6に変更し、映像表示装置4a、4b、4cを、映像表示装置7a、7b、7cにそれぞれ変更したものであり、基本的には、実施の形態1に係る監視カメラシステムと同様の構成である。その詳細は、既に説明したのでここでは繰り返さない。
以下、撮影装置6が、被写体2a、2b、2cを撮影し、撮影した映像を、ネットワーク3を介して、映像表示装置7a、7b、7cに配信する手順を詳細に説明する。
<監視カメラシステムのセットアップ>
映像表示装置7a、7b、7cには、映像表示装置識別子IDa、IDb、IDcがそれぞれ設定されている。また、監視カメラシステム立ち上げ時に、映像表示装置7a、7b、7cには、それぞれ異なる装置鍵Ka、Kb、Kcが設定されている。
撮影装置6は、映像表示装置に設定されている装置鍵を管理するために、映像表示装置識別子と装置鍵とを対応付けたリストを保管している。また、各映像表示装置識別子が記憶されたIDタグが、各映像表示装置の管理者に配布される。このIDタグは、映像表示装置の管理者が、自分が管理する映像表示装置で監視したい人物に渡して身につけさせるようにする。さらに、映像表示装置の管理者は、配布されたIDタグを身につけさせる人物の顔画像を撮影装置6に登録する。撮影装置6は、映像表示装置識別子とそれに対応する装置鍵とを組にしたリストおよび映像表示装置識別子とそれに対応する顔画像を組にしたリストとを保管している。
以上のシステムセットアップの後、被写体2a、2b、2cを、撮影装置が撮影して、映像表示装置に配信し、映像表示装置が、配信された監視映像を閲覧するまでの処理手順について説明する。
<撮影装置6の構成と動作>
図9は、撮影装置6の構成例を示すブロック図である。撮影装置6は、被写体を撮影し、映像表示装置に配信する装置であり、撮像部60と、映像処理部61と、通信部62と、顔画像リスト保管部63と、顔画像取得部64と、顔映像分離部65と、装置鍵リスト保管部66と、装置鍵取得部67と、顔映像暗号化部68と、映像送信部69とを備えている。
撮像部60は、レンズおよび撮像素子から構成され、被写体からレンズを介して受け付けた光を電荷に変換して最終的にはデジタル映像信号として出力する処理部である。
映像処理部61は、撮像部60より出力されるデジタル映像信号に対して画像処理を施してデジタル映像データとして出力する処理部である。
通信部62は、被写体の撮影中にIDタグから映像表示装置識別子を受信する処理部である。
顔画像リスト保管部63は、各映像表示装置識別子とそれに対応する顔画像データを組にしてリストとして保管している記憶部である。
顔画像取得部64は、顔画像リスト保管部63から映像表示装置識別子に対応する顔画像データを取得する処理部である。
顔映像分離部65は、映像処理部61より出力されるデジタル映像データのうち、顔画像取得部64で取得された顔画像データとマッチする部分画像を顔映像として抽出する処理部である。
装置鍵リスト保管部66は、各映像表示装置が保持している装置鍵と映像表示装置識別子をリストとして保管している記憶部である。
装置鍵取得部67は、装置鍵リスト保管部66から映像表示装置識別子に対応する装置鍵を取得する処理部である。
顔映像暗号化部68は、装置鍵を用いて顔映像分離部65で抽出された顔映像を暗号化する処理部である。映像送信部69は、暗号化された顔映像を含む監視映像を映像表示装置7a〜7cに配信する処理部である。
以下、撮影装置6が、被写体を撮影して、映像表示装置7a〜7cに監視映像を配信するまでの処理について説明する。図10は、撮影装置6が実行する処理のフローチャートである。
撮像部60は、レンズを介して被写体2a、2b、2cから光を受け付けて電荷に変換し、サンプリング、自動利得調整などの処理を経て、デジタル映像信号を生成する。そして、デジタル映像信号を、映像処理部61に転送する。
映像処理部61は、デジタル映像信号に対して画像処理を行って、デジタル映像データを生成する(S72)。そして、映像処理部61は、デジタル映像データを顔映像分離部65に転送する。このとき、映像処理部61は、デジタル映像データを、所定のフレーム数ごとに分割する。ここで、所定のフレーム数ごとに分割されたデジタル映像データを、時系列に沿って、デジタル映像データM1、M2、M3、・・・とする。映像処理部61は、デジタル映像データM1、M2、M3、の順に、当該デジタル映像データを顔映像分離部65に転送する。
通信部62は、IDタグリーダの機能を有しており、顔映像分離部65が、デジタル映像データMn(n=1、2、3・・・)を受信すると、通信部62は、IDタグの誰何信号を送信する(S76)。通信部12は、誰何信号に対して応答したIDタグのタグデータを受信する(S78でYES、S80)。ここで、「タグデータ」とは、IDタグが内部に保持しているデータ、即ち、映像表示装置識別子を指す。通信部62は、誰何信号に対して複数のIDタグが応答した場合には(S78でYES)、応答したIDタグの全てからタグデータ(映像表示装置識別子)を受信する(S80)。
通信部12は、IDタグから受信した全ての映像表示装置識別子を顔画像取得部64および装置鍵取得部67に転送する(S82)。なお、通信部12が送信した誰何信号に対して、応答するIDタグがない場合には(S78でNO)、通信部62は、映像表示装置識別子として「識別子なし」を表すデータを、顔画像取得部64および装置鍵取得部67に転送する(S102)。図8に示す例では、通信部62は、被写体2aと被写体2bがそれぞれ身につけているIDタグ21aおよび21bから映像表示装置識別子IDaおよびIDbを受信する。
顔画像取得部64は、通信部62より受信した映像表示装置識別子を顔画像リスト保管部63に転送する。顔画像リスト保管部63は、顔画像取得部64より受信した映像表示装置識別子に対応する顔画像を顔画像取得部64に転送する。顔画像リスト保管部63は、複数の映像表示装置識別子を受信した場合には、それらに対応する顔画像を全て顔画像取得部64に転送する。そして、顔画像取得部64は、受信した顔画像を全て顔映像分離部65に転送する(S84)。なお、顔画像取得部64は、通信部62より映像表示装置識別子の代わりに「識別子なし」を表すデータを受信した場合には、顔画像の代わりに「顔画像なし」を表すデータを顔映像分離部65に転送する(S104)。
図8に示す例では、顔画像取得部64は、通信部62より映像表示装置識別子IDaおよびIDbを受信する。顔画像取得部64は、受信した映像表示装置識別子IDaおよびIDbを顔画像リスト保管部63に転送する。顔画像リスト保管部63は、映像表示装置識別子IDaに対応する顔画像、および映像表示装置識別子IDbに対応する顔画像を顔画像取得部64に転送する。そして、顔画像取得部64は、それら受信した顔画像を顔映像分離部65に転送する。
顔映像分離部65は、まず、映像処理部61より受信したデジタル映像データMnを1フレームごとにわける。次に、顔映像分離部65は、各フレーム画像に対して、顔画像取得部64より受信した顔画像をパターン画像としたパターンマッチングを行い、フレーム画像中に上記パターン画像と一致する部分があれば、その部分だけを抽出顔画像として分離する(S86)。顔映像分離部65は、顔画像取得部64より複数の顔画像を受信した場合には、上記のパターンマッチングを、顔画像ごとに行う。このようにして、顔画像取得部64よりk個の顔画像を受信した場合、顔映像分離部65は、フレーム画像を、第1抽出顔画像、第2抽出顔画像、・・・、第k抽出顔画像およびフレーム画像から前記k個の抽出顔画像を取り除いた背景画像に分離する。
顔映像分離部65は、上記の顔画像抽出処理を、全フレーム画像に対して行って、それぞれ、背景画像、第1、第2、・・・、第k抽出顔画像ごとにまとめたものを、背景映像、第1抽出顔映像、第2抽出顔映像、・・・、第k抽出顔映像とする。そして、顔映像分離部65は、第1〜第k抽出顔映像については、パターンマッチングに用いた顔画像に対応する映像表示装置識別子を付加して顔映像暗号化部68に転送する。また、顔映像分離部65は、背景映像を映像送信部69に転送する(S88)。
なお、顔映像分離部65が、顔画像取得部64から「顔画像なし」を表すデータを受信した場合には、顔映像分離部65は、「顔映像なし」を表すデータを、顔映像暗号化部68に転送する(S106)。また、顔映像分離部65は、デジタル映像データMnを映像送信部69に転送する。
上記一連の処理のうち、フレーム画像から抽出顔画像を分離する処理について、図8に示す例を元に説明する。図8に示す例において、図11に示すようなフレーム画像90を顔映像分離部65にて処理する場合を考える。フレーム画像90には、被写体2a、2b、2cが写っている。このとき、映像表示装置識別子IDaに対応する顔画像を用いて抽出した抽出顔画像は、図12に示すような第1抽出顔画像92aになり、映像表示装置識別子IDbに対応する顔画像を用いて抽出した抽出顔画像は、図13に示すような第2抽出顔画像92bになる。そして、背景映像は、図14に示すような背景画像91になる。顔映像分離部65は、第1抽出顔画像92aに映像表示装置識別子IDaを付加し、第2抽出顔画像92bに映像表示装置識別子IDbを付加した後、第1抽出顔画像92aおよび第2抽出顔画像92bを顔映像暗号化部68に転送する。また、顔映像分離部65は、背景画像91を映像送信部69に転送する。
顔映像暗号化部68は、顔映像分離部65より受信した抽出顔映像に付加されている映像表示装置識別子を取り出して、装置鍵取得部67に転送する。装置鍵取得部67は、受信した映像表示装置識別子に対応する装置鍵を、装置鍵リスト保管部66から取得して、顔映像暗号化部68に転送する。顔映像暗号化部68は、受信した装置鍵を用いて抽出顔映像を暗号化して、暗号化抽出顔映像を生成する(S90)。そして、顔映像暗号化部68は、暗号化抽出顔映像に、映像表示装置識別子を付加して、映像送信部69に転送する。なお、顔映像暗号化部68は、顔映像分離部65より複数の抽出顔映像(第1、第2、・・・、第k抽出顔映像)を受信した場合は、上記の暗号化処理をそれぞれの抽出顔映像に対して行い、暗号化第1、第2、・・・、第k抽出顔映像を生成する。また、顔映像暗号化部68は、暗号化第1、第2、・・・、第k抽出顔映像の各々に、映像表示装置識別子を付加して映像送信部69に転送する。また、顔映像暗号化部68が、顔映像分離部65から、抽出顔映像の代わりに、「顔映像なし」を表すデータを受信した場合には、顔映像暗号化部68は、何も処理を行わない。
図8に示す例では、顔映像暗号化部68は、図12に示す第1抽出顔画像92aを、装置鍵Kaを用いて暗号化する。また、顔映像暗号化部68は、図13に示す第2抽出顔画像92bを、装置鍵Kbを用いて暗号化する。
映像送信部69は、顔映像分離部65から受信した背景映像と、顔映像暗号化部68から受信した暗号化抽出顔映像とをまとめて、ネットワーク3を介して、映像表示装置7a、7b、7cに配信する(S9)。なお、映像送信部69は、顔映像分離部65よりデジタル映像データMnを受信した場合には、当該デジタル映像データMnを、ネットワーク3を介して、映像表示装置7a、7b、7cに配信する(S108)。
<映像表示装置7aの構成と動作>
次に、撮影装置6より背景映像および暗号化抽出顔映像、またはデジタル映像データMnを受信する映像表示装置7a、7b、7cの構成と動作について、図15を用いて説明する。映像表示装置7a、7b、7cの内部構成は同じであるから、ここでは、映像表示装置7aについて説明する。
映像表示装置7aは、撮影装置6より配信された映像を表示する装置であり、映像受信部70と、装置鍵保管部71と、顔映像復号部72と、映像合成部73と、映像表示部74とを備える。
映像受信部70は、撮影装置6より背景映像および暗号化抽出顔映像、またはデジタル映像データMnを受信する処理部である。
装置鍵保管部71は、映像表示装置7aの装置鍵を保管する記憶部である。
顔映像復号部72は、映像受信部70が受信した暗号化抽出顔映像を復号することにより、抽出顔映像を生成する処理部である。
映像合成部73は、顔映像復号部72で生成された抽出顔映像と映像受信部70が受信した背景映像とを合成し、デジタル映像データを生成する処理部である。
映像表示部74は、映像合成部73で生成されたデジタル映像データまたは映像受信部70で受信されたデジタル映像データMnを表示する処理部である。
以下、映像表示装置7aの動作について説明する。図16は、映像表示装置7aが実行する処理のフローチャートである。
映像受信部40は、送付されてくる背景映像および暗号化抽出顔映像またはデジタル映像データMnを逐次受信する(S122)。映像受信部70は、背景映像を映像合成部73に転送し、暗号化抽出顔映像を顔映像復号部72に転送する。また、映像受信部70は、デジタル映像データMnを映像表示部74に転送する。
映像受信部70がデジタル映像データMnを受信し、映像表示部74に転送した場合には(S124でNO)、映像表示部74は、デジタル映像データMnを監視映像閲覧者が閲覧できる形で表示する(S132)。
映像受信部70が背景映像および暗号化抽出顔映像を受信した場合には(S124でYES)、顔映像復号部72は、内部に自身の映像表示装置識別子を保持し、暗号化抽出顔映像データに含まれる映像表示装置識別子の中に、保持している映像表示装置識別子と一致するものがあるか否かを確認する(S126)。一致するものが無い場合には(S126でNO)、顔映像復号部72は、映像受信部70より受信した暗号化抽出顔映像の復号は行わずに、予め定められたモザイク映像を映像合成部73に転送する。
一致するものがある場合には(S126でYES)、顔映像復号部72は、装置鍵保管部71から取得した装置鍵を用いて、暗号化抽出顔映像を復号し、抽出顔映像を求める(S128)。なお、顔映像復号部72は、映像受信部70より複数の暗号化抽出顔映像データを受信した場合には、それぞれについて、上記の復号処理を行って、モザイク映像もしくは抽出顔映像データを求めて、映像合成部73に転送する。
映像合成部73は、映像受信部70より受信した背景画像と、顔映像復号部72より受信したモザイク映像または抽出顔映像データを合成して、デジタル映像データを生成する(S130)。そして、映像合成部73生成したデジタル映像データを映像表示部74に転送する。
映像表示部74は、映像合成部73より受信したデジタル映像データを、監視映像閲覧者が閲覧できる形で表示する(S132)。
ここで、上記一連の処理を、図11〜図18を用いて説明する。
映像受信部70は、図14に示すような背景画像91と、図12に示すような第1抽出顔画像92aが装置鍵Kaで暗号化された暗号化第1抽出顔画像と、図13に示すような第2抽出顔画像92bが装置鍵Kbで暗号化された暗号化第2抽出顔画像とを撮影装置6より受信するものとする(図16のS122)。
この場合、映像受信部70は、背景画像91を映像合成部73に転送し、暗号化第1抽出顔画像と暗号化第2抽出顔画像とを顔映像復号部72に転送する。
顔映像復号部72は、映像表示装置識別子IDaを保持している。また、暗号化第1抽出顔画像には映像表示装置識別子IDaが付加されている。このため、顔映像復号部72は、装置鍵保管部71から取得した装置鍵Kaで暗号化第1抽出顔画像を復号して第1抽出顔画像92aを生成する(S126でYES、S128)。顔映像復号部72は、生成された第1抽出顔画像92aを映像合成部73に転送する。
一方、暗号化第2抽出顔画像には映像表示装置識別子IDbが付加されているが、この映像表示装置識別子IDbは、顔映像復号部72が保持している映像表示装置識別子IDaとは一致しない(S126でNO)。このため、顔映像復号部72は、暗号化第2抽出顔画像の復号を行わずに、代わりに予め定められたモザイク画像を映像合成部73に転送する(S134)。なお、モザイク画像は、暗号化第2抽出顔画像とともに撮影装置6より送られてくるものとする。ここでは、図13に示す第2抽出顔画像92bの顔画像の部分にモザイク処理を施したデータとする。例えば、図17に示すようなモザイク画像92cである。
映像合成部73は、映像受信部70より受信した背景画像91と、第1抽出顔画像92aと、モザイク画像92cとを合成して、図18に示すようなデジタル画像データ93を作成する(S130)。ここで、画像の合成とは、単に、3つの画像を重ね合わせる処理とする。
こうして得られるデジタル画像データ93は、図11に示すフレーム画像90において被写体2bの顔部分だけがモザイク処理を施された画像になる。これは、映像表示装置7aの閲覧者は、映像表示装置7aが保持する映像表示装置識別子IDaをタグデータとして記憶しているIDタグを身につけている被写体の顔画像を閲覧することはできるが、それ以外の映像表示装置識別子をタグデータとするIDタグを保持する被写体の顔画像にはモザイクがかかっているため、閲覧者はその被写体が誰であるかを認識できないことを意味する。
即ち、IDタグを身につけている被写体が複数写っている映像の場合、本実施の形態においては、各映像表示装置は、自身が保持する映像表示装置識別子とは異なる映像表示装置識別子のIDタグを身につけている被写体については、その顔画像にモザイクをかけて表示させる。一方、実施の形態1においては、上記のような状況では、被写体が身に付けているIDタグのうちのどれかと映像表示装置が保持する映像表示装置識別子とが一致すれば、モザイクなしの映像を見ることができてしまう。このため、実施の形態2では、実施の形態1よりも、さらに詳細なプライバシー保護設定が行うことが可能となる。
なお、本実施の形態では、映像表示装置は、自身の映像表示装置識別子と一致しない識別子を持つ暗号化抽出画像データは、モザイク画像に置き換えるようにしているが、これは、単なるモザイク画像でなく、そのモザイク画像の被写体の映像表示装置識別子がわかるような画像にしてもよい。例えば、映像表示装置識別子に応じて色分けされたモザイク画像が考えられる。これにより、顔にモザイクのかかった被写体であっても、それがどこの家の人なのかがわかる。その他にも、監視カメラシステムの利用者から予め指定を受けた画像に置き換えるようにしても良い。例えば、被写体2bは「犬の顔画像」に置き換えるとの指定をしておき、その情報を親しい親同士で共有しておけば、被写体2bが犬の画像に置き換えられていたとしても、親しい親同士では、被写体2bが誰なのかがわかることになる。また、モザイク画像を表示する代わりに、その部分に何も画像を表示しないようにしても良い。
また、本実施の形態では、顔映像分離部65が、フレーム画像から抽出顔画像を除去することにより、背景画像を作成し、背景画像を全フレームにわたってまとめることにより、背景映像を作成していたが、背景画像または背景映像の作成方法はこの方法に限られるものではない。例えば、被写体が存在しない状況で映像を撮像することにより、背景画像または背景映像を作成してもよいし、フレーム画像から抽出顔画像を除去した画像を複数合成する(例えば、各画素値について加算平均をとる)ことにより、背景画像または背景映像を作成してもよい。これらの、背景画像または背景映像は、例えば、顔映像分離部65に予め記憶されており、顔映像分離部65が背景映像を映像送信部69に転送する際に、利用するようにしてもよい。
また、実施の形態1および2では、撮影装置が撮影映像に含まれる特定被写体を識別して暗号化を行うという処理を行っているが、この構成の代わりに、撮影装置以外に配信装置を設け、撮影装置は、撮影した映像をそのまま配信装置に送信し、配信装置が特定の被写体の識別と映像データの暗号化を行って、映像表示装置に配信する構成であってもよい。このような構成にすることにより、既存の撮影装置に配信装置をさらに設けるのみで実施の形態1および2と同様の構成を簡易に構成することができる。
また、実施の形態1および2では、撮影映像を特定の映像表示装置が持つ暗号鍵を用いて暗号化することによって、特定の映像表示装置だけが撮影映像を表示可能となるようにしているが、この構成に限定されるものではない。上記のことは、例えば、特定の映像表示装置だけに、撮影映像を配信することによって実現してもよい。
また、実施の形態1および2では、撮影装置が、暗号化された監視映像を全ての映像表示装置に配信するようにしているが、通信部において識別された映像表示装置識別子に対応する映像表示装置のみに監視映像を配信するようにしても良い。なお、その際には、撮影装置は、監視映像を暗号化することなく、当該映像表示装置のみに配信するようにしてもよい。
また、実施の形態1および2では、A家の映像表示装置4a(7a)に自分の家の子供である被写体2aを表示させ、B家の映像表示装置4b(7b)に自分の家の子供である被写体2bを表示させることにより、自分の家の子供を監視させる例について説明を行ったが、映像表示装置の監視映像で、他人の家の子供を監視することができるようにしても良い。例えば、A家の子供である被写体2aを、映像表示装置4c(7c)を有する家庭(C家)でも監視できるようにするために、映像表示装置4c(7c)の管理者は、被写体2aが身につけるIDタグ21aに、映像表示装置識別子IDaのほかに、映像表示装置識別子IDcを書き込むことができるようにしても良い。このとき、撮影装置1(6)は、被写体2aが身につけているIDタグ21aからは、2つの映像表示装置識別子IDaおよびIDcを受信することになる。このため、被写体2aが含まれる監視映像は、A家の映像表示装置4a(7a)およびC家の映像表示装置4a(7c)の両方で復号して見ることが可能となる。また、このような他人の家の子供の監視を期間制限付きで実現するために、IDタグ21aに映像表示装置識別子IDcと共に、映像表示装置識別子IDcの有効期限、すなわち、映像表示装置4cでの監視を可能とする期限情報を付加して記憶させるようにしても良い。この場合には、撮影装置1(6)は、内部に現在時刻情報を保持しており、IDタグ21aから受信した映像表示装置識別子IDcの有効期限と現在時刻情報とから、映像表示装置識別子IDcで識別される映像表示装置4c(7c)での監視が許可される期間内であるか否かを判定する。撮影装置1(6)は、監視が許可される期間内であると判定した場合に限り、装置鍵Kaに加えて、装置鍵Kcを利用して、デジタル映像データを暗号化する。
上記と同様に、映像表示装置の監視映像で、他人の家の子供を監視することができる他の構成例について説明する。映像表示装置4a(7a)の管理者は、撮影装置1(6)の装置鍵リスト保管部13(66)において、映像表示装置識別子IDaに対応する装置鍵として装置鍵Ka以外の装置鍵Kcを設定できるようにしても良い。このとき、被写体2aの身につけているIDタグ21aから、映像表示装置識別子IDaを受信した撮影装置1(6)は、装置鍵KaおよびKcの両方を用いて、デジタル映像データを暗号化するので、被写体2aが含まれる監視映像は、A家の映像表示装置4a(7a)およびC家の映像表示装置4c(7c)の両方で復号して見ることが可能になる。また、このような他人の家の子供の監視を期間制限付きで実現するために、装置鍵Kcとともに、映像表示装置4cでの監視を可能とする期限情報を装置鍵リスト保管部13(66)に保管するようにしても良い。このとき、撮影装置1(6)は、内部に現在時刻情報を保持しており、IDタグ21aから映像表示装置識別子IDaを受信したときに、装置鍵リスト保管部13(66)に期限情報と共に設定されている装置鍵Kcについては、期限情報と現在時刻情報とから、映像表示装置識別子IDcで識別される映像表示装置4c(7c)での監視が許可される期間内であるか否かを判定する。撮影装置1(6)は、監視が許可される期間内であると判定した場合に限り、装置鍵Kaに加えて、装置鍵Kcを利用して、デジタル映像データを暗号化する。
また、実施の形態2の撮影装置6では、顔映像分離部65が、映像処理部61より出力されるデジタル映像データから、通信部62で受信された映像表示装置識別子に対応する顔画像データとマッチする部分画像を顔映像として抽出するようにしている。しかし、顔映像の抽出方法は、上記方法に限られるものではなく、映像表示装置識別子を利用しないような方法であってもよい。例えば、予め顔画像リスト保管部63に登録されている顔画像データを、デジタル映像データ中でパターンマッチングにより探索することにより、デジタル映像データ中に含まれる被写体を直接識別するようにしても良い。
また、実施の形態1では、デジタル映像データをコンテンツ鍵を用いて暗号化し、暗号化に用いたコンテンツ鍵を装置鍵で暗号化し、暗号化されたデジタル映像データおよびコンテンツ鍵を映像表示装置に配信するような構成としているが、デジタル映像データそのものを装置鍵で暗号化して映像表示装置に配信するようにしても良い。
また、実施の形態2では、抽出顔映像を装置鍵で暗号化し、暗号化された抽出顔映像を映像表示装置に配信するような構成としているが、抽出顔映像をコンテンツ鍵を用いて暗号化し、暗号化に用いたコンテンツ鍵を装置鍵で暗号化し、暗号化された抽出顔映像およびコンテンツ鍵を映像表示装置に配信するようにしてもよい。
また、実施の形態2では、顔画像データを撮影装置6に登録しておいて、映像処理部61より出力されるデジタル映像データのうち、当該顔映像データとマッチする部分画像を顔映像として抽出していたが、撮影装置6に登録しておく画像データは必ずしも顔画像データである必要はなく、被写体を特定することができる画像データであればその他の画像データであっても良い。例えば、被写体が身につけている名札の画像データ、名前・住所・電話番号等の文字画像データ、人物全体の画像データ等が考えられる。
なお、本発明を実施の形態1および2に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
(1)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
なお、システムLSIは集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもあるが、システムLSIを上記のいずれの集積度で実現した場合も本発明に含まれることは言うまでもない。また、集積回路化の手法はLSIに限られるものではなく、専用回路または汎用プロセッサで実現してもよい。また、LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
(3)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
(4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなどに記録したものとしてもよい。また、本発明は、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記憶しており、マイクロプロセッサは、上記コンピュータプログラムにしたがって動作するとしてもよい。
また、上記コンピュータプログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記コンピュータプログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(5)上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
本発明にかかる監視カメラシステムは、写っている被写体に応じて、その撮影映像を見ることが可能な映像表示装置を限定することが可能であるという特徴を有するので、被写体のプライバシーを適切に保護可能な監視カメラシステム等の実現に有用である。
本発明は、被写体に対して適度なプライバシーを確保しつつ、監視カメラによる監視が行えるような監視カメラシステムに関する。
近年、屋内への不審者侵入を抑止する目的で、マンションや家などに監視カメラを設置するようになってきた。また、ニュータウンなどを中心に、町内の街角や公園などに監視カメラを設置して、地域住民が屋内から監視画像を閲覧できるようにしている地域もある。これにより、親は家に居ながらにして、公園などで遊んでいる子供の様子を知ることができるので、子供を安心して外で遊ばせることができる。
その一方、監視カメラの普及は、プライバシーの問題を引き起こす要因となる。即ち、人は、町中や公園の各所に設置された監視カメラによる監視の目に晒されることになり、第三者によって各人の行動が逐次把握されてしまう恐れがある。
したがって、監視カメラを設置することによる安全性および安心感の確保と、上記のような監視カメラの被写体のプライバシー保護を両立させる仕組みが望まれる。
このような仕組みを実現するための一方式として、特許文献1にて開示されている監視カメラシステムがある。
特許文献1記載のシステムでは、予め特定人物の顔画像をシステムに登録しておき、監視カメラの監視映像の中から、前記登録した顔画像が検出された場合、その顔画像に対してモザイク処理を施した映像を、監視カメラシステムの映像表示装置に出力する、といったものである。
この方式では、監視カメラに写りたくない人物(例えば、その家、マンション、地域の住民)の顔画像を予め登録しておけば、監視画像の中のその人物の顔画像には全てモザイク処理が施される。これにより、家、マンション、地域の住民は、監視映像に顔が映らないようにできるので、住民のプライバシーは保護できる。
特開2004−62560号公報
しかしながら、前記従来技術においては、以下のような利用形態において必要な監視機能と被写体のプライバシー保護という問題がうまく両立できないという課題を有していた。
例えば、町内あるいはマンション内の公園などにいる子供の安全を確認するために、親が家から監視する、といった利用形態を考える。このとき、親は当然、子供が写っている監視映像を家の中から、常時見ることができる必要があるが、一方、それ以外の町内あるいはマンション住人には、プライバシー保護の観点からは、子供の監視映像が見られたくない。即ち、住民Aの家族が写っている監視映像は、住民Aの映像表示装置からは見ることができても、住民A以外の人の映像表示装置からは見ることができない、という状態が実現できる必要があるが、前記従来技術では、実現できない。
本発明は、前記のような課題を解決するもので、上記のような利用形態においても、被写体のプライバシーを適切に保護でき、かつ、必要とされる監視機能が実現可能な監視カメラシステムを提供することを目的とする。
本発明に係る監視カメラシステムは、被写体を撮影し、撮影映像を配信する撮影装置と、前記撮影映像を受信して表示する映像表示装置とを備える監視カメラシステムであって、前記撮影装置は、被写体を撮影する撮影手段と、被写体ごとに、当該被写体が含まれる撮影映像の表示を許可する映像表示装置に対応付けられた暗号鍵データを記憶している暗号鍵記憶手段と、前記映像表示装置に対応付けられた被写体である特定被写体が、前記撮影映像中に含まれるか否かを判定する被写体判定手段と、前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像中の少なくとも前記特定被写体の部分映像を、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより暗号化映像に変換し、当該暗号化映像を含む限定化撮影映像を生成する限定化撮影映像生成手段と、前記限定化撮影映像を前記映像表示装置に配信する映像配信手段とを備え、前記映像表示装置は、前記限定化撮影映像を受信する受信手段と、前記映像表示装置に対応付けられた復号鍵データを記憶する復号鍵記憶手段と、前記復号鍵データを用いて前記限定化撮影映像に含まれる暗号化映像を復号することにより、復号映像を生成する映像復号手段とを備える。
この構成によると、映像表示装置に対応付けられている被写体である特定被写体が、撮影映像中に含まれると判断された場合には、その特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて、特定被写体の部分画像を暗号化している。このため、限定化撮影映像を受信した映像表示装置は、その映像表示装置に対応付けられている被写体が表示されている場合には、復号鍵データを用いて復号することにより、復号された限定化撮影映像を見ることができるが、それ以外の被写体のみが表示されている場合には、限定化撮影映像を復号して見ることができない。このため、復号された映像の閲覧者は、他人のプライバシーを守りつつ、監視したい被写体のみを監視することができる。よって、被写体のプライバシーを適切に保護でき、かつ、必要とされる監視機能が実現可能な監視カメラシステムを提供することができる。
本発明の他の局面に係る撮影装置は、被写体を撮影し、撮影映像を配信する撮影装置であって、被写体を撮影する撮影手段と、被写体ごとに、当該被写体が含まれる撮影映像の表示を許可する映像表示装置に対応付けられた暗号鍵データを記憶している暗号鍵記憶手段と、前記映像表示装置に対応付けられた被写体である特定被写体が、前記撮影映像中に含まれるか否かを判定する被写体判定手段と、前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像中の少なくとも前記特定被写体の部分映像を、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより暗号化映像に変換し、当該暗号化映像を含む限定化撮影映像を生成する限定化撮影映像生成手段と、前記限定化撮影映像を前記映像表示装置に配信する映像配信手段とを備える。
好ましくは、前記限定化撮影映像生成手段は、映像暗号鍵データを生成する鍵生成手段と、前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像中の少なくとも前記特定被写体の部分映像を、前記鍵生成手段で生成された前記映像暗号鍵データを用いて暗号化することにより、暗号化映像に変換する撮影映像暗号化手段と、前記鍵生成手段で生成された前記映像暗号鍵データを、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより、暗号化映像暗号鍵データに変換する映像鍵暗号化手段と、前記映像暗号化手段で生成された前記暗号化映像と前記映像暗号化手段で生成された前記暗号化映像暗号鍵データとを含む前記限定化撮影映像を生成する生成手段とを備える。
映像暗号鍵を、特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化するようにしている。このため、限定化撮影映像を配信する映像表示装置が複数あるような場合には、暗号化映像を映像表示装置ごとに作成する必要がなくなる。このため、映像配信手段より配信される限定化撮影映像のデータサイズを小さくすることができる。
また、前記限定化撮影映像生成手段は、前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像中の前記特定被写体の映像である特定被写体映像を、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより暗号化特定被写体映像に変換する変換手段と、前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像から前記特定被写体映像を除去した背景映像を生成する背景映像生成手段と、前記変換手段により生成された前記暗号化特定被写体映像と前記背景映像生成手段で生成された前記背景映像とを含む前記限定化撮影映像を生成する生成手段とを備えていてもよい。
撮影映像中に複数の特定被写体が映っている場合であっても、特定被写体映像ごとに被写体限定化撮影映像を生成することができる。このため、限定化撮影映像を受信した映像表示装置では、同じ映像中であっても、ある特定被写体映像のみを復号でき、その他の特定被写体映像は復号できないようにすることができる。このように、復号された映像の閲覧者は、他人のプライバシーを守りつつ、監視したい被写体のみを監視することができる。よって、被写体のプライバシーを適切に保護でき、かつ、必要とされる監視機能が実現可能な監視カメラシステムを提供することができる。
なお、本発明は、このような特徴的な手段を備える撮影装置等として実現することができるだけでなく、撮影装置等に含まれる特徴的な手段をステップとする撮影方法等として実現したり、撮影方法等に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM(Compact Disc-Read Only Memory)等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
本発明の監視カメラシステムによれば、監視映像に写っている被写体に応じて、その監視映像が見ることができる映像表示装置を指定して監視映像を配信することが可能となるので、被写体のプライバシーを適切に保護でき、かつ、必要とされる監視機能が実現可能な監視カメラシステムが実現されるという効果がある。
(実施の形態1)
以下、本発明に係る実施の形態1について、図面を参照しながら説明する。
<監視カメラシステムの概要>
図1は、本発明の実施の形態1における監視カメラシステムの構成例を示したブロック図である。本監視カメラシステムは、予め定められた被写体のプライバシーを保護しつつ、当該被写体の監視を行なうシステムであり、撮影装置1と、ネットワーク3を介して接続された映像表示装置4a、4bおよび4cとを備えている。
ここでは、撮影装置1は、被写体2a、2b、2cを撮像しているものとする。また、被写体2aはID(Identification)タグ21aを、被写体2bはIDタグ21bをそれぞれ身につけており、被写体2cはIDタグを身につけていないものとする。
本監視カメラシステムでは、撮影装置1が被写体2a、2b、2cを撮影する。撮影装置1は、撮影した映像を、ネットワーク3を介して、映像表示装置4a、4b、4cに配信する。以下では、この手順を詳細に説明する。
<監視カメラシステムのセットアップ>
映像表示装置4a、4b、4cには、映像表示装置識別子IDa、IDb、IDcがそれぞれ設定されている。また、監視カメラシステム立ち上げ時に、映像表示装置4a、4b、4cには、それぞれ異なる装置鍵Ka、Kb、Kcが設定されている。
撮影装置1は、映像表示装置に設定されている装置鍵を管理するために、映像表示装置識別子と装置鍵とを対応付けたリストを保管している。また、各映像表示装置識別子が記憶されたIDタグが、各映像表示装置の管理者に配布される。このIDタグは、映像表示装置の管理者が、自分が管理する映像表示装置で監視したい人物に渡して身につけさせるようにする。例えば、管理者が各家庭の親で、監視したい人物がその子供であるような場合が考えられる。
図1では、映像表示装置識別子IDaが記憶されたIDタグ21aを被写体2aが身に付け、映像表示装置識別子IDbが記憶されたIDタグ21bを被写体2bが身に付けているものとする。IDタグは、撮影装置1との間で無線通信を行ない、映像表示装置識別子を撮影装置1に送信する。
次に、撮影装置1が、被写体を撮影し、撮影により得られた監視映像を映像表示装置4a〜4cに配信し、映像表示装置4a〜4cが、配信された監視映像を閲覧するまでの処理手順について説明する。
<撮影装置1の構成と動作>
図2は、撮影装置1の構成例を示すブロック図である。撮影装置1は、被写体を撮影し、映像表示装置に配信する装置であり、撮像部10と、映像処理部11と、通信部12と、暗号鍵リスト保管部13と、暗号鍵取得部14と、映像暗号化部15と、映像送信部16とを備えている。
撮像部10は、レンズおよび撮像素子から構成され、被写体からレンズを介して受け付けた光を電荷に変換して最終的にはデジタル映像信号として出力する処理部である。
映像処理部11は、撮像部10より出力されるデジタル映像信号に対して画像処理を施してデジタル映像データとして出力する処理部である。
通信部12は、被写体の撮影中にIDタグから映像表示装置識別子を受信する処理部である。
暗号鍵リスト保管部13は、各映像表示装置が保持している装置鍵と映像表示装置識別子をリストとして保管している記憶部である。
暗号鍵取得部14は、暗号鍵リスト保管部13から必要な装置鍵を取得する処理部である。
映像暗号化部15は、暗号鍵取得部14より取得された装置鍵を用いて、映像処理部11より出力されるデジタル映像データを暗号化する処理部である。
映像送信部16は、暗号化されたデジタル映像データを含む監視映像を、映像表示装置4a〜4cに配信する処理部である。
以下、撮影装置1が、被写体を撮影して、映像表示装置4a〜4cに監視映像を配信するまでの処理について説明する。図3は、撮影装置1が実行する処理のフローチャートである。
撮像部10は、レンズを介して被写体2a、2b、2cから光を受け付けて電荷に変換し、サンプリング、自動利得調整などの処理を経て、デジタル映像信号を生成する。そして、デジタル映像信号を、映像処理部11に転送する。
映像処理部11は、デジタル映像信号に対して画像処理を行って、デジタル映像データを生成する(S2)。そして、映像処理部11は、デジタル映像データを映像暗号化部15に転送する。このとき、映像処理部11は、デジタル映像データを、所定のフレーム数ごとに分割する。ここで、所定のフレーム数ごとに分割されたデジタル映像データを、時系列に沿って、デジタル映像データM1、M2、M3、・・・とする。映像処理部11は、デジタル映像データM1、M2、M3、の順に、当該デジタル映像データを所定の時間間隔で映像暗号化部15に転送する。
映像暗号化部15は、デジタル映像データMn(n=1、2、3、4・・・)を受信するごとに、暗号鍵取得部14に装置鍵要求を行う(S4)。
暗号鍵取得部14は、装置鍵要求に応答して、通信部12にIDタグデータ要求を行う(S6)。
通信部12は、IDタグリーダの機能を有しており、IDタグデータ要求に応答して、IDタグの誰何信号を送信する(S8)。通信部12は、誰何信号に対して応答したIDタグのタグデータを受信する(S10でYES、S12)。ここで、「タグデータ」とは、IDタグが内部に保持しているデータ、即ち、映像表示装置識別子を指す。通信部12は、誰何信号に対して複数のIDタグが応答した場合には(S10でYES)、応答したIDタグの全てからタグデータ(映像表示装置識別子)を受信する(S12)。
通信部12は、IDタグから受信した全ての映像表示装置識別子を暗号鍵取得部14に転送する(S14)。なお、通信部12が送信した誰何信号に対して、応答するIDタグがない場合には(S10でNO)、通信部12は、映像表示装置識別子として「識別子なし」を表すデータを、暗号鍵取得部14に送信する(S32)。図1に示す例では、通信部12は、被写体2aと被写体2bがそれぞれ身につけているIDタグ21aおよび21bから映像表示装置識別子IDaおよびIDbを受信する。
暗号鍵取得部14は、受信した映像表示装置識別子を、装置鍵リスト保管部13に転送することにより、装置鍵の要求を行う(S16)。ただし、「識別子なし」を表すデータを通信部12から受信した場合には、この要求は行わない。図1の例では、暗号鍵取得部14は、映像表示装置識別子IDaおよびIDbを暗号鍵リスト保管部13に転送する。
暗号鍵リスト保管部13は、監視カメラシステムに登録されている全ての映像表示装置に関して、映像表示装置識別子と装置鍵の組をリストとして保管している。図4は、暗号鍵リスト保管部13が保管しているリストの一例を示す図である。同図に示されるように、リストには、映像表示装置識別子IDaと装置鍵Kaとの組、映像表示装置識別子IDbと装置鍵Kbとの組、映像表示装置識別子IDcと装置鍵Kcとの組が含まれる。
暗号鍵リスト保管部13は、暗号鍵取得部14から送信された映像表示装置識別子を受信し、上記リストを検索し、その識別子に対応する装置鍵を暗号鍵取得部14に転送する(S18)。なお、暗号鍵リスト保管部13は、複数の映像表示装置識別子を受信した場合には、それぞれの映像表示装置識別子に対応する装置鍵を検索して、全ての装置鍵を暗号鍵取得部14に転送する。図1の例では、暗号鍵リスト保管部13は、映像表示装置識別子IDaおよびIDbに対応する装置鍵KaおよびKbを、暗号鍵取得部14に転送する。
暗号鍵取得部14は、暗号鍵リスト保管部13から受信した装置鍵を映像表示装置識別子とともに、映像暗号化部15に転送する(S20)。ただし、暗号鍵取得部14は、「識別子なし」を表すデータを通信部12から受信した場合には、装置鍵および映像表示装置識別子の代わりに「装置鍵なし」を表すデータを映像暗号化部15に転送する(S34)。図1の例では、暗号鍵取得部14は、装置鍵KaおよびKbと映像表示装置識別子IDaおよびIDbとを、映像暗号化部15に転送する。
映像暗号化部15は、暗号鍵取得部14から受信した装置鍵を用いて、以下のようにして、デジタル映像データMnの暗号化を行う。まず、映像暗号化部15は、コンテンツ鍵Kcontをランダムに生成し、このコンテンツ鍵Kcontを用いてデジタル映像データMnの暗号化を行い、暗号化コンテンツデータを生成する(S22)。次に、映像暗号化部15は、暗号鍵取得部14から受信した装置鍵を用いてコンテンツ鍵Kcontを暗号化し、暗号化コンテンツ鍵データを生成する(S24)。このとき、暗号鍵取得部14から複数の装置鍵を受信した場合には、それぞれの装置鍵で暗号化した暗号化コンテンツ鍵データを作成する。図1の例では、映像暗号化部15は、装置鍵Kaを用いてコンテンツ鍵Kcontを暗号化した暗号化コンテンツ鍵と、装置鍵Kbを用いてコンテンツ鍵Kcontを暗号化した暗号化コンテンツ鍵とを生成する。
映像暗号化部15は、作成した暗号化コンテンツ鍵と、表示装置識別子と、暗号化コンテンツデータとからなる暗号化映像データCnを、映像送信部16に転送する(S26)。図1の例では、映像暗号化部15は、図5に示すような暗号化映像データ5を生成する。暗号化映像データ5は、第1映像表示装置識別子(IDa)51aと、装置鍵Kaを用いてコンテンツ鍵Kcontを暗号化した第1暗号化コンテンツ鍵データ51bと、第2映像表示装置識別子(IDb)51cと、装置鍵Kbを用いてコンテンツ鍵Kcontを暗号化した第2暗号化コンテンツ鍵データ51dと、コンテンツ鍵Kcontを用いてデジタル映像データMnを暗号化した暗号化コンテンツデータ52とを含む。なお、映像暗号化部15は、暗号鍵取得部14から「装置鍵なし」を表すデータを受信した場合には、デジタル映像データMnをそのまま映像送信部16に転送する(S36)。
映像送信部16は、映像暗号化部15から受信した暗号化映像データCnもしくはデジタル映像データMnを、ネットワーク3を介して、映像表示装置4a、4b、4cに配信する(S28、S38)。
<映像表示装置4aの構成と動作>
次に、撮影装置1より暗号化映像データCnまたはデジタル映像データMnを受信する映像表示装置4a、4b、4cの構成と動作について、図6を用いて説明する。映像表示装置4a、4b、4cの内部構成は同じであるから、ここでは、映像表示装置4aについて説明する。
映像表示装置4aは、撮影装置1より配信された映像を表示する装置であり、映像受信部40と、装置鍵保管部41と、映像復号部42と、映像表示部43とを備える。
映像受信部40は、撮影装置1より暗号化映像データCnまたはデジタル映像データMnを受信する処理部である。
装置鍵保管部41は、映像表示装置4aの装置鍵を保管する記憶部である。
映像復号部42は、映像受信部40が受信した暗号化映像データCnを復号することにより、デジタル映像データを生成する処理部である。
映像表示部43は、映像受信部40が受信したデジタル映像データMnまたは映像復号部42で生成されたデジタル映像データMnを表示する処理部である。
以下、映像表示装置4aが実行する処理について説明する。図7は、映像表示装置4aが実行する処理のフローチャートである。
映像受信部40は、撮影装置1よりデータを受信する(S52)。受信したデータがデジタル映像データMn(n=1、2、3・・・)の場合には(S54でNO)、映像受信部40は、デジタル映像データMnを受信するごとに、映像表示部43に送信する。映像受信部40は、受信したデジタル映像データMnを表示する(S64)。
受信したデータが暗号化映像データCn(n=1、2、3・・・)の場合には(S54でYES)、映像受信部40は、暗号化映像データCnを受信するごとに、受信した暗号化映像データCnを映像復号部42に転送する。
映像復号部42は、内部に自身の映像表示装置識別子を保持している。例えば、映像表示装置4aの映像復号部42は、映像表示装置識別子IDaを保持している。
映像復号部42は、映像受信部40より暗号化映像データCnを受信した場合には(S54でYES)、暗号化映像データに含まれる映像表示装置識別子の中に、自身が保持している映像表示装置識別子と一致するものがあるか否かを検索する。
一致するものが無い場合には(S56でNO)、受信した暗号化映像データCnは、この映像表示装置4aでは復号できないと判断をして、以下の処理は中止する。
一致するものが含まれる場合には(S56でYES)、映像復号部42は、暗号化映像データCnから、自身が保持する映像表示装置識別子IDaに対応する暗号化コンテンツ鍵データを取り出す。また、映像復号部42は、装置鍵保管部41から装置鍵Kaを読み出す(S58)。そして、映像復号部42は、装置鍵Kaを用いて、暗号化映像データCnに含まれる暗号化コンテンツ鍵データを復号することにより、コンテンツ鍵Kcontを求める(S60)。さらに、映像復号部42は、コンテンツ鍵Kcontを用いて、暗号化映像データCnに含まれる暗号化コンテンツデータを復号することにより、デジタル映像データMnを求める(S62)。映像復号部42は、求めたデジタル映像データMnを映像表示部43に転送する。映像受信部40が、図5に示す暗号化映像データ5を受信した場合、この暗号化映像データ5には、映像復号部42が保持している映像表示装置識別子IDaと一致する第1映像表示装置識別子51aが含まれる。このため、映像復号部42は、第1映像表示装置識別子51aに対応する第1暗号化コンテンツ鍵データ51bを取得する。そして、映像復号部42は、この第1暗号化コンテンツ鍵データ51bを、装置鍵保管部41が保管する装置鍵Kaを用いて復号することにより、コンテンツ鍵Kcontを求める。さらに、映像復号部42は、コンテンツ鍵Kcontを用いて暗号化コンテンツデータ52を復号することにより、デジタル映像データMnを求める。
映像表示部43は、映像復号部42から受信したデジタル映像データMnを、監視映像閲覧者が閲覧できる形で表示する(S64)。
図5に示す暗号化映像データ5には、第1映像表示装置識別子IDa(51a)および第2映像表示装置識別子IDb(51c)と、それらにそれぞれ対応する第1暗号化コンテンツ鍵データ51bおよび第2暗号化コンテンツ鍵データ51dとが含まれている。このため、映像表示装置4aおよび4bは、それぞれ内部に保持している装置鍵Ka、Kbを用いて暗号化コンテンツ鍵データからコンテンツ鍵を求めることができる。しかし、暗号化映像データ5には、映像表示装置4cが保持する装置鍵Kcで復号可能な暗号化コンテンツ鍵データは含まれていない。このため、映像表示装置4cは、コンテンツ鍵を求めることはできない。即ち、映像表示装置4cは、デジタル映像データを入手できない。
このことから、映像表示装置識別子IDaが記憶されたIDタグ21aを身に付けた被写体2aと映像表示装置識別子IDbが記憶されたIDタグ21bを身に付けた被写体2bとが写っているデジタル映像データMnは、映像表示装置4aおよび映像表示装置4bでのみ閲覧することが可能であり、映像表示装置4cでは閲覧不可能であることがわかる。
例えば、図1において、映像表示装置4a、4b、4cが、それぞれ、Aさん、Bさん、Cさんの家に設置されているものとする。また、AさんおよびBさんが、それぞれ自分の家の子供に、映像表示装置識別子IDaおよびIDbがそれぞれ記憶されたIDタグ21aおよび21bを身につけさせるとする。このとき、撮影装置1が設置された公園で、Aさんの家の子供(被写体2a)とBさんの家の子供(被写体2b)が、IDタグを身につけていない子供(被写体2c)と遊んでいるとする。撮影装置1は、3人の子供(被写体2a〜2c)を撮影して、撮影装置1とネットワーク3を介して接続している全ての映像表示装置4a〜4cに暗号化映像データCnを配信するが、その暗号化映像データCnを実際に復号して閲覧できるのは、AさんとBさんの家の映像表示装置4aと4bからのみであり、Cさんの家の映像表示装置4cからは閲覧することができない。
以上説明したように、監視映像の閲覧者は、自分の家の子供が遊んでいる場合には、その様子を撮像した映像を見ることができるが、IDタグを身につけた他人の家の子供のみが遊んでいる場合には、その様子を見ることができない。このため、適切にプライバシーを保護することができる。
なお、本実施の形態では、撮影した映像を暗号化した後、ネットワークを介して映像表示装置に配信することとしているが、撮影により得られた映像を撮影装置内部、映像表示装置内部または外部の記憶媒体に蓄積して、後で再生閲覧するようにしてもよい。
また、IDタグを身に付けた被写体が存在しない状態で撮影した場合には、撮影により得られた映像を暗号化せずに映像表示装置に配信しているが、このような状態専用の鍵を別途設定して、その鍵を用いて暗号化するようにしてもよい。
また、装置鍵は、映像表示装置ごとに1つだけ設定されているが、ひとつの映像表示装置に複数の装置鍵が設定されていてもよい。
また、写っている被写体に関わらず、全ての撮影映像を閲覧可能な映像表示装置を設けて、映像を暗号化する際には、その映像表示装置に設定した装置鍵(マスター鍵)で暗号化した暗号化コンテンツ鍵を必ず含めるようにしてもよい。例えば、このようなマスター鍵を、マンションの管理組合の組合長の家の映像表示装置に記憶させれば、組合長は、全ての撮影映像を閲覧することができる。
また、装置鍵は、メモリカードのような着脱可能な記憶媒体に格納して、映像表示装置で映像を閲覧するときに、前記記憶媒体を装着して使用するようにしてもよい。
また、装置鍵は、ネットワークを介して別の映像表示装置に送付できるようにしてもよい。これにより、例えば、Aさんの家の親が買い物などで外出する際に、Aさんの映像表示装置の装置鍵を、Bさんの家の映像表示装置に送付して、Aさんの代わりにBさんにAさんの家の子供の映像を監視してもらうことができる。
(実施の形態2)
次に、本発明に係る実施の形態2について、図面を参照しながら説明する。
<監視カメラシステムの概要>
監視カメラシステムの概要を図8に示す。本実施の形態に係る監視カメラシステムは、図1を参照して説明した実施の形態1に係る監視カメラシステムにおいて、撮影装置1を撮影装置6に変更し、映像表示装置4a、4b、4cを、映像表示装置7a、7b、7cにそれぞれ変更したものであり、基本的には、実施の形態1に係る監視カメラシステムと同様の構成である。その詳細は、既に説明したのでここでは繰り返さない。
以下、撮影装置6が、被写体2a、2b、2cを撮影し、撮影した映像を、ネットワーク3を介して、映像表示装置7a、7b、7cに配信する手順を詳細に説明する。
<監視カメラシステムのセットアップ>
映像表示装置7a、7b、7cには、映像表示装置識別子IDa、IDb、IDcがそれぞれ設定されている。また、監視カメラシステム立ち上げ時に、映像表示装置7a、7b、7cには、それぞれ異なる装置鍵Ka、Kb、Kcが設定されている。
撮影装置6は、映像表示装置に設定されている装置鍵を管理するために、映像表示装置識別子と装置鍵とを対応付けたリストを保管している。また、各映像表示装置識別子が記憶されたIDタグが、各映像表示装置の管理者に配布される。このIDタグは、映像表示装置の管理者が、自分が管理する映像表示装置で監視したい人物に渡して身につけさせるようにする。さらに、映像表示装置の管理者は、配布されたIDタグを身につけさせる人物の顔画像を撮影装置6に登録する。撮影装置6は、映像表示装置識別子とそれに対応する装置鍵とを組にしたリストおよび映像表示装置識別子とそれに対応する顔画像を組にしたリストとを保管している。
以上のシステムセットアップの後、被写体2a、2b、2cを、撮影装置が撮影して、映像表示装置に配信し、映像表示装置が、配信された監視映像を閲覧するまでの処理手順について説明する。
<撮影装置6の構成と動作>
図9は、撮影装置6の構成例を示すブロック図である。撮影装置6は、被写体を撮影し、映像表示装置に配信する装置であり、撮像部60と、映像処理部61と、通信部62と、顔画像リスト保管部63と、顔画像取得部64と、顔映像分離部65と、装置鍵リスト保管部66と、装置鍵取得部67と、顔映像暗号化部68と、映像送信部69とを備えている。
撮像部60は、レンズおよび撮像素子から構成され、被写体からレンズを介して受け付けた光を電荷に変換して最終的にはデジタル映像信号として出力する処理部である。
映像処理部61は、撮像部60より出力されるデジタル映像信号に対して画像処理を施してデジタル映像データとして出力する処理部である。
通信部62は、被写体の撮影中にIDタグから映像表示装置識別子を受信する処理部である。
顔画像リスト保管部63は、各映像表示装置識別子とそれに対応する顔画像データを組にしてリストとして保管している記憶部である。
顔画像取得部64は、顔画像リスト保管部63から映像表示装置識別子に対応する顔画像データを取得する処理部である。
顔映像分離部65は、映像処理部61より出力されるデジタル映像データのうち、顔画像取得部64で取得された顔画像データとマッチする部分画像を顔映像として抽出する処理部である。
装置鍵リスト保管部66は、各映像表示装置が保持している装置鍵と映像表示装置識別子をリストとして保管している記憶部である。
装置鍵取得部67は、装置鍵リスト保管部66から映像表示装置識別子に対応する装置鍵を取得する処理部である。
顔映像暗号化部68は、装置鍵を用いて顔映像分離部65で抽出された顔映像を暗号化する処理部である。映像送信部69は、暗号化された顔映像を含む監視映像を映像表示装置7a〜7cに配信する処理部である。
以下、撮影装置6が、被写体を撮影して、映像表示装置7a〜7cに監視映像を配信するまでの処理について説明する。図10は、撮影装置6が実行する処理のフローチャートである。
撮像部60は、レンズを介して被写体2a、2b、2cから光を受け付けて電荷に変換し、サンプリング、自動利得調整などの処理を経て、デジタル映像信号を生成する。そして、デジタル映像信号を、映像処理部61に転送する。
映像処理部61は、デジタル映像信号に対して画像処理を行って、デジタル映像データを生成する(S72)。そして、映像処理部61は、デジタル映像データを顔映像分離部65に転送する。このとき、映像処理部61は、デジタル映像データを、所定のフレーム数ごとに分割する。ここで、所定のフレーム数ごとに分割されたデジタル映像データを、時系列に沿って、デジタル映像データM1、M2、M3、・・・とする。映像処理部61は、デジタル映像データM1、M2、M3、の順に、当該デジタル映像データを顔映像分離部65に転送する。
通信部62は、IDタグリーダの機能を有しており、顔映像分離部65が、デジタル映像データMn(n=1、2、3・・・)を受信すると、通信部62は、IDタグの誰何信号を送信する(S76)。通信部12は、誰何信号に対して応答したIDタグのタグデータを受信する(S78でYES、S80)。ここで、「タグデータ」とは、IDタグが内部に保持しているデータ、即ち、映像表示装置識別子を指す。通信部62は、誰何信号に対して複数のIDタグが応答した場合には(S78でYES)、応答したIDタグの全てからタグデータ(映像表示装置識別子)を受信する(S80)。
通信部12は、IDタグから受信した全ての映像表示装置識別子を顔画像取得部64および装置鍵取得部67に転送する(S82)。なお、通信部12が送信した誰何信号に対して、応答するIDタグがない場合には(S78でNO)、通信部62は、映像表示装置識別子として「識別子なし」を表すデータを、顔画像取得部64および装置鍵取得部67に転送する(S102)。図8に示す例では、通信部62は、被写体2aと被写体2bがそれぞれ身につけているIDタグ21aおよび21bから映像表示装置識別子IDaおよびIDbを受信する。
顔画像取得部64は、通信部62より受信した映像表示装置識別子を顔画像リスト保管部63に転送する。顔画像リスト保管部63は、顔画像取得部64より受信した映像表示装置識別子に対応する顔画像を顔画像取得部64に転送する。顔画像リスト保管部63は、複数の映像表示装置識別子を受信した場合には、それらに対応する顔画像を全て顔画像取得部64に転送する。そして、顔画像取得部64は、受信した顔画像を全て顔映像分離部65に転送する(S84)。なお、顔画像取得部64は、通信部62より映像表示装置識別子の代わりに「識別子なし」を表すデータを受信した場合には、顔画像の代わりに「顔画像なし」を表すデータを顔映像分離部65に転送する(S104)。
図8に示す例では、顔画像取得部64は、通信部62より映像表示装置識別子IDaおよびIDbを受信する。顔画像取得部64は、受信した映像表示装置識別子IDaおよびIDbを顔画像リスト保管部63に転送する。顔画像リスト保管部63は、映像表示装置識別子IDaに対応する顔画像、および映像表示装置識別子IDbに対応する顔画像を顔画像取得部64に転送する。そして、顔画像取得部64は、それら受信した顔画像を顔映像分離部65に転送する。
顔映像分離部65は、まず、映像処理部61より受信したデジタル映像データMnを1フレームごとにわける。次に、顔映像分離部65は、各フレーム画像に対して、顔画像取得部64より受信した顔画像をパターン画像としたパターンマッチングを行い、フレーム画像中に上記パターン画像と一致する部分があれば、その部分だけを抽出顔画像として分離する(S86)。顔映像分離部65は、顔画像取得部64より複数の顔画像を受信した場合には、上記のパターンマッチングを、顔画像ごとに行う。このようにして、顔画像取得部64よりk個の顔画像を受信した場合、顔映像分離部65は、フレーム画像を、第1抽出顔画像、第2抽出顔画像、・・・、第k抽出顔画像およびフレーム画像から前記k個の抽出顔画像を取り除いた背景画像に分離する。
顔映像分離部65は、上記の顔画像抽出処理を、全フレーム画像に対して行って、それぞれ、背景画像、第1、第2、・・・、第k抽出顔画像ごとにまとめたものを、背景映像、第1抽出顔映像、第2抽出顔映像、・・・、第k抽出顔映像とする。そして、顔映像分離部65は、第1〜第k抽出顔映像については、パターンマッチングに用いた顔画像に対応する映像表示装置識別子を付加して顔映像暗号化部68に転送する。また、顔映像分離部65は、背景映像を映像送信部69に転送する(S88)。
なお、顔映像分離部65が、顔画像取得部64から「顔画像なし」を表すデータを受信した場合には、顔映像分離部65は、「顔映像なし」を表すデータを、顔映像暗号化部68に転送する(S106)。また、顔映像分離部65は、デジタル映像データMnを映像送信部69に転送する。
上記一連の処理のうち、フレーム画像から抽出顔画像を分離する処理について、図8に示す例を元に説明する。図8に示す例において、図11に示すようなフレーム画像90を顔映像分離部65にて処理する場合を考える。フレーム画像90には、被写体2a、2b、2cが写っている。このとき、映像表示装置識別子IDaに対応する顔画像を用いて抽出した抽出顔画像は、図12に示すような第1抽出顔画像92aになり、映像表示装置識別子IDbに対応する顔画像を用いて抽出した抽出顔画像は、図13に示すような第2抽出顔画像92bになる。そして、背景映像は、図14に示すような背景画像91になる。顔映像分離部65は、第1抽出顔画像92aに映像表示装置識別子IDaを付加し、第2抽出顔画像92bに映像表示装置識別子IDbを付加した後、第1抽出顔画像92aおよび第2抽出顔画像92bを顔映像暗号化部68に転送する。また、顔映像分離部65は、背景画像91を映像送信部69に転送する。
顔映像暗号化部68は、顔映像分離部65より受信した抽出顔映像に付加されている映像表示装置識別子を取り出して、装置鍵取得部67に転送する。装置鍵取得部67は、受信した映像表示装置識別子に対応する装置鍵を、装置鍵リスト保管部66から取得して、顔映像暗号化部68に転送する。顔映像暗号化部68は、受信した装置鍵を用いて抽出顔映像を暗号化して、暗号化抽出顔映像を生成する(S90)。そして、顔映像暗号化部68は、暗号化抽出顔映像に、映像表示装置識別子を付加して、映像送信部69に転送する。なお、顔映像暗号化部68は、顔映像分離部65より複数の抽出顔映像(第1、第2、・・・、第k抽出顔映像)を受信した場合は、上記の暗号化処理をそれぞれの抽出顔映像に対して行い、暗号化第1、第2、・・・、第k抽出顔映像を生成する。また、顔映像暗号化部68は、暗号化第1、第2、・・・、第k抽出顔映像の各々に、映像表示装置識別子を付加して映像送信部69に転送する。また、顔映像暗号化部68が、顔映像分離部65から、抽出顔映像の代わりに、「顔映像なし」を表すデータを受信した場合には、顔映像暗号化部68は、何も処理を行わない。
図8に示す例では、顔映像暗号化部68は、図12に示す第1抽出顔画像92aを、装置鍵Kaを用いて暗号化する。また、顔映像暗号化部68は、図13に示す第2抽出顔画像92bを、装置鍵Kbを用いて暗号化する。
映像送信部69は、顔映像分離部65から受信した背景映像と、顔映像暗号化部68から受信した暗号化抽出顔映像とをまとめて、ネットワーク3を介して、映像表示装置7a、7b、7cに配信する(S9)。なお、映像送信部69は、顔映像分離部65よりデジタル映像データMnを受信した場合には、当該デジタル映像データMnを、ネットワーク3を介して、映像表示装置7a、7b、7cに配信する(S108)。
<映像表示装置7aの構成と動作>
次に、撮影装置6より背景映像および暗号化抽出顔映像、またはデジタル映像データMnを受信する映像表示装置7a、7b、7cの構成と動作について、図15を用いて説明する。映像表示装置7a、7b、7cの内部構成は同じであるから、ここでは、映像表示装置7aについて説明する。
映像表示装置7aは、撮影装置6より配信された映像を表示する装置であり、映像受信部70と、装置鍵保管部71と、顔映像復号部72と、映像合成部73と、映像表示部74とを備える。
映像受信部70は、撮影装置6より背景映像および暗号化抽出顔映像、またはデジタル映像データMnを受信する処理部である。
装置鍵保管部71は、映像表示装置7aの装置鍵を保管する記憶部である。
顔映像復号部72は、映像受信部70が受信した暗号化抽出顔映像を復号することにより、抽出顔映像を生成する処理部である。
映像合成部73は、顔映像復号部72で生成された抽出顔映像と映像受信部70が受信した背景映像とを合成し、デジタル映像データを生成する処理部である。
映像表示部74は、映像合成部73で生成されたデジタル映像データまたは映像受信部70で受信されたデジタル映像データMnを表示する処理部である。
以下、映像表示装置7aの動作について説明する。図16は、映像表示装置7aが実行する処理のフローチャートである。
映像受信部40は、送付されてくる背景映像および暗号化抽出顔映像またはデジタル映像データMnを逐次受信する(S122)。映像受信部70は、背景映像を映像合成部73に転送し、暗号化抽出顔映像を顔映像復号部72に転送する。また、映像受信部70は、デジタル映像データMnを映像表示部74に転送する。
映像受信部70がデジタル映像データMnを受信し、映像表示部74に転送した場合には(S124でNO)、映像表示部74は、デジタル映像データMnを監視映像閲覧者が閲覧できる形で表示する(S132)。
映像受信部70が背景映像および暗号化抽出顔映像を受信した場合には(S124でYES)、顔映像復号部72は、内部に自身の映像表示装置識別子を保持し、暗号化抽出顔映像データに含まれる映像表示装置識別子の中に、保持している映像表示装置識別子と一致するものがあるか否かを確認する(S126)。一致するものが無い場合には(S126でNO)、顔映像復号部72は、映像受信部70より受信した暗号化抽出顔映像の復号は行わずに、予め定められたモザイク映像を映像合成部73に転送する。
一致するものがある場合には(S126でYES)、顔映像復号部72は、装置鍵保管部71から取得した装置鍵を用いて、暗号化抽出顔映像を復号し、抽出顔映像を求める(S128)。なお、顔映像復号部72は、映像受信部70より複数の暗号化抽出顔映像データを受信した場合には、それぞれについて、上記の復号処理を行って、モザイク映像もしくは抽出顔映像データを求めて、映像合成部73に転送する。
映像合成部73は、映像受信部70より受信した背景画像と、顔映像復号部72より受信したモザイク映像または抽出顔映像データを合成して、デジタル映像データを生成する(S130)。そして、映像合成部73生成したデジタル映像データを映像表示部74に転送する。
映像表示部74は、映像合成部73より受信したデジタル映像データを、監視映像閲覧者が閲覧できる形で表示する(S132)。
ここで、上記一連の処理を、図11〜図18を用いて説明する。
映像受信部70は、図14に示すような背景画像91と、図12に示すような第1抽出顔画像92aが装置鍵Kaで暗号化された暗号化第1抽出顔画像と、図13に示すような第2抽出顔画像92bが装置鍵Kbで暗号化された暗号化第2抽出顔画像とを撮影装置6より受信するものとする(図16のS122)。
この場合、映像受信部70は、背景画像91を映像合成部73に転送し、暗号化第1抽出顔画像と暗号化第2抽出顔画像とを顔映像復号部72に転送する。
顔映像復号部72は、映像表示装置識別子IDaを保持している。また、暗号化第1抽出顔画像には映像表示装置識別子IDaが付加されている。このため、顔映像復号部72は、装置鍵保管部71から取得した装置鍵Kaで暗号化第1抽出顔画像を復号して第1抽出顔画像92aを生成する(S126でYES、S128)。顔映像復号部72は、生成された第1抽出顔画像92aを映像合成部73に転送する。
一方、暗号化第2抽出顔画像には映像表示装置識別子IDbが付加されているが、この映像表示装置識別子IDbは、顔映像復号部72が保持している映像表示装置識別子IDaとは一致しない(S126でNO)。このため、顔映像復号部72は、暗号化第2抽出顔画像の復号を行わずに、代わりに予め定められたモザイク画像を映像合成部73に転送する(S134)。なお、モザイク画像は、暗号化第2抽出顔画像とともに撮影装置6より送られてくるものとする。ここでは、図13に示す第2抽出顔画像92bの顔画像の部分にモザイク処理を施したデータとする。例えば、図17に示すようなモザイク画像92cである。
映像合成部73は、映像受信部70より受信した背景画像91と、第1抽出顔画像92aと、モザイク画像92cとを合成して、図18に示すようなデジタル画像データ93を作成する(S130)。ここで、画像の合成とは、単に、3つの画像を重ね合わせる処理とする。
こうして得られるデジタル画像データ93は、図11に示すフレーム画像90において被写体2bの顔部分だけがモザイク処理を施された画像になる。これは、映像表示装置7aの閲覧者は、映像表示装置7aが保持する映像表示装置識別子IDaをタグデータとして記憶しているIDタグを身につけている被写体の顔画像を閲覧することはできるが、それ以外の映像表示装置識別子をタグデータとするIDタグを保持する被写体の顔画像にはモザイクがかかっているため、閲覧者はその被写体が誰であるかを認識できないことを意味する。
即ち、IDタグを身につけている被写体が複数写っている映像の場合、本実施の形態においては、各映像表示装置は、自身が保持する映像表示装置識別子とは異なる映像表示装置識別子のIDタグを身につけている被写体については、その顔画像にモザイクをかけて表示させる。一方、実施の形態1においては、上記のような状況では、被写体が身に付けているIDタグのうちのどれかと映像表示装置が保持する映像表示装置識別子とが一致すれば、モザイクなしの映像を見ることができてしまう。このため、実施の形態2では、実施の形態1よりも、さらに詳細なプライバシー保護設定が行うことが可能となる。
なお、本実施の形態では、映像表示装置は、自身の映像表示装置識別子と一致しない識別子を持つ暗号化抽出画像データは、モザイク画像に置き換えるようにしているが、これは、単なるモザイク画像でなく、そのモザイク画像の被写体の映像表示装置識別子がわかるような画像にしてもよい。例えば、映像表示装置識別子に応じて色分けされたモザイク画像が考えられる。これにより、顔にモザイクのかかった被写体であっても、それがどこの家の人なのかがわかる。その他にも、監視カメラシステムの利用者から予め指定を受けた画像に置き換えるようにしても良い。例えば、被写体2bは「犬の顔画像」に置き換えるとの指定をしておき、その情報を親しい親同士で共有しておけば、被写体2bが犬の画像に置き換えられていたとしても、親しい親同士では、被写体2bが誰なのかがわかることになる。また、モザイク画像を表示する代わりに、その部分に何も画像を表示しないようにしても良い。
また、本実施の形態では、顔映像分離部65が、フレーム画像から抽出顔画像を除去することにより、背景画像を作成し、背景画像を全フレームにわたってまとめることにより、背景映像を作成していたが、背景画像または背景映像の作成方法はこの方法に限られるものではない。例えば、被写体が存在しない状況で映像を撮像することにより、背景画像または背景映像を作成してもよいし、フレーム画像から抽出顔画像を除去した画像を複数合成する(例えば、各画素値について加算平均をとる)ことにより、背景画像または背景映像を作成してもよい。これらの、背景画像または背景映像は、例えば、顔映像分離部65に予め記憶されており、顔映像分離部65が背景映像を映像送信部69に転送する際に、利用するようにしてもよい。
また、実施の形態1および2では、撮影装置が撮影映像に含まれる特定被写体を識別して暗号化を行うという処理を行っているが、この構成の代わりに、撮影装置以外に配信装置を設け、撮影装置は、撮影した映像をそのまま配信装置に送信し、配信装置が特定の被写体の識別と映像データの暗号化を行って、映像表示装置に配信する構成であってもよい。このような構成にすることにより、既存の撮影装置に配信装置をさらに設けるのみで実施の形態1および2と同様の構成を簡易に構成することができる。
また、実施の形態1および2では、撮影映像を特定の映像表示装置が持つ暗号鍵を用いて暗号化することによって、特定の映像表示装置だけが撮影映像を表示可能となるようにしているが、この構成に限定されるものではない。上記のことは、例えば、特定の映像表示装置だけに、撮影映像を配信することによって実現してもよい。
また、実施の形態1および2では、撮影装置が、暗号化された監視映像を全ての映像表示装置に配信するようにしているが、通信部において識別された映像表示装置識別子に対応する映像表示装置のみに監視映像を配信するようにしても良い。なお、その際には、撮影装置は、監視映像を暗号化することなく、当該映像表示装置のみに配信するようにしてもよい。
また、実施の形態1および2では、A家の映像表示装置4a(7a)に自分の家の子供である被写体2aを表示させ、B家の映像表示装置4b(7b)に自分の家の子供である被写体2bを表示させることにより、自分の家の子供を監視させる例について説明を行ったが、映像表示装置の監視映像で、他人の家の子供を監視することができるようにしても良い。例えば、A家の子供である被写体2aを、映像表示装置4c(7c)を有する家庭(C家)でも監視できるようにするために、映像表示装置4c(7c)の管理者は、被写体2aが身につけるIDタグ21aに、映像表示装置識別子IDaのほかに、映像表示装置識別子IDcを書き込むことができるようにしても良い。このとき、撮影装置1(6)は、被写体2aが身につけているIDタグ21aからは、2つの映像表示装置識別子IDaおよびIDcを受信することになる。このため、被写体2aが含まれる監視映像は、A家の映像表示装置4a(7a)およびC家の映像表示装置4a(7c)の両方で復号して見ることが可能となる。また、このような他人の家の子供の監視を期間制限付きで実現するために、IDタグ21aに映像表示装置識別子IDcと共に、映像表示装置識別子IDcの有効期限、すなわち、映像表示装置4cでの監視を可能とする期限情報を付加して記憶させるようにしても良い。この場合には、撮影装置1(6)は、内部に現在時刻情報を保持しており、IDタグ21aから受信した映像表示装置識別子IDcの有効期限と現在時刻情報とから、映像表示装置識別子IDcで識別される映像表示装置4c(7c)での監視が許可される期間内であるか否かを判定する。撮影装置1(6)は、監視が許可される期間内であると判定した場合に限り、装置鍵Kaに加えて、装置鍵Kcを利用して、デジタル映像データを暗号化する。
上記と同様に、映像表示装置の監視映像で、他人の家の子供を監視することができる他の構成例について説明する。映像表示装置4a(7a)の管理者は、撮影装置1(6)の装置鍵リスト保管部13(66)において、映像表示装置識別子IDaに対応する装置鍵として装置鍵Ka以外の装置鍵Kcを設定できるようにしても良い。このとき、被写体2aの身につけているIDタグ21aから、映像表示装置識別子IDaを受信した撮影装置1(6)は、装置鍵KaおよびKcの両方を用いて、デジタル映像データを暗号化するので、被写体2aが含まれる監視映像は、A家の映像表示装置4a(7a)およびC家の映像表示装置4c(7c)の両方で復号して見ることが可能になる。また、このような他人の家の子供の監視を期間制限付きで実現するために、装置鍵Kcとともに、映像表示装置4cでの監視を可能とする期限情報を装置鍵リスト保管部13(66)に保管するようにしても良い。このとき、撮影装置1(6)は、内部に現在時刻情報を保持しており、IDタグ21aから映像表示装置識別子IDaを受信したときに、装置鍵リスト保管部13(66)に期限情報と共に設定されている装置鍵Kcについては、期限情報と現在時刻情報とから、映像表示装置識別子IDcで識別される映像表示装置4c(7c)での監視が許可される期間内であるか否かを判定する。撮影装置1(6)は、監視が許可される期間内であると判定した場合に限り、装置鍵Kaに加えて、装置鍵Kcを利用して、デジタル映像データを暗号化する。
また、実施の形態2の撮影装置6では、顔映像分離部65が、映像処理部61より出力されるデジタル映像データから、通信部62で受信された映像表示装置識別子に対応する顔画像データとマッチする部分画像を顔映像として抽出するようにしている。しかし、顔映像の抽出方法は、上記方法に限られるものではなく、映像表示装置識別子を利用しないような方法であってもよい。例えば、予め顔画像リスト保管部63に登録されている顔画像データを、デジタル映像データ中でパターンマッチングにより探索することにより、デジタル映像データ中に含まれる被写体を直接識別するようにしても良い。
また、実施の形態1では、デジタル映像データをコンテンツ鍵を用いて暗号化し、暗号化に用いたコンテンツ鍵を装置鍵で暗号化し、暗号化されたデジタル映像データおよびコンテンツ鍵を映像表示装置に配信するような構成としているが、デジタル映像データそのものを装置鍵で暗号化して映像表示装置に配信するようにしても良い。
また、実施の形態2では、抽出顔映像を装置鍵で暗号化し、暗号化された抽出顔映像を映像表示装置に配信するような構成としているが、抽出顔映像をコンテンツ鍵を用いて暗号化し、暗号化に用いたコンテンツ鍵を装置鍵で暗号化し、暗号化された抽出顔映像およびコンテンツ鍵を映像表示装置に配信するようにしてもよい。
また、実施の形態2では、顔画像データを撮影装置6に登録しておいて、映像処理部61より出力されるデジタル映像データのうち、当該顔映像データとマッチする部分画像を顔映像として抽出していたが、撮影装置6に登録しておく画像データは必ずしも顔画像データである必要はなく、被写体を特定することができる画像データであればその他の画像データであっても良い。例えば、被写体が身につけている名札の画像データ、名前・住所・電話番号等の文字画像データ、人物全体の画像データ等が考えられる。
なお、本発明を実施の形態1および2に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
(1)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
なお、システムLSIは集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもあるが、システムLSIを上記のいずれの集積度で実現した場合も本発明に含まれることは言うまでもない。また、集積回路化の手法はLSIに限られるものではなく、専用回路または汎用プロセッサで実現してもよい。また、LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
(3)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
(4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなどに記録したものとしてもよい。また、本発明は、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記憶しており、マイクロプロセッサは、上記コンピュータプログラムにしたがって動作するとしてもよい。
また、上記コンピュータプログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記コンピュータプログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(5)上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
本発明にかかる監視カメラシステムは、写っている被写体に応じて、その撮影映像を見ることが可能な映像表示装置を限定することが可能であるという特徴を有するので、被写体のプライバシーを適切に保護可能な監視カメラシステム等の実現に有用である。
図1は、本発明の実施の形態1に係る監視カメラシステムの構成を示すブロック図である。 図2は、本発明の実施の形態1に係る撮影装置の構成を示すブロック図である。 図3は、撮影装置が実行する処理のフローチャートである。 図4は、装置鍵リスト保管部が保管しているリストの一例を示す図である。 図5は、本発明の実施の形態1に係る暗号化映像データの構成を示すブロック図である。 図6は、本発明の実施の形態1に係る映像表示装置の構成を示すブロック図である。 図7は、映像表示装置が実行する処理のフローチャートである。 図8は、本発明の実施の形態2に係る監視カメラシステムの構成を示すブロック図である。 図9は、本発明の実施の形態2に係る撮影装置の構成を示すブロック図である。 図10は、撮影装置が実行する処理のフローチャートである。 図11は、本発明の実施の形態2に係るフレーム画像の構成を示すブロック図である。 図12は、本発明の実施の形態2に係る第1抽出顔画像の構成を示すブロック図である。 図13は、本発明の実施の形態2に係る第2抽出顔画像の構成を示すブロック図である。 図14は、本発明の実施の形態2に係る背景画像の構成を示すブロック図である。 図15は、本発明の実施の形態2に係る映像表示装置の構成を示すブロック図である。 図16は、映像表示装置が実行する処理のフローチャートである。 図17は、モザイク画像の一例を示す図である。 図18は、映像表示装置に表示されるデジタル画像データの一例を示す図である。
符号の説明
1 撮影装置
2a〜2c 被写体
3 ネットワーク
4a〜4c、7a〜7c 映像表示装置
5 暗号化映像データ
6 撮影装置
10、60 撮像部
11、61 映像処理部
12、62 通信部
13 暗号鍵リスト保管部
14 暗号鍵取得部
15 映像暗号化部
16、69 映像送信部
21a、21b IDタグ
40、70 映像受信部
41、71 装置鍵保管部
42 映像復号部
43、74 映像表示部
51a 第1映像表示装置識別子
51b 第1暗号化コンテンツ鍵データ
51c 第2映像表示装置識別子
51d 第2暗号化コンテンツ鍵データ
52 暗号化コンテンツデータ
63 顔画像リスト保管部
64 顔画像取得部
65 顔映像分離部
66 装置鍵リスト保管部
67 装置鍵取得部
68 顔映像暗号化部
72 顔映像復号部
73 映像合成部
90 フレーム画像
91 背景画像
92a 第1抽出顔画像
92b 第2抽出顔画像

Claims (19)

  1. 被写体を撮影し、撮影映像を配信する撮影装置と、前記撮影映像を受信して表示する映像表示装置とを備える監視カメラシステムであって、
    前記撮影装置は、
    被写体を撮影する撮影手段と、
    被写体ごとに、当該被写体が含まれる撮影映像の表示を許可する映像表示装置に対応付けられた暗号鍵データを記憶している暗号鍵記憶手段と、
    前記映像表示装置に対応付けられた被写体である特定被写体が、前記撮影映像中に含まれるか否かを判定する被写体判定手段と、
    前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像中の少なくとも前記特定被写体の部分映像を、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより暗号化映像に変換し、当該暗号化映像を含む限定化撮影映像を生成する限定化撮影映像生成手段と、
    前記限定化撮影映像を前記映像表示装置に配信する映像配信手段とを備え、
    前記映像表示装置は、
    前記限定化撮影映像を受信する受信手段と、
    前記映像表示装置に対応付けられた復号鍵データを記憶する復号鍵記憶手段と、
    前記復号鍵データを用いて前記限定化撮影映像に含まれる暗号化映像を復号することにより、復号映像を生成する映像復号手段とを備える
    ことを特徴とする監視カメラシステム。
  2. 被写体を撮影し、撮影映像を配信する撮影装置であって、
    被写体を撮影する撮影手段と、
    被写体ごとに、当該被写体が含まれる撮影映像の表示を許可する映像表示装置に対応付けられた暗号鍵データを記憶している暗号鍵記憶手段と、
    前記映像表示装置に対応付けられた被写体である特定被写体が、前記撮影映像中に含まれるか否かを判定する被写体判定手段と、
    前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像中の少なくとも前記特定被写体の部分映像を、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより暗号化映像に変換し、当該暗号化映像を含む限定化撮影映像を生成する限定化撮影映像生成手段と、
    前記限定化撮影映像を前記映像表示装置に配信する映像配信手段とを備える
    ことを特徴とする撮影装置。
  3. 前記撮影装置は、さらに、
    被写体に取り付けられたID(Identification)タグより発せられる無線信号を受信する無線信号受信手段を備え、
    前記暗号鍵記憶手段は、被写体ごとに、当該被写体が含まれる撮影映像の表示を許可する映像表示装置を指定する映像表示装置指定情報と、当該映像表示装置指定情報に対応付けられた暗号鍵データとを記憶しており、
    前記被写体判定手段は、前記無線信号受信手段が受信した無線信号に含まれる識別コードと前記暗号鍵記憶手段に記憶されている映像表示装置指定情報とが一致するか否かによって、前記特定被写体が前記撮影映像中に含まれるか否かを判定する
    ことを特徴とする請求項2に記載の撮影装置。
  4. 特定被写体の映像表示装置に対応付けられた暗号鍵データと、前記映像表示装置が保持する復号鍵データとは共通の鍵データである
    ことを特徴とする請求項2に記載の撮影装置。
  5. 前記限定化撮影映像生成手段は、
    映像暗号鍵データを生成する鍵生成手段と、
    前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像中の少なくとも前記特定被写体の部分映像を、前記鍵生成手段で生成された前記映像暗号鍵データを用いて暗号化することにより、暗号化映像に変換する撮影映像暗号化手段と、
    前記鍵生成手段で生成された前記映像暗号鍵データを、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより、暗号化映像暗号鍵データに変換する映像鍵暗号化手段と、
    前記映像暗号化手段で生成された前記暗号化映像と前記映像暗号化手段で生成された前記暗号化映像暗号鍵データとを含む前記限定化撮影映像を生成する生成手段とを備える
    ことを特徴とする請求項2に記載の撮影装置。
  6. 前記限定化撮影映像生成手段は、
    前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像中の前記特定被写体の映像である特定被写体映像を、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより暗号化特定被写体映像に変換する変換手段と、
    前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像から前記特定被写体映像を除去した背景映像を生成する背景映像生成手段と、
    前記変換手段により生成された前記暗号化特定被写体映像と前記背景映像生成手段で生成された前記背景映像とを含む前記限定化撮影映像を生成する生成手段とを備える
    ことを特徴とする請求項2に記載の撮影装置。
  7. さらに、被写体が存在しない状況で予め撮像された背景映像を記憶する背景映像記憶手段を備え、
    前記背景映像生成手段は、前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記背景映像記憶手段より前記背景映像を読み出す
    ことを特徴とする請求項6に記載の撮影装置。
  8. さらに、前記撮影映像から前記特定被写体映像を除去した映像を複数合成することにより作成された背景映像を記憶する背景映像記憶手段を備え、
    前記背景映像生成手段は、前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記背景映像記憶手段より前記背景映像を読み出す
    ことを特徴とする請求項6に記載の撮影装置。
  9. さらに、前記特定被写体の顔画像データを記憶している顔画像記憶部を備え、
    前記変換手段は、
    前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記顔画像記憶部より当該特定被写体に対応する顔画像データを読み出し、読み出された顔画像データを、前記撮影映像中で探索することにより、前記特定被写体映像を抽出する抽出手段と、
    前記抽出手段で抽出された前記特定被写体映像を、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより暗号化特定被写体映像に変換する映像変換手段とを備える
    ことを特徴とする請求項6に記載の撮影装置。
  10. 撮影装置で撮影された撮影映像を表示する映像表示装置であって、
    被写体が含まれる撮影映像の表示を許可する映像表示装置に対応付けられた暗号鍵データを用いて暗号化された暗号化特定被写体映像と、前記撮影映像中より前記映像表示装置に対応付けられた被写体である特定被写体映像が除去された背景画像とを受信する受信手段と、
    自身に対応付けられた復号鍵データを記憶する復号鍵記憶手段と、
    前記復号鍵データを用いて前記暗号化特定被写体映像を復号して復号被写体撮影映像を生成する映像復号手段と、
    前記映像復号手段で復元された前記復号被写体撮影映像と、前記受信手段で受信された前記背景映像とを重ね合わせることにより撮影映像を作成する作成手段と、
    前記作成手段で作成された前記撮影映像を表示する表示手段とを備える
    ことを特徴とする映像表示装置。
  11. 前記映像復号手段は、前記復号鍵データを用いて前記暗号化特定被写体映像を復号することができない場合には、所定の映像を前記復号被写体撮影映像として生成する
    ことを特徴とする請求項10に記載の映像表示装置。
  12. 前記受信手段は、さらに、前記被写体の映像をモザイク化したモザイク画像を受信し、
    前記映像復号手段は、前記復号鍵データを用いて前記暗号化特定被写体映像を復号することができない場合には、当該暗号化特定被写体映像の被写体に対応する前記モザイク画像を前記復号被写体撮影映像として生成する
    ことを特徴とする請求項10に記載の映像表示装置。
  13. 撮影装置が撮影した撮影映像を映像表示装置に配信する配信装置であって、
    被写体ごとに、当該被写体が含まれる撮影映像の表示を許可する映像表示装置に対応付けられた暗号鍵データを記憶している暗号鍵記憶手段と、
    前記映像表示装置に対応付けられた被写体である特定被写体が、前記撮影映像中に含まれるか否かを判定する被写体判定手段と、
    前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像中の少なくとも前記特定被写体の部分映像を、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより暗号化映像に変換し、当該暗号化映像を含む限定化撮影映像を生成する限定化撮影映像生成手段と、
    前記限定化撮影映像を前記映像表示装置に配信する映像配信手段とを備える
    ことを特徴とする配信装置。
  14. 前記限定化撮影映像生成手段は、
    前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像中の前記特定被写体の映像である特定被写体映像を、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより暗号化特定被写体映像に変換する変換手段と、
    前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像から前記特定被写体映像を除去した背景映像を生成する背景映像生成手段と、
    前記変換手段により生成された前記暗号化特定被写体映像と前記背景映像生成手段で生成された前記背景映像とを含む前記限定化撮影映像を生成する生成手段とを備える
    ことを特徴とする請求項13に記載の配信装置。
  15. さらに、被写体が存在しない状況で予め撮像された背景映像を記憶する背景映像記憶手段を備え、
    前記背景映像生成手段は、前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記背景映像記憶手段より前記背景映像を読み出す
    ことを特徴とする請求項14に記載の配信装置。
  16. さらに、前記撮影映像から前記特定被写体映像を除去した映像を複数合成することにより作成された背景映像を記憶する背景映像記憶手段を備え、
    前記背景映像生成手段は、前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記背景映像記憶手段より前記背景映像を読み出す
    ことを特徴とする請求項14に記載の配信装置。
  17. 撮影装置が撮影した撮影映像を映像表示装置に配信する配信方法であって、
    映像表示装置に対応付けられた被写体である特定被写体が、撮影映像中に含まれるか否かを判定する被写体判定ステップと、
    前記被写体判定ステップにおいて前記特定被写体が含まれると判定された場合に、前記撮影映像中の少なくとも前記特定被写体の部分映像を、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより暗号化映像に変換し、当該暗号化映像を含む限定化撮影映像を生成する限定化撮影映像生成ステップと、
    前記限定化撮影映像を前記映像表示装置に配信する映像配信ステップとを含む
    ことを特徴とする配信方法。
  18. 撮影装置が撮影した撮影映像を映像表示装置に配信するプログラムであって、
    映像表示装置に対応付けられた被写体である特定被写体が、撮影映像中に含まれるか否かを判定する被写体判定ステップと、
    前記被写体判定ステップにおいて前記特定被写体が含まれると判定された場合に、前記撮影映像中の少なくとも前記特定被写体の部分映像を、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより暗号化映像に変換し、当該暗号化映像を含む限定化撮影映像を生成する限定化撮影映像生成ステップと、
    前記限定化撮影映像を前記映像表示装置に配信する映像配信ステップとをコンピュータに実行させる
    ことを特徴とするプログラム。
  19. 撮影装置が撮影した撮影映像を映像表示装置に配信する集積回路であって、
    被写体ごとに、当該被写体が含まれる撮影映像の表示を許可する映像表示装置に対応付けられた暗号鍵データを記憶している暗号鍵記憶手段と、
    前記映像表示装置に対応付けられた被写体である特定被写体が、前記撮影映像中に含まれるか否かを判定する被写体判定手段と、
    前記被写体判定手段において前記特定被写体が含まれると判定された場合に、前記撮影映像中の少なくとも前記特定被写体の部分映像を、前記特定被写体の映像表示装置に対応付けられた暗号鍵データを用いて暗号化することにより暗号化映像に変換し、当該暗号化映像を含む限定化撮影映像を生成する限定化撮影映像生成手段と、
    前記限定化撮影映像を前記映像表示装置に配信する映像配信手段とを備える
    ことを特徴とする集積回路。
JP2007514639A 2005-04-25 2006-04-20 監視カメラシステム、撮影装置および映像表示装置 Expired - Fee Related JP4197048B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005126037 2005-04-25
JP2005126037 2005-04-25
PCT/JP2006/308278 WO2006115156A1 (ja) 2005-04-25 2006-04-20 監視カメラシステム、撮影装置および映像表示装置

Publications (2)

Publication Number Publication Date
JP4197048B2 JP4197048B2 (ja) 2008-12-17
JPWO2006115156A1 true JPWO2006115156A1 (ja) 2008-12-18

Family

ID=37214774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007514639A Expired - Fee Related JP4197048B2 (ja) 2005-04-25 2006-04-20 監視カメラシステム、撮影装置および映像表示装置

Country Status (4)

Country Link
US (1) US7792295B2 (ja)
JP (1) JP4197048B2 (ja)
CN (1) CN101167361A (ja)
WO (1) WO2006115156A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11463659B2 (en) 2018-08-20 2022-10-04 Kabushiki Kaisha Toshiba Monitoring system, monitoring method, and storage medium

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4975272B2 (ja) * 2005-05-30 2012-07-11 京セラ株式会社 ユーザ端末
JP4452702B2 (ja) * 2006-06-21 2010-04-21 株式会社日立国際電気 映像配信システム
US8108532B2 (en) * 2006-08-29 2012-01-31 Samsung Electronics Co., Ltd. Service distribution apparatus and method
EP2009587A1 (en) * 2007-06-29 2008-12-31 Deutsche Thomson OHG Method for distributing display information to a remote display device, a corresponding display device, a system for distributing display information and a signal comprising display information
US8773266B2 (en) * 2007-11-16 2014-07-08 Intermec Ip Corp. RFID tag reader station with image capabilities
JP2009239718A (ja) * 2008-03-27 2009-10-15 Toshiba Corp 動画像分離装置、動画像結合装置および動画像分離・結合システム
CN101640779B (zh) * 2008-07-31 2011-01-05 鸿富锦精密工业(深圳)有限公司 影像摄取装置加密系统和方法
CN101527823B (zh) * 2009-04-10 2012-10-17 南京大学 基于fpga混沌加密的网络视频监控系统
JP5458843B2 (ja) * 2009-12-03 2014-04-02 日本電気株式会社 センシング情報共有システム、センシング情報共有方法およびプログラム
CN102148849B (zh) * 2010-06-30 2014-01-08 华为技术有限公司 一种在收视测量中的数据处理方法、装置及系统
US8902254B1 (en) 2010-09-02 2014-12-02 The Boeing Company Portable augmented reality
US10026227B2 (en) 2010-09-02 2018-07-17 The Boeing Company Portable augmented reality
US9113050B2 (en) * 2011-01-13 2015-08-18 The Boeing Company Augmented collaboration system
JP5883577B2 (ja) * 2011-05-25 2016-03-15 富士通株式会社 セキュリティ確保型リモート監視装置および方式
JP5718757B2 (ja) * 2011-07-26 2015-05-13 国立大学法人京都大学 画像管理装置、画像管理プログラム、および画像管理方法
WO2014060633A1 (en) * 2012-10-16 2014-04-24 Nokia Corporation Attested sensor data reporting
US20140140575A1 (en) * 2012-11-19 2014-05-22 Mace Wolf Image capture with privacy protection
US9940525B2 (en) 2012-11-19 2018-04-10 Mace Wolf Image capture with privacy protection
US9124635B2 (en) 2012-11-30 2015-09-01 Intel Corporation Verified sensor data processing
US10075618B2 (en) * 2013-04-22 2018-09-11 Sony Corporation Security feature for digital imaging
EP3014567A4 (en) 2013-06-23 2016-12-14 Intel Corp SELECTIVE SHARING OF USER INFORMATION BASED ON INFORMATION OF CONTEXT RELATIONS, SUCH AS COLLABORATIVE GIFTS INTERESTING WITH A RECIPIENT
US20150106195A1 (en) * 2013-10-10 2015-04-16 Elwha Llc Methods, systems, and devices for handling inserted data into captured images
US10013564B2 (en) 2013-10-10 2018-07-03 Elwha Llc Methods, systems, and devices for handling image capture devices and captured images
US9799036B2 (en) 2013-10-10 2017-10-24 Elwha Llc Devices, methods, and systems for managing representations of entities through use of privacy indicators
US10346624B2 (en) * 2013-10-10 2019-07-09 Elwha Llc Methods, systems, and devices for obscuring entities depicted in captured images
US20150106628A1 (en) * 2013-10-10 2015-04-16 Elwha Llc Devices, methods, and systems for analyzing captured image data and privacy data
US20150106947A1 (en) * 2013-10-10 2015-04-16 Elwha Llc Methods, systems, and devices for handling image data from captured images
WO2015057523A1 (en) * 2013-10-10 2015-04-23 Elwha Llc Devices, methods, and systems for managing representations of entities through use of privacy indicators
US10185841B2 (en) 2013-10-10 2019-01-22 Elwha Llc Devices, methods, and systems for managing representations of entities through use of privacy beacons
US20150104004A1 (en) 2013-10-10 2015-04-16 Elwha Llc Methods, systems, and devices for delivering image data from captured images to devices
JP6116059B2 (ja) * 2013-12-16 2017-04-19 満男 江口 暗号通信向け画像圧縮伸長方法及び装置、プログラム、並びに記憶媒体
JP2015127731A (ja) * 2013-12-27 2015-07-09 シャープ株式会社 画像処理装置、画像処理システム、および情報端末
JP6190041B2 (ja) 2014-03-31 2017-08-30 株式会社日立国際電気 安否確認システム及び秘匿化データの類似検索方法
EP2981063B1 (en) * 2014-07-31 2020-03-04 Samsung Electronics Co., Ltd Method of modifying image including photographing restricted element, and device for performing the method
KR102094509B1 (ko) * 2014-07-31 2020-03-27 삼성전자주식회사 촬영 제한 요소를 포함하는 영상을 수정하는 방법, 이를 수행하기 위한 디바이스 및 시스템
KR102386893B1 (ko) * 2014-11-13 2022-04-15 삼성전자 주식회사 이미지 데이터의 보안 방법 및 이를 지원하는 전자 장치
CN104486083A (zh) * 2014-12-19 2015-04-01 小米科技有限责任公司 监控录像处理方法及装置
US20180225831A1 (en) * 2015-08-07 2018-08-09 Nec Corporation Image processing device, image restoring device, and image processing method
JP6837200B2 (ja) * 2016-07-29 2021-03-03 パナソニックIpマネジメント株式会社 監視カメラ、見守り監視システム及び見守り監視方法
CN106791542B (zh) * 2017-01-20 2019-11-29 维沃移动通信有限公司 一种全景图像拍摄方法及移动终端
JP7002846B2 (ja) * 2017-03-03 2022-01-20 キヤノン株式会社 画像処理装置およびその制御方法
CN108833944A (zh) * 2018-07-09 2018-11-16 中国联合网络通信集团有限公司 视频分发方法
CN110446105B (zh) * 2019-09-20 2021-11-16 网易(杭州)网络有限公司 视频加密、解密的方法及装置
CN110610456A (zh) * 2019-09-27 2019-12-24 上海依图网络科技有限公司 摄像系统以及视频处理方法
CN110572604B (zh) * 2019-09-27 2023-04-07 上海依图网络科技有限公司 摄像系统以及视频处理方法
CN110620891B (zh) * 2019-09-27 2023-04-07 上海依图网络科技有限公司 摄像系统以及视频处理方法
CN110636241A (zh) * 2019-10-15 2019-12-31 上海应用技术大学 视频信息进行选择性加密方法
CN111355924B (zh) * 2019-11-18 2021-03-02 杭州亿圣信息技术有限公司 基于视频智能分析检测特殊人员脸部加扰编码的方法
CN112839244B (zh) * 2019-11-22 2022-03-25 北京大学 一种基于码流级别的监控视频分级加解密方法及系统
CN112633239A (zh) * 2020-12-31 2021-04-09 中国工商银行股份有限公司 微表情识别方法及装置
CN113630587A (zh) * 2021-08-09 2021-11-09 北京朗达和顺科技有限公司 一种实时视频敏感信息保护系统及其方法
CN114173332B (zh) * 2022-02-09 2022-04-19 国网浙江省电力有限公司信息通信分公司 适用于5g智能电网巡检机器人的数据加密传输方法及装置
CN114938465B (zh) * 2022-07-25 2022-10-18 广州万协通信息技术有限公司 一种基于特征序列的加密数据传输方法及装置
CN116847036B (zh) * 2023-09-01 2023-11-24 北京中星微人工智能芯片技术有限公司 图像显示方法、装置、电子设备和计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281486A (ja) * 2001-03-16 2002-09-27 Dd Marketing:Kk 画像取得システム
JP2003179912A (ja) * 2001-08-30 2003-06-27 Hitachi Kokusai Electric Inc 監視映像配信システムおよび監視映像配信方法
JP2003219383A (ja) * 2001-11-13 2003-07-31 Matsushita Electric Ind Co Ltd 画像を用いる通信方法及びその装置
JP2004080669A (ja) * 2002-08-22 2004-03-11 Hitachi Kokusai Electric Inc 監視カメラ装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6940545B1 (en) * 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
GB2373942A (en) * 2001-03-28 2002-10-02 Hewlett Packard Co Camera records images only when a tag is present
US7194109B2 (en) 2001-08-30 2007-03-20 Hitachi Kokusai Electric, Inc. Method and system for delivering monitored image signal of subject to be monitored
EP1311124A1 (en) 2001-11-13 2003-05-14 Matsushita Electric Industrial Co., Ltd. Selective protection method for images transmission
JP4036051B2 (ja) 2002-07-30 2008-01-23 オムロン株式会社 顔照合装置および顔照合方法
US20040085445A1 (en) * 2002-10-30 2004-05-06 Park Ho-Sang Apparatus for secured video signal transmission for video surveillance system
US20040085446A1 (en) * 2002-10-30 2004-05-06 Park Ho-Sang Method for secured video signal transmission for video surveillance system
GB2403363A (en) * 2003-06-25 2004-12-29 Hewlett Packard Development Co Tags for automated image processing
JP4066924B2 (ja) * 2003-09-19 2008-03-26 ソニー株式会社 送受信システム
JP2005229188A (ja) * 2004-02-10 2005-08-25 Matsushita Electric Ind Co Ltd 映像通信装置および映像通信方法
US7636439B2 (en) * 2004-09-10 2009-12-22 Hitachi Kokusai Electric, Inc. Encryption method, encryption apparatus, data storage distribution apparatus and data delivery system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281486A (ja) * 2001-03-16 2002-09-27 Dd Marketing:Kk 画像取得システム
JP2003179912A (ja) * 2001-08-30 2003-06-27 Hitachi Kokusai Electric Inc 監視映像配信システムおよび監視映像配信方法
JP2003219383A (ja) * 2001-11-13 2003-07-31 Matsushita Electric Ind Co Ltd 画像を用いる通信方法及びその装置
JP2004080669A (ja) * 2002-08-22 2004-03-11 Hitachi Kokusai Electric Inc 監視カメラ装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11463659B2 (en) 2018-08-20 2022-10-04 Kabushiki Kaisha Toshiba Monitoring system, monitoring method, and storage medium

Also Published As

Publication number Publication date
JP4197048B2 (ja) 2008-12-17
CN101167361A (zh) 2008-04-23
US7792295B2 (en) 2010-09-07
US20090257589A1 (en) 2009-10-15
WO2006115156A1 (ja) 2006-11-02

Similar Documents

Publication Publication Date Title
JP4197048B2 (ja) 監視カメラシステム、撮影装置および映像表示装置
US8218031B2 (en) Information recording apparatus, imaging apparatus, information recording method, and program
CN101057491A (zh) 具有生物统计读取器的无线图像拍摄装置
JP2009033738A (ja) 撮像装置、画像ファイルのデータ構造
JP5947044B2 (ja) 画像収集システム、画像撮像装置、画像記憶装置
KR100917453B1 (ko) 영상 정보 처리 장치 및 방법
KR20170061937A (ko) 영상 공유 방법
EP3432543B1 (en) Service providing system, service delivery system, service providing method, and program
JP2010204867A (ja) 車載画像記録装置
TW200522725A (en) Digital camera system
JP4112509B2 (ja) 画像暗号システム及び画像暗号方法
JP2000059771A (ja) 画像撮像装置および画像データ利用システム
JP2008028575A (ja) 受信装置
KR101731012B1 (ko) 개인영상정보 반출 관리시스템
JP2010056894A (ja) 映像情報管理システム
JP2004179919A (ja) 画像仲介システム
JP4420450B2 (ja) 画像記録装置
JP2008099098A (ja) デジタル撮影機器
JP2005286823A (ja) 画像入力装置、通信システム、制御方法、コンピュータプログラム及び記憶媒体
KR101677111B1 (ko) 보행자의 얼굴 검출 기반의 동적 객체 영상 프라이버시 보호 장치 및 그 방법
WO1999031844A1 (fr) Dispositif d'authentification d'images numeriques
JP4332076B2 (ja) 画像記録装置及び画像再生装置
JP5621014B2 (ja) 映像再生装置、映像処理装置および映像再生方法、映像処理方法ならびに映像再生プログラム、映像処理プログラム
KR101902687B1 (ko) 영상실명 보안시스템 및 보안방법
KR102530463B1 (ko) 보행자 얼굴 검출 정보를 매개로 한 영상 보안 장치 및 그 방법

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080826

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080922

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4197048

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees