JP4650579B2 - ビデオデータ記録装置、ビデオデータ再生装置、およびビデオデータ記録方法、ビデオデータ再生方法 - Google Patents

ビデオデータ記録装置、ビデオデータ再生装置、およびビデオデータ記録方法、ビデオデータ再生方法 Download PDF

Info

Publication number
JP4650579B2
JP4650579B2 JP2009080812A JP2009080812A JP4650579B2 JP 4650579 B2 JP4650579 B2 JP 4650579B2 JP 2009080812 A JP2009080812 A JP 2009080812A JP 2009080812 A JP2009080812 A JP 2009080812A JP 4650579 B2 JP4650579 B2 JP 4650579B2
Authority
JP
Japan
Prior art keywords
video data
information
target information
determined
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009080812A
Other languages
English (en)
Other versions
JP2010233133A (ja
Inventor
修司 高橋
泰弘 植木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2009080812A priority Critical patent/JP4650579B2/ja
Priority to PCT/JP2010/054706 priority patent/WO2010113666A1/ja
Priority to US13/001,554 priority patent/US8705936B2/en
Priority to KR1020107028029A priority patent/KR101150782B1/ko
Priority to CN2010800020109A priority patent/CN102084649B/zh
Publication of JP2010233133A publication Critical patent/JP2010233133A/ja
Application granted granted Critical
Publication of JP4650579B2 publication Critical patent/JP4650579B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本発明は、画像の一部にマスク処理を施すためのビデオデータ記録装置、ビデオデータ再生装置、ビデオデータ記録方法、およびビデオデータ再生方法に関する。
これまで、デジタルスチルカメラ(DSC:Digital Still Camera)やデジタルビデオカメラによって撮像された画像は、単に個人的に視聴するため用いられていたが、近年、このような画像が、ウェブやブログを介して不特定の人に閲覧させるためにも用いられるようになってきた。しかし、個人で撮像した画像には、人物、車両、撮像された地域を示す指標等、個人や地域を特定することが可能な情報が含まれ、画像をそのまま公開してしまうと個人のプライバシーを保護することが困難になる。
個人のプライバシーを保護するためには、取得した画像から、個人や地域を特定する人物、車両、指標等をマスク処理(モザイク処理、ボカシ処理、あるいは塗り潰し処理など)することが考えられる。例えば、顔検出を行い、顔部分の画像をマスク処理することで人物を特定できないようにしたり、ナンバープレートの文字情報部分をマスク処理することで車両を特定できないようにしたり、住所表示、学校名、駅、商店等の表示部分をマスク処理することで地域を特定できないようにしたりすることである。このような画像の一部、顔部分の画像にモザイク処理を施す技術が知られている(例えば、特許文献1)。しかし、かかる技術では、画像中の肌色の部分に基づいて顔部分を検出するため、撮像したすべての顔画像に対してモザイク処理が施されるので、特定の人のみモザイク処理または特定の人を除いてモザイク処理する等、プライバシーの保護の設定を個別にできなかった。
そこで、検出された顔画像を、予め記録されている特定人物の顔画像と照合して、両顔画像が一致した場合に限りモザイク処理を行う技術が開示されている(例えば、特許文献2)。かかる技術においては、肌色検出のみならず、背景画像との差分の抽出、パターンマッチング、顔らしさの抽出といった手法が顔検出に用いられている。また、顔を検出した後、目、鼻、口、耳などの特徴点もその顔を特定するための特徴量として利用され、ビデオ信号(画像信号)の解像度が向上したのも相まって、その特定精度は高くなっている。近年、このような顔部分のみならず、ナンバープレートの文字情報や地域を特定する文字情報も、OCR技術やパターンマッチングを通じて照合し、その文字情報にモザイク処理を施すことが可能となり、より的確に個人のプライバシーの保護を図ることができるようになった。
特開2001−086407号公報 特開2004−062560号公報
上述した技術では、撮像したビデオデータから個人のプライバシーに関する画像をマスク処理するため、まず、ビデオデータからマスク処理の対象となりうる情報(対象情報)を抽出し、それを予め記録された参照情報と比較している。そして、対象情報と参照情報とが一致または類似している場合に限りそのビデオデータの対象情報にマスク処理を施し、以後、その対象情報を追跡捕捉してマスク処理を継続する。
換言すれば、マスク処理は、参照情報と一致または類似する対象情報の存在が確認されてはじめて実行されることとなる。従って、本来マスク処理すべき対象情報の画像が画面上に出現したとしても、その対象情報が参照情報との類似性を見出せない間、即ち、対象情報の画像の一部のみが画面に表示されていて参照情報との類似度が十分な値に達していない間、その対象情報は参照情報と一致または類似していると判断されないため、マスク処理が行われない。
従って、マスク処理がリアルタイム性を要する場合において、例えば、対象となる人物が画面内にスライドしてきた場合、その顔が画面内に完全に収まってはじめてマスク処理が開始されるので、それまでは一部ではあるものの顔部分が画面に曝されることとなり、十分なプライバシーの保護を受けられないといった問題が顕在していた。
本発明は、このような課題に鑑み、マスク処理の対象(以下、単にマスク対象と称する)が画面内に収まる前であっても十分なプライバシーの保護を受けることが可能なビデオデータ再生装置、ビデオデータ記録装置、ビデオデータ再生方法、およびビデオデータ記録方法を提供することを目的としている。
上記課題を解決するために、本発明のビデオデータ記録装置は、所定の特徴量を含む参照情報を記録した参照情報記憶部と、ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、最新のビデオデータと参照情報とを比較し、最新のビデオデータにおける参照情報に類似すると判断された部分情報を抽出する類似性判断部と、最新のビデオデータより前にビデオバッファに出力されたビデオデータと類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出する関連性判断部と、ビデオデータと、部分情報に関する関連情報とを記録媒体に記録する媒体記録部と、を備えることを特徴とする。
本発明では、マスク対象となる部分画像を特定できる部分情報を抽出すると、かかる部分画像とビデオバッファに保持されているビデオデータに対応する画像とで画像同士の比較を行い、遡及してマスク処理すべき部分情報を抽出し、かかる部分情報に関する関連情報を記録媒体に記録する。従って、当該記録媒体の再生時には、マスク対象が一部でも含まれるビデオデータからマスク処理が施されるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
上記ビデオデータ記録装置の類似性判断部は、参照情報との類似の度合いを示す類似度を導出し、類似度が第1所定閾値を超えるか否かで、部分情報が類似するか否かを判断し、関連性判断部は、類似すると判断された部分情報との関連の度合いを示す関連度を導出し、関連度が第2所定閾値を超えるか否かで、部分情報が関連するか否かを判断してもよい。
類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断することが可能となる。
上記ビデオデータ記録装置のビデオデータ取得部は、被写体を撮像してビデオデータを生成する撮像部を含むことを特徴とする。かかる構成により、被写体を撮像しつつ、その撮像したビデオデータと、そのビデオデータから抽出したマスク対象の部分情報に関する関連情報を記録媒体に記録することができ、プライバシーが保護されたビデオデータを容易に生成することが可能となる。
上記ビデオデータ記録装置で生成された記録媒体を再生するビデオデータ再生装置は、所定の特徴量を含む参照情報と類似すると判断されたビデオデータの部分情報と、類似すると判断された部分情報に関連すると判断されたビデオデータの部分情報とにおける部分画像に関する関連情報と、ビデオデータとが記録された記録媒体から、関連情報と、ビデオデータとを取得するビデオデータ取得部と、ビデオデータにおける関連情報によって特定される部分画像をマスク処理するマスク処理部と、マスク処理されたビデオデータを出力するビデオデータ出力部と、を備えることを特徴とする。
本発明では、ビデオデータ記録装置で生成された記録媒体には、ビデオデータと、マスク対象となる部分画像を特定できる関連情報とが記録されている。従って、当該ビデオデータ再生装置は、記録媒体の再生時に、マスク対象が画面に一部でも出現した時点から直ちにマスク処理を遂行することができるので、マスク対象が画面内に完全に収まる前であっても十分なプライバシーの保護を遂行することが可能となる。
上記課題を解決するために、本発明のビデオデータ再生装置は、所定の特徴量を含む参照情報を記録した参照情報記憶部と、ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、最新のビデオデータと参照情報とを比較し、最新のビデオデータにおける参照情報に類似すると判断された部分情報を抽出する類似性判断部と、最新のビデオデータより前にビデオバッファに出力されたビデオデータと類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出する関連性判断部と、ビデオデータにおける部分情報によって特定される部分画像をマスク処理するマスク処理部と、マスク処理されたビデオデータを出力するビデオデータ出力部と、を備えることを特徴とする。
本発明では、マスク対象となる部分画像を特定できる部分情報を抽出すると、かかる部分画像とビデオバッファに保持されているビデオデータに対応する画像とで画像同士の比較を行い、遡及して部分情報を抽出する。そして、その部分情報によって特定できる部分画像に対して、例えば出力する直前にマスク処理を施す。従って、マスク対象が一部でも含まれるビデオデータからマスク処理を施すことができ、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
上記ビデオデータ再生装置の類似性判断部は、参照情報との類似の度合いを示す類似度を導出し、類似度が第1所定閾値を超えるか否かで、部分情報が類似するか否かを判断し、関連性判断部は、類似すると判断された部分情報との関連の度合いを示す関連度を導出し、関連度が第2所定閾値を超えるか否かで、部分情報が関連するか否かを判断してもよい。
類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断し、マスク処理を行うことができる。
上記課題を解決するために、本発明のビデオデータ記録方法は、所定の特徴量を含む参照情報を記録しておき、ビデオデータを取得し、順次ビデオバッファに出力し、最新のビデオデータと参照情報とを比較し、最新のビデオデータにおける参照情報に類似すると判断された部分情報を抽出し、最新のビデオデータより前にビデオバッファに出力されたビデオデータと類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出し、ビデオデータと部分情報に関する関連情報とを記録媒体に記録することを特徴とする。
上記課題を解決するために、本発明のビデオデータ再生方法は、所定の特徴量を含む参照情報を記録しておき、ビデオデータを取得し、順次ビデオバッファに出力し、最新のビデオデータと参照情報とを比較し、最新のビデオデータにおける参照情報に類似すると判断された部分情報を抽出し、最新のビデオデータより前にビデオバッファに出力されたビデオデータと類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出し、ビデオデータにおける部分情報によって特定される部分画像をマスク処理し、マスク処理されたビデオデータを出力することを特徴とする。
上述したビデオデータ記録装置やビデオデータ再生装置における技術的思想に対応する構成要素やその説明は、当該ビデオデータ記録方法やビデオデータ再生方法にも適用可能である。
上記課題を解決するために、他の観点に基づく本発明のビデオデータ再生装置は、所定の特徴量を含む参照情報を記憶した参照情報記憶部と、ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、最新のビデオデータから、参照情報の比較対象となり最新のビデオデータの部分画像を特定可能な対象情報を取出し、最新のビデオデータに関連付けて保持させる対象情報取出部と、取出された対象情報と参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与する類似性判断部と、対象情報と参照情報とが類似すると判断された場合、類似の判断をした対象情報より前に保持された1または複数の対象情報と、類似すると判断された対象情報とが関連するか否か判断し、関連すると判断した対象情報にマスクフラグを付与する関連性判断部と、ビデオバッファ中のビデオデータに関連付けられた対象情報にマスクフラグが付与されている場合、ビデオデータの対象情報によって特定できる部分画像をマスク処理するマスク処理部と、マスク処理されたビデオデータを出力するビデオデータ出力部と、を備えることを特徴とする。
本発明では、ビデオデータをビデオバッファに保持し、マスク対象となる対象情報を認識すると、その対象情報と関連している対象情報すべてにマスクフラグを付与し、マスクフラグが付与された対象情報によって特定できる部分画像に対して、例えば出力する直前にマスク処理を施す。従って、マスク対象が一部でも含まれるビデオデータからマスク処理を施すことができ、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
上記ビデオデータ再生装置の類似性判断部は、対象情報と参照情報との類似の度合いを示す類似度を導出し、類似度が第1所定閾値を超えるか否かで類似するか否かを判断し、関連性判断部は、保持された1または複数の対象情報と、類似すると判断された対象情報との関連の度合いを示す関連度を導出し、関連度が第2所定閾値を超えるか否かで関連するか否かを判断してもよい。
類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断し、マスク処理を行うことができる。
上記課題を解決するために、本発明のビデオデータ記録装置は、所定の特徴量を含む参照情報を記憶した参照情報記憶部と、ビデオデータを取得するビデオデータ取得部と、最新のビデオデータから、参照情報の比較対象となり最新のビデオデータの部分画像を特定可能な対象情報を取出し、ビデオデータに関連付けて保持させる対象情報取出部と、取出された対象情報と参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与する類似性判断部と、対象情報と参照情報とが類似すると判断された場合、類似の判断をした対象情報より前に保持された1または複数の対象情報と、類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報にマスクフラグを付与する関連性判断部と、ビデオデータと、マスクフラグを付与された対象情報によって特定される部分画像に関する関連情報とを記録媒体に記録する媒体記録部と、を備えることを特徴とする。
本発明では、マスク対象となる対象情報を認識すると、その対象情報と関連している対象情報にもマスクフラグを付与し、その対象情報によって特定される部分画像に関する関連情報を記録媒体に記録する。従って、当該記録媒体の再生時には、マスク対象が一部でも含まれるビデオデータからマスク処理が施されるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
上記ビデオデータ記録装置の類似性判断部は、対象情報と参照情報との類似の度合いを示す類似度を導出し、類似度が第1所定閾値を超えるか否かで類似するか否かを判断し、関連性判断部は、保持された1または複数の対象情報と、類似すると判断された対象情報との関連の度合いを示す関連度を導出し、関連度が第2所定閾値を超えるか否かで関連するか否かを判断してもよい。
類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断することが可能となる。
上記ビデオデータ記録装置のビデオデータ取得部は、被写体を撮像してビデオデータを生成する撮像部を含んでもよい。かかる構成により、被写体を撮像しつつ、その撮像したビデオデータと、そのビデオデータに関連付けられた対象情報によって特定できる部分画像にマスク処理を施すための関連情報を記録媒体に記録することができ、プライバシーが保護されたビデオデータを容易に生成することが可能となる。
上記ビデオデータ記録装置で生成された記録媒体を再生するビデオデータ再生装置は、所定の特徴量を含む参照情報と類似すると判断されビデオデータから取出された対象情報と、類似すると判断された対象情報と関連すると判断されビデオデータから取出された対象情報とに関する関連情報と、ビデオデータとが記録された記録媒体から、関連情報と、ビデオデータとを取得するビデオデータ取得部と、取得されたビデオデータに関連情報が関連付けられている場合、関連情報によって特定される部分画像をマスク処理するマスク処理部と、マスク処理されたビデオデータを出力するビデオデータ出力部と、を備えることを特徴とする。
本発明では、記録媒体には、ビデオデータと、マスク処理をすべき部分画像を特定可能な、関連情報とが記録されている。当該ビデオデータ再生装置は、記録媒体を再生する際、関連情報によりマスク対象をほぼリアルタイムに認識することができ、マスク対象が画面に一部でも出現した時点から直ちにマスク処理を遂行することができるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
上記課題を解決するために、本発明のビデオデータ再生方法は、所定の特徴量を含む参照情報を記憶しておき、ビデオデータを取得し、順次ビデオバッファに出力し、最新のビデオデータから、参照情報の比較対象となり最新のビデオデータの部分画像を特定可能な対象情報を取出し、最新のビデオデータに関連付けて保持させ、取出された対象情報と参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与し、対象情報と参照情報とが類似すると判断された場合、類似の判断をした対象情報より前に保持された1または複数の対象情報と、類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報にマスクフラグを付与し、ビデオバッファ中のビデオデータに関連付けられた対象情報にマスクフラグが付与されている場合、ビデオデータの対象情報によって特定できる部分画像をマスク処理し、マスク処理されたビデオデータを出力することを特徴とする。
上記課題を解決するために、本発明のビデオデータ記録方法は、所定の特徴量を含む参照情報を記憶しておき、ビデオデータを取得し、最新のビデオデータから、参照情報の比較対象となり最新のビデオデータの部分画像を特定可能な対象情報を取出し、最新のビデオデータに関連付けて保持させ、取出された対象情報と参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与し、対象情報と参照情報とが類似すると判断された場合、類似の判断をした対象情報より前に保持された1または複数の対象情報と、類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報にマスクフラグを付与し、ビデオデータとマスクフラグを付与された対象情報に関する関連情報とを記録媒体に記録することを特徴とする。
上述したビデオデータ再生装置やビデオデータ記録装置における技術的思想に対応する構成要素やその説明は、当該ビデオデータ再生方法やビデオデータ記録方法にも適用可能である。
本発明では、個人や地域を特定することが可能なマスク対象の一部が最初に出現したビデオデータまで遡及してマスク処理することで、かかるマスク対象が画面内に完全に収まる前であっても十分なプライバシーの保護を受けることが可能となる。
第1の実施形態にかかるビデオデータ記録再生システムの概略的な接続関係を示した説明図である。 第1の実施形態にかかるビデオデータ記録装置の一例を示した外観図である。 第1の実施形態にかかるビデオデータ記録装置の概略的なハードウェア構成を示した機能ブロック図である。 第1の実施形態における類似性判断部の処理を説明した説明図である。 第1の実施形態における関連性判断部の処理を説明した説明図である。 第1の実施形態にかかるビデオデータ再生装置の概略的なハードウェア構成を示した機能ブロック図である。 第1の実施形態におけるマスク処理を施した画像の表示例を示す説明図である。 第1の実施形態におけるマスク処理を施した画像の表示例を示す説明図である。 第1の実施形態におけるマスク処理を施した画像の表示例を示す説明図である。 第1の実施形態にかかるビデオデータ記録方法の処理の流れを示したフローチャートである。 第1の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。 第2の実施形態にかかるビデオデータ再生装置の概略的な構成を示した機能ブロック図である。 第2の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。 第3の実施形態にかかるビデオデータ再生装置の概略的な構成を示した機能ブロック図である。 第3の実施形態における類似性判断部の処理を説明した説明図である。 第3の実施形態における関連性判断部の処理を説明した説明図である。 第3の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。 第4の実施形態にかかるビデオデータ記録再生システムの概略的な接続関係を示した説明図である。 第4の実施形態にかかるビデオデータ記録装置の一例を示した外観図である。 第4の実施形態にかかるビデオデータ記録装置の概略的なハードウェア構成を示した機能ブロック図である。 第4の実施形態にかかるビデオデータ再生装置の概略的なハードウェア構成を示した機能ブロック図である。 第4の実施形態にかかるビデオデータ記録方法の処理の流れを示したフローチャートである。 第4の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
デジタルスチルカメラやデジタルビデオカメラの普及と、インターネット回線の高速化に伴い、個人が撮像した画像を容易に公衆へ公開することができるようになってきた。しかし、個人で撮像した画像には、個人や地域を特定可能な情報が含まれ、画像をそのまま公開してしまうと個人のプライバシーを保護することが困難になる。特に、人の顔や住所を特定する文字列は、その一部が公開されただけでも、対象の個人や地域が特定されてしまうことがある。
本発明の実施形態では、上述のように顔や住所等、個人や地域を特定可能なマスク対象が画面内に完全に収まる前であっても十分なプライバシーの保護を受けられるようにすることを目的としている。以下、本実施形態のビデオデータ記録装置の構成とそのビデオデータ記録装置を用いたビデオデータ記録方法を述べ、その後で、ビデオデータ再生装置の構成とそのビデオデータ再生装置を用いたビデオデータ再生方法を述べる。
さらにその後、観点の異なるビデオデータ再生装置とそのビデオデータ再生装置を用いたビデオデータ再生方法と、ビデオデータ記録装置とそのビデオデータ記録装置を用いたビデオデータ記録方法について説明する。
(第1の実施形態:ビデオデータ記録再生システム100)
図1は、第1の実施形態にかかるビデオデータ記録再生システム100の概略的な接続関係を示した説明図である。
図1に示すように、ビデオデータ記録再生システム100は、ビデオデータ記録装置110と、外部記録媒体190と、ビデオデータ再生装置200と、ディスプレイ210とを含んで構成される。
ビデオデータ記録装置110は、撮像して取得したビデオデータを記録媒体としての外部記録媒体190に記録する。このとき、ビデオデータ記録装置110は、マスク処理すべき部分情報に関する関連情報も、ビデオデータの単位画像にあたるフレームに関連付けて記録する。そして、ビデオデータ再生装置200は、ビデオデータ記録装置110によってビデオデータと関連情報とが記録された外部記録媒体190を、かかる関連情報を参照してマスク処理を行いながら再生し、ディスプレイ210に出力する。
ここで、ビデオデータは、複数のフレームを連続させた動画データや、連続する複数の静止画データであり、以下の実施形態では複数のフレームを連続させた動画データを挙げて説明する。また、フレームは、動画データを構成する1画面分の画像に対応するデータのことであり、M−JPEG、MPEG−2、H.264といった符号化方式において符号化の単位画像としても用いられる。以下、ビデオデータの単位画像を指す場合にはフレームの文言を用いて説明する。
(ビデオデータ記録装置110)
図2は、第1の実施形態にかかるビデオデータ記録装置110の一例を示した外観図である。本実施形態において、ビデオデータ記録装置110として、デジタルビデオカメラを例に挙げるが、かかる例に限定されず、デジタルスチルカメラ、HDDレコーダ、DVDレコーダ、ブルーレイディスク記録装置等、記録媒体にフレームを記録可能な他の記録装置でもよい。
ビデオデータ記録装置110は、本体112と、撮像レンズ114と、撮像操作部116と、ビューファインダ(液晶モニタ)118とを含んで構成される。
本体112は、撮像レンズ114を通じて撮像されたビデオ信号をビデオデータとして再視聴可能に記録すると共に、撮像操作部116へのユーザ入力に応じてその記録タイミングや画角を調整する。また、ユーザからの野外、屋内、夜景等の撮像モードの切り換え入力を受付けてそれに対応した処理を実行する。ユーザは、撮像時において、ビューファインダ118に表示された画像を視認し、実録されるビデオデータを参照することができ、被写体を所望する位置および占有面積で捉えることが可能となる。かかるビューファインダ118は、液晶ディスプレイ、有機ELディスプレイ等で構成される。
図3は、第1の実施形態にかかるビデオデータ記録装置110の概略的なハードウェア構成を示した機能ブロック図である。ビデオデータ記録装置110は、CPU120と、バス122と、ROM124と、RAM126と、フラッシュメモリ128と、撮像操作部116と、ビューファインダ118と、ビデオデータ取得部として機能する撮像部130と、データ処理部132と、ビデオバッファ134と、媒体記録部として機能する撮像記録I/F部136とを含んで構成される。
CPU120は、ROM124に格納されたプログラムに基づいてビデオデータ記録装置110全体を管理する。具体的に、CPU120は、バス122を通じて後述するROM124、RAM126、フラッシュメモリ128、撮像操作部116、ビューファインダ118、撮像部130、データ処理部132、ビデオバッファ134、撮像記録I/F部136を制御する。
ROM124は、CPU120で実行されるプログラムを格納する。RAM126は、プログラム実行時の変数を格納する。フラッシュメモリ128は、不揮発のメモリであり、電源切断時においてもその記憶された内容を保持することができる。従って、電源切断時には、RAM126に代わって後述する参照情報を記憶する。
撮像操作部116は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック等のスイッチから構成され、ユーザの操作入力を受け付ける。ビューファインダ118は、撮像部130が取得したビデオデータのビュー画像(映像)を表示する。
撮像部130は、被写体を撮像したビデオ信号からビデオデータ(フレーム)を生成する。データ処理部132は、撮像部130で生成されたビデオデータに対して輝度データや色データを形成する。以下、ビデオデータには輝度データや色データが含まれるものとする。
ビデオバッファ134は、撮像部130が生成したビデオデータ、特に1画面分にあたるフレームを一時的に保持する。また、ビデオバッファ134は、撮像部130がフレームを生成する毎に過去のフレームをシフトするシフトレジスタとして機能する。本実施形態において、ビデオバッファ134は、例えば、1920×1080ピクセルの解像度のフレームを30フレーム/秒で伝送する、約750Mbpsのビットレートのビデオデータを、10秒程の録画時間分、保持できるものとする。
撮像記録I/F部136は、ビデオデータと、後述するマスク処理のための関連情報とを任意の外部記録媒体190に記録する。外部記録媒体190としてDVDやブルーレイディスク等、ディスク形状の記録媒体を想定しているがフラッシュメモリやHDD等様々な記録媒体を適用することができる。
また、RAM126は、CPU120、およびその他の構成要素と協働して、参照情報記憶部150および部分情報保持部152としても機能する。
参照情報記憶部150は、所定の特徴量を含む参照情報を予め記憶する。かかる参照情報は、上述したように、電源切断時には、RAM126に代わってフラッシュメモリ128に保持される。ここでは所定の特徴量は、例えば、参照情報が顔を示す情報であった場合、参照情報としての顔を示す情報に基づく部分画像(以下、単に参照顔画像と称する)の画面内における占有面積と、参照顔画像の特徴点(目、口、鼻、耳等の特徴部分の相対位置)、特徴点同士の離間距離、特徴部分の大きさ、参照顔画像の輪郭および輝度、肌の色、髪の色、髪の量等の指標値を含む。本実施形態において、参照情報は、顔を示す情報を例に挙げて説明するが、かかる場合に限定されず、参照情報としては、車両を示す情報、建物を示す情報、文字を示す情報等、既存の様々な技術を用いてその特徴量を抽出することができる情報も含まれる。
部分情報保持部152は、最新のフレーム(ビデオデータ)から後述する類似性判断部172が抽出した部分情報を、最新のフレーム(部分情報の取出元のフレーム)に関連付けて保持する。かかる部分情報は、関連付けられたフレームに対応する1画面分の画像のうち画面内の位置および大きさを示す座標情報を含みその座標情報によりフレームが示す画像に含まれる部分画像を特定できる関連情報と、後述する画像同士の比較を円滑に行うための部分画像とを含む。
さらに、CPU120は、RAM126、およびその他の構成要素と協働して、類似性判断部172、および関連性判断部174としても機能する。
類似性判断部172は、撮像部130によって生成された最新のフレーム(ビデオデータ)と参照情報とを比較し、フレームの一部が参照情報に類似すると判断されると、参照情報に類似すると判断された部分情報をそのフレームから抽出し、その部分情報をフレームに関連付けて部分情報保持部152に保持させる。
部分情報を抽出する際、類似性判断部172は、フレームの任意の位置から、上述した参照情報と同様の情報、すなわち、顔を示す情報に基づく部分画像の画面内における占有面積と、特徴点(目、口、鼻、耳等の特徴部分の相対位置)、特徴点同士の離間距離、特徴部分の大きさ、輪郭および輝度、肌の色、髪の色、髪の量等の指標値を抽出する。
そして、類似性判断部172は、抽出した指標値と、参照情報記憶部150に記憶された参照情報の特徴量の指標値とを比較し、さらに、部分画像の周辺の画像も総合的に評価して、参照情報との類似の度合いを示す類似度を導出する。
具体的に、類似性判断部172は、例えば、顔と推定される部分画像の付近に、首・胴体・下半身等の画像を検出できるか、検出した人物の画像の身長が、画面内の他の人物の画像の身長と比較して極端に大きすぎまたは小さすぎないか等、顔と推定される部分画像以外の領域も参照し、例えば肌の色や髪の色の評価値に重み付けする等、総合的に評価、判断して、顔として認識することで類似度を導出する。
類似性判断部172は、参照情報との類似度が第1所定閾値を超えた場合に両者が類似すると判断し、当該部分情報をマスク対象として部分情報保持部152に保持させる。
また、かかる類似度による判定だけでは、ビデオバッファ134に既に記憶されているフレームに対応する、類似度が第1所定閾値を超える部分画像が存在していないと判断された画像の中にも、例えば、参照情報の顔と同一人物の顔であるにもかかわらず、その顔が画面内に十分に入っていない等の理由により、特徴点が抽出できなかったため、類似度が低く導出されてしまった部分情報が含まれている可能性がある。
このような部分情報がマスク対象であると判定できるようにするため、関連性判断部174は、最新のフレームより前にビデオバッファ134に出力されたフレームと、類似すると判断された部分情報とを比較し、類似すると判断された部分情報に関連すると判断された部分情報を抽出する。
このとき、関連性判断部174は、類似すると判断された部分情報との関連の度合いを示す関連度を導出し、関連度が第2所定閾値を超えるか否かで、部分情報が関連するか否かを判断する。
上述したように当該ビデオデータは、例えば30フレーム/秒で撮像されるため、撮像された時刻の差異が僅か(例えば1/30秒間)であるフレーム間では、よほど高速移動していない限り、同一の部分情報が同じような座標に、同じような大きさで撮像されている可能性が高い。
そこで、関連性判断部174は、フレーム相関、即ち、類似度が第1所定閾値を超えた部分情報が示す座標と前のフレームから生成される画像の各部分画像が示す座標との距離、および部分画像の大きさを考慮して、フレームに対応する画像と、部分情報として保持された部分画像との画像同士の比較によって、両者が関連するか否かを総合的に評価、判断し、関連度を導出する。
上述したように、類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断し、マスク処理を行うことができる。
関連性判断部174は、続いて、関連すると判断した部分情報をマスク対象として部分情報保持部152に保持させる。
関連性判断部174は、かかる部分情報の抽出において、関連度が第2所定閾値以上となった部分情報を直ちに保持させずに、その部分情報が示す位置近傍で、抽出対象の大きさや位置を任意に変化させて大きさや位置の異なる部分情報を抽出し、抽出された部分情報の中で関連度が最大となる部分情報のみを部分情報保持部152に保持させてもよい。
かかる構成により、同一フレームにおいて、同一対象の顔を含む位置や大きさが僅かに異なる部分情報の中から、最も関連度が高い、すなわち、余分な画像を含まずより正確に顔の画像のみを示した部分情報を、部分情報保持部152に選択的に保持させることができる。
図4は、第1の実施形態における類似性判断部172の処理を説明した説明図であり、図5は、関連性判断部174の処理を説明した説明図である。ここで、図4と図5とは連続した一連の処理を示している。図4、図5においては、フレームの移動処理を時系列に説明するため、ビデオバッファ134をビデオデータのフレーム1つ分の記憶領域180毎に区切っている。生成されたフレームは左端の記憶領域180に入力されフレームの生成タイミングに応じて右にシフトし右端の記憶領域180から出力されるものとする。ここでは、説明を容易にするため記憶領域180の数を7つとしている。
図4(a)において、ビデオバッファ134には、撮像部130が最初に生成したビデオデータの最初のフレームであるフレーム1が保持される。
続いて、図4(b)に示すように、類似性判断部172は、ビデオバッファ134に保持されたフレーム1と、参照情報記憶部150に記憶された参照情報とを比較する(一点鎖線の両矢印で比較する組み合わせを図示する。)。ここでは、フレーム1からは参照情報に類似すると判断される部分情報はなく、部分情報を抽出しなかったものとする。
そして、図4(c)に示すように、フレーム1は1つ右の記憶領域180にシフトし、撮像部130が取得した次のフレームであるフレーム2が新たに保持される。そして、図4(b)と同様、ビデオバッファ134に保持されたフレーム2と、参照情報記憶部150に記憶された参照情報とを比較する。ここでも、フレーム2からは参照情報に類似すると判断される部分情報はなく、部分情報を抽出しなかったものとする。
続いて生成したフレーム3についても同様に、ビデオバッファ134に保持されたフレーム3と、参照情報記憶部150に記憶された参照情報とを比較する。ここでは、フレーム3からは参照情報に類似すると判断される(類似度が第1所定閾値を超える)部分情報として、部分情報1を抽出したものとする。類似性判断部172は、部分情報1をフレーム3に関連付けて、部分情報保持部152に保持させる。
図4(d)において、部分情報1が参照情報と類似すると判断されると、図5(a)に示すように、関連性判断部174は、他のフレームのうちより新しいフレーム(図5のビデオバッファ134において、より左に位置する記憶領域180のフレーム)、ここではフレーム2と、部分情報1とを比較し(図5(a)において、二点鎖線の両矢印で比較する組み合わせを示す)、関連度を導出する。
そして、関連性判断部174は、導出した関連度が第2所定閾値を超える部分情報2を抽出し(図5(b)において、実線矢印で抽出を示す)、部分情報保持部152に、フレーム2と関連付けて保持させる。
そして、関連性判断部174は、関連すると判断した部分情報2と、フレーム2の次に古いフレーム、ここではフレーム1とを比較し、関連度を導出する。そして、関連性判断部174は、導出した関連度が第2所定閾値を超える部分情報3を抽出し、部分情報保持部152に、フレーム1と関連付けて保持させる。
また、図5(a)において、関連性判断部174が、類似する(あるいは関連する)と判断した部分情報と、フレーム2とを比較し、関連度が第2所定閾値を超える部分情報がなく、部分情報を抽出できなかった場合、即ち、フレーム2とフレーム3の間で関連している部分情報が無くなった場合、関連性判断部174は、部分情報と、それより古いフレーム(図5のビデオバッファ134において、より右に位置する記憶領域180のフレーム)との比較を終了する。
さらに、関連性判断部174は、類似性判断部172によって類似すると判断された部分情報について、上述したような最新のフレームより前にビデオバッファ134に出力されたフレームのみならず、最新のフレームより後に出力されるフレームとの関連度の導出を行ってもよい。
換言すれば、類似性判断部172によって類似すると判断された部分情報について、関連性判断部174は、最新のフレームとの関連度の導出処理を一通り終えた後、シフトされた1つ前のフレームに関連付けられた部分情報と、最新のフレームとの関連性も判断する。要するに類似性判断部172は、逆方向(より新しいフレーム方向)への関連性も判断する。そして、関連度が第2所定閾値を超えると、最新のフレームに関連付けられた部分情報を抽出する。
撮像記録I/F部136は、ビデオデータとして順次フレームを記録しつつ、関連情報も外部記録媒体190に記録する。本実施形態において、関連情報は、上述したように、部分情報から部分画像を除いたものであり、フレームに対応する1画面分の画像のうち画面内の位置および大きさを示す座標情報を含む。しかし、関連情報は、かかる例に限定されず、マスクを施すべき画像領域を特定できればよい。後述するビデオデータ再生装置200は、この外部記録媒体190からフレームと関連情報とを読み取ると、ディスプレイ210に出力する前に、関連情報に基づいてマスク処理を行う。従って、その部分画像が画面内に完全に収まっていなくてもマスク処理を実行することが可能となる。
上述したように、本実施形態のビデオデータ記録装置110では、マスク対象となる部分画像を特定できる部分情報を抽出すると、かかる部分画像とビデオバッファ134に保持されているフレームに対応する画像とで画像同士の比較を行うことで、遡及してマスク処理すべき部分情報を抽出し、かかる部分情報に関する、マスク対象となる部分画像を特定できる関連情報を外部記録媒体190に記録する。従って、当該外部記録媒体190の再生時には、マスク対象が一部でも含まれるフレームからマスク処理が施されるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。ここで、マスク処理は、モザイク、ぼかし、塗り潰し等、特定可能な情報を制限する処理である。
また、ビデオデータ記録装置110に撮像部130を備える構成により、被写体を撮像しつつ、その撮像したビデオデータと、そのビデオデータに含まれるフレームから抽出したマスク対象の部分情報に関する関連情報を外部記録媒体190に記録することができ、プライバシーが保護されたビデオデータを容易に生成することが可能となる。
(ビデオデータ再生装置200)
次に、上述したビデオデータ記録装置110を用いて、ビデオデータと、関連情報とが記録された外部記録媒体190から、ビデオデータと、関連情報とを読み取り、マスク対象となる部分画像にマスク処理を施したビデオデータを出力するビデオデータ再生装置200について説明する。
図6は、第1の実施形態にかかるビデオデータ再生装置200の概略的なハードウェア構成を示した機能ブロック図である。ビデオデータ再生装置200は、CPU120と、バス122と、ROM124と、RAM126と、リモコンI/F216と、ビデオデータ取得部230と、マスク処理部240と、ビデオデータ出力部242と、を含んで構成される。
上記CPU120、バス122、ROM124、RAM126は、ビデオデータ記録装置110の説明において既に述べたCPU120、バス122、ROM124、RAM126と実質的に機能が同一であるため同一の符号を付して説明を省略し、ここではビデオデータ再生装置200において構成が相違するリモコンI/F216、ビデオデータ取得部230、マスク処理部240、ビデオデータ出力部242を主に説明する。
リモコンI/F216は、リモコン280との赤外線通信を通じてユーザ入力に対応したコマンドを取得、保持する。CPU120は、かかるコマンドを読み取り、そのコマンドに対応した処理を遂行する。
ビデオデータ取得部230は、外部記録媒体190からビデオデータを構成するフレームを取得する。さらに、ビデオデータ取得部230は、外部記録媒体190からマスク処理すべき部分画像を特定できる関連情報を取得する。
ここでは、データ符号化については触れていないが、ビデオデータ記録装置110のデータ処理部132は、フレームを前後のフレームと合わせて、M−JPEGやMPEG−2、H.264などの所定の符号化方式で符号化した後、撮像記録I/F部136に伝送してもよい。この場合、ビデオデータ取得部230は、フレームを復号した後、マスク処理部240に伝送する。
マスク処理部240は、関連情報によって特定されるフレームの部分画像にマスク処理を施し、ビデオデータ出力部242が、ディスプレイ210に出力する。
上述した関連情報とフレームとが記録された外部記録媒体190をビデオデータ取得部230が読み取り、マスク処理部240が関連情報に基づいてマスク処理を行ってからディスプレイ210に出力した場合の画像の表示について、比較例と対比させて説明する。
図7、図8、および図9は、第1の実施形態におけるマスク処理を施した画像の表示例を示す説明図である。特に、図7(a)、図8(a)、および図9(a)は、本実施形態におけるマスク処理を施した画像の表示例であり、図7(b)、図8(b)、および図9(b)は、比較例としての通常のマスク処理を施した画像の表示例である。図7、図8、および図9において、理解を容易にするため、ディスプレイ210に表示された映像から約1秒おきに4回抜き出した画像290A〜D、290E〜Hを図7に、290I〜L、290M〜Pを図8に、290Q〜T、290U〜Xを図9に、図の左から順次並べて示している。
図7(b)に示すように、通常のマスク処理を施した場合、画像290Eおよび290Fにおいては、顔を示す部分画像が画面内に完全に入っていないため、マスク処理をすべき顔を示す部分画像と判断されずに、そのまま表示されてしまう。従って、画像290Eや画像290Fに含まれる顔を示す部分画像に基づいて、その人物が特定されてしまうおそれがあり、プライバシーの保護に欠ける。
画像290Gに到達すると、顔を示す部分画像が画面内に十分に入り、参照情報との類似の度合いが把握され、画像290G以降、ようやくマスク処理された顔を示す部分画像が表示される。以後の例えば画像290Hでは、その顔を示す部分画像が追跡捕捉されマスク処理が継続する。
これに対して本実施形態においては、図7(a)に示すように、顔を示す画像が画面内に完全に入っていない画像290Aおよび290Bであってもマスク処理を行うことができる。上述したように、ビデオデータ記録装置110は、撮像部130が生成したフレームを一旦ビデオバッファ134に保持し、画像290Cにおいて顔を示す部分画像がマスク処理すべき部分画像であることが判明してから、ビデオバッファ134に保持したフレームに基づいた画像290Aおよび290Bに遡及して、顔を示す部分画像を特定できる部分情報を抽出している。ビデオデータ再生装置200のマスク処理部240は、かかる部分情報に関する関連情報に基づいて部分画像にマスク処理を行うためである。
本実施形態では、顔を示す部分画像が画面から外れている場合に限らず、図8に示すような、画面に最初に表示されている顔を示す部分画像が極端に小さく徐々に拡大した場合や、図9に示すように、顔を示す部分画像に焦点が合っておらず、徐々に焦点を合わせていった場合にも適用できる。
図8(b)に示すように、通常のマスク処理では、画像290Mおよび290Nにおいては、顔を示す部分画像が小さすぎるためマスク処理をすべき部分画像と判断されず、そのまま表示されてしまう。
しかし、本実施形態においては、図8(a)に示すように、画像290Kの顔を示す部分画像がマスクすべき部分画像であることが判明してから、ビデオバッファ134に保持された画像290Iおよび290Jに遡及して部分情報を抽出できる。マスク処理部240は、この部分情報に関する関連情報に基づいてマスク処理を行う。従って、その部分画像が画面内に完全に収まっていなくてもマスク処理を実行することが可能となる。
同様に、図9(b)においては、画像290Uおよび290Vの段階で顔を示す部分画像に焦点が合っていないため、マスク処理をすべき部分画像と判断されず、そのまま表示されてしまう。
しかし、本実施形態においては、図7(a)および図8(a)と同様に、顔を示す部分画像に焦点を合わせた後の画像290Sにおいてマスク処理すべき部分画像であることが判明してから、ビデオバッファ134に保持された画像290Qおよび290Rに遡及して部分情報を抽出できる。マスク処理部240は、この部分情報に関する関連情報に基づいてマスク処理を行う。従って、その部分画像が画面内に完全に収まっていなくてもマスク処理を実行することが可能となる。
上述したように、外部記録媒体190には、ビデオデータと、マスク対象となる部分画像を特定できる関連情報とが記録されている。従って、当該ビデオデータ再生装置200は、外部記録媒体190の再生時に、マスク対象が画面に一部でも出現した時点から直ちにマスク処理を遂行することができるので、マスク対象が画面内に完全に収まる前であっても十分なプライバシーの保護を遂行することが可能となる。
また、予め、マスク対象の部分画像を特定できる部分情報がフレームに関連付けられているため、マスク対象を導出する処理を要さず、より低負荷な処理でプライバシーが保護されたフレームを出力することができる。さらに、外部記録媒体190のビデオデータ自体にはマスク処理されていないため、ユーザは、かかる外部記録媒体190をビデオデータ再生装置200で読み込んで再生する際、マスク処理の有無を選択して出力することが可能となる。
(ビデオデータ記録方法)
図10は、第1の実施形態にかかるビデオデータ記録方法の処理の流れを示したフローチャートである。かかるフローチャートに記載の処理は、フレーム毎に実行される。
ユーザが撮像を開始し(S300のYES)、撮像部130がフレーム、例えば、撮像開始時からK(Kは説明のために用いる任意の整数)番目のフレームを生成する(S302)と、類似性判断部172は、K番目のフレームの画像と参照情報記憶部150に記憶されている参照情報を比較し(S304)、フレームに含まれる部分画像を示す部分情報と参照情報との類似度を導出する(S306)。
そして、類似性判断部172は、導出した類似度が、第1所定閾値を超えているか否かを判断し(S308)、第1所定閾値を超えている場合(S308のYES)、類似性判断部172は、その部分情報をK番目のフレームに関連付けて部分情報保持部152に保持させる(S310)。
続いて、関連性判断部174は、そのK番目のフレームに関連付けられた部分情報と、ビデオバッファ134に保持されている、再生開始時からK−1番目のフレームの画像とを比較し、K番目のフレームに関連付けられた部分情報と、そのフレームに含まれる任意の位置、大きさの部分画像を示す部分情報との関連度を導出する(S312)。
そして、関連性判断部174は、導出した関連度が、第2所定閾値を超えているか否かを判断し(S314)、関連度が第2所定閾値を超えている部分情報が存在する場合(S314のYES)、その部分情報を抽出し、K−1番目のフレームに関連付けて部分情報保持部152に保持させる(S316)。
ここで、さらにK−2番目のフレームがビデオバッファ134に有る場合(S318のYES)、K番目のフレームに関連付けられた部分情報の代わりに、関連性判断部174によって関連度が第2所定閾値を超えていると判断されたK―1番目のフレームに関連付けられた部分情報を用いて、K−2番目のフレームに含まれる任意の位置、大きさの部分画像を示す部分情報との関連度を導出する。
換言すれば、フレームの順序は変えずKから1を引いて、すなわち、K番目をK−1番目に、K−1番目をK−2番目に、K−2番目をK−3番目にそれぞれ順次読み換えて(S320)、関連度導出ステップ(S312)に戻り、K番目のフレームに関連付けられた部分情報に対して、K−1番目のフレーム中の部分情報との関連度を導出して(S312)、上述した処理を繰り返す。
かかる処理は、K−1番目のフレームに関連付けられた部分情報に対して導出した関連度がすべて第2所定閾値以下になる(S314のNO)か、K−2番目のフレームがビデオバッファ134に保持されていない場合(S318のNO)まで実行される。
類似度が第1所定閾値以下の場合(S308のNO)、どの位置、大きさを取った部分情報との関連度も第2所定閾値以下の場合(S314のNO)、またK−2番目のフレームがビデオバッファ134に保持されていない場合(S318のNO)、部分情報の抽出を終了し、撮像記録I/F部136は、ビデオデータと、部分情報に関する関連情報とを外部記録媒体190に記録する(S322)。
上述したビデオデータ記録方法において、撮像記録I/F部136は、マスク対象となる部分画像を特定できる関連情報を含めて外部記録媒体190に記録する。マスク処理はビデオデータを再生する際に選択的に実行されるため、当該ビデオデータ記録方法では、部分画像に対する実際のマスク処理を施さないので、処理負荷を低減することができる。
(ビデオデータ再生方法)
続いて、上述したビデオデータ記録装置110によって生成した外部記録媒体190を、ビデオデータ再生装置200を用いて再生するビデオデータ再生方法をフローチャートを用いて説明する。
図11は、第1の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。図11において、ユーザが外部記録媒体190の再生を開始すると(S350のYES)、ビデオデータ取得部230は、外部記録媒体190からビデオデータを構成するフレームと、マスク対象となる部分画像を特定できる関連情報とを取得する(S352)。
そして、マスク処理部240は、取得したフレームに対して、関連情報が関連付けられているか否かを判断し(S354)、関連情報が関連付けられている場合(S354のYES)、フレームに関連付けられた関連情報によって特定できる部分画像にマスク処理を施し(S356)、ビデオデータ出力部242は、フレームを随時ビデオ信号に変換してディスプレイ210に出力する(S358)。
上述したビデオデータ再生方法では、外部記録媒体190に記録された関連情報を参照してマスク処理を施しフレーム毎にビデオデータを出力する。
本実施形態において説明したように、マスク対象であることを示す部分情報の抽出をビデオデータの記録の際に行い、マスク処理をビデオデータの再生の際に行うことで、処理にかかる負荷を分散し、より低負荷でプライバシーが保護されたビデオデータを出力することができる。また、外部記録媒体190のビデオデータ自体には、マスク処理されていないため、ユーザは、マスク処理の有無を選択して出力することができる。
(第2の実施形態)
第1の実施形態で説明したビデオデータ記録装置110とビデオデータ再生装置200を用いる場合、抽出されたマスク対象はビデオデータと共に、一旦、外部記録媒体190に記録され、後ほど、マスク処理が施されてディスプレイ210に出力される。第2の実施形態では、ビデオデータ記録装置110とビデオデータ再生装置200のそれぞれの機能の一部を有し、外部記録媒体190から取得したビデオデータに対して、ほぼリアルタイムにマスク処理を施して出力するビデオデータ再生装置380について説明する。
(ビデオデータ再生装置380)
図12は、第2の実施形態にかかるビデオデータ再生装置380の概略的なハードウェア構成を示した機能ブロック図である。ビデオデータ再生装置380は、CPU120と、バス122と、ROM124と、RAM126と、フラッシュメモリ128と、ビデオデータ取得部382と、リモコンI/F216と、ビデオバッファ134と、マスク処理部240と、ビデオデータ出力部242と、を含んで構成される。
上記CPU120、バス122、ROM124、RAM126、フラッシュメモリ128、リモコンI/F216、ビデオバッファ134、マスク処理部240、ビデオデータ出力部242は、上述した第1の実施形態にかかるビデオデータ記録装置110およびビデオデータ再生装置200において既に述べたCPU120、バス122、ROM124、RAM126、フラッシュメモリ128、リモコンI/F216、ビデオバッファ134、マスク処理部240、ビデオデータ出力部242と実質的に機能が同一なので同一の符号を付して説明を省略し、ここではビデオデータ再生装置380において構成が相違するビデオデータ取得部382を主に説明する。
ビデオデータ取得部382は、ビデオデータ(フレーム)が記録された記録媒体としての外部記録媒体384から、フレームを取得する。かかる外部記録媒体384には、上述した第1の実施形態にかかる外部記録媒体190のような関連情報が記録されていない。
そして、当該ビデオデータ再生装置380は、ビデオバッファ134に保持されているフレームに遡及してマスク対象を示す部分情報を抽出し、マスク処理部240がマスク処理を行った後、ビデオデータ出力部242がマスク処理を施されたビデオデータをディスプレイ210に出力する。
本実施形態のビデオデータ再生装置380は、マスク対象となる部分画像を特定できる部分情報を抽出し、部分画像とビデオバッファ134に保持されているフレームに対応する画像との画像同士の比較を行うので、既にビデオバッファ134に保持されたフレームに遡及して部分情報を抽出することができる。
そして、その部分情報によって特定できる部分画像に対して、例えば、出力する直前、もしくは、ビデオバッファ134に保持されている間の所定のタイミングで、マスク処理を施す。従って、マスク対象が一部でも含まれるフレームからマスク処理を施すことができ、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
(ビデオデータ再生方法)
図13は、第2の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。かかるフローチャートに記載の処理は、フレーム毎に実行される。
ビデオデータ取得部382が、外部記録媒体384から、例えば、再生開始からK番目のフレームを取得する(S386)。フレームを取得してから後、ビデオバッファ134に出力されたフレームと、参照情報との比較ステップ(S304)から、部分情報の抽出が終了するまで(S308のNO、S314のNO、S318のNO)の手順は、図10に示した第1の実施形態にかかるビデオデータ再生方法の処理と同一であるため、同一の符号を付して説明を省略する。
そして、マスク処理部240は、ビデオバッファ134内の最も古いフレームが記憶領域の終端に達するとそのフレームに関連付けられた部分情報の有無を判断する(S388)。部分情報がある場合(S388のYES)部分情報によって特定できる部分画像にマスク処理を施す(S390)。
部分情報によって特定できる部分画像にマスク処理を施してから後、図11に示した第1の実施形態にかかるビデオデータ再生方法の処理と同様、フレームを随時ビデオ信号に変換してディスプレイ210に出力する(S358)。
本実施形態のビデオデータ再生方法では、フレームをビデオバッファ134に保持し、フレームに関連付けた部分情報によって特定できる部分画像すべてにマスク処理を施す。従って、ビデオバッファ134中のフレームに遡及してマスク処理が施されるので、マスク対象が画面内に完全に収まる前から、十分なプライバシーの保護を遂行することが可能となる。
(第3の実施形態)
第1の実施形態および第2の実施形態では、マスク対象となる部分画像を特定できる部分情報を抽出する際、画像同士の比較によって、関連度を導出した。第3の実施形態では、ビデオバッファ134に保持した後、参照情報の比較対象となる特徴点や特徴量を含む対象情報を取出して保持しておき、かかる対象情報同士の比較を通じ、マスク対象を遡及して抽出するビデオデータ再生装置400と、そのビデオデータ再生装置400を用いたビデオデータ再生方法について説明する。
(ビデオデータ再生装置400)
図14は、第4の実施形態にかかるビデオデータ再生装置400の概略的なハードウェア構成を示した機能ブロック図である。ビデオデータ再生装置400は、CPU420と、バス122と、ROM124と、RAM426と、フラッシュメモリ128と、ビデオデータ取得部430と、ビデオバッファ434と、マスク処理部436と、ビデオデータ出力部442と、リモコンI/F216とを含んで構成される。
上記バス122、ROM124、フラッシュメモリ128、リモコンI/F216は、ビデオデータ記録装置110の説明において既に述べたバス122、ROM124、フラッシュメモリ128、リモコンI/F216と実質的に機能が同一であるため同一の符号を付して説明を省略し、ここではビデオデータ再生装置400において構成が相違するCPU420、RAM426、ビデオデータ取得部430、ビデオバッファ434、マスク処理部436、ビデオデータ出力部442を主に説明する。
CPU420は、ROM124に格納されたプログラムに基づいてビデオデータ再生装置400全体を管理する。具体的に、CPU420は、バス122を通じてROM124、RAM426、フラッシュメモリ128、ビデオデータ取得部430、ビデオバッファ434、マスク処理部436、ビデオデータ出力部442、リモコンI/F216を制御する。RAM426は、プログラム実行時の変数を格納する。
ビデオデータ取得部430は、記録媒体としての外部記録媒体384からビデオデータを取得する。ビデオデータは、複数のフレームを連続させた動画データや、連続する複数の静止画データであり、本実施形態では複数のフレームを連続させた動画データを挙げて説明する。ここでは、外部記録媒体384としてDVDやブルーレイディスク等、ディスク形状の記録媒体を想定しているがフラッシュメモリやHDD等様々な記録媒体を適用することができる。
ビデオバッファ434は、ビデオデータ取得部430が取得したビデオデータ、特に1画面分にあたるフレームを一時的に保持する。また、ビデオバッファ434は、ビデオデータ取得部430がフレームを取得する毎に過去のフレームをシフトするシフトレジスタとして機能する。本実施形態において、ビデオバッファ434は、例えば、1920×1080ピクセルの解像度のフレームを30フレーム/秒で伝送する、約750Mbpsのビットレートのビデオデータを、10秒程の録画時間分、保持できるものとする。
マスク処理部436は、ビデオバッファ434に保持されたフレームに関連付けられた対象情報に、後述する類似性判断部472または関連性判断部474によってマスク対象であることを示すマスクフラグが付与されている場合、フレームに関連付けられた対象情報によって特定できる部分画像をマスク処理する。
ビデオデータ出力部442は、マスク処理部436によってマスク処理されたビデオデータをビデオ信号に変換してディスプレイ210に出力する。
また、RAM426は、CPU420、およびその他の構成要素と協働して、参照情報記憶部450および対象情報保持部452としても機能する。
参照情報記憶部450は、所定の特徴量を含む参照情報を予め記憶する。かかる参照情報は、上述したように、電源切断時には、RAM426に代わってフラッシュメモリ128に保持される。ここで所定の特徴量は、例えば、参照情報が顔を示す情報であった場合、参照顔画像の画面内における占有面積と、参照顔画像の特徴点、特徴点同士の離間距離、特徴部分の大きさ、参照顔画像の輪郭および輝度、肌の色、髪の色、髪の量等の指標値を含む。また、参照情報としては、上述した顔を示す情報以外にも、車両を示す情報、建物を示す情報、文字を示す情報等、既存の様々な技術を用いてその特徴量を抽出することができる情報も含まれる。
対象情報保持部452は、後述する対象情報取出部470が最新のフレーム(ビデオデータ)から取出した対象情報を、フレーム(対象情報の取出元のフレーム)に関連付けて保持する。かかる対象情報は、上述した所定の特徴量に加え、対象情報によって特定できる部分画像自体の画面内の位置および大きさを示す座標情報を含み、かかる座標情報によりフレームが示す画像に含まれる部分画像を特定できる。
さらに、CPU420は、RAM426、およびその他の構成要素と協働して、対象情報取出部470、類似性判断部472、および関連性判断部474としても機能する。
対象情報取出部470は、ビデオデータ取得部430が取得したフレームから参照情報の比較対象となる対象情報を取出し、フレームに関連付けて対象情報保持部452に保持させる。対象情報取出部470は、例えば、顔と推定される部分画像の付近に、首・胴体・下半身等の画像を検出できるか、検出した人物の画像の身長が、画面内の他の人物の画像の身長と比較して極端に大きすぎまたは小さすぎないか等、顔と推定される部分画像以外の領域も参照し、例えば肌の色や髪の色の評価値に重み付けする等、総合的に評価、判断して、顔として認識することで対象情報を取出している。
類似性判断部472は、対象情報保持部452に保持された最新の対象情報と、参照情報記憶部450に記憶された参照情報との特徴量のそれぞれの指標値を比較し、両者の類似の度合いを総合的に評価して類似度を導出する。
類似性判断部472は、対象情報と参照情報との類似度が第1所定閾値を超えた場合に両者が類似すると判断し、当該対象情報によって特定できる部分画像にマスク処理が必要であることを示すマスクフラグをその対象情報に付与する。従って、対象情報はマスクフラグが付与された状態で対象情報保持部452に保持される。
また、かかる類似度による判定だけでは、ビデオバッファ434に既に記憶されている、類似度が第1所定閾値を超えていないと判断された対象情報の中にも、例えば、参照顔画像と同一人物の顔の画像を特定可能な対象情報であるにもかかわらず、その顔が画面内に十分に入っていない等の理由により特徴点が抽出できなかったため、類似度が低く導出されてしまった対象情報が含まれている可能性がある。
このような対象情報がマスク対象であると判定できるようにするため、関連性判断部474は、類似性判断部472が類似の判断をしたフレームから取出され対象情報保持部452に保持された対象情報のうち、類似度が第1所定閾値を超え、類似すると判断された対象情報について、類似の判断をしたフレームより以前に取得され、対象情報保持部452に保持されている他のフレームの各対象情報との関連度を導出する。
上述したように当該ビデオデータは、前後のフレーム間では、よほど高速移動していない限り、同一の対象情報が同じような座標に、同じような大きさで撮像されている可能性が高い。
そこで、関連性判断部474は、対象情報の特徴量だけではなく、フレーム相関、即ち、類似度が第1所定閾値を超えた対象情報が示す座標と、前のフレームの各対象情報が示す座標との距離、および対象情報によって特定できる部分画像の大きさを、より優先的に考慮して、両者が関連するか否かを総合的に評価、判断し、関連度を導出する。
関連性判断部474は、続いて、導出した関連度が第2所定閾値を超える1または複数の対象情報を関連すると判断し、マスクフラグを、関連するすべての対象情報に付与する。
上述したように、類似の度合いおよび関連の度合いを類似度および関連度として数値化する構成により、マスク処理が必要であるか否かを数値比較に基づいてより適切に判断し、マスク処理を行うことができる。
図15は、第3の実施形態における類似性判断部472の処理を説明した説明図であり、図16は、関連性判断部474の処理を説明した説明図である。ここで、図15と図16とは連続した一連の処理を示している。図15、16においては、フレームの移動処理を時系列に説明するため、図4、5同様、ビデオバッファ434をビデオデータのフレーム1つ分の記憶領域180毎に区切っている。取得されたフレームは左端の記憶領域180に入力されフレームの生成タイミングに応じて右にシフトし右端の記憶領域180から出力されるものとする。ここでも、説明を容易にするため記憶領域180の数を7つとしている。
図15(a)において、ビデオバッファ434には、ビデオデータ取得部430が最初に取得したビデオデータの最初のフレームであるフレーム1が保持される。
続いて、図15(b)に示すように、対象情報取出部470は、ビデオバッファ434に保持されたフレーム1から取出した対象情報(ここでは例えば3つの対象情報である対象情報1、対象情報2、対象情報3が取出されたとする)を、対象情報保持部452にフレーム1と関連付けて保持させる(関連付けを破線の両矢印および破線四角で図示する)。
そして、類似性判断部472が、参照情報記憶部450に記憶された参照情報と、対象情報1、対象情報2、対象情報3それぞれとの類似度を導出する(一点鎖線の両矢印で類似度を導出する組み合わせを図示する)。ここでは、導出した類似度がどれも第1所定閾値を超えていないので類似していないと判断されたものとする。
続いて、図15(c)に示すように、フレーム1は1つ右の記憶領域180にシフトし、ビデオデータ取得部430が取得した次のフレームであるフレーム2が新たに保持される。
その後、図15(d)において、図15(b)と同様、対象情報取出部470は、フレーム2から取出した対象情報4、対象情報5、対象情報6を、対象情報保持部452にフレーム2と関連付けて保持させる。そして、類似性判断部472が、参照情報記憶部450に記憶された参照情報と、対象情報4、対象情報5、対象情報6それぞれとの類似度を導出する。ここでも、参照情報と、対象情報4、対象情報5、対象情報6とがそれぞれ類似しなかったものとする。
続いて取得したフレーム3についても同様に、対象情報7、対象情報8、対象情報9を、対象情報保持部452にフレーム3と関連付けて保持させ、類似度を導出する。そして、図15(e)において二点鎖線の両矢印でその組み合わせを示すように、参照情報と、対象情報9とが類似すると判断されたものとする。類似性判断部472は、その対象情報9にマスクフラグを付与する。
図15(e)において、対象情報9が参照情報と類似すると判断されると、図16(a)に示すように、関連性判断部474は、対象情報9について、類似性判断部472が類似の判断をしたフレーム3より以前に取得された他のフレーム(フレーム1、フレーム2)に関連付けられ、対象情報保持部452に保持された各対象情報との関連度を導出する。
このとき、関連性判定部474は、他のフレームのうちより新しいフレーム(図16のビデオバッファ434において、より左に位置する記憶領域180のフレーム)、ここではフレーム2に関連付けられた対象情報4、対象情報5、対象情報6から関連度を導出する。そして、関連性判断部474は、導出した関連度が第2所定閾値を超える対象情報を関連すると判断する(図16(a)において、二点鎖線の両矢印でその組み合わせを示す)。関連性判断部474は、例えば、図16(a)に示すように、対象情報5が関連すると判断した場合、対象情報5にマスクフラグを付与する。
そして、関連性判断部474は、関連すると判断した対象情報5について、次に新しいフレーム、ここではフレーム1に関連付けられた対象情報1、対象情報2、対象情報3との関連度を導出する。関連性判断部474は、対象情報2が関連すると判断した場合、図16(b)において示すように、対象情報2にマスクフラグを付与する。
また、図16(a)において、関連性判断部474が、フレーム2に関連付けられたどの対象情報も、関連していないと判断した場合、即ち、フレーム2とフレーム3の間で関連している対象情報が無くなった場合、関連性判断部474は、マスクフラグの付与を止め、それより古いフレーム(図15のビデオバッファ434において、より右に位置する記憶領域180のフレーム)から取得された対象情報との比較を終了する。
ビデオバッファ434内の最も古いフレーム(図16におけるフレーム1)がシフトされ続けた結果、記憶領域180の終端に達すると、ビデオデータ出力部442は、そのフレーム1から順次、ディスプレイ210に出力する。この出力の直前、マスク処理部436は、この出力するフレームに関連付けて対象情報保持部452に保持された対象情報にマスクフラグが付与されているか否か判断し、マスクフラグが付与されている場合、フレームの対象情報によって特定できる部分画像をマスク処理する。
図16(c)の時点において、対象情報2にマスクフラグが付与されているため、マスク処理部436は、フレーム1に関連付けられた対象情報2によって特定できる部分画像をマスク処理する。ビデオデータ出力部442はこのようにマスク処理されたフレームを随時ビデオ信号に変換してディスプレイ210に出力する。
このように、ビデオバッファ434から出力する直前に、出力するフレームのみをマスク処理する構成により、フレームに関連付けられた複数の対象情報に異なるタイミングでマスクフラグが付与されたとしても実際のマスク処理を一度に済ませることができ、マスク処理の処理負荷を低減できる。
また、かかるマスク処理を行うタイミングは、フレームをディスプレイ210に出力する直前に限らず、マスク処理すべき対象情報が出現した都度、対象情報にマスクフラグを付与する代わりに、その対象情報に関連付けられビデオバッファ434に保持されたフレームに対してマスク処理を行ってもよい。
さらに、関連性判断部474は、類似性判断部472によって類似すると判断された対象情報について、上述したようなその対象情報が取出される以前に取得された他のフレームに関連付けられた対象情報のみならず、以後に取出されるフレームに関連付けられた対象情報との関連度の導出およびマスクフラグの付与を行ってもよい。
換言すれば、類似性判断部472によって類似すると判断されマスクフラグが付与された対象情報がシフトされた場合に、関連性判断部474は、類似性判断部472が類似の判断をしたフレームに関連付けられた対象情報の判定処理を一通り終えた後、そのシフトされた1つ前のフレームに関連付けられた、マスクフラグが付与された対象情報と、類似の判断をしたフレームに関連付けられた対象情報との関連性も判断する。要するに類似性判断部472は、逆方向(より新しいフレーム方向)への関連性も判断する。そして、関連度が第2所定閾値を超えると、類似の判断をしたフレームに関連付けられた対象情報にマスクフラグを付与する。
関連性判断部474は、類似度が第1所定閾値を超えた対象情報と、対象情報取出部470に保持されている対象情報とを比較して関連度を導出するが、これに限られず、関連性判断部474は、対象情報(特徴量)ではなく、ビデオバッファ434に保持されている前のフレームに基づいた画像自体と、類似度が第1所定閾値を超えた対象情報によって特定できる部分画像とを、比較してもよい。この場合、対象情報は、類似性判断部472による類似度の導出にのみ用いられる。
かかる比較において、フレームに基づいた画像中に、対象情報によって特定できる部分画像との関連度が第2所定閾値を超える部分画像が含まれていた場合、関連性判断部474は、その第2所定閾値を超えた部分画像と、さらに前のフレームに基づいた画像とを比較することとなる。
さらに、関連性判断部474は、類似性判断部472が類似の判断をしたフレームから、関連度が第2所定閾値を超える対象情報が存在するフレームまでその対象情報を利用してマスクフラグを付与し、対象情報が存在しないフレームから、関連度が第2所定閾値を超えた部分画像と、さらに前のフレームに基づいた画像とを比較することによってマスクフラグを付与することもできる。
かかるフレームの画像同士の比較では、上述した対象情報同士の比較に留まらず、色情報や、H.264等で用いられる動きベクトルの情報等を用い、類似度が第1所定閾値を超えた対象情報と同一対象となる可能性がある座標周辺に限定して、より詳細な画素単位の比較を行ってもよい。かかる構成により、対象情報の抽出対象として認識されないような、例えば、頭や耳等を示す情報を含むビデオデータに対しても、第1所定閾値を超えた対象情報に関連付けられ、マスク処理を行うことができる。
上述したように本実施形態のビデオデータ再生装置400を用いることで、ビデオデータ取得部430が取得したフレームをビデオバッファ434に保持し、マスクフラグが付与された対象情報によって特定できる部分画像に対して、例えば出力する直前にマスク処理を施す。マスク処理を施した画像の表示例は、図7、図8、図9を用いて既に説明しているのでここではその表示例の説明を省略する。このようにビデオデータ再生装置400では、マスク対象が一部でも含まれるビデオデータからマスク処理を施すことができ、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
図17は、第3の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。かかるフローチャートに記載の処理は、フレーム毎に実行される。
ビデオデータ取得部430がフレーム、例えば、再生開始時からK(Kは説明のために用いる任意の整数)番目のフレームを取得する(S500)と、対象情報取出部470は、K番目のフレームから取出された対象情報を、そのフレームに関連付けて対象情報保持部452に保持させ(S502)、類似性判断部472は、その対象情報と参照情報記憶部450に記憶されている参照情報との類似度を導出する(S504)。
そして、類似性判断部472は、導出した類似度が、第1所定閾値を超えているか否かを判断し(S506)、第1所定閾値を超えている場合(S506のYES)、類似性判断部472は、そのK番目のフレームに関連付けられた対象情報にマスクフラグを付与する(S508)。続いて、関連性判断部474は、そのK番目のフレームに関連付けられた、マスクフラグが付与された対象情報と、対象情報保持部452に保持されている、再生開始時からK−1番目のフレームに関連付けられた対象情報との関連度を導出する(S510)。
そして、関連性判断部474は、導出した関連度が、第2所定閾値を超えているか否かを判断し(S512)、関連度が第2所定閾値を超えている場合(S512のYES)、K−1番目のフレームに関連付けられた対象情報にマスクフラグを付与する(S514)。
ここで、さらにK−2番目のフレームに関連付けられた対象情報が有る場合(S516のYES)、K番目のフレームに関連付けられた対象情報の代わりに、関連性判断部474によって関連度が第2所定閾値を超えていると判断されたK―1番目のフレームに関連付けられた対象情報を用いて、K−2番目のフレームに関連付けられた対象情報との関連度を導出する。
換言すれば、フレームの順序は変えずKから1を引いて、すなわち、K番目をK−1番目に、K−1番目をK−2番目に、K−2番目をK−3番目にそれぞれ順次読み換えて(S518)、関連度導出ステップ(S510)に戻り、マスクフラグを付与したK番目のフレームに関連付けられた対象情報に対し、K−1番目のフレームに関連付けられた対象情報との関連度を導出して(S510)、上述した処理を繰り返す。
かかる処理は、K−1番目のフレームに関連付けられた対象情報に対して導出した関連度がすべて第2所定閾値以下になる(S512のNO)か、K−2番目のフレームに関連付けられた対象情報がなくなる(S516のNO)まで実行される。
類似度が第1所定閾値以下の場合(S506のNO)、対象情報との関連度がすべて第2所定閾値以下の場合(S512のNO)、または一つ前のフレームに関連付けられた対象情報がなくなった場合(S516のNO)、マスクフラグの付与を終了する。そして、マスク処理部436は、ビデオバッファ434内の最も古いフレームが記憶領域180の終端に達するとそのフレームの各対象情報に対して、マスクフラグが付与されているか否かを判断し(S520)、マスクフラグが付与されている場合(S520のYES)、フレームに関連付けられた対象情報によって特定できる部分画像にマスク処理を施し(S522)、ビデオデータ出力部442は、フレームを随時ビデオ信号に変換してディスプレイ210に出力する(S524)。
本実施形態では、フレームをビデオバッファ434に保持し、保持されたフレームに含まれる、マスクフラグが付与された対象情報によって特定できる部分画像に対して、例えば出力する直前にマスク処理を施す。従って、マスク対象が一部でも含まれるビデオデータからマスク処理を施すことができ、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
(第4の実施形態:ビデオデータ記録再生システム600)
第3の実施形態における、ビデオデータ再生装置400は、ビデオデータ取得部430が取得したフレームをビデオバッファ434に一時的に保持し、マスク処理すべき対象情報を遡及して抽出し、マスク処理を施していた。第4の実施形態では、ビデオデータ記録装置610がフレームをそのまま外部記録媒体に記録し、対象情報に関連付けられたフレームの記録タイミングと異なるタイミングで、マスクフラグが付与された対象情報に関する関連情報も外部記録媒体に記録する。そして、ビデオデータ再生装置700は、ビデオデータ記録装置610がマスクフラグを付与された対象情報と関連付けたフレームを、マスク処理を実行しながら再生する。以下に、第4の実施形態において特徴的なビデオデータ記録再生システム600を説明し、続いてビデオデータ記録装置610およびビデオデータ再生装置700をブロック図を用いて説明する。
図18は、第4の実施形態にかかるビデオデータ記録再生システム600の概略的な接続関係を示した説明図である。
図18に示すように、ビデオデータ記録再生システム600は、ビデオデータ記録装置610と、外部記録媒体650と、ビデオデータ再生装置700と、ディスプレイ210とを含んで構成される。
ビデオデータ記録装置610は、撮像して取得したフレームを記録媒体としての外部記録媒体650に記録する。このとき、ビデオデータ記録装置610は、マスクフラグが付与された対象情報に含まれる関連情報も、少し遅れたタイミングでフレームに関連付けて記録する。そして、ビデオデータ再生装置700は、ビデオデータ記録装置610が記録した外部記録媒体650を、関連情報を参照してマスク処理を行いながら再生し、ディスプレイ210に出力する。関連情報は、第1の実施形態と同様、フレームに対応する1画面分の画像のうち画面内の位置および大きさを示す座標情報を含む情報である。
(ビデオデータ記録装置610)
図19は、第4の実施形態にかかるビデオデータ記録装置610の一例を示した外観図であり、図20は、第4の実施形態にかかるビデオデータ記録装置610の概略的なハードウェア構成を示した機能ブロック図である。本実施形態において、ビデオデータ記録装置610として、デジタルビデオカメラを例に挙げるが、かかる例に限定されず、デジタルスチルカメラ、HDDレコーダ、DVDレコーダ、ブルーレイディスク記録装置等、記録媒体にフレームを記録可能な他の記録装置でもよい。
ビデオデータ記録装置610は、CPU420と、バス122と、ROM124と、RAM426と、フラッシュメモリ128と、撮像操作部116と、ビューファインダ118と、ビデオデータ取得部として機能する撮像部620と、データ処理部622と、媒体記録部として機能する撮像記録I/F部624とを含んで構成される。
上記CPU420、バス122、ROM124、RAM426、フラッシュメモリ128、撮像操作部116、ビューファインダ118は、第1の実施形態および第3の実施形態において既に述べたCPU420、バス122、ROM124、RAM426、フラッシュメモリ128、撮像操作部116、ビューファインダ118と実質的に機能が同一であるため同一の符号を付して説明を省略し、ここではビデオデータ記録装置610において構成が相違する撮像部620と、データ処理部622と、撮像記録I/F部624とを主に説明する。
撮像部620は、被写体を撮像したビデオ信号からフレームを生成する。データ処理部622は、撮像部620で生成されたフレームに対して輝度データや色データを形成する。以下、フレームには輝度データや色データが含まれるものとする。撮像記録I/F部624は、生成されたフレームを任意の外部記録媒体650に記録する。
また、ビデオデータ取得部として機能する撮像部620がフレームを取得すると、第3の実施形態と同様、対象情報取出部470は、フレームから対象情報を取出し、対象情報保持部452に一時的に保持する。類似性判断部472および関連性判断部474は、マスク処理が必要と判断した対象情報にマスクフラグを付与する。
そして、撮像記録I/F部624は、フレームに加え、マスクフラグが付与された対象情報に含まれる関連情報を外部記録媒体650に記録する。
ここで、マスクフラグは対象情報に遡及して付与される、即ち対象情報に含まれる関連情報は対象情報保持部452に所定時間保持されてから外部記録媒体650に記録されるので、フレームと、関連情報との記録タイミングは異なり、フレームの方が先に記録され、関連情報は対象情報保持部452においてマスクフラグの付与処理を終えてから記録されることとなる。
ここで、撮像記録I/F部624は、関連情報に限らず、対象情報そのものを外部記録媒体650に記録してもよい。かかる構成により、後に、例えば他の人物の顔の参照情報に基づいて、対象情報にマスクフラグを付与し直す場合、外部記録媒体650に記録された対象情報を用いることで処理負荷を低減できる。
上述したビデオデータ記録装置610を用いることで、マスク対象となる対象情報を認識すると、その対象情報と関連している対象情報にマスクフラグを付与し、その対象情報によって特定される部分画像に関する関連情報を外部記録媒体650に記録する。従って、当該外部記録媒体650の再生時には、マスク対象が一部でも含まれるフレームからマスク処理が施されるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
また、マスク処理はビデオデータを再生する際に行うため、当該ビデオデータ記録装置610では、マスク処理を要さず、処理の負荷を低減することができる。さらに、外部記録媒体650には、マスク処理されていないフレームと関連情報とが独立して記録されているため、ユーザは、再生時にマスク処理の有無を選択して出力することが可能となる。
さらに、第3の実施形態と異なり、フレームにマスク処理を行ってから出力する必要がないため、当該ビデオデータ記録装置610では、フレーム(ビデオデータ)をビデオバッファ434に保持することなく直接外部記録媒体650に記録し、対象情報のマスク処理の要否の判断のみ対象情報保持部452を用いて実行することができる。具体的に、ビデオデータ記録装置610の類似性判断部472や関連性判断部474は、対象情報保持部452に保持されている対象情報に対して遡及してマスクフラグを付与している。このように本実施形態では、フレームを一時的に記録するビデオバッファ434を備える必要がないので、製造コストを削減することが可能となる。
また、撮像部620を備える構成により、被写体を撮像しつつ、その撮像したビデオデータと、そのビデオデータを構成するフレームに関連付けられ、マスクフラグが付与された対象情報よって特定できる部分画像にマスク処理を施すための関連情報を外部記録媒体650に記録することができ、撮像したビデオデータに個人情報が含まれていても、プライバシーが保護されたビデオデータを容易に生成することが可能となる。
(ビデオデータ再生装置700)
次に、上述したビデオデータ記録装置610を用いて記録された外部記録媒体650から、ビデオデータと、関連情報とを読み取り、マスク処理すべき部分画像にマスク処理を施してビデオデータを出力するビデオデータ再生装置700について説明する。
図21は、第4の実施形態にかかるビデオデータ再生装置700の概略的なハードウェア構成を示した機能ブロック図である。ビデオデータ再生装置700は、CPU420と、バス122と、ROM124と、RAM426と、ビデオデータ取得部730と、マスク処理部436と、ビデオデータ出力部442と、リモコンI/F140とを含んで構成される。
上記CPU420、バス122、ROM124、RAM426、マスク処理部436、ビデオデータ出力部442、リモコンI/F140は、第3の実施形態において既に述べたCPU420、バス122、ROM124、RAM426、マスク処理部436、ビデオデータ出力部442、リモコンI/F140と実質的に機能が同一であるため同一の符号を付して説明を省略し、ここではビデオデータ再生装置700で構成が相違するビデオデータ取得部730を主に説明する。
ビデオデータ取得部730は、外部記録媒体650からビデオデータを構成するフレームを取得する。さらに、ビデオデータ取得部730は、外部記録媒体650から関連情報を取得する。マスク処理部436は、関連情報によって特定できるフレームの部分画像にマスク処理を施し、ビデオデータ出力部442が、ディスプレイ210に出力する。
ここでは、データ符号化については触れていないが、ビデオデータ記録装置610のデータ処理部622は、フレームを前後のフレームと合わせて、M−JPEGやMPEG−2、H.264などの所定の符号化方式で符号化した後、撮像記録I/F部624に伝送してもよい。この場合、ビデオデータ取得部730は、フレームを復号した後、マスク処理部436に伝送する。
上述したように、外部記録媒体650には、ビデオデータと、マスク処理をすべき部分画像を特定可能な、関連情報とが記録されている。従って、当該ビデオデータ再生装置700は、外部記録媒体650を再生する際、関連情報によりマスク対象をほぼリアルタイムに認識することができ、マスク対象が画面に一部でも出現した時点から直ちにマスク処理を遂行することができるので、マスク対象が画面内に完全に収まる前から十分なプライバシーの保護を遂行することが可能となる。
また、予め、関連情報がフレームに関連付けられているため、マスク対象を導出する処理を要さず、より低負荷な処理でプライバシーが保護されたフレームを出力することができる。さらに、外部記録媒体650のビデオデータ自体にはマスク処理されていないため、ユーザは、かかる記録媒体650を再生装置で読み込んで再生する際、マスク処理の有無を選択して出力することが可能となる。
(ビデオデータ記録方法)
続いて、上述したビデオデータ記録装置610を用いたビデオデータ記録方法をフローチャートを用いて説明する。
図22は、第4の実施形態にかかるビデオデータ記録方法の処理の流れを示したフローチャートである。
図22において、ユーザが撮像を開始すると(S800のYES)、ビデオデータ取得部としての撮像部620は、フレームを取得する(S500)。以後、フレームに関連付けた対象情報を取出して保持し、マスク処理をすべき対象情報にマスクフラグを付与するまでの手順は、第3の実施形態にかかるビデオデータ再生方法の図17に示した処理と同一であるため、同一の符号を付して説明を省略する。最後に、撮像記録I/F部624は、ビデオデータと、関連情報とを、外部記録媒体650に記録する(S820)。
上述したビデオデータ記録方法において、撮像記録I/F部624は、関連情報を含めて外部記録媒体650に記録している。マスク処理はビデオデータを再生する際に行うため、当該ビデオデータ記録方法では、マスク処理を要さず、処理の負荷を低減することができる。
(ビデオデータ再生方法)
続いて、上述したビデオデータ記録装置610によって生成した外部記録媒体650を、ビデオデータ再生装置700を用いて再生するビデオデータ再生方法をフローチャートを用いて説明する。
図23は、第4の実施形態にかかるビデオデータ再生方法の処理の流れを示したフローチャートである。図23において、ユーザが外部記録媒体650の再生を開始すると(S850のYES)、ビデオデータ取得部730は、外部記録媒体650からビデオデータを構成するフレームと、関連情報と、を取得する(S852)。
そして、マスク処理部436は、フレームに関連情報が関連付けられているか否かを判断し(S854)、関連情報が関連付けられている場合(S854のYES)、その関連情報によって特定できるフレームの部分画像にマスク処理を施し(S856)、ビデオデータ出力部442は、第3の実施形態にかかるビデオデータ再生方法の図17に示した処理と同様、フレームを随時ビデオ信号に変換してディスプレイ210に出力する(S524)。
上述したビデオデータ再生方法においては、外部記録媒体650に記録された関連情報を参照し、マスク処理してフレーム毎にビデオデータを出力している。ここでは、予め、マスク対象を容易に把握できるため、マスク対象を導出する処理を要さず、より低負荷な処理でプライバシーが保護されたビデオデータを出力することができる。
本実施形態において説明したように、マスク対象であることを示すマスクフラグの付与をビデオデータの記録の際に行い、マスク処理をビデオデータの再生の際に行うことで、処理にかかる負荷を分散し、より低負荷でプライバシーが保護されたビデオデータを出力することができる。また、外部記録媒体のビデオデータ自体にはマスク処理されていないため、ユーザは、マスク処理の有無を選択して出力することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上述した実施形態において、ビデオデータは、M−JPEG、MPEG−2、H.264等で符号化された動画像を例として説明したが、かかる場合に限定されず、例えば、デジタルスチルカメラで連続して撮像(連写)された複数の静止画像を対象としてもよい。
なお、本明細書のビデオデータ記録方法やビデオデータ再生方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
本発明は、ビデオデータ記録装置、ビデオデータ再生装置、ビデオデータ記録方法およびビデオデータ再生方法に利用することができる。
200、380、700 …ビデオデータ再生装置
230、382、430、730 …ビデオデータ取得部
134、434 …ビデオバッファ
240、436 …マスク処理部
242、442 …ビデオデータ出力部
150、450 …参照情報記憶部
470 …対象情報取出部
172、472 …類似性判断部
174、474 …関連性判断部
190、384、650 …外部記録媒体(記録媒体)
110、610 …ビデオデータ記録装置
130、620 …撮像部
136、624 …撮像記録I/F部(媒体記録部)

Claims (16)

  1. 所定の特徴量を含む参照情報を記録した参照情報記憶部と、
    ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、
    最新の前記ビデオデータと前記参照情報とを比較し、前記最新のビデオデータにおける前記参照情報に類似すると判断された部分情報を抽出する類似性判断部と、
    前記最新のビデオデータより前に前記ビデオバッファに出力されたビデオデータと前記類似すると判断された部分情報とを比較し、前記類似すると判断された部分情報に関連すると判断された部分情報を抽出する関連性判断部と、
    前記ビデオデータと、前記部分情報に関する関連情報とを記録媒体に記録する媒体記録部と、
    を備えることを特徴とするビデオデータ記録装置。
  2. 前記類似性判断部は、前記参照情報との類似の度合いを示す類似度を導出し、前記類似度が第1所定閾値を超えるか否かで、前記部分情報が類似するか否かを判断し、
    前記関連性判断部は、前記類似すると判断された部分情報との関連の度合いを示す関連度を導出し、前記関連度が第2所定閾値を超えるか否かで、前記部分情報が関連するか否かを判断することを特徴とする請求項1に記載のビデオデータ記録装置。
  3. 前記ビデオデータ取得部は、被写体を撮像してビデオデータを生成する撮像部を含むことを特徴とする請求項1または2に記載のビデオデータ記録装置。
  4. 所定の特徴量を含む参照情報と類似すると判断されたビデオデータの部分情報と、前記類似すると判断された部分情報に関連すると判断されたビデオデータの部分情報とに関する関連情報と、ビデオデータとが記録された記録媒体から、前記関連情報と、前記ビデオデータとを取得するビデオデータ取得部と、
    前記ビデオデータにおける前記関連情報によって特定される前記部分画像をマスク処理するマスク処理部と、
    前記マスク処理されたビデオデータを出力するビデオデータ出力部と、
    を備えることを特徴とするビデオデータ再生装置。
  5. 所定の特徴量を含む参照情報を記録した参照情報記憶部と、
    ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、
    最新の前記ビデオデータと前記参照情報とを比較し、前記最新のビデオデータにおける前記参照情報に類似すると判断された部分情報を抽出する類似性判断部と、
    前記最新のビデオデータより前に前記ビデオバッファに出力されたビデオデータと前記類似すると判断された部分情報とを比較し、前記類似すると判断された部分情報に関連すると判断された部分情報を抽出する関連性判断部と、
    前記ビデオデータにおける前記部分情報によって特定される部分画像をマスク処理するマスク処理部と、
    前記マスク処理されたビデオデータを出力するビデオデータ出力部と、
    を備えることを特徴とするビデオデータ再生装置。
  6. 前記類似性判断部は、前記参照情報との類似の度合いを示す類似度を導出し、前記類似度が第1所定閾値を超えるか否かで、前記部分情報が類似するか否かを判断し、
    前記関連性判断部は、前記類似すると判断された部分情報との関連の度合いを示す関連度を導出し、前記関連度が第2所定閾値を超えるか否かで、前記部分情報が関連するか否かを判断することを特徴とする請求項5に記載のビデオデータ再生装置。
  7. 所定の特徴量を含む参照情報を記録しておき、
    ビデオデータを取得し、順次ビデオバッファに出力し、
    最新の前記ビデオデータと前記参照情報とを比較し、前記最新のビデオデータにおける前記参照情報に類似すると判断された部分情報を抽出し、
    前記最新のビデオデータより前に前記ビデオバッファに出力されたビデオデータと前記類似すると判断された部分情報とを比較し、前記類似すると判断された部分情報に関連すると判断された部分情報を抽出し、
    前記ビデオデータと前記部分情報に関する関連情報とを記録媒体に記録することを特徴とするビデオデータ記録方法。
  8. 所定の特徴量を含む参照情報を記録しておき、
    ビデオデータを取得し、順次ビデオバッファに出力し、
    最新の前記ビデオデータと前記参照情報とを比較し、前記最新のビデオデータにおける前記参照情報に類似すると判断された部分情報を抽出し、
    前記最新のビデオデータより前に前記ビデオバッファに出力されたビデオデータと前記類似すると判断された部分情報とを比較し、前記類似すると判断された部分情報に関連すると判断された部分情報を抽出し、
    前記ビデオデータにおける前記部分情報によって特定される部分画像をマスク処理し、
    前記マスク処理されたビデオデータを出力することを特徴とするビデオデータ再生方法。
  9. 所定の特徴量を含む参照情報を記憶した参照情報記憶部と、
    ビデオデータを取得し、順次ビデオバッファに出力するビデオデータ取得部と、
    最新の前記ビデオデータから、前記参照情報の比較対象となり前記最新のビデオデータの部分画像を特定可能な対象情報を取出し、前記最新のビデオデータに関連付けて保持させる対象情報取出部と、
    前記取出された対象情報と前記参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与する類似性判断部と、
    前記対象情報と前記参照情報とが類似すると判断された場合、前記類似の判断をした対象情報より前に保持された1または複数の対象情報と、前記類似すると判断された対象情報とが関連するか否か判断し、関連すると判断した対象情報に前記マスクフラグを付与する関連性判断部と、
    前記ビデオバッファ中のビデオデータに関連付けられた対象情報に前記マスクフラグが付与されている場合、前記ビデオデータの前記対象情報によって特定できる部分画像をマスク処理するマスク処理部と、
    前記マスク処理されたビデオデータを出力するビデオデータ出力部と、
    を備えることを特徴とするビデオデータ再生装置。
  10. 前記類似性判断部は、前記対象情報と前記参照情報との類似の度合いを示す類似度を導出し、前記類似度が第1所定閾値を超えるか否かで類似するか否かを判断し、
    前記関連性判断部は、前記保持された1または複数の対象情報と、前記類似すると判断された対象情報との関連の度合いを示す関連度を導出し、前記関連度が第2所定閾値を超えるか否かで関連するか否かを判断することを特徴とする請求項9に記載のビデオデータ再生装置。
  11. 所定の特徴量を含む参照情報を記憶した参照情報記憶部と、
    ビデオデータを取得するビデオデータ取得部と、
    最新の前記ビデオデータから、前記参照情報の比較対象となり前記最新のビデオデータの部分画像を特定可能な対象情報を取出し、前記最新のビデオデータに関連付けて保持させる対象情報取出部と、
    前記取出された対象情報と前記参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与する類似性判断部と、
    前記対象情報と前記参照情報とが類似すると判断された場合、前記類似の判断をした対象情報より前に保持された1または複数の対象情報と、前記類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報に前記マスクフラグを付与する関連性判断部と、
    前記ビデオデータと、前記マスクフラグを付与された対象情報に関する関連情報とを記録媒体に記録する媒体記録部と、
    を備えることを特徴とするビデオデータ記録装置。
  12. 前記類似性判断部は、前記対象情報と前記参照情報との類似の度合いを示す類似度を導出し、前記類似度が第1所定閾値を超えるか否かで類似するか否かを判断し、
    前記関連性判断部は、前記保持された1または複数の対象情報と、前記類似すると判断された対象情報との関連の度合いを示す関連度を導出し、前記関連度が第2所定閾値を超えるか否かで関連するか否かを判断することを特徴とする請求項11に記載のビデオデータ記録装置。
  13. 前記ビデオデータ取得部は、被写体を撮像してビデオデータを生成する撮像部を含むことを特徴とする請求項11または12に記載のビデオデータ記録装置。
  14. 所定の特徴量を含む参照情報と類似すると判断されビデオデータから取出された対象情報と、前記類似すると判断された対象情報と関連すると判断されビデオデータから取出された対象情報とに関する関連情報と、ビデオデータとが記録された記録媒体から、前記関連情報と、前記ビデオデータとを取得するビデオデータ取得部と、
    前記取得されたビデオデータに関連情報が関連付けられている場合、前記関連情報によって特定される部分画像をマスク処理するマスク処理部と、
    前記マスク処理されたビデオデータを出力するビデオデータ出力部と、
    を備えることを特徴とするビデオデータ再生装置。
  15. 所定の特徴量を含む参照情報を記憶しておき、
    ビデオデータを取得し、順次ビデオバッファに出力し、
    最新の前記ビデオデータから、前記参照情報の比較対象となり前記最新のビデオデータの部分画像を特定可能な対象情報を取出し、前記最新のビデオデータに関連付けて保持させ、
    前記取出された対象情報と前記参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与し、
    前記対象情報と前記参照情報とが類似すると判断された場合、前記類似の判断をした対象情報より前に保持された1または複数の対象情報と、前記類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報に前記マスクフラグを付与し、
    前記ビデオバッファ中のビデオデータに関連付けられた対象情報に前記マスクフラグが付与されている場合、前記ビデオデータの前記対象情報によって特定できる部分画像をマスク処理し、
    前記マスク処理されたビデオデータを出力することを特徴とするビデオデータ再生方法。
  16. 所定の特徴量を含む参照情報を記憶しておき、
    ビデオデータを取得し、
    最新の前記ビデオデータから、前記参照情報の比較対象となり前記最新のビデオデータの部分画像を特定可能な対象情報を取出し、前記最新のビデオデータに関連付けて保持させ、
    前記取出された対象情報と前記参照情報とが類似するか否かを判断し、類似すると判断した対象情報に、マスク対象であることを示すマスクフラグを付与し、
    前記対象情報と前記参照情報とが類似すると判断された場合、前記類似の判断をした対象情報より前に保持された1または複数の対象情報と、前記類似すると判断された対象情報とが関連するか否かを判断し、関連すると判断した対象情報に前記マスクフラグを付与し、
    前記ビデオデータと前記マスクフラグを付与された対象情報に関する関連情報とを記録媒体に記録することを特徴とするビデオデータ記録方法。
JP2009080812A 2009-03-30 2009-03-30 ビデオデータ記録装置、ビデオデータ再生装置、およびビデオデータ記録方法、ビデオデータ再生方法 Active JP4650579B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009080812A JP4650579B2 (ja) 2009-03-30 2009-03-30 ビデオデータ記録装置、ビデオデータ再生装置、およびビデオデータ記録方法、ビデオデータ再生方法
PCT/JP2010/054706 WO2010113666A1 (ja) 2009-03-30 2010-03-18 ビデオデータ記録装置、ビデオデータ再生装置、およびビデオデータ記録方法、ビデオデータ再生方法
US13/001,554 US8705936B2 (en) 2009-03-30 2010-03-18 Video data recording device, video data playing device, video data recording method, and video data playing method
KR1020107028029A KR101150782B1 (ko) 2009-03-30 2010-03-18 비디오 데이터 기록 장치, 비디오 데이터 재생 장치, 및 비디오 데이터 기록 방법, 비디오 데이터 재생 방법
CN2010800020109A CN102084649B (zh) 2009-03-30 2010-03-18 视频数据记录装置、视频数据重放装置、视频数据记录方法及视频数据重放方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009080812A JP4650579B2 (ja) 2009-03-30 2009-03-30 ビデオデータ記録装置、ビデオデータ再生装置、およびビデオデータ記録方法、ビデオデータ再生方法

Publications (2)

Publication Number Publication Date
JP2010233133A JP2010233133A (ja) 2010-10-14
JP4650579B2 true JP4650579B2 (ja) 2011-03-16

Family

ID=42827964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009080812A Active JP4650579B2 (ja) 2009-03-30 2009-03-30 ビデオデータ記録装置、ビデオデータ再生装置、およびビデオデータ記録方法、ビデオデータ再生方法

Country Status (5)

Country Link
US (1) US8705936B2 (ja)
JP (1) JP4650579B2 (ja)
KR (1) KR101150782B1 (ja)
CN (1) CN102084649B (ja)
WO (1) WO2010113666A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5712898B2 (ja) * 2011-10-31 2015-05-07 株式会社Jvcケンウッド 画像処理装置、画像処理方法、画像処理プログラム
JP5810948B2 (ja) * 2011-10-31 2015-11-11 株式会社Jvcケンウッド 画像処理装置、画像処理方法、画像処理プログラム
JP5838791B2 (ja) * 2011-12-22 2016-01-06 富士通株式会社 プログラム、画像処理装置及び画像処理方法
JP5825121B2 (ja) * 2012-01-31 2015-12-02 株式会社Jvcケンウッド 画像処理装置、画像処理方法、画像処理プログラム
KR101936802B1 (ko) * 2012-07-20 2019-01-09 한국전자통신연구원 얼굴인식 기반의 개인정보보호 장치 및 방법
JP6120169B2 (ja) * 2012-07-25 2017-04-26 パナソニックIpマネジメント株式会社 画像編集装置
CN103886549A (zh) * 2012-12-21 2014-06-25 北京齐尔布莱特科技有限公司 自动对图片中的车牌进行马赛克处理的方法及装置
CN105407261A (zh) * 2014-08-15 2016-03-16 索尼公司 图像处理装置、方法以及电子设备
JP6389801B2 (ja) * 2015-05-27 2018-09-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6211125B2 (ja) * 2016-03-31 2017-10-11 株式会社Medi Plus 画像処理システム
WO2018068146A1 (en) * 2016-10-14 2018-04-19 Genetec Inc. Masking in video stream
EP3454254B1 (en) * 2017-09-07 2023-11-08 Canon Kabushiki Kaisha Image processing apparatus, image providing apparatus, control methods thereof, and program
JP7354752B2 (ja) * 2019-10-15 2023-10-03 オムロン株式会社 画像匿名化装置、画像匿名化方法、及びプログラム
CN111654700B (zh) * 2020-06-19 2022-12-06 杭州海康威视数字技术股份有限公司 一种隐私遮蔽处理方法、装置、电子设备及监控系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086407A (ja) * 1999-09-17 2001-03-30 Matsushita Electric Ind Co Ltd モザイク機能付きの撮像装置およびモザイク処理装置
JP2004062560A (ja) * 2002-07-30 2004-02-26 Omron Corp 顔照合装置および顔照合方法
JP2006056959A (ja) * 2004-08-19 2006-03-02 Asahi Organic Chem Ind Co Ltd ノボラック型フェノール樹脂の製造方法
JP2009017365A (ja) * 2007-07-06 2009-01-22 Canon Inc 番組記録装置及びその制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006058959A (ja) 2004-08-17 2006-03-02 Fujifilm Software Co Ltd 類似画像判定方法、プログラム及び装置
EP1742169B1 (en) * 2005-07-05 2012-02-22 Omron Corporation Tracking apparatus
JP2007241377A (ja) * 2006-03-06 2007-09-20 Sony Corp 検索システム、撮像装置、データ保存装置、情報処理装置、撮像画像処理方法、情報処理方法、プログラム
JP2007323500A (ja) * 2006-06-02 2007-12-13 Sharp Corp 情報処理装置、方法、プログラムおよびプログラムを記録したコンピュータ読取り可能な記録媒体
KR100813986B1 (ko) * 2006-10-25 2008-03-14 삼성전자주식회사 움직임 적응적 디인터레이싱 방법 및 그 장치
JP4556146B2 (ja) * 2008-04-11 2010-10-06 ソニー株式会社 情報処理装置および方法、プログラム、並びに情報処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086407A (ja) * 1999-09-17 2001-03-30 Matsushita Electric Ind Co Ltd モザイク機能付きの撮像装置およびモザイク処理装置
JP2004062560A (ja) * 2002-07-30 2004-02-26 Omron Corp 顔照合装置および顔照合方法
JP2006056959A (ja) * 2004-08-19 2006-03-02 Asahi Organic Chem Ind Co Ltd ノボラック型フェノール樹脂の製造方法
JP2009017365A (ja) * 2007-07-06 2009-01-22 Canon Inc 番組記録装置及びその制御方法

Also Published As

Publication number Publication date
CN102084649A (zh) 2011-06-01
KR101150782B1 (ko) 2012-06-08
JP2010233133A (ja) 2010-10-14
US20120008915A1 (en) 2012-01-12
WO2010113666A1 (ja) 2010-10-07
CN102084649B (zh) 2013-12-11
US8705936B2 (en) 2014-04-22
KR20110009703A (ko) 2011-01-28

Similar Documents

Publication Publication Date Title
JP4650579B2 (ja) ビデオデータ記録装置、ビデオデータ再生装置、およびビデオデータ記録方法、ビデオデータ再生方法
US9591364B2 (en) Image processing apparatus, image processing method, and program
KR101426961B1 (ko) 화상 처리 장치, 화상 처리 방법
JP4844670B2 (ja) 映像処理装置および映像処理方法
JP6049448B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
JP5959923B2 (ja) 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
JP5137622B2 (ja) 撮影装置及びその制御方法、並びに画像処理装置及びその制御方法
JP2008033718A (ja) 撮像装置及び部位拡大表示方法
JP5317710B2 (ja) 画像処理装置、その制御方法、プログラム及び記録媒体
JP6136504B2 (ja) 対象画像検出デバイス、その制御方法および制御プログラム、記録媒体、並びにデジタルカメラ
JP5810948B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP5003666B2 (ja) 撮像装置、撮像方法、画像信号再生装置および画像信号再生方法
US20220327865A1 (en) Electronic device and control method
JP6210634B2 (ja) 画像検索システム
JP5016999B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2009212935A (ja) 画像処理装置および方法、並びにプログラム
JP2008098755A (ja) 撮像装置および方法
JP5029529B2 (ja) 撮像装置、撮像方法、画像信号再生装置および画像信号再生方法
JP5375988B2 (ja) 画像信号再生装置、画像信号再生方法、撮像装置、および撮像方法
JP2010004357A (ja) 撮像装置及び撮像方法
JP5246358B2 (ja) 画像信号再生装置および画像信号再生方法
JPWO2015104780A1 (ja) 映像撮像装置
JP6234147B2 (ja) 画像記録装置及び画像記録方法
JP6218060B2 (ja) 撮像装置及び映像データ切替方法
JP2013242768A (ja) 情報処理装置、制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101019

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20101020

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20101108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101116

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101129

R151 Written notification of patent or utility model registration

Ref document number: 4650579

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350