JP5825121B2 - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents
画像処理装置、画像処理方法、画像処理プログラム Download PDFInfo
- Publication number
- JP5825121B2 JP5825121B2 JP2012019141A JP2012019141A JP5825121B2 JP 5825121 B2 JP5825121 B2 JP 5825121B2 JP 2012019141 A JP2012019141 A JP 2012019141A JP 2012019141 A JP2012019141 A JP 2012019141A JP 5825121 B2 JP5825121 B2 JP 5825121B2
- Authority
- JP
- Japan
- Prior art keywords
- mask
- unit
- target
- replenishment
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。本発明は、例えば、特定人物の顔などプライバシー保護に係るものが映っている画像領域に自動的にマスク処理を施すための画像処理装置等に関する。
近年、個人が撮影した動画像を各個人のパソコン端末や携帯端末からインターネットを介して簡単に公開できるようになってきた。しかし、動画像には、人物や、車両、撮像された地域を示す地名や住所など、個人を特定できる情報が含まれていることがある。そのような情報が含まれる動画像がそのまま公開されてしまうことは、プライバシー保護の観点から望ましくない。
そこで、動画像中の特定人物やナンバープレートに対して自動的にモザイクを施す処理を行う方法が提案されている（例えば、特許文献１、特許文献２）。
特許文献１および特許文献２に開示される方法では、まず、モザイクを施す処理が必要になる人物の顔情報を参照情報として予め用意しておく。そして、参照情報と画像中の顔とが一致した場合には、その顔部分にモザイクを施す処理を行う。
特許文献１および特許文献２に開示される方法では、まず、モザイクを施す処理が必要になる人物の顔情報を参照情報として予め用意しておく。そして、参照情報と画像中の顔とが一致した場合には、その顔部分にモザイクを施す処理を行う。
この方法であれば、確かに特定人物の顔にモザイクを施す処理を行うことができるものの、画像中の顔が参照情報に一致する前の画像にはモザイクを施せないことになる。
例えば、モザイクを施す処理の対象となる人物がゆっくりと画面内にスライドインしてきた場合、その顔が画面内に完全に収まってはじめてモザイクを施す処理が開始されるので、それまではスライドイン途中の顔が一部ではあるものの画面に曝されることとなってしまう。
上記問題に対し、特許文献３（特開２０１０−２３３１３３号公報）では次の方法を提案している。
特許文献３では、ビデオバッファを用意しておき、動画像を数フレーム遡れるように前記ビデオバッファに一時的に溜めておく。
そして、モザイクを施す対象、つまりマスク対象が検出された場合には、ビデオバッファ内にあるフレームを順番に遡ってマスク対象に関連する部分が無いかを改めて検索する。
これにより、マスク対象が完全に画面内に入る前であってもマスク対象が部分的に映っている領域にマスクを掛ける、つまりモザイクを施すことができる。
例えば、モザイクを施す処理の対象となる人物がゆっくりと画面内にスライドインしてきた場合、その顔が画面内に完全に収まってはじめてモザイクを施す処理が開始されるので、それまではスライドイン途中の顔が一部ではあるものの画面に曝されることとなってしまう。
上記問題に対し、特許文献３（特開２０１０−２３３１３３号公報）では次の方法を提案している。
特許文献３では、ビデオバッファを用意しておき、動画像を数フレーム遡れるように前記ビデオバッファに一時的に溜めておく。
そして、モザイクを施す対象、つまりマスク対象が検出された場合には、ビデオバッファ内にあるフレームを順番に遡ってマスク対象に関連する部分が無いかを改めて検索する。
これにより、マスク対象が完全に画面内に入る前であってもマスク対象が部分的に映っている領域にマスクを掛ける、つまりモザイクを施すことができる。
ここで、ビデオバッファの容量にも限界がある。
３０フレーム／秒の動画像であるとして、長くても１０秒分ぐらいを溜めておけるのが最大限である（特許文献３の段落００５６）。しかし、撮影を行うシチュエーションというのは様々なのであり、マスク処理が必要な人物が画面内で判定されない時間がビデオバッファの容量よりも長くなるという事態が起こりえる。
一例として、当初は別の被写体（例えば背景の何か）を撮影していたために人物は小さく映り込んでいたが、その後、人物をゆっくりとズームアップしたりすることがある。
このような場合、顔が映っている領域が小さすぎてその顔がモザイク対象かどうかを正しく認証することができない状態が長く続く。そして、ビデオバッファによる保持時間を超えてビデオバッファから吐き出されてしまったフレームについては、マスク処理が不十分なままで公開されてしまうことになる。
ところが、画像解析処理による認証ができないような小さい像であっても、脳の働きによって人間の目には誰の顔か十分に判別できてしまう場合がある。
３０フレーム／秒の動画像であるとして、長くても１０秒分ぐらいを溜めておけるのが最大限である（特許文献３の段落００５６）。しかし、撮影を行うシチュエーションというのは様々なのであり、マスク処理が必要な人物が画面内で判定されない時間がビデオバッファの容量よりも長くなるという事態が起こりえる。
一例として、当初は別の被写体（例えば背景の何か）を撮影していたために人物は小さく映り込んでいたが、その後、人物をゆっくりとズームアップしたりすることがある。
このような場合、顔が映っている領域が小さすぎてその顔がモザイク対象かどうかを正しく認証することができない状態が長く続く。そして、ビデオバッファによる保持時間を超えてビデオバッファから吐き出されてしまったフレームについては、マスク処理が不十分なままで公開されてしまうことになる。
ところが、画像解析処理による認証ができないような小さい像であっても、脳の働きによって人間の目には誰の顔か十分に判別できてしまう場合がある。
なお、単純にビデオバッファの容量を大きくすることが考えられるが、どれほど容量を大きくしても動画像を一時的にバッファできる容量（時間）には限界がある。また、マスク対象を一旦検出したあとで、再び最初のフレームから検索し直してマスク対象に関連する部分をピックアップするという方法も考えられるが、時間と手間が掛かり過ぎる。
そこで、本発明の目的は、マスク処理が必要な被写体が、撮影状態による解像度（サイズ）不足などでマスク対象かどうかの判定までに時間を要するような場合であっても、それまでの間にマスク対象が映っている領域に確実にマスクを掛けることができる画像処理装置、画像処理方法および画像処理プログラムを提供することにある。
本発明は、
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理装置（２００）であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部（２２２）と、
最新の前記マスク候補領域を予め登録された前記マスク対象参照リストと対比して両者の類似度を算出し、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象が存在するマスク対象領域として確定させる類似判定部（２３４）と、
前記類似判定部（２３４）によって確定されたマスク対象領域を含む画像フレームよりも時間的に前の撮影条件情報を時間的に前に追跡することにより、前記類似判定部（２３４）によって確定された前記マスク対象領域を含む画像フレームよりも時間的に前の画像フレームにおいて前記マスク対象が存在していた領域を推測し、その推測で求めた領域を補充マスク対象領域として、その補充マスク対象領域に付加する補充マスクを作成するマスク補充部（２６０）と、
前記類似判定部（２３４）によって確定されたマスク対象領域にマスクを付加すると共に前記マスク補充部（２６０）で推測された前記補充マスク対象領域に対して補充マスクを付加するマスク付加部（２８０）と、を備える
ことを特徴とする画像処理装置を提供する。
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理装置（２００）であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部（２２２）と、
最新の前記マスク候補領域を予め登録された前記マスク対象参照リストと対比して両者の類似度を算出し、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象が存在するマスク対象領域として確定させる類似判定部（２３４）と、
前記類似判定部（２３４）によって確定されたマスク対象領域を含む画像フレームよりも時間的に前の撮影条件情報を時間的に前に追跡することにより、前記類似判定部（２３４）によって確定された前記マスク対象領域を含む画像フレームよりも時間的に前の画像フレームにおいて前記マスク対象が存在していた領域を推測し、その推測で求めた領域を補充マスク対象領域として、その補充マスク対象領域に付加する補充マスクを作成するマスク補充部（２６０）と、
前記類似判定部（２３４）によって確定されたマスク対象領域にマスクを付加すると共に前記マスク補充部（２６０）で推測された前記補充マスク対象領域に対して補充マスクを付加するマスク付加部（２８０）と、を備える
ことを特徴とする画像処理装置を提供する。
上記画像処理装置（２００）において、
前記動画データには、動画撮影中の撮影条件情報も同時に記録されており、
前記撮影条件情報は、ズーム値である
ようにしてもよい。
前記動画データには、動画撮影中の撮影条件情報も同時に記録されており、
前記撮影条件情報は、ズーム値である
ようにしてもよい。
また、上記画像処理装置（２００）において、
前記動画データには、動画撮影中の撮影条件情報も同時に記録されており、
前記撮影条件情報は、被写体距離である
ようにしてもよい。
前記動画データには、動画撮影中の撮影条件情報も同時に記録されており、
前記撮影条件情報は、被写体距離である
ようにしてもよい。
また、上記画像処理装置（２００）において、
前記マスク補充部（２６０）は、
前記動画データから撮影条件情報を取得する撮影条件取得部（２６２）と、
前記類似判定部（２３４）によって確定されたマスク対象領域の大きさと、その確定されたマスク対象領域を含む画像フレームを撮影したときの撮影条件情報を基準にして、前記補充マスク対象領域の大きさを推測する推測部（２６４）と、
前記推測部（２６４）による推測で求められた大きさに基づいて補充マスクを作成する補充マスク作成部（２６５）と、を備える
ようにしてもよい。
前記マスク補充部（２６０）は、
前記動画データから撮影条件情報を取得する撮影条件取得部（２６２）と、
前記類似判定部（２３４）によって確定されたマスク対象領域の大きさと、その確定されたマスク対象領域を含む画像フレームを撮影したときの撮影条件情報を基準にして、前記補充マスク対象領域の大きさを推測する推測部（２６４）と、
前記推測部（２６４）による推測で求められた大きさに基づいて補充マスクを作成する補充マスク作成部（２６５）と、を備える
ようにしてもよい。
また、上記画像処理装置（２００）において、
前記マスク補充部（２６０）は、
さらに、前記マスク候補切出部（２２２）にて切り出されたマスク候補領域の座標情報を取得する座標情報取得部（２６１）を備え、
前記推測部（２６４）は、さらに、前記座標情報に基づいて、前記補充マスク対象領域の位置を推測する
ようにしてもよい。
前記マスク補充部（２６０）は、
さらに、前記マスク候補切出部（２２２）にて切り出されたマスク候補領域の座標情報を取得する座標情報取得部（２６１）を備え、
前記推測部（２６４）は、さらに、前記座標情報に基づいて、前記補充マスク対象領域の位置を推測する
ようにしてもよい。
また、上記画像処理装置（２００）において、
前記撮影条件取得部（２６２）は、撮影条件が変化したことをトリガとして前記撮影条件情報を取得する
ようにしてもよい。
前記撮影条件取得部（２６２）は、撮影条件が変化したことをトリガとして前記撮影条件情報を取得する
ようにしてもよい。
また、上記画像処理装置（２００）において、
前記撮影条件取得部（２６２）は、前記座標情報取得部（２６１）が座標情報を取得したことをトリガとして前記撮影条件情報を取得する
ようにしてもよい。
前記撮影条件取得部（２６２）は、前記座標情報取得部（２６１）が座標情報を取得したことをトリガとして前記撮影条件情報を取得する
ようにしてもよい。
また、上記画像処理装置（２００）において、
さらに、確定したマスク対象領域のサイズを所定閾値と対比することによって補充マスクが必要かどうかを判定する補充要否判定部（２５０）を備える
ようにしてもよい。
さらに、確定したマスク対象領域のサイズを所定閾値と対比することによって補充マスクが必要かどうかを判定する補充要否判定部（２５０）を備える
ようにしてもよい。
さらに、本発明は、
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理方法であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出工程（ＳＴ１０４）と、
最新の前記マスク候補領域を予め登録された前記マスク対象参照リストと対比して両者の類似度を算出し、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象が存在するマスク対象領域として確定させる類似判定工程（ＳＴ１０８）と、
前記類似判定工程（ＳＴ１０８）による判定によって確定されたマスク対象領域を含む画像フレームよりも時間的に前の撮影条件情報を追跡することにより、前記類似判定工程（ＳＴ１０８）によって確定された前記マスク対象領域を含む画像フレームよりも時間的に前の画像フレームにおいて前記マスク対象が存在していた領域を推測し、その推測で求めた領域を補充マスク対象領域として、その補充マスク対象領域に付加する補充マスクを作成するマスク補充工程（ＳＴ１２０）と、
前記類似判定工程（ＳＴ１０８）によって確定されたマスク対象領域にマスクを付加すると共に前記マスク補充工程（ＳＴ１２０）で推測された前記補充マスク対象領域に対して補充マスクを付加するマスク付加工程（ＳＴ５０）と、を備える
ことを特徴とする画像処理方法を提供する。
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理方法であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出工程（ＳＴ１０４）と、
最新の前記マスク候補領域を予め登録された前記マスク対象参照リストと対比して両者の類似度を算出し、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象が存在するマスク対象領域として確定させる類似判定工程（ＳＴ１０８）と、
前記類似判定工程（ＳＴ１０８）による判定によって確定されたマスク対象領域を含む画像フレームよりも時間的に前の撮影条件情報を追跡することにより、前記類似判定工程（ＳＴ１０８）によって確定された前記マスク対象領域を含む画像フレームよりも時間的に前の画像フレームにおいて前記マスク対象が存在していた領域を推測し、その推測で求めた領域を補充マスク対象領域として、その補充マスク対象領域に付加する補充マスクを作成するマスク補充工程（ＳＴ１２０）と、
前記類似判定工程（ＳＴ１０８）によって確定されたマスク対象領域にマスクを付加すると共に前記マスク補充工程（ＳＴ１２０）で推測された前記補充マスク対象領域に対して補充マスクを付加するマスク付加工程（ＳＴ５０）と、を備える
ことを特徴とする画像処理方法を提供する。
さらに、本発明は、
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理装置（２００）に組み込んだコンピュータを、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部（２２２）と、
最新の前記マスク候補領域を予め登録された前記マスク対象参照リストと対比して両者の類似度を算出し、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象が存在するマスク対象領域として確定させる類似判定部（２３４）と、
前記類似判定部（２３４）によって確定されたマスク対象領域を含む画像フレームよりも時間的に前の撮影条件情報を時間的に前に追跡することにより、前記類似判定部（２３４）によって確定された前記マスク対象領域を含む画像フレームよりも時間的に前の画像フレームにおいて前記マスク対象が存在していた領域を推測し、その推測で求めた領域を補充マスク対象領域として、その補充マスク対象領域に付加する補充マスクを作成するマスク補充部（２６０）と、
前記類似判定部（２３４）によって確定されたマスク対象領域にマスクを付加すると共に前記マスク補充部（２６０）で推測された前記補充マスク対象領域に対して補充マスクを付加するマスク付加部（２８０）と、して機能させる画像処理プログラムを提供する。
動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理装置（２００）に組み込んだコンピュータを、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部（２２２）と、
最新の前記マスク候補領域を予め登録された前記マスク対象参照リストと対比して両者の類似度を算出し、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象が存在するマスク対象領域として確定させる類似判定部（２３４）と、
前記類似判定部（２３４）によって確定されたマスク対象領域を含む画像フレームよりも時間的に前の撮影条件情報を時間的に前に追跡することにより、前記類似判定部（２３４）によって確定された前記マスク対象領域を含む画像フレームよりも時間的に前の画像フレームにおいて前記マスク対象が存在していた領域を推測し、その推測で求めた領域を補充マスク対象領域として、その補充マスク対象領域に付加する補充マスクを作成するマスク補充部（２６０）と、
前記類似判定部（２３４）によって確定されたマスク対象領域にマスクを付加すると共に前記マスク補充部（２６０）で推測された前記補充マスク対象領域に対して補充マスクを付加するマスク付加部（２８０）と、して機能させる画像処理プログラムを提供する。
本発明の実施形態を図示するとともに図中の各要素に付した符号を参照して説明する。
本発明は、動画像に的確にプライバシーマスクを掛けることができる装置および方法に関するところ、マスク対象かどうかを正しく認証することができない状態が長く続くケースとしては次のような場合を想定している。
まず一つ目として、ズームインとズームアウトとを切り換えるなどの光学系操作を要因とする場合がある。すなわち、望遠（テレ）の撮影状態から徐々に広角（ワイド）にしていく。あるいは逆に、極端な広角（ワイド）から徐々に望遠（テレ）にしていく、という場合である。
二つ目として、被写体とカメラとの距離を要因とする場合がある。例えば、被写体（例えば人など）が遠くからカメラに向かってゆっくりと近づいてくる。あるいは、被写体が極端にカメラに寄っている状態から徐々に離れていくような場合である。
一つ目の要因による課題の解決は主として第１実施形態によって達成される。
また、二つ目の要因による課題の解決は主として第２実施形態によって達成される。
なお、一つ目の要因と二つ目の要因とは同時に発生することもあるところ、第１実施形態と第２実施形態とを適宜組み合わせることで一つ目の要因と二つ目の要因とに同時に対処できることは明らかであろう。
本発明は、動画像に的確にプライバシーマスクを掛けることができる装置および方法に関するところ、マスク対象かどうかを正しく認証することができない状態が長く続くケースとしては次のような場合を想定している。
まず一つ目として、ズームインとズームアウトとを切り換えるなどの光学系操作を要因とする場合がある。すなわち、望遠（テレ）の撮影状態から徐々に広角（ワイド）にしていく。あるいは逆に、極端な広角（ワイド）から徐々に望遠（テレ）にしていく、という場合である。
二つ目として、被写体とカメラとの距離を要因とする場合がある。例えば、被写体（例えば人など）が遠くからカメラに向かってゆっくりと近づいてくる。あるいは、被写体が極端にカメラに寄っている状態から徐々に離れていくような場合である。
一つ目の要因による課題の解決は主として第１実施形態によって達成される。
また、二つ目の要因による課題の解決は主として第２実施形態によって達成される。
なお、一つ目の要因と二つ目の要因とは同時に発生することもあるところ、第１実施形態と第２実施形態とを適宜組み合わせることで一つ目の要因と二つ目の要因とに同時に対処できることは明らかであろう。
（第１実施形態）
図１は、本発明が想定する動画像データ記録再生システム９００の一例である。
各個人はおのおの好きな被写体をビデオカメラ１００で撮像する。例えば、戸外に出て街の様子を撮影したり、家族が公園で遊んでいる光景を撮影したりしてもよい。このようにして撮影された動画像データはビデオカメラ１００に内蔵された動画メモリ１２０に蓄積されていく。
図１は、本発明が想定する動画像データ記録再生システム９００の一例である。
各個人はおのおの好きな被写体をビデオカメラ１００で撮像する。例えば、戸外に出て街の様子を撮影したり、家族が公園で遊んでいる光景を撮影したりしてもよい。このようにして撮影された動画像データはビデオカメラ１００に内蔵された動画メモリ１２０に蓄積されていく。
撮影者は家に帰ると、ビデオカメラ１００をパソコン９１０に接続し、撮影した動画像データをパソコン経由でインターネット９２０上のサーバ９３０に送る。すると、このサーバ９３０に動画像データが保存され、第三者もインターネット９２０を利用して動画像を見られるようになる。
しかし、このようにして撮影された動画像には公開しては不都合な画像も含まれていることがある。
例えば、家族の顔や、意図せずに映り込んでしまった通行人の顔、個人を特定する情報、例えば、氏名、電話番号、車のナンバープレートなどが映り込んでいる可能性がある。
これらの個人情報に関連する画像をそのままインターネット上に公開してしまうとプライバシー保護の観点からみて問題が生じる恐れがある。
従って、プラバシーに関わる画像部分にはマスク処理を施すことが必要になる。
例えば、家族の顔や、意図せずに映り込んでしまった通行人の顔、個人を特定する情報、例えば、氏名、電話番号、車のナンバープレートなどが映り込んでいる可能性がある。
これらの個人情報に関連する画像をそのままインターネット上に公開してしまうとプライバシー保護の観点からみて問題が生じる恐れがある。
従って、プラバシーに関わる画像部分にはマスク処理を施すことが必要になる。
ここで、以下の説明に用いる動画の例として、図２のように特定人物ＣＡの様子を撮影したとする。
このとき撮影者Ｐは、ゆっくりとズーム倍率（焦点距離）を変えるように操作しながら撮影するとする。たとえば、当初のひいた状態（ズームアウトの状態）から人物ＣＡにゆっくりとズームインするように撮影するとする。すると、例えば、図３のように、人物ＣＡが徐々にズームアップ（拡大）してくる動画が撮影されるであろう。
または、極端なズームアップの状態から徐々にズームアウトすると、図４のように人物の顔が撮影されるであろう。
このとき撮影者Ｐは、ゆっくりとズーム倍率（焦点距離）を変えるように操作しながら撮影するとする。たとえば、当初のひいた状態（ズームアウトの状態）から人物ＣＡにゆっくりとズームインするように撮影するとする。すると、例えば、図３のように、人物ＣＡが徐々にズームアップ（拡大）してくる動画が撮影されるであろう。
または、極端なズームアップの状態から徐々にズームアウトすると、図４のように人物の顔が撮影されるであろう。
ここで、図３のフレームＦ３−３や図４のＦ４−３では顔が十分な大きさでフレーム内に映っている。
このような画像であれば、従来技術でも、この顔が特定人物の顔であると認証できるようになる。
従って、フレームＦ３−３、Ｆ４−３以降のフレーム（Ｆ３−４、Ｆ４−４）においては人物ＣＡの顔にマスクを掛けられるであろう。
しかし、フレームＦ３−３、Ｆ４−３に至るまでは、人物ＣＡの顔が映っているにも関わらず、マスク対象であるとまでは確定できず、このままではマスクが掛からず顔が公開されてしまうことになる。図３の場合でいうと、Ｆ３−１やＦ３−２では、顔が映っている画像領域のサイズが小さすぎて認証できないということになる。
また、図４の場合でいうと、Ｆ４−１やＦ４−２では、映っているものが人間の目（器官）であるということは器官検出等で判定できるが、それがマスク対象人物（特定人物）の顔の一部かどうかまでは認証できないということになる。そこで、本実施形態では、マスク対象であると確定する前のフレーム（Ｆ３−１、Ｆ３−２、Ｆ４−１、Ｆ４−２）に対してもマスクを掛けるようにする。
このような画像であれば、従来技術でも、この顔が特定人物の顔であると認証できるようになる。
従って、フレームＦ３−３、Ｆ４−３以降のフレーム（Ｆ３−４、Ｆ４−４）においては人物ＣＡの顔にマスクを掛けられるであろう。
しかし、フレームＦ３−３、Ｆ４−３に至るまでは、人物ＣＡの顔が映っているにも関わらず、マスク対象であるとまでは確定できず、このままではマスクが掛からず顔が公開されてしまうことになる。図３の場合でいうと、Ｆ３−１やＦ３−２では、顔が映っている画像領域のサイズが小さすぎて認証できないということになる。
また、図４の場合でいうと、Ｆ４−１やＦ４−２では、映っているものが人間の目（器官）であるということは器官検出等で判定できるが、それがマスク対象人物（特定人物）の顔の一部かどうかまでは認証できないということになる。そこで、本実施形態では、マスク対象であると確定する前のフレーム（Ｆ３−１、Ｆ３−２、Ｆ４−１、Ｆ４−２）に対してもマスクを掛けるようにする。
（第１実施形態の構成）
第１実施形態の構成を説明する。
図５は、マスク処理部２００の機能ブロック図であり、あわせて、ビデオカメラ１００の主要要素を示す。
本実施形態ではマスク処理部２００がビデオカメラ１００に内蔵されている場合を想定しているが、パソコン９１０の一機能としてマスク処理部２００が設けられてもよい。
第１実施形態の構成を説明する。
図５は、マスク処理部２００の機能ブロック図であり、あわせて、ビデオカメラ１００の主要要素を示す。
本実施形態ではマスク処理部２００がビデオカメラ１００に内蔵されている場合を想定しているが、パソコン９１０の一機能としてマスク処理部２００が設けられてもよい。
ビデオカメラ１００の撮像部１１０で撮像された動画データは、一旦動画メモリ１２０に蓄積される。
ここで、ビデオカメラの撮像部１１０は、ＣＣＤ（光電変換素子）回路、所定のロジック回路で構成され、被写体を撮影した動画（映像）信号から動画データ（フレーム）を生成する。動画データには輝度データや色データが含まれる。動画メモリ１２０としては、例えば、フラッシュメモリが利用できる。
ここで、ビデオカメラの撮像部１１０は、ＣＣＤ（光電変換素子）回路、所定のロジック回路で構成され、被写体を撮影した動画（映像）信号から動画データ（フレーム）を生成する。動画データには輝度データや色データが含まれる。動画メモリ１２０としては、例えば、フラッシュメモリが利用できる。
また本実施形態の特徴として、撮影中の撮影条件情報もメタ情報として一旦動画メモリ１２０に蓄積される。すなわち、ビデオカメラの制御回路１１１は撮影中の撮影状態に関する情報を継続的にサンプリングし、これを動画メモリ１２０に送る。
メタ情報としての撮影条件情報は、動画ファイルと別のファイルとして動画メモリ１２０に記録されてもよい。あるいは、動画ファイルに拡張情報として含ませてもよい。例えば、シーケンスヘッダやピクチャーヘッダに格納することが例として挙げられる。
メタ情報としての撮影条件情報は、動画ファイルと別のファイルとして動画メモリ１２０に記録されてもよい。あるいは、動画ファイルに拡張情報として含ませてもよい。例えば、シーケンスヘッダやピクチャーヘッダに格納することが例として挙げられる。
ここで、撮影条件情報としては、ズーム情報がある。
ズーム情報を取得するにあたっては、レンズ等の光学系１１２の位置等を計測して、これを撮影条件情報としてもよい。あるいは、ユーザによるズーム操作の情報に基づいてもよい。
例えば、ユーザによるズーム操作をインクリメントまたはデクリメントすれば、撮影時のズーム状態を取得できる。
ズーム情報を取得するにあたっては、レンズ等の光学系１１２の位置等を計測して、これを撮影条件情報としてもよい。あるいは、ユーザによるズーム操作の情報に基づいてもよい。
例えば、ユーザによるズーム操作をインクリメントまたはデクリメントすれば、撮影時のズーム状態を取得できる。
なお、撮影条件情報としてはカメラ１００と被写体との距離もあるが、この点は第２実施形態として後述する。
マスク処理部２００は、データ入力部２１０と、マスク候補取得部２２０と、マスク対象決定部２３０と、マスクフラグ付与部２４０と、補充要否判定部２５０と、マスク補充部２６０と、メタファイル作成部２７０と、マスク付加部２８０と、データ出力部２９０と、を備える。
データ入力部２１０は、動画データと撮影条件情報と動画メモリ１２０から読み込み、後段の回路に出力する。
具体的には、データ入力部２１０は、画像フレームをマスク候補取得部２２０およびマスク付加部２８０に出力し、撮影条件情報をマスク補充部２６０に供給する。
データ入力部２１０は、復号化部を有し、動画データを復号化した画像フレームを出力する。
ここで、動画を視聴することを目的とせずにマスク処理だけを目的とする場合、すべての画像フレームが必要になるわけではない。従って、Ｉピクチャや、Ｐピクチャ、Ｂピクチャなどがあるなかで、処理の目的に応じたデータだけがデータ入力部２１０から後段回路に提供されるようにしてもよい。例えば、マスク処理にはＩピクチャとＰピクチャとだけを使用するようにしてもよい。もちろん、すべてのフレームを使用してマスク処理を行ってもよい。
具体的には、データ入力部２１０は、画像フレームをマスク候補取得部２２０およびマスク付加部２８０に出力し、撮影条件情報をマスク補充部２６０に供給する。
データ入力部２１０は、復号化部を有し、動画データを復号化した画像フレームを出力する。
ここで、動画を視聴することを目的とせずにマスク処理だけを目的とする場合、すべての画像フレームが必要になるわけではない。従って、Ｉピクチャや、Ｐピクチャ、Ｂピクチャなどがあるなかで、処理の目的に応じたデータだけがデータ入力部２１０から後段回路に提供されるようにしてもよい。例えば、マスク処理にはＩピクチャとＰピクチャとだけを使用するようにしてもよい。もちろん、すべてのフレームを使用してマスク処理を行ってもよい。
なお、データ入力部２１０からマスク補充部２６０に撮影条件情報を供給するところ、マスク補充部２６０は総ての撮影条件情報を取得する必要はなく、マスク補充部２６０は必要なタイミングで撮影条件情報の取得を開始したり終了したりするのであるが、この点は後述の動作説明のなかで明らかになる。
マスク候補取得部２２０は、プラバシーマスクを必要とする可能性がある画像領域を切り出す。
たとえば、特定人物であるＣＡさんの顔にマスクを掛ける必要がある場合、肌色が所定面積以上である領域は人の顔の可能性があるので、このような領域をマスク候補として切り出す。
マスク候補取得部２２０は、切出参照リスト格納部２２１と、マスク候補切出部２２２と、を備える。
たとえば、特定人物であるＣＡさんの顔にマスクを掛ける必要がある場合、肌色が所定面積以上である領域は人の顔の可能性があるので、このような領域をマスク候補として切り出す。
マスク候補取得部２２０は、切出参照リスト格納部２２１と、マスク候補切出部２２２と、を備える。
切出参照リスト格納部２２１は、マスク候補として切出し対象になる領域を検出するための切出参照リストを格納している。
切出参照リストは、プリセットされていてもよく、マスク対象の特徴から自動的に生成されるようにしてもよく、あるいは、ユーザが設定入力してもよい。
切出参照リストとしては、所定面積以上の肌色領域や、目や口などの器官、文字および数字のリストデータなどがあげられる。
切出参照リストは、プリセットされていてもよく、マスク対象の特徴から自動的に生成されるようにしてもよく、あるいは、ユーザが設定入力してもよい。
切出参照リストとしては、所定面積以上の肌色領域や、目や口などの器官、文字および数字のリストデータなどがあげられる。
文字および数字のリストデータを切出参照リストとして持つ意味を補足しておく。
プライバシーに関するものとしては、顔の他にも、氏名、団体名（会社名や学校名）、住所表示、電話番号、車のナンバーなどがある。０９０−ＸＸＸＸ−ＸＸＸＸといった電話番号となる数字列や、"横浜"、"横浜市ＸＸＸ区"、"横Ｘ学園ＸＸ学校"といったように特定の住所や団体名を表す文字列が映っていれば、これらにマスク処理を施す必要がある。文字としては、外国語にも対応できるように、アルファベットや、ハングル、中国語の略字も切出参照リストに加えておくとよい。
プライバシーに関するものとしては、顔の他にも、氏名、団体名（会社名や学校名）、住所表示、電話番号、車のナンバーなどがある。０９０−ＸＸＸＸ−ＸＸＸＸといった電話番号となる数字列や、"横浜"、"横浜市ＸＸＸ区"、"横Ｘ学園ＸＸ学校"といったように特定の住所や団体名を表す文字列が映っていれば、これらにマスク処理を施す必要がある。文字としては、外国語にも対応できるように、アルファベットや、ハングル、中国語の略字も切出参照リストに加えておくとよい。
マスク候補切出部２２２は、データ入力部２１０から順次入力される画像フレームを検索し、切出参照リスト格納部２２１に格納された切出参照リストに合致するものがあるか否かを探す。そして、切出参照リストに合致するものが画像フレーム中に存在している場合、その領域部分を切り出してマスク候補領域として切り出し、後段回路に出力する。このとき、切り出されたマスク候補領域は、もとのフレームに関連付けられる情報を保持するものとする。
フレームに関連付けられる情報とは、例えば、切出し元のフレーム番号およびそのフレーム内での座標である。
切り出されたマスク候補領域の画像データはマスク対象決定部２３０に送られる一方、フレーム番号および座標といった関連情報はマスク補充部２６０に送られる。
フレームに関連付けられる情報とは、例えば、切出し元のフレーム番号およびそのフレーム内での座標である。
切り出されたマスク候補領域の画像データはマスク対象決定部２３０に送られる一方、フレーム番号および座標といった関連情報はマスク補充部２６０に送られる。
次に、マスク対象決定部２３０は、マスク候補取得部２２０で取得されたマスク候補の領域に対し、真にマスク対象であるか否かを検証する。
マスク対象決定部２３０は、特徴量算出部２３１と、マスク対象参照リスト格納部２３２と、類似度算出部２３３と、類似判定部２３４と、を備える。
マスク対象決定部２３０は、特徴量算出部２３１と、マスク対象参照リスト格納部２３２と、類似度算出部２３３と、類似判定部２３４と、を備える。
特徴量算出部２３１は、マスク候補切出部２２２で切り出された最新のマスク候補に対して特徴量を算出する。
特徴量とは、対象画像の特徴を表わす各種指標値の組み合わせであり、対象画像の特徴点を表わす指標値や、特徴点同士の距離関係を表わす指標値、特徴部分の大きさを表わす指標値、対象画像の輪郭を表わす指標値、輝度を表わす指標値、色を表わす指標値、などからなる。
特徴量算出部２３１は、算出した特徴量を類似度算出部２３３に送る。
特徴量とは、対象画像の特徴を表わす各種指標値の組み合わせであり、対象画像の特徴点を表わす指標値や、特徴点同士の距離関係を表わす指標値、特徴部分の大きさを表わす指標値、対象画像の輪郭を表わす指標値、輝度を表わす指標値、色を表わす指標値、などからなる。
特徴量算出部２３１は、算出した特徴量を類似度算出部２３３に送る。
マスク対象参照リスト格納部２３２は、マスク対象になる領域を検出するための参照情報を格納している。マスク対象参照リスト格納部２３２に格納されている参照情報としては、プライバシーマスクが必要な特定人物の顔（Ａさんの顔、Ｂさんの顔・・・）、電話番号や車両番号であることを特定するための数字列、氏名・団体名（会社名や学校名）・住所表示であることを特定するための文字列、などが挙げられる。
これらの参照情報がそれぞれの特徴量とセットになって格納されている。
これらの参照情報がそれぞれの特徴量とセットになって格納されている。
類似度算出部２３３は、特徴量算出部２３１で算出された特徴量をマスク対象参照リスト格納部２３２に格納された特徴量と比較し、類似度を算出する。
類似度の算出にあたっては、マスク候補の指標値とマスク対象参照リストの指標値とで互いに対応するもの同士をつきあわせ、両者の類似度合いを総合的に評価して類似度を求める。
なお、マスク候補が肌色領域であって人の顔である可能性がある場合に、これを電話番号の特徴量と対比して類似度を算出しても意味のないことなのであり、マスク候補が肌色領域である場合に突き合わされる参照情報は特定人物の顔である。
類似度の算出に当たって適切な参照情報を選ばせる方法は各種考えられるが、例えば、色や輝度で判断してもよく、あるいは、総ての参照情報と突き合わせた上で最も類似度が高くなるものを選んでもよい。
類似度の算出にあたっては、マスク候補の指標値とマスク対象参照リストの指標値とで互いに対応するもの同士をつきあわせ、両者の類似度合いを総合的に評価して類似度を求める。
なお、マスク候補が肌色領域であって人の顔である可能性がある場合に、これを電話番号の特徴量と対比して類似度を算出しても意味のないことなのであり、マスク候補が肌色領域である場合に突き合わされる参照情報は特定人物の顔である。
類似度の算出に当たって適切な参照情報を選ばせる方法は各種考えられるが、例えば、色や輝度で判断してもよく、あるいは、総ての参照情報と突き合わせた上で最も類似度が高くなるものを選んでもよい。
類似判定部２３４は、類似度算出部２３３で算出された類似度を所定の閾値と比較する。
そして、類似度が閾値を超えている場合、そのマスク候補領域は、そのなかにマスク対象が存在しているマスク対象領域であることが確定する。
類似度が閾値を超えた場合には、その旨をマスクフラグ付与部２４０と補充要否判定部２５０とに通知する。
そして、類似度が閾値を超えている場合、そのマスク候補領域は、そのなかにマスク対象が存在しているマスク対象領域であることが確定する。
類似度が閾値を超えた場合には、その旨をマスクフラグ付与部２４０と補充要否判定部２５０とに通知する。
マスクフラグ付与部２４０は、マスク対象領域にマスクフラグを設定する。
マスク対象領域にマスクフラグを設定するにあっては、類似判定部２３４による判定によってマスク対象であることが確定したマスク対象の領域にマスクフラグを付与することはもちろんである。
さらに、図３のフレームＦ３−３以降や図４のフレームＦ４−３以降では、類似度が閾値以上になる程度に顔が映っているので、マスクフラグ付与部２４０によってこれらの顔が映っている領域にはマスクフラグが付与される。
ここで、マスク対象（被写体）をズームアップし始めてからマスク対象であると確定するまでの間の映像（フレームＦ３−１からＦ３−３の手前）や極度のアップからズームアウトしてマスク対象であると確定するまでの間の映像（フレームＦ４−１からＦ４−３の手前）にもマスクを掛ける必要があるところ、これは後述の補充要否判定部２５０およびマスク補充部２６０によって達成される。
マスク対象領域にマスクフラグを設定するにあっては、類似判定部２３４による判定によってマスク対象であることが確定したマスク対象の領域にマスクフラグを付与することはもちろんである。
さらに、図３のフレームＦ３−３以降や図４のフレームＦ４−３以降では、類似度が閾値以上になる程度に顔が映っているので、マスクフラグ付与部２４０によってこれらの顔が映っている領域にはマスクフラグが付与される。
ここで、マスク対象（被写体）をズームアップし始めてからマスク対象であると確定するまでの間の映像（フレームＦ３−１からＦ３−３の手前）や極度のアップからズームアウトしてマスク対象であると確定するまでの間の映像（フレームＦ４−１からＦ４−３の手前）にもマスクを掛ける必要があるところ、これは後述の補充要否判定部２５０およびマスク補充部２６０によって達成される。
補充要否判定部２５０は、サイズ判定部２５１を有し、確定したマスク対象領域のサイズに基づいて補充マスクの要否を判定する。
たとえば、図３のフレームＦ３−３のように、確定したマスク対象領域のサイズが小さく、下限閾値以下であった場合、あるいは、図４のフレームＦ４−３のように、確定したマスク対象領域のサイズが大きく、上限閾値以上であった場合、補充要否判定部２５０は時間的に前のフレームに対してマスク補充の必要があると判断する。
マスク補充の必要があるとなった場合、補充要否判定部２５０は、マスク補充部２６０に補充マスクの作成を指示する。
たとえば、図３のフレームＦ３−３のように、確定したマスク対象領域のサイズが小さく、下限閾値以下であった場合、あるいは、図４のフレームＦ４−３のように、確定したマスク対象領域のサイズが大きく、上限閾値以上であった場合、補充要否判定部２５０は時間的に前のフレームに対してマスク補充の必要があると判断する。
マスク補充の必要があるとなった場合、補充要否判定部２５０は、マスク補充部２６０に補充マスクの作成を指示する。
マスク対象が確定したときの領域サイズが下限閾値以下であるほど小さければ、それ以前のフレームにおいてマスク対象の映り込みが小さすぎてマスク対象決定部２３０の画像解析では認識できなかった可能性があると考えられる。
また逆に、マスク対象が確定したときの領域サイズが上限閾値以上であるほど大きければ、それ以前のフレームにおいてマスク対象の局所的なアップが映り込んでいても類似度が所定閾値まで達していなかった可能性がある。例えば、目や口だけが映っていても、それが特定のマスク対象人物の顔の一部であるかどうかまでは認証できない。
下限閾値や上限閾値をどの程度にするかについては、マスク対象決定部２３０の画像解析精度やプライバシー保護のレベルに応じて適宜設定すればよい。
また逆に、マスク対象が確定したときの領域サイズが上限閾値以上であるほど大きければ、それ以前のフレームにおいてマスク対象の局所的なアップが映り込んでいても類似度が所定閾値まで達していなかった可能性がある。例えば、目や口だけが映っていても、それが特定のマスク対象人物の顔の一部であるかどうかまでは認証できない。
下限閾値や上限閾値をどの程度にするかについては、マスク対象決定部２３０の画像解析精度やプライバシー保護のレベルに応じて適宜設定すればよい。
また、マスク対象領域のサイズという場合、マスク対象領域の面積を用いてもよく、あるいは、マスク対象領域が四角形であれば四角形の辺の長さ、対角線の長さなどのいずれを用いてもよい。マスク対象領域のサイズの取り方に合わせて所定閾値（下限閾値、上限閾値）の値や判定方法を適切に調整すればよい。また、サイズの他に、マスク対象領域の出現位置も判定材料としてもよい。
次に、マスク補充部２６０について説明する。
マスク補充部２６０は、マスク対象が検出される以前のフレームに掛けるマスクを作成する。
マスク補充部２６０は、座標情報取得部２６１と、撮影条件情報取得部２６２と、補充用データ保持部２６３と、推測部２６４と、補充マスク作成部２６５と、を備える。
マスク補充部２６０は、マスク対象が検出される以前のフレームに掛けるマスクを作成する。
マスク補充部２６０は、座標情報取得部２６１と、撮影条件情報取得部２６２と、補充用データ保持部２６３と、推測部２６４と、補充マスク作成部２６５と、を備える。
座標情報取得部２６１は、マスク候補取得部２２０で切り出されたマスク候補領域の座標情報を取得し、順次、補充用データ保持部２６３に格納していく。すなわち、マスク候補切出部２２２でマスク候補となるものが切り出された場合には、それがマスク対象であるかどうかの確定を待たずに補充用データ保持部２６３に座標情報を格納していく。
また、座標情報取得部２６１は、マスク候補領域の座標を取得したことを撮影条件情報取得部２６２に通知する。
また、座標情報取得部２６１は、マスク候補領域の座標を取得したことを撮影条件情報取得部２６２に通知する。
ここで、座標情報とは、マスク対象領域の座標値、マスク候補領域の大きさ（サイズ）、および、マスク対象領域が属するフレームのタイムスタンプ、であり、これらをセットにして補充用データ保持部２６３に保持させる。
なお、このような座標情報等は、画像データそのものではないので、それを保持するメモリ領域は小さくてよい。
なお、このような座標情報等は、画像データそのものではないので、それを保持するメモリ領域は小さくてよい。
撮影条件情報取得部２６２は、座標情報取得部２６１から前記通知を受けた場合、データ入力部２１０から撮影条件情報を取得し、補充用データ保持部２６３に格納させる。
ここで、撮影条件情報とは、撮影時のズーム値などの光学系情報、操作情報、設定情報、などのセンサー情報である。
ここで、撮影条件情報とは、撮影時のズーム値などの光学系情報、操作情報、設定情報、などのセンサー情報である。
補充用データ保持部２６３は、一時メモリであり、図６のように、マスク候補領域の座標値、サイズ、タイム、そして撮影条件情報としてのズーム値をフレーム番号とセットにして保持する。
推測部２６４は、補充用データ保持部２６３に保持された座標情報や撮影条件情報（ズーム値）に基づいて、検出される前のマスク対象の状態を推測する。
例えば、補充用データ保持部２６３に保持されたズーム値データ（図６）をグラフにプロットする。すると、図７のように、マスク対象の認証に至るまでのズーム値の軌跡がわかる。
図７では、図３の動画を撮影したとして、時刻ｔ２でマスク候補の切り出しが始まり（フレームＦ３−２に相当）、時刻ｔ３でマスク対象として確定した（フレームＦ３−３に相当）ことを表現している。
このようなグラフに基づいて、フレームＦ３−３（時刻Ｔ３）よりも時間的に前のフレームに関し、マスク対象の映りこみ状態を推測してそれに掛かるマスクを作成することが可能になる。
例えば、補充用データ保持部２６３に保持されたズーム値データ（図６）をグラフにプロットする。すると、図７のように、マスク対象の認証に至るまでのズーム値の軌跡がわかる。
図７では、図３の動画を撮影したとして、時刻ｔ２でマスク候補の切り出しが始まり（フレームＦ３−２に相当）、時刻ｔ３でマスク対象として確定した（フレームＦ３−３に相当）ことを表現している。
このようなグラフに基づいて、フレームＦ３−３（時刻Ｔ３）よりも時間的に前のフレームに関し、マスク対象の映りこみ状態を推測してそれに掛かるマスクを作成することが可能になる。
推測部２６４は、フレームＦ３−３（時刻ｔ３）よりも時間的に前のフレーム内でのマスク対象を推測するため、図７のグラフを時刻ｔ３から時間的に前にさかのぼる。
すると、時刻ｔ３より以前において、時刻ｔ２から時刻ｔ３までにズーム値が小さい撮影状態でマスク候補が切り出されていたのがわかる。すなわち、フレームＦ３−３よりも時間的に前のフレームに、実は、マスク対象が存在していたと推測できる。
このとき、マスク候補の座標値から各フレームにおけるマスク対象の位置がわかる。さらに、時刻ｔ３におけるズーム値とマスク対象の大きさとを基準にしてズーム値の変化を追う。これにより、各フレームにおけるマスク対象の大きさがわかる。
このようにして、時刻ｔ３よりも前のマスク対象の軌跡がわかる。そして、この軌跡からマスク対象が存在していた領域がわかるので、この領域を、補充マスクを掛ける領域（補充マスク対象領域）とする。
すると、時刻ｔ３より以前において、時刻ｔ２から時刻ｔ３までにズーム値が小さい撮影状態でマスク候補が切り出されていたのがわかる。すなわち、フレームＦ３−３よりも時間的に前のフレームに、実は、マスク対象が存在していたと推測できる。
このとき、マスク候補の座標値から各フレームにおけるマスク対象の位置がわかる。さらに、時刻ｔ３におけるズーム値とマスク対象の大きさとを基準にしてズーム値の変化を追う。これにより、各フレームにおけるマスク対象の大きさがわかる。
このようにして、時刻ｔ３よりも前のマスク対象の軌跡がわかる。そして、この軌跡からマスク対象が存在していた領域がわかるので、この領域を、補充マスクを掛ける領域（補充マスク対象領域）とする。
補充マスク作成部２６５は、推測部２６４によって推測された結果に基づいて、時刻ｔ３よりも時間的に前のフレームにかけるマスクを作成する。
例えば、図８のように、フレームＦ３−２からフレームＦ３−３までの間のフレームに対して、徐々にサイズが拡大していくマスクを作成する。
補充マスク作成部２６５は、このように作成した補充マスクの情報をマスクフラグ付与部２４０に出力する。
補充マスクの情報とは、補充マスクの座標値、補充マスクの大きさ（サイズ）、および、補充マスクを付加するフレーム番号の情報である。
例えば、図８のように、フレームＦ３−２からフレームＦ３−３までの間のフレームに対して、徐々にサイズが拡大していくマスクを作成する。
補充マスク作成部２６５は、このように作成した補充マスクの情報をマスクフラグ付与部２４０に出力する。
補充マスクの情報とは、補充マスクの座標値、補充マスクの大きさ（サイズ）、および、補充マスクを付加するフレーム番号の情報である。
メタファイル作成部２７０は、マスクを掛ける領域についての情報をマスクフラグ付与部２４０から取得する。
マスクを掛ける領域とはマスク対象領域であり、マスクを掛ける領域についての情報とは、例えば、マスク対象領域の座標、サイズ、フレーム番号といった情報である。
繰り返しになるが、マスク対象領域としては、類似判定部２３４による閾値判定でマスク対象であると確定した領域の他、補充マスク作成部２６５で作成された補充マスクが付加される領域（補充マスク対象領域）も含まれることはもちろんである。
メタファイル作成部２７０は、マスク対象領域にマスクを掛ける命令を含むメタファイルを作成する。メタファイル作成部２７０は、作成したマスク用メタファイルをマスク付加部２８０に出力する。
マスクを掛ける領域とはマスク対象領域であり、マスクを掛ける領域についての情報とは、例えば、マスク対象領域の座標、サイズ、フレーム番号といった情報である。
繰り返しになるが、マスク対象領域としては、類似判定部２３４による閾値判定でマスク対象であると確定した領域の他、補充マスク作成部２６５で作成された補充マスクが付加される領域（補充マスク対象領域）も含まれることはもちろんである。
メタファイル作成部２７０は、マスク対象領域にマスクを掛ける命令を含むメタファイルを作成する。メタファイル作成部２７０は、作成したマスク用メタファイルをマスク付加部２８０に出力する。
マスク付加部２８０は、メタファイルのマスク処理命令に従って動画データにマスクを掛けていく。
このとき、動画メモリ１２０に蓄積された総ての動画データに関するメタファイルが作成されるのを待ってからマスク付加部２８０でのマスク処理を開始してもよい。すなわち、メタファイル作成のための復号処理をしたあと、あらためて動画メモリ１２０から動画データを取り出して復号化する。
このときはマスク候補取得部２２０やマスク対象決定部２３０を起動させる必要はなく、復号化された画像データをマスク付加部２８０にのみ送り、そこでメタファイルに従ったマスク付加を行う。
このとき、動画メモリ１２０に蓄積された総ての動画データに関するメタファイルが作成されるのを待ってからマスク付加部２８０でのマスク処理を開始してもよい。すなわち、メタファイル作成のための復号処理をしたあと、あらためて動画メモリ１２０から動画データを取り出して復号化する。
このときはマスク候補取得部２２０やマスク対象決定部２３０を起動させる必要はなく、復号化された画像データをマスク付加部２８０にのみ送り、そこでメタファイルに従ったマスク付加を行う。
あるいは、メタファイルの作成から所定の時間遅れをもたせてマスク付加部２８０でのマスク処理を進行させてもよい。例えば、マスク候補切出部２２２が処理中であるフレームのタイムスタンプに対し、数分分の遅れを持たせていれば前記フレームに対するマスク処理の要否は確定されている。
マスク付加部２８０でマスク付加された動画データはデータ出力部２９０から出力される。そして、例えば、パソコン９１０のハードディスクなどに一旦保存されたあと、インターネット９２０上のサーバ９３０に送られることになる。
（第１実施形態の動作）
続いて、第１実施形態の動作を説明する。
ユーザによる動画撮影からマスク付加されたデータの出力までの流れは、
図９に示すように、撮影（ＳＴ１０）、動画データの保存（ＳＴ２０）、マスク処理の事前準備（ＳＴ３０）、マスク処理用メタファイルの作成（ＳＴ４０）、マスク付加（ＳＴ５０）、データ出力（ＳＴ６０）の順で進む。
続いて、第１実施形態の動作を説明する。
ユーザによる動画撮影からマスク付加されたデータの出力までの流れは、
図９に示すように、撮影（ＳＴ１０）、動画データの保存（ＳＴ２０）、マスク処理の事前準備（ＳＴ３０）、マスク処理用メタファイルの作成（ＳＴ４０）、マスク付加（ＳＴ５０）、データ出力（ＳＴ６０）の順で進む。
先に説明したように、図２のように動画を撮影し（ＳＴ１０）、動画データは動画メモリ１２０に保存される（ＳＴ２０）。
ここで、動画データの撮影時には、撮影条件情報も同時に記録され、動画メモリ１２０に保存されていく。
ここで、動画データの撮影時には、撮影条件情報も同時に記録され、動画メモリ１２０に保存されていく。
次に、マスク処理の事前準備を行う（ＳＴ３０）。
マスク処理の事前準備（ＳＴ３０）として、ユーザはマスク対象に関する情報をマスク対象参照リスト格納部２３２に格納しておく。本例でいえば、子供ＣＡの顔の特徴量をマスク対象参照リスト格納部２３２に格納しておく。子供ＣＡの顔の特徴量をマスク対象参照リスト格納部２３２に格納するにあたっては、例えば、別途に撮影した子供ＣＡの顔のデータをビデオカメラ１００にセットしてもよい。あるいは今回撮影した動画のなかから子供ＣＡの顔が映っている領域を指定して、これをマスク対象としてビデオカメラ１００にセットしてもよい。
ビデオカメラ１００は、マスク対象としてセットされた領域から自動的に特徴量を算出してマスク対象参照リスト格納部２３２に格納する。
マスク処理の事前準備（ＳＴ３０）として、ユーザはマスク対象に関する情報をマスク対象参照リスト格納部２３２に格納しておく。本例でいえば、子供ＣＡの顔の特徴量をマスク対象参照リスト格納部２３２に格納しておく。子供ＣＡの顔の特徴量をマスク対象参照リスト格納部２３２に格納するにあたっては、例えば、別途に撮影した子供ＣＡの顔のデータをビデオカメラ１００にセットしてもよい。あるいは今回撮影した動画のなかから子供ＣＡの顔が映っている領域を指定して、これをマスク対象としてビデオカメラ１００にセットしてもよい。
ビデオカメラ１００は、マスク対象としてセットされた領域から自動的に特徴量を算出してマスク対象参照リスト格納部２３２に格納する。
これに合わせて切出参照リスト格納部２２１に切出参照リストを登録しておく必要がある。これについてはマスク対象参照リスト格納部２３２の情報からビデオカメラ１００が自動的に切出参照リストを生成するようにしてもよい。あるいは、人物の顔がマスク対象に設定されたならば、自動的に所定面積以上の肌色領域が切出参照リストに加えられるようにしてもよい。
このような事前準備（ＳＴ３０）が終わったところで、マスク処理部２００を起動してマスク処理用メタファイルの作成（ＳＴ４０）を実行する。
マスク処理用メタファイルの作成工程（ＳＴ４０）を図１０のフローチャートを参照して説明する。
マスク処理用メタファイルの作成工程（ＳＴ４０）を図１０のフローチャートを参照して説明する。
撮影された動画データは動画メモリ１２０に蓄積された後、データ入力部２１０からマスク処理部２００に入力される（ＳＴ１０１）。
データ入力部２１０の復号化部において動画データが復号化され（ＳＴ１０２）、画像フレームが順次マスク候補切出部２２２に送られる。
マスク候補切出部２２２は、画像フレーム中に切出参照リストに合致するマスク候補領域があるか否かを探索する。例えば、フレームＦ３−１の段階では、肌色の領域が所定面積ではないのであるからマスク候補となる領域はない（ＳＴ１０３でＮＯ）。マスク候補の領域がなければ、次ぎの画像フレームに探索対象を移していく。
データ入力部２１０の復号化部において動画データが復号化され（ＳＴ１０２）、画像フレームが順次マスク候補切出部２２２に送られる。
マスク候補切出部２２２は、画像フレーム中に切出参照リストに合致するマスク候補領域があるか否かを探索する。例えば、フレームＦ３−１の段階では、肌色の領域が所定面積ではないのであるからマスク候補となる領域はない（ＳＴ１０３でＮＯ）。マスク候補の領域がなければ、次ぎの画像フレームに探索対象を移していく。
フレームＦ３−１からフレームＦ３−２に移行するにつれて徐々に子供ＣＡがズームアップしてくる。
子供ＣＡの顔が所定面積を超えてくれば、これは切出参照リストに合致することになる（ＳＴ１０３でＹＥＳ）。
例えばフレームＦ３−２で肌色面積が所定値を超えたとする。すると、マスク候補切出部２２２は、所定面積以上の肌色領域Ｒ３−２をマスク候補として切り出す（ＳＴ１０４）。（図１１参照。）
このとき、前述したように、切り出された領域のデータには、切出し元のフレームのフレーム番号およびこのフレーム中での座標が付加されている。
子供ＣＡの顔が所定面積を超えてくれば、これは切出参照リストに合致することになる（ＳＴ１０３でＹＥＳ）。
例えばフレームＦ３−２で肌色面積が所定値を超えたとする。すると、マスク候補切出部２２２は、所定面積以上の肌色領域Ｒ３−２をマスク候補として切り出す（ＳＴ１０４）。（図１１参照。）
このとき、前述したように、切り出された領域のデータには、切出し元のフレームのフレーム番号およびこのフレーム中での座標が付加されている。
マスク候補領域が切り出された場合、座標情報および撮影条件情報の記録が行われる（ＳＴ１０５）。
すなわち、切り出されたマスク候補領域の座標情報を座標情報取得部２６１が取得し、順次、補充用データ保持部２６３に格納していく。
同時に、座標情報取得部２６１からの通知を受けて、撮影条件情報取得部２６２がデータ入力部２１０から撮影条件情報を取得し、補充用データ保持部２６３に格納していく。（図６参照。）
すなわち、切り出されたマスク候補領域の座標情報を座標情報取得部２６１が取得し、順次、補充用データ保持部２６３に格納していく。
同時に、座標情報取得部２６１からの通知を受けて、撮影条件情報取得部２６２がデータ入力部２１０から撮影条件情報を取得し、補充用データ保持部２６３に格納していく。（図６参照。）
さらに、マスク候補領域が切り出されると、この領域に対して特徴量算出部２３１により特徴量が算出される（ＳＴ１０６）。
算出された特徴量は類似度算出部２３３に送られ、そこでマスク対象参照リストとの比較に基づいた類似度が求められる（ＳＴ１０７）。
算出された類似度は類似判定部２３４において閾値と対比される。
Ｆ３−２で切り出された領域Ｒ３−２については、画像が小さすぎて、類似度が閾値Ｔｈを超えるに至らないとする。
この場合、領域Ｒ３−２はマスク対象として確定せず（ＳＴ１０８でＮＯ）、次ぎの画像フレームの処理に進む。
算出された特徴量は類似度算出部２３３に送られ、そこでマスク対象参照リストとの比較に基づいた類似度が求められる（ＳＴ１０７）。
算出された類似度は類似判定部２３４において閾値と対比される。
Ｆ３−２で切り出された領域Ｒ３−２については、画像が小さすぎて、類似度が閾値Ｔｈを超えるに至らないとする。
この場合、領域Ｒ３−２はマスク対象として確定せず（ＳＴ１０８でＮＯ）、次ぎの画像フレームの処理に進む。
フレームＦ３−２からフレームＦ３−３に移るにつれて、子供の顔が映っている領域が徐々に大きくなっていくので肌色領域はすべてマスク候補として切出しの対象となるが（ＳＴ１０３でＹＥＳ）、まだ子供の顔が十分なサイズに映ってはいないので、類似判定（ＳＴ１０７）において類似度が閾値Ｔｈを超えることはない（ＳＴ１０７でＮＯ）。
ただし、この間にも、マスク候補として切り出された領域の座標値とそのときの撮影条件情報とが補充用データ保持部２６３に格納されていく。
ただし、この間にも、マスク候補として切り出された領域の座標値とそのときの撮影条件情報とが補充用データ保持部２６３に格納されていく。
フレームがさらに進んでフレームＦ３−３が処理対象のフレームになった時点を考える。
フレームＦ３−３では領域Ｒ３−３において顔が所定のサイズ以上になっている状態である。
領域Ｒ３−３は、所定面積以上の肌色領域であるのでマスク候補としてマスク候補切出部２２２によって切り出される（ＳＴ１０４）。さらに、子供ＣＡの顔が所定のサイズ以上で映っているので、マスク対象参照リストにある指標（子供の顔の特徴量）と複数点で相関が高く、類似度としては大きな値が算出される。
従って、Ｒ３−３について求められた類似度は、閾値Ｔｈ以上になる（ＳＴ１０８でＹＥＳ）。
フレームＦ３−３では領域Ｒ３−３において顔が所定のサイズ以上になっている状態である。
領域Ｒ３−３は、所定面積以上の肌色領域であるのでマスク候補としてマスク候補切出部２２２によって切り出される（ＳＴ１０４）。さらに、子供ＣＡの顔が所定のサイズ以上で映っているので、マスク対象参照リストにある指標（子供の顔の特徴量）と複数点で相関が高く、類似度としては大きな値が算出される。
従って、Ｒ３−３について求められた類似度は、閾値Ｔｈ以上になる（ＳＴ１０８でＹＥＳ）。
このように類似度が閾値Ｔｈ以上になった場合、類似判定部２３４は、閾値Ｔｈ以上の類似度Ｓをもつ領域が出現したことをマスクフラグ付与部２４０に通知する。すると、類似度が閾値以上となった領域Ｒ３−３に対してマスクフラグ付与部２４０によってマスクフラグが付与される（ＳＴ１０９）。
次に、このようにマスク対象が出現したところで、補充要否判定部２５０によるサイズ判定（ＳＴ１１０）を実行する。
すなわち、マスク対象である領域Ｒ３−３のサイズを所定閾値と対比する（ＳＴ１１１）。
すなわち、マスク対象である領域Ｒ３−３のサイズを所定閾値と対比する（ＳＴ１１１）。
マスク対象（Ｒ３−３）サイズが下限閾値よりも大、または、上限閾値よりも小であれば、補充マスクは必要ないと判断する（ＳＴ１１１でＮＯ）。
したがって、マスク対象として確定した領域に付されているマスクフラグに従って、メタファイル作成部２７０は、マスク対象領域にマスクを掛けるメタファイルを作成する（ＳＴ１１２）。
したがって、マスク対象として確定した領域に付されているマスクフラグに従って、メタファイル作成部２７０は、マスク対象領域にマスクを掛けるメタファイルを作成する（ＳＴ１１２）。
一方、ＳＴ１１１において、マスク対象領域（Ｒ３−３）のサイズが下限閾値以下、または、上限閾値以上である場合（ＳＴ１１１でＹＥＳ）、ズームアップしてきた被写体に必要なマスクが掛かっていない可能性がある。
そこでこの場合、マスク補充部２６０を起動させて、補充マスクの作成を開始する（ＳＴ１２０）。すなわち、補充用データ保持部２６３に保持されている座標情報および撮影条件情報（ズーム値）に基づいて、検出される前のマスク対象の状態を推測する。（図７参照。）
座標値およびズーム値の変化を追いかけることにより、フレームＦ３−３以前のマスク対象の軌跡（位置と大きさ）を求める。そして、補充マスク作成部２６５により、フレームＦ３−２からフレームＦ３−３までの間のフレームに対し、マスク対象に掛かるように徐々にサイズが拡大していくマスクを作成する。（図８参照。）
そこでこの場合、マスク補充部２６０を起動させて、補充マスクの作成を開始する（ＳＴ１２０）。すなわち、補充用データ保持部２６３に保持されている座標情報および撮影条件情報（ズーム値）に基づいて、検出される前のマスク対象の状態を推測する。（図７参照。）
座標値およびズーム値の変化を追いかけることにより、フレームＦ３−３以前のマスク対象の軌跡（位置と大きさ）を求める。そして、補充マスク作成部２６５により、フレームＦ３−２からフレームＦ３−３までの間のフレームに対し、マスク対象に掛かるように徐々にサイズが拡大していくマスクを作成する。（図８参照。）
作成された補充マスクの情報をマスクフラグ付与部２４０に出力し、マスクフラグ付与部２４０において補充マスクの領域にマスクフラグを付与する（ＳＴ１２１）。
マスクフラグを付与されたマスク対象データがメタファイル作成部２７０に送られ、マスク処理を命令するメタファイルが作成される（ＳＴ１１２）。
動画メモリ１２０に蓄積された動画データの全フレームを検証して（ＳＴ１１３でＹＥＳ）、マスク処理用のメタファイルが完成する。
動画メモリ１２０に蓄積された動画データの全フレームを検証して（ＳＴ１１３でＹＥＳ）、マスク処理用のメタファイルが完成する。
このように作成されたメタファイルに従って動画データにマスク処理を施す（ＳＴ５０）。すなわち、マスク付加部２８０は、復号化された動画フレームデータに対しメタファイルに指定された領域にマスクを掛けていく（ＳＴ５０）。すると、図１２に示すように、子供の顔が所定範囲を超え始めたところからマスク処理が掛かり、子供のプライバシーを保護することができる。
なお、上記の動作説明では、主として、図３のようにズームアウト（テレ）からズームイン（ワイド）に切り換えた場合の動画に補充マスクを付ける場合を説明したが（図１２参照）、図４のようにズームイン（ワイド）からズームアウト（テレ）に切り換えた場合でも動作手順は全く同じであることは容易に理解できるであろう。
簡潔にいえば、マスク対象が確定したフレームよりも時間的に前のフレームでズーム値が大きいならば、時間を遡るにつれて徐々にマスクの大きさを大きくすればよい。
簡潔にいえば、マスク対象が確定したフレームよりも時間的に前のフレームでズーム値が大きいならば、時間を遡るにつれて徐々にマスクの大きさを大きくすればよい。
このような構成を備える第１実施形態によれば次の効果を奏することができる。
（１）本実施形態ではマスク補充部２６０を備えており、マスク対象が検出される前のフレームに対してもマスク対象の存在を推定し、補充マスクを掛けることとしている。これにより、マスク対象が映り込んでからマスク対象であると確定するまでの間の映像にもマスクを掛けることができ、プライバシーを確実に保護できる。
（１）本実施形態ではマスク補充部２６０を備えており、マスク対象が検出される前のフレームに対してもマスク対象の存在を推定し、補充マスクを掛けることとしている。これにより、マスク対象が映り込んでからマスク対象であると確定するまでの間の映像にもマスクを掛けることができ、プライバシーを確実に保護できる。
（２）本実施形態では、撮影条件情報を補充用データ保持部２６３に記録しておき、推測部によって撮影条件情報（ズーム値）の変化を時間的に遡って追いかける。これにより、ズーム値の変化からマスク対象の大きさを的確に推測する。そして、補充マスク作成部では、マスク対象の大きさの変化（ここでは、ズーム値の変化と同義である）に合わせた大きさのマスクを作成する。
このように、ズーム値の記録を基にして適切な大きさのマスクを掛けることができる。
したがって、無駄に大きなマスクを掛けてしまって映像品質が劣化したり、あるいは、マスクが小さ過ぎて不十分であるためにマスク対象のプライバシーが守れないといった不都合がない。
このように、ズーム値の記録を基にして適切な大きさのマスクを掛けることができる。
したがって、無駄に大きなマスクを掛けてしまって映像品質が劣化したり、あるいは、マスクが小さ過ぎて不十分であるためにマスク対象のプライバシーが守れないといった不都合がない。
（３）本実施形態では、補充マスクを補充するにあたって補充用データ保持部２６３に座標情報、撮影条件情報を保持するが、これらは画像情報ではなく単なる数値であるので補充用データ保持部２６３の容量は小さくてもよい。
例えば、従来技術のようにマスク対象を検出した後で時間的に遡及して関連部分を辿れるように所定量の動画データをバッファに一時保存しておくという方法があるが、これでは非常に大きな容量のメモリが必要になる。そして、バッファから溢れてしまった画像データについては遡及的に検索することはできず、その部分はプライバシーマスク無しで公開されてしまう恐れもある。
この点、本実施形態では補充マスクの作成にあたって必要になるデータは数値データだけであり、画像情報そのものを保持しておく必要はないのでメモリ容量は極めて小さくてもよい。
また仮に補充マスクを作成するにあたって相当に長い時間を遡らなければならないとしても、座標情報、撮影条件情報を一時的に保持するだけでよいのでメモリ容量が問題になることはない。したがって、十分な量の座標情報および撮影条件情報に基づいて、正確性の高い補充マスクを作成することができる。
例えば、従来技術のようにマスク対象を検出した後で時間的に遡及して関連部分を辿れるように所定量の動画データをバッファに一時保存しておくという方法があるが、これでは非常に大きな容量のメモリが必要になる。そして、バッファから溢れてしまった画像データについては遡及的に検索することはできず、その部分はプライバシーマスク無しで公開されてしまう恐れもある。
この点、本実施形態では補充マスクの作成にあたって必要になるデータは数値データだけであり、画像情報そのものを保持しておく必要はないのでメモリ容量は極めて小さくてもよい。
また仮に補充マスクを作成するにあたって相当に長い時間を遡らなければならないとしても、座標情報、撮影条件情報を一時的に保持するだけでよいのでメモリ容量が問題になることはない。したがって、十分な量の座標情報および撮影条件情報に基づいて、正確性の高い補充マスクを作成することができる。
（４）補充要否判定部２５０を備え、新たに検出されたマスク対象のサイズを所定の閾値と比較して補充マスクの要否を判断する。
単純に、新たにマスク対象が検出されるたびにマスクを補充していると必要のないマスクが入り乱れる恐れがあるが、この点、本実施形態ではマスク対象領域の出現サイズに基づいて補充マスクの必要性を適切に判断することができる。これにより、必要な場合にだけ補充マスクを適切に付加することができる。また、推測部２６４および補充マスク作成部２６５を必要なときだけ起動させるので、消費電力の削減にもなる。
単純に、新たにマスク対象が検出されるたびにマスクを補充していると必要のないマスクが入り乱れる恐れがあるが、この点、本実施形態ではマスク対象領域の出現サイズに基づいて補充マスクの必要性を適切に判断することができる。これにより、必要な場合にだけ補充マスクを適切に付加することができる。また、推測部２６４および補充マスク作成部２６５を必要なときだけ起動させるので、消費電力の削減にもなる。
（第２実施形態）
上記第１実施形態において、撮影条件情報としては、主として、ズーム値を利用する場合を説明した。
撮影条件情報としては、さらに、被写体とカメラとの距離を用いてもよい。
当然のことながら、被写体とカメラとの距離によっても被写体の画像サイズが変わる。
被写体が遠方から徐々にカメラに接近してくれば、図３と同じような動画になる。
また、被写体がカメラに近接した状態から徐々に離れていけば、図４と同じような動画になる。
上記第１実施形態において、撮影条件情報としては、主として、ズーム値を利用する場合を説明した。
撮影条件情報としては、さらに、被写体とカメラとの距離を用いてもよい。
当然のことながら、被写体とカメラとの距離によっても被写体の画像サイズが変わる。
被写体が遠方から徐々にカメラに接近してくれば、図３と同じような動画になる。
また、被写体がカメラに近接した状態から徐々に離れていけば、図４と同じような動画になる。
そこで、撮影条件情報として、カメラから被写体までの距離（被写体距離という）を利用する。
被写体距離は、オートフォーカス用の距離センサーを用いて取得してもよい。距離センサーは光（例えば赤外線）などを被写体に照射し、反射光を受光して被写体との距離を測定するものであり、デジタルカメラなどでも使われている。
光（赤外線）に代えて超音波を使用してもよい。
被写体距離は、オートフォーカス用の距離センサーを用いて取得してもよい。距離センサーは光（例えば赤外線）などを被写体に照射し、反射光を受光して被写体との距離を測定するものであり、デジタルカメラなどでも使われている。
光（赤外線）に代えて超音波を使用してもよい。
第１実施形態中のズーム値を被写体距離に変更する方法を簡潔に説明する。
被写体が遠方から徐々にカメラに接近してくると図３のような動画が撮影されるところ、推測部２６４における推測にあたっては被写体距離に基づいて検出される前のマスク対象の状態を推測する。
例えば、図１３のようなグラフが得られる。
図１３では、時刻ｔ２２でマスク候補の切り出しが始まり（フレームＦ３−２に相当）、時刻ｔ２３でマスク対象として確定した（フレームＦ３−３に相当）ことを表現している。
被写体が遠方から徐々にカメラに接近してくると図３のような動画が撮影されるところ、推測部２６４における推測にあたっては被写体距離に基づいて検出される前のマスク対象の状態を推測する。
例えば、図１３のようなグラフが得られる。
図１３では、時刻ｔ２２でマスク候補の切り出しが始まり（フレームＦ３−２に相当）、時刻ｔ２３でマスク対象として確定した（フレームＦ３−３に相当）ことを表現している。
時刻ｔ２３から時間的に遡れば、時刻ｔ２２から時刻ｔ２３までの間に遠方にいる被写体が映り込んでおり、それがマスク候補として切り出されていたことがわかる。さらに、時刻ｔ３における被写体距離とマスク対象の大きさとを基準にして被写体距離の変化を追う。
これにより、各フレームにおけるマスク対象の大きさがわかる。
被写体が遠方から徐々にカメラに近づいているのであるから、フレームＦ３−２からフレームＦ３−３までの間のフレームに対して、徐々にサイズが拡大していくマスクを作成すればよい。
これにより、各フレームにおけるマスク対象の大きさがわかる。
被写体が遠方から徐々にカメラに近づいているのであるから、フレームＦ３−２からフレームＦ３−３までの間のフレームに対して、徐々にサイズが拡大していくマスクを作成すればよい。
（変形例１）
補充要否判定部２５０における補充要否判定にあたって、出現時のマスク対象のサイズだけではなく、マスク対象が出現したときに過去の撮影条件情報も確認して補充マスクの要否を判定してもよい。
第１実施形態において、例えば、確定したマスク対象領域のサイズが下限閾値以下であり、かつ、それ以前のズーム値がより小さかった場合、補充マスクが必要であると判定する。あるいは、確定したマスク対象領域のサイズが上限閾値以上であり、かつ、それ以前のズーム値がより大きかった場合、補充マスクが必要であると判定する。
補充要否判定部２５０における補充要否判定にあたって、出現時のマスク対象のサイズだけではなく、マスク対象が出現したときに過去の撮影条件情報も確認して補充マスクの要否を判定してもよい。
第１実施形態において、例えば、確定したマスク対象領域のサイズが下限閾値以下であり、かつ、それ以前のズーム値がより小さかった場合、補充マスクが必要であると判定する。あるいは、確定したマスク対象領域のサイズが上限閾値以上であり、かつ、それ以前のズーム値がより大きかった場合、補充マスクが必要であると判定する。
また、第２実施形態の変形例として、上記のズーム値を被写体距離に読み替えることは容易なことであろう。すなわち、確定したマスク対象領域のサイズが下限閾値以下であり、かつ、それ以前の被写体距離がより遠方だった場合、補充マスクが必要であると判定する。あるいは、確定したマスク対象領域のサイズが上限閾値以上であり、かつ、それ以前の被写体距離がより近接であった場合、補充マスクが必要であると判定する。
このような構成にすれば、必要な場合にだけ補充マスクを適切に付加することができる。
（変形例２）
上記実施形態においては、撮影条件情報の取得を、マスク候補の切り出しがあったことをトリガーとして開始する場合を説明した。
変形例２としては、マスク候補の切り出しの有無に関係なく、ズーム値あるいは被写体距離の変化があった場合には常にそれらの情報を取得して補充用データ保持部２６３に格納しておいてもよい。
図３の動画を撮影した場合を例にすると、補充用データ保持部２６３には、図１４に示すように、ズーム値の変化が始まった時刻ｔ１からズーム値が記録されることになる。
ただし、マスク候補の切り出しは時刻ｔ２（フレームＦ３−２）以降になるので、フレームＦ３−１からフレームＦ３−２まではズーム値の変化だけが記録されていくことになる。
上記実施形態においては、撮影条件情報の取得を、マスク候補の切り出しがあったことをトリガーとして開始する場合を説明した。
変形例２としては、マスク候補の切り出しの有無に関係なく、ズーム値あるいは被写体距離の変化があった場合には常にそれらの情報を取得して補充用データ保持部２６３に格納しておいてもよい。
図３の動画を撮影した場合を例にすると、補充用データ保持部２６３には、図１４に示すように、ズーム値の変化が始まった時刻ｔ１からズーム値が記録されることになる。
ただし、マスク候補の切り出しは時刻ｔ２（フレームＦ３−２）以降になるので、フレームＦ３−１からフレームＦ３−２まではズーム値の変化だけが記録されていくことになる。
この図１４のデータを基にしてグラフを作成すると、図１５のようになる。
図１５では、図３の動画を撮影したとして、望遠で撮影していたのを時刻ｔ１でズームアップを開始し（フレームＦ３−１に相当）、時刻ｔ２でマスク候補の切り出しが始まり（フレームＦ３−２に相当）、時刻ｔ３でマスク対象として確定した（フレームＦ３−３に相当）ことを表現している。
図１５では、図３の動画を撮影したとして、望遠で撮影していたのを時刻ｔ１でズームアップを開始し（フレームＦ３−１に相当）、時刻ｔ２でマスク候補の切り出しが始まり（フレームＦ３−２に相当）、時刻ｔ３でマスク対象として確定した（フレームＦ３−３に相当）ことを表現している。
このデータに基づいて、時刻ｔ２（フレームＦ３−２）から時刻ｔ３（フレームＦ３−３）の間で補充マスクを作成するのは前述の通りである。さらに、変形例２においては、時刻ｔ１からズームアップが開始されていることがわかる。したがって、時刻ｔ２から遡って時刻ｔ１までの間にも補充マスクを作成する。
時刻ｔ１（フレームＦ３−１）から時刻ｔ２（フレームＦ３−２）に関しても、ズーム値（撮影条件情報）に基づいて徐々に拡大する補充マスクを作成してもよい。
これは例えば図１６のようになる。
時刻ｔ１（フレームＦ３−１）から時刻ｔ２（フレームＦ３−２）に関しても、ズーム値（撮影条件情報）に基づいて徐々に拡大する補充マスクを作成してもよい。
これは例えば図１６のようになる。
あるいは、時刻ｔ１（フレームＦ３−１）から時刻ｔ２（フレームＦ３−２）に関してはマスク候補の座標およびサイズがわからないので、映っているであろうマスク対象を確実にカバーするように、時刻ｔ２（フレームＦ３−２）に掛けたマスクの大きさおよび位置をそのまま維持するようにしてもよい。
これは例えば図１７のようになる。
これは例えば図１７のようになる。
なお、マスク候補の切り出しに関係なく被写体距離の変化を記録する場合について補足する。
フレーム内に複数の被写体が映っている場合には、被写体ごとに被写体距離を測定し、被写体ごとに被写体距離の変化を記録してもよい。あるいは、画像フレームを複数の領域に区分し（例えば９つの領域に区分し）、距離の変化があった被写体がどの領域に存在しているか、および、その被写体までの距離を記録してもよい。
フレーム内に複数の被写体が映っている場合には、被写体ごとに被写体距離を測定し、被写体ごとに被写体距離の変化を記録してもよい。あるいは、画像フレームを複数の領域に区分し（例えば９つの領域に区分し）、距離の変化があった被写体がどの領域に存在しているか、および、その被写体までの距離を記録してもよい。
なお、本発明は上記実施形態および変形例に限られず、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。
上記実施形態においては、特定人物の顔にプライバシーマスクを掛ける場合を説明したが、逆に、特定人物にはマスクを掛けず、その他のたまたま映ってしまった一般の人の顔にプライバシーマスクを掛けるようにしてもよいことはもちろんである。
この場合、被写体が、「人の顔ではあるが特定人物の顔ではない」ということを閾値判定で判断すればよいのであり、このような判定のためにマスク対象参照リストや類似判定部を改変することは当業者には明らかであろう。
上記実施形態においては、特定人物の顔にプライバシーマスクを掛ける場合を説明したが、逆に、特定人物にはマスクを掛けず、その他のたまたま映ってしまった一般の人の顔にプライバシーマスクを掛けるようにしてもよいことはもちろんである。
この場合、被写体が、「人の顔ではあるが特定人物の顔ではない」ということを閾値判定で判断すればよいのであり、このような判定のためにマスク対象参照リストや類似判定部を改変することは当業者には明らかであろう。
「肌色」というのは人種によって異なるのであるから、マスク対象の人種を考慮して解釈されるべきである。例えば、ビデオカメラが使用される国がアジア圏であれば、肌色とは例えばモンゴロイドの肌の色、すなわち、淡黄色を意味する。被写体がコーカソイドやニグロイドであれば当然ながら肌色は白色であったり黄褐色であったりする。
上記実施形態では撮影が終了した後でマスク処理部を起動してマスク処理を行う例を説明したが、撮影しながら並行してマスク処理を実行してもよい。
尚、ビデオカメラには手ブレ防止機能等のために加速度センサーや角速度センサーを搭載している場合も多く、それらのセンサーによる検出値を撮影条件情報に加えてもよい。
例えばズーム中にビデオカメラがぶれてマスク対象の位置がぶれる場合は、マスクのサイズに余裕を持たせてもよい。
例えばズーム中にビデオカメラがぶれてマスク対象の位置がぶれる場合は、マスクのサイズに余裕を持たせてもよい。
ＣＰＵやメモリを配置してコンピュータとして機能できるように構成し、このメモリに所定の制御プログラムをインターネット等の通信手段や、ＣＤ−ＲＯＭ、メモリカード等の記録媒体を介してインストールし、このインストールされたプログラムでＣＰＵ等を動作させて、上記実施形態で説明した各機能部としての機能を実現してもよい。
１００・・・ビデオカメラ、１１０・・・撮像部、１１１・・・ビデオカメラの制御回路、１１２・・・光学系、１２０・・・動画メモリ、２００・・・マスク処理部、２１０・・・データ入力部、２２０・・・マスク候補取得部、２２１・・・切出参照リスト格納部、２２２・・・マスク候補切出部、２３０・・・マスク対象決定部、２３１・・・特徴量算出部、２３２・・・マスク対象参照リスト格納部、２３３・・・類似度算出部、２３４・・・類似判定部、２４０・・・マスクフラグ付与部、２５０・・・補充要否判定部、２５１・・・サイズ判定部、２６０・・・マスク補充部、２６１・・・座標情報取得部、２６２・・・撮影条件情報取得部、２６３・・・補充用データ保持部、２６４・・・推測部、２６５・・・補充マスク作成部、２７０・・・メタファイル作成部、２８０・・・マスク付加部、２９０・・・データ出力部、９００・・・動画像データ記録再生システム、９１０・・・パソコン、９２０・・・インターネット、９３０・・・サーバ。
Claims (10)
- 動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理装置であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部と、
最新の前記マスク候補領域を予め登録されたマスク対象参照リストと対比して両者の類似度を算出し、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象が存在するマスク対象領域として確定させる類似判定部と、
前記類似判定部によって確定されたマスク対象領域を含む画像フレームよりも時間的に前の撮影条件情報を追跡することにより、前記類似判定部によって確定された前記マスク対象領域を含む画像フレームよりも時間的に前の画像フレームにおいて前記マスク対象が存在していた領域を推測し、その推測で求めた領域を補充マスク対象領域として、その補充マスク対象領域に付加する補充マスクを作成するマスク補充部と、
前記類似判定部によって確定されたマスク対象領域にマスクを付加すると共に前記マスク補充部で推測された前記補充マスク対象領域に対して補充マスクを付加するマスク付加部と、を備える
ことを特徴とする画像処理装置。 - 前記撮影条件情報は、ズーム値である
ことを特徴とする請求項１に記載の画像処理装置。 - 前記撮影条件情報は、被写体距離である
ことを特徴とする請求項１または請求項２に記載の画像処理装置。 - 前記マスク補充部は、
前記撮影条件情報を取得する撮影条件取得部と、
前記類似判定部によって確定されたマスク対象領域の大きさと、その確定されたマスク対象領域を含む画像フレームを撮影したときの撮影条件情報を基準にして、前記補充マスク対象領域の大きさを推測する推測部と、
前記推測部による推測で求められた大きさに基づいて補充マスクを作成する補充マスク作成部と、を備える
ことを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。 - 前記マスク補充部は、
さらに、前記マスク候補切出部にて切り出されたマスク候補領域の座標情報を取得する座標情報取得部を備え、
前記推測部は、さらに、前記座標情報に基づいて、前記補充マスク対象領域の位置を推測する
ことを特徴とする請求項４に記載の画像処理装置。 - 前記撮影条件取得部は、撮影条件が変化したことをトリガとして前記撮影条件情報を取得する
ことを特徴とする請求項４に記載の画像処理装置。 - 前記撮影条件取得部は、前記座標情報取得部が座標情報を取得したことをトリガとして前記撮影条件情報を取得する
ことを特徴とする請求項５に記載の画像処理装置。 - さらに、確定したマスク対象領域のサイズを所定閾値と対比することによって補充マスクが必要かどうかを判定する補充要否判定部を備える
ことを特徴とする請求項１から請求項７のいずれかに記載の画像処理装置。 - 動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理方法であって、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出工程と、
最新の前記マスク候補領域を予め登録されたマスク対象参照リストと対比して両者の類似度を算出し、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象が存在するマスク対象領域として確定させる類似判定工程と、
前記類似判定工程による判定によって確定されたマスク対象領域を含む画像フレームよりも時間的に前の撮影条件情報を追跡することにより、前記類似判定工程によって確定された前記マスク対象領域を含む画像フレームよりも時間的に前の画像フレームにおいて前記マスク対象が存在していた領域を推測し、その推測で求めた領域を補充マスク対象領域として、その補充マスク対象領域に付加する補充マスクを作成するマスク補充工程と、
前記類似判定工程によって確定されたマスク対象領域にマスクを付加すると共に前記マスク補充工程で推測された前記補充マスク対象領域に対して補充マスクを付加するマスク付加工程と、を備える
ことを特徴とする画像処理方法。 - 動画データからマスク処理すべき画像領域を検索してそれらにマスクを付加する画像処理装置に組み込んだコンピュータを、
予め登録された切出参照リストに基づいて、前記動画データの画像フレームのなかからマスク対象になり得る領域をマスク候補領域として切り出すマスク候補切出部と、
最新の前記マスク候補領域を予め登録されたマスク対象参照リストと対比して両者の類似度を算出し、前記類似度が所定閾値以上である場合にはそのマスク候補領域をマスク対象が存在するマスク対象領域として確定させる類似判定部と、
前記類似判定部によって確定されたマスク対象領域を含む画像フレームよりも時間的に前の撮影条件情報を追跡することにより、前記類似判定部によって確定された前記マスク対象領域を含む画像フレームよりも時間的に前の画像フレームにおいて前記マスク対象が存在していた領域を推測し、その推測で求めた領域を補充マスク対象領域として、その補充マスク対象領域に付加する補充マスクを作成するマスク補充部と、
前記類似判定部によって確定されたマスク対象領域にマスクを付加すると共に前記マスク補充部で推測された前記補充マスク対象領域に対して補充マスクを付加するマスク付加部として機能させる画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012019141A JP5825121B2 (ja) | 2012-01-31 | 2012-01-31 | 画像処理装置、画像処理方法、画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012019141A JP5825121B2 (ja) | 2012-01-31 | 2012-01-31 | 画像処理装置、画像処理方法、画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013157946A JP2013157946A (ja) | 2013-08-15 |
| JP5825121B2 true JP5825121B2 (ja) | 2015-12-02 |
Family
ID=49052703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012019141A Active JP5825121B2 (ja) | 2012-01-31 | 2012-01-31 | 画像処理装置、画像処理方法、画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5825121B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9516412B2 (en) | 2014-03-28 | 2016-12-06 | Panasonic Intellectual Property Management Co., Ltd. | Directivity control apparatus, directivity control method, storage medium and directivity control system |
| WO2015151131A1 (ja) * | 2014-03-31 | 2015-10-08 | パナソニックＩｐマネジメント株式会社 | 指向性制御装置、指向性制御方法、記憶媒体及び指向性制御システム |
| WO2015166711A1 (ja) * | 2014-05-02 | 2015-11-05 | 富士フイルム株式会社 | 測距装置、測距方法、及び測距プログラム |
| JP7071086B2 (ja) * | 2017-10-13 | 2022-05-18 | キヤノン株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
| JP7070082B2 (ja) | 2018-05-18 | 2022-05-18 | 株式会社デンソー | 車載カメラ |
| JP6796294B2 (ja) * | 2019-04-10 | 2020-12-09 | 昌樹 加藤 | 監視カメラ |
| JP6795058B2 (ja) * | 2019-06-20 | 2020-12-02 | 株式会社ニコン | 撮像装置 |
| CN113066092B (zh) * | 2021-03-30 | 2024-08-27 | 联想(北京)有限公司 | 视频对象分割方法、装置及计算机设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4378785B2 (ja) * | 1999-03-19 | 2009-12-09 | コニカミノルタホールディングス株式会社 | 画像処理機能を備えた画像入力装置 |
| JP2001086407A (ja) * | 1999-09-17 | 2001-03-30 | Matsushita Electric Ind Co Ltd | モザイク機能付きの撮像装置およびモザイク処理装置 |
| EP2157781B1 (en) * | 2007-06-22 | 2013-08-07 | Panasonic Corporation | Camera device and imaging method |
| JP4650579B2 (ja) * | 2009-03-30 | 2011-03-16 | 日本ビクター株式会社 | ビデオデータ記録装置、ビデオデータ再生装置、およびビデオデータ記録方法、ビデオデータ再生方法 |
-
2012
- 2012-01-31 JP JP2012019141A patent/JP5825121B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013157946A (ja) | 2013-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5825121B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
| JP4640456B2 (ja) | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム | |
| JP5056061B2 (ja) | 撮像装置 | |
| JP4553346B2 (ja) | 焦点調節装置及び焦点調節方法 | |
| US9185285B2 (en) | Method and apparatus for acquiring pre-captured picture of an object to be captured and a captured position of the same | |
| JP4432886B2 (ja) | 電子カメラ | |
| WO2007060980A1 (ja) | 電子カメラおよび画像処理装置 | |
| JP2008141437A (ja) | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム | |
| JP2007281760A (ja) | 電子カメラ | |
| US20140368695A1 (en) | Control device and storage medium | |
| JP2007329602A (ja) | 撮像装置、撮影方法、および撮影プログラム | |
| JP2011082966A (ja) | 撮像装置 | |
| JP2007148691A (ja) | 画像処理装置 | |
| JP2014050022A (ja) | 画像処理装置、撮像装置、およびプログラム | |
| JP2007150604A (ja) | 電子カメラ | |
| JP5712898B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
| JP4885792B2 (ja) | ガイド装置及びガイド方法 | |
| US20140285649A1 (en) | Image acquisition apparatus that stops acquisition of images | |
| JP5810948B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
| JP2010178259A (ja) | デジタルカメラ | |
| JP2010081528A (ja) | 画像処理装置、方法およびプログラム | |
| JP5268671B2 (ja) | 画像記録装置 | |
| JP5096610B2 (ja) | ガイド装置およびガイド方法 | |
| JP5267136B2 (ja) | 電子カメラ | |
| JP5540051B2 (ja) | ガイド装置付きカメラおよびガイド付き撮影方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140731 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150416 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150421 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150611 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150915 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150928 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5825121 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |