JP7548769B2 - 画像処理装置および画像処理方法 - Google Patents

Description

開示の実施形態は、画像処理装置および画像処理方法に関する。

従来、カメラで撮影した撮影画像に映る被写体のプライバシーを保護する技術が知られる。例えば、特許文献１には、画像取得部と、人数・人流推定部と、プライバシーレベル設定部と、画像加工部と、を備える画像処理装置が開示されている。

特許文献１の画像処理装置において、画像取得部は画像を取得する。人数・人流推定部は、画像取得部にて取得された画像を入力として、その画像に含まれる群衆の頭部位置に対応した密度分布と当該密度分布に基づく群衆を構成する人数とを推定する。プライバシーレベル設定部は、複数の被写体のプライバシーを保護するために行う画像加工の度合いを表すプライバシーレベルを設定する。画像加工部は、画像取得部により取得された画像を入力として、人数・人流推定部による推定の結果を基に、プライバシーレベルに応じた加工処理を行う。特許文献１の画像処理装置によれば、人数・人流推定部による推定の結果が用いられるために、混雑状況化でも頭部の検出漏れが少なく、被写体の秘匿化処理を適切に行うことができる。

特開２０１９－０７１０５０号公報

しかしながら、従来技術には、撮影画像に対して行われる個人情報の保護のための秘匿化を適切に行ううえで、さらなる改善の余地がある。

具体的には、上述した従来技術は、機械学習によって得た学習モデルを用いて画像から人等の被写体を認識するが、その認識確率、言い換えれば検知の確かさの度合いを示す検知確度は、例えば画像に混じるノイズの影響等により、時系列上、瞬間的あるいは断続的に低下することがある。

すると、検知確度の低い被写体は、秘匿化の対象ではないと判定され、瞬間的あるいは断続的とは言え、秘匿化が行われずにプライバシーが保護されないおそれがある。

実施形態の一態様は、上記に鑑みてなされたものであって、撮影画像に対して行われる個人情報の保護のための秘匿化を適切に行うことができる技術を提供することを目的とする。

実施形態の一態様に係る画像処理装置は、取得した撮影画像から、個人情報を保護する秘匿化が必要な特定部位を含む物体または前記特定部位を検知し、検知した前記撮影画像の前記物体または前記特定部位に対する検知確度が小さいほど、前記撮影画像における秘匿化を行う秘匿化範囲が大きくなるように秘匿化処理を実行する。

実施形態の一態様によれば、撮影画像に対して行われる個人情報の保護のための秘匿化を適切に行うことができる。

図１は、実施形態に係る個人情報保護システムの構成を示す図である。 図２は、実施形態に係る個人情報保護システムの動作例を示す図（その１）である。 図３は、実施形態に係る個人情報保護システムの動作例を示す図（その２）である。 図４は、実施形態に係る個人情報保護システムの動作例を示す図（その３）である。 図５は、実施形態に係る画像処理方法の概要説明図（その１）である。 図６は、実施形態に係る画像処理方法の概要説明図（その２）である。 図７は、実施形態に係る画像処理方法の概要説明図（その３）である。 図８は、実施形態に係る画像処理装置の構成を示す図である。 図９は、実施形態に係る秘匿化処理の処理説明図である。 図１０は、第１変形例に係る秘匿化処理の処理説明図である。 図１１は、実施形態に係る画像処理装置の動作例を示すフローチャートである。 図１２は、第２変形例に係る画像処理装置の動作例を示すフローチャートである。

以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

＜１．個人情報保護システム＞
図１は、実施形態に係る個人情報保護システムＳの構成を示す図である。個人情報保護システムＳは、車両用装置１００と、データ収集装置２００とを備える。

車両用装置１００は、車両に搭載して使用される端末装置である。車両は、例えば、自動車、オートバイ、電車、無人搬送車等の車輪を有する乗り物である。車両には、カメラを含む各種のセンサが搭載される。車両用装置１００は、各種のセンサから各種のデータを取得する。各種のデータには、カメラで撮影された撮影画像の他に、例えば、車両の速度、車両の位置、車両の特定位置の通過時間等が含まれてよい。

なお、車両用装置１００は、例えば、ドライブレコーダやナビゲーション装置によって兼用されてよい。ただし、車両用装置１００は、ドライブレコーダやナビゲーション装置とは別の装置であってもよい。また、車両用装置１００は、車載装置であってもよいし、車両の乗員が持ち運ぶことができる携帯端末であってもよい。車両用装置１００が携帯端末である場合、車両用装置１００は、例えばスマートフォンやタブレット等であってよい。

データ収集装置２００は、例えばインターネットや携帯電話回線網などのネットワーク（不図示）を介して車両用装置１００と通信可能に設けられる。データ収集装置２００は、例えば、ネットワークを介したクラウドサービスを提供するクラウドサーバとして構成される。データ収集装置２００は、データ利用者（不図示）からデータの収集要求を受け付けるとともに、受け付けた収集要求に基づいて車両用装置１００から収集したデータをデータ利用者に提供する。なお、データ収集装置２００は、通常、複数台の車両用装置１００と通信可能に設けられ、各車両用装置１００からデータを収集する。

図１に示すように、車両用装置１００は、個人情報保護処理部１０１を備える。個人情報保護処理部１０１は、車両に搭載される各種のセンサから得られたデータに含まれる個人情報について、個人を特定することができない状態とする保護処理を行う。車両用装置１００は、各種のデータについて、適宜、個人情報を保護する保護処理を行ってデータ収集装置２００に送信する。

なお、個人情報は、原則として、特定の個人を特定できる情報のことであるが、本明細書において、個人情報はプライバシーと同義で用いられてよい。個人情報には、例えば、カメラによって撮影された撮影画像に含まれる人の顔、車のナンバープレート、車両が通過した場所を特定できる地点名標識等が含まれる。また、個人情報には、撮影画像に含まれる情報に限らず、車両識別番号（ＶＩＮ：Vehicle Identification Number）や、各種の時間等が含まれてよい。個人情報には、車両用装置１００が搭載される車両の乗員に関する個人情報と、車両用装置１００が搭載される車両外に存在する人に関する個人情報との両方、又は、いずれか一方だけが含まれてよい。

個人情報保護処理部１０１による個人情報の保護方法としては、例えば、撮影画像の解像度を低下させる処理、撮影画像の全体又は一部を暗号化する処理、文字や数字データを暗号化する処理、撮影画像内の不要な情報（個人情報を含む）を全てマスクする処理といった「秘匿化処理」が挙げられる。なお、暗号化を行う場合は、データ収集装置２００側において復号化を行える構成であることが好ましい。

本実施形態では、個人情報保護処理部１０１は、取得した撮影画像について、車両用装置１００に含まれる後述の画像処理装置５（図８参照）により個人情報を保護する保護処理を行う。個人情報保護処理部１０１は、車両識別番号等の撮影画像以外から検出された個人情報については、暗号化手段によって暗号化を行う。車両用装置１００は、個人情報保護処理部１０１によって保護処理を行ったデータについて、送信部１０２を介してデータ収集装置２００に送信する。

図１に示すように、データ収集装置２００は、個人情報管理部２０１を備える。個人情報管理部２０１は、車両用装置１００の送信部１０２からデータを受信する受信部２０２を介して各種のデータを取得し、当該各種のデータの個人情報を管理する。個人情報管理部２０１は、取得したデータを個人が特定されないように加工して記憶部２０３に記憶させる。記憶部２０３に記憶されたデータは、上述のデータ利用者によって利用される。

なお、本実施形態では、車両用装置１００において個人情報を保護する保護処理が行われるが、これに限定されず、データ収集装置２００側にて個人情報を保護する保護処理が行われてもよい。この場合には、後述の画像処理装置５は、データ収集装置２００側に含まれる。ただし、個人情報を保護する処理を行う画像処理装置５は、サーバとして構成されるデータ収集装置２００ではなく、データを送信する車両用装置１００側に含まれることが好ましい。また、データ収集装置２００にデータを送信する装置は、車両用装置１００ではなく、例えば監視カメラを備える商業施設、駅、駐車場等に設置される端末装置等であってよい。

ところで、図１では図示していないが、車両用装置１００がデータ収集装置２００へ送信するデータには、タグデータと実データとが含まれる。

かかる点を含めた補足事項として、個人情報保護システムＳにおいてデータ利用者へデータが提供されるまでの一連の流れについて、図２～図４を用いて具体的に説明しておく。図２は、実施形態に係る個人情報保護システムＳの動作例を示す図（その１）である。また、図３は、実施形態に係る個人情報保護システムＳの動作例を示す図（その２）である。また、図４は、実施形態に係る個人情報保護システムＳの動作例を示す図（その３）である。

図２に示すように、まずデータ利用者は、データ収集装置２００と接続された利用者端末３００により収集条件を指定する。

また、この際に、データ収集装置２００は、収集することとなる実データＲに付加され、かかる実データＲの検索や概要把握、選択等に用いられるインデックスデータとしての特性を有するタグデータＴを生成するための生成用データを生成する。なお、かかるタグデータＴの生成用データは、利用者端末３００あるいはデータ収集装置２００に記憶されたプログラムや生成用データを用いつつ、データ利用者の操作に基づいて生成される。

そして、指定された収集条件や、生成されたタグデータＴの生成用データは、データ収集装置２００に記憶されるとともに、データ収集の対象となる車両へ配信されて、車両用装置１００にも記憶される。

次に、各車両用装置１００は、各種のセンサの出力データを監視し、記憶している収集条件を満たすイベントが発生した場合に、その実データＲを記憶デバイスに記憶する。また、各車両用装置１００は、記憶しているタグデータＴの生成用データと実データＲとに基づき、当該実データＲに対応するタグデータＴを生成して記憶する。

なお、タグデータＴは、実データＲの一部を単純に抜粋したようなデータではなく、データ利用者が参照したときに実データＲの概要を把握し、実データＲの要否を判断できる程度にメタ情報化されていることが好ましい。

そして、各車両用装置１００は、タグデータＴをデータ収集装置２００に随時アップロードし、データ収集装置２００はそのタグデータＴを随時記憶する。なお、このとき、実データＲは、データ収集装置２００へはアップロードされない。また、ここに言う「随時」とは、リアルタイムに（すなわち、「即時に」）の意味のほか、通信環境が整った場合にまとめてアップロードするといった、ある程度リアルタイム性を持った場合を広く含む。通信環境が整った場合に限らず、所定のデータ容量が蓄積された場合や、前回のアップロードから所定時間が経過した、あるいは、所定距離を走行した場合などを含んでもよい。また、「周期的に」の意味を含んでもよい。

そして、データ利用者が、利用者端末３００により、データ収集状況の確認や実データＲの収集のためにデータ収集装置２００と接続すると、データ収集装置２００により収集されたタグデータＴに基づくメタ情報が利用者端末３００に表示される。あわせて、各タグデータＴに対応する実データＲを選択する操作を行うためのＵＩ（User Interface）画面が表示される。

そして、図３に示すように、データ利用者が、利用者端末３００により、収集したい実データＲに対応するタグデータＴを指定すると、データ収集装置２００を介して該当の車両用装置１００へ実データＲを指定する「指示データ」が送信される。

その後、図４に示すように、指定された実データＲが選択されて、各車両用装置１００からデータ収集装置２００へアップロードされ、データ収集装置２００に記憶される。そして、データ利用者が、利用者端末３００により、データ収集装置２００に記憶された実データＲにアクセスして、かかる実データＲの閲覧やダウンロードなどを行う。暗号化された個人情報については、かかる際に復号化される。

なお、車両用装置１００のストレージ容量の観点からは、データ収集装置２００にアップロードされた実データＲおよびこれに対応するタグデータＴは、データ収集装置２００へのアップロード完了後に車両用装置１００から削除されることが好ましい。

＜２．実施形態に係る画像処理方法の概要＞
次に、実施形態に係る画像処理方法について、図５～図７を用いて説明する。図５は、実施形態に係る画像処理方法の概要説明図（その１）である。また、図６は、実施形態に係る画像処理方法の概要説明図（その２）である。また、図７は、実施形態に係る画像処理方法の概要説明図（その３）である。

実施形態に係る画像処理方法では、取得した撮影画像から、個人情報を保護する秘匿化が必要な特定部位を含む物体または上記特定部位の検知を試み、その検知結果に基づき、上記撮影画像の上記物体または上記特定部位に対して上記秘匿化を行う秘匿化処理を実行する。また、検知された上記物体または上記特定部位の検知確度が小さいほど上記秘匿化を行う秘匿化範囲が大きくなるように上記秘匿化処理を実行する。

具体的には、図５に示すように、実施形態に係る画像処理方法では、個人情報保護システムＳに含まれる画像処理装置５が、取得した撮影画像Ｐから、個人情報を保護する秘匿化が必要な特定部位を含む物体またはかかる特定部位の検知を試みる。

かかる検知は、例えば機械学習により得られる学習済みモデル５３１（図８参照）を用いて行われる。学習済みモデル５３１は、入力される撮影画像Ｐに所定の物体、および、かかる物体の特定部位が含まれる場合に、かかる物体または特定部位に対応する範囲を検知範囲として出力する。また、学習済みモデル５３１は、検知の確かさの度合いを示す検知確度（以下、単に「確度」と記載する場合がある）をあわせて出力する。

そして、画像処理装置５は、その検知結果に基づき、撮影画像Ｐの物体または特定部位に対して「秘匿化処理」を実行する。「秘匿化処理」は、既に述べたが、例えば、撮影画像Ｐの解像度を低下させる処理、撮影画像Ｐの全体又は一部を暗号化する処理、文字や数字データを暗号化する処理、撮影画像Ｐ内の不要な情報（個人情報を含む）を全てマスクする処理等である。

例えば、図５には、バウンディングボックスＢを検知範囲として、撮影画像Ｐにおいて車両ＶのナンバープレートＮが検知され、バウンディングボックスＢ内をモザイク処理によって暗号化する秘匿化処理が実行された例を示している。

ところで、こうした秘匿化処理は、図６に示すように、時系列に沿って連続的に取得される撮影画像Ｐに対し、順次実行される。ここで、図６に示すように、過去の撮影画像Ｐ_ｔ－１，Ｐ_ｔ－２…では、前述のバウンディングボックスＢに対応する検知範囲の確度が１００％であったのに対し、直近の撮影画像Ｐ_ｔでは２０％と、確度が低下したものとする。

かかる事象は、例えば画像に混じるノイズの影響等により起こりうる。そして、このように確度が低下した場合、所定の物体または特定部位の検知範囲にズレが生じる。また、そのズレの大きさは、確度が低いほど大きくなる。

そこで、実施形態に係る画像処理方法では、画像処理装置５は、検知された物体または特定部位の確度が時系列上の直近の撮影画像Ｐ_ｔ、言い換えれば今回の撮影画像Ｐ_ｔにおいて低下した場合に、かかる確度が小さいほど秘匿化を行う秘匿化範囲が大きくなるように秘匿化処理を実行するようにした。

具体的には、図６および図７に示すように、実施形態に係る画像処理方法では、画像処理装置５は、過去の撮影画像Ｐ_ｔ－１，Ｐ_ｔ－２…に対し、直近の撮影画像Ｐ_ｔにおいて確度が低下した場合に、かかる直近の撮影画像Ｐ_ｔにおける確度に応じ、検知範囲であるバウンディングボックスＢより大きくなるように秘匿化範囲を拡大し、直近の撮影画像Ｐ_ｔに対し秘匿化処理を実行する。図７には、バウンディングボックスＢの四方に秘匿化範囲を拡大する例を示している。

なお、確度と対応する秘匿化範囲の関係に方向性がある場合には、秘匿化範囲の拡大処理において拡大率に方向性を持たせる（例えば、縦・横方向の拡大率に各々別の係数を乗じる）ことは好ましい処理となる。

これにより、過剰に秘匿化してしまうことを防止しつつ、個人情報を漏れなく秘匿化することができる。すなわち、実施形態に係る画像処理方法によれば、撮影画像Ｐに対して行われる個人情報の保護のための秘匿化を適切に行うことができる。

以下、実施形態に係る画像処理装置５の構成例について、より具体的に説明する。なお、以下では、直近の撮影画像Ｐ_ｔを適宜「今回の撮影画像Ｐ_ｔ」と記載する場合がある。また、これに伴い、直近の撮影画像Ｐ_ｔにおける確度を適宜「今回の確度」と記載する場合がある。

＜３．画像処理装置＞
［３－１－１．画像処理装置の構成］
図８は、実施形態に係る画像処理装置５の構成を示す図である。なお、図８においては、画像処理装置５の特徴を説明するために必要な構成要素のみが示されており、一般的な構成要素についての記載は省略されている。また、図８には、理解を容易とするために画像処理装置５とは別の構成要素であるカメラ６も示されている。図８に示すように、画像処理装置５は、取得部５１と、制御部５２と、記憶部５３と、を備える。

取得部５１は、撮影画像Ｐを取得する。本実施形態では、取得部５１は、車両に搭載されるカメラ６からアナログ又はデジタルの撮影画像Ｐを所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。取得部５１によって取得される撮影画像Ｐの集合体がカメラ６で撮影された動画像である。取得した撮影画像Ｐがアナログの場合には、取得部５１は、そのアナログの撮影画像Ｐをデジタルデータに変換（Ａ／Ｄ変換）する。取得部５１は、取得した撮影画像Ｐ（Ａ／Ｄ変換が行われた場合は変換後の画像）を制御部５２に出力する。

なお、カメラ６は、例えば車両の前方や後方等、車両の周囲を監視するカメラである。ただし、カメラ６は、例えば、車両の室内を撮影するカメラであってもよい。

制御部５２は、画像処理装置５の全体を統括的に制御するコントローラである。制御部５２は、例えば、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、および、ＲＯＭ（Read Only Memory）等を含むコンピュータとして構成される。

記憶部５３は、例えば、ＲＡＭやフラッシュメモリ等の半導体メモリ素子、ハードディスク、或いは、光ディスク等の可搬型の記録媒体を用いる記憶装置等で構成される。記憶部５３は、ファームウェアとしてのプログラムや各種のデータを記憶する。本実施形態では、記憶部５３は、物体の検知を可能とする学習済みモデル５３１を記憶する。学習済みモデル５３１は、例えばディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）等の機械学習のアルゴリズムにより学習を行うことで得られる。学習済みモデル５３１は、例えば教師あり学習により得られてよい。

図８に示す、検知部５２１および秘匿化部５２２は、制御部５２のＣＰＵが記憶部５３に記憶されるプログラムに従って演算処理を実行することにより実現される制御部５２の機能である。換言すると、画像処理装置５は、検知部５２１と、秘匿化部５２２と、を備える。

なお、制御部５２の検知部５２１および秘匿化部５２２の少なくともいずれか１つは、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェアで構成されてもよい。また、検知部５２１および秘匿化部５２２は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてよい。また、取得部５１は、制御部５２のＣＰＵがプログラムに従って演算処理を行うことによって実現される構成としてもよい。また、画像処理装置５の具体的なハードウェア構成に関して、実施の形態に応じて、適宜、構成要素の省略、置換、又は、追加を行ってよい。例えば、制御部５２は、複数のハードウェアプロセッサを含んでもよい。

検知部５２１は、取得した撮影画像Ｐから、個人情報を保護する秘匿化が必要な特定部位を含む物体および前述の特定部位を検知可能に設けられる。本実施形態では、検知部５２１は、記憶部５３に記憶される学習済みモデル５３１を用いて、秘匿化が必要な特定部位を含む所定の物体、または、所定の物体の特定部位を、撮影画像Ｐから検知する。検知部５２１は、取得部５１から取得した撮影画像Ｐの解像度を低下させた低解像度画像を用いて、学習済みモデル５３１による物体検知を行うことが好ましい。なお、解像度の低下度は、学習済みモデル５３１による物体検知精度が必要とする精度以下に低下しないように設定する必要がある。これにより、検知部５２１における物体検知処理の処理負担を低減することができる。

所定の物体としては、例えば、人、自動車等の車両、および、信号機の近傍等に設けられる場所を特定する地点名標識等が挙げられる。特定部位は、特定の個人を特定したり、個人のプライバシーを推定したりすることを可能とする部位である。所定の物体が人である場合、特定部位は例えば顔である。所定の物体が車両である場合、特定部位は例えばナンバープレートである。所定の物体が地点名標識である場合、特定部位は例えば標識の文字部分である。なお、所定の物体に、複数の特定部位が含まれてもよい。また、所定の物体には、複数種類の物体が含まれてよい。また、所定の物体そのものが、特定の部位であってもよい。検知部５２１に検知可能に設けられる所定の物体には、人および車両のうち、少なくとも一方が含まれることが好ましい。

学習済みモデル５３１は、ＤＮＮを用いて物体および特定部位を検知する構成が好ましい。ただし、学習済みモデル５３１は、例えば、ＨＯＧ（Histogram Of Gradient）特徴量を利用したＳＶＭ（Support Vector Machine）等の他の機械学習のアルゴリズムにより物体および特定部位を検知する構成であってもよい。また、検知部５２１は、機械学習を行った学習済みモデル５３１を使用することなく、例えば、テンプレートマッチング等を用いて物体および特定部位を検知する構成であってもよい。

秘匿化部５２２は、検知部５２１の検知結果に基づき、撮影画像Ｐの物体または特定部位に対して秘匿化を行う秘匿化処理を実行する。また、秘匿化部５２２は、検知部５２１によって検知された物体または特定部位の確度が今回の撮影画像Ｐ_ｔにおいて低下した場合に、かかる確度が小さいほど秘匿化を行う秘匿化範囲が大きくなるように秘匿化処理を実行する。

また、秘匿化部５２２は、今回の撮影画像Ｐ_ｔにおける確度が所定の第１閾値より小さい場合に、今回の撮影画像Ｐ_ｔよりも過去の撮影画像Ｐ_ｔ－１，Ｐ_ｔ－２…における確度が第１閾値よりも大きい第２閾値以上であるならば、今回の撮影画像Ｐ_ｔにおいて確度が低下したと判定する。

また、秘匿化部５２２は、連続的に過去の撮影画像Ｐ_ｔ－１，Ｐ_ｔ－２…における確度が第２閾値以上であるならば、今回の撮影画像Ｐ_ｔにおいて確度が低下したと判定する。

ここで、図９は、実施形態に係る秘匿化処理の処理説明図である。具体的に、図９に示すように、秘匿化部５２２は、例えば第１閾値を５０％として設定する。また、秘匿化部５２２は、例えば第２閾値を９０％として設定する。

そして、秘匿化部５２２は、今回の撮影画像Ｐ_ｔにおける確度が５０％より小さい場合に、今回の撮影画像Ｐ_ｔよりも過去の撮影画像Ｐ_ｔ－１，Ｐ_ｔ－２…における確度が９０％以上であるならば、今回の撮影画像Ｐ_ｔにおいて確度が低下したと判定する。

なお、過去の撮影画像Ｐ_ｔ－１，Ｐ_ｔ－２…における確度は、今回の撮影画像Ｐ_ｔの直前の過去の撮影画像Ｐ_ｔ－１の確度であってもよいし、連続的な過去の撮影画像Ｐ_ｔ－１，Ｐ_ｔ－２…の確度であってもよい。また、過去の撮影画像Ｐ_ｔ－１，Ｐ_ｔ－２…の確度の統計量（例えば、平均）等であってもよい。

また、図９に示すように、秘匿化部５２２は、今回の撮影画像Ｐ_ｔにおいて確度が低下したと判定した場合に、今回の撮影画像Ｐ_ｔにおける確度に応じて、検知範囲に対し大きくなるように秘匿化範囲を拡大し、秘匿化処理を実行する。

図９の例では、秘匿化部５２２は、例えば今回の撮影画像Ｐ_ｔにおける確度が５０％より小さいほど秘匿化範囲が検知範囲の１倍以上となり、確度＝０％で２倍の大きさとなるように秘匿化範囲を拡大し、秘匿化処理を実行する。これにより、過剰に秘匿化してしまうことを防止しつつ、個人情報を漏れなく秘匿化することが可能となる。

なお、秘匿化部５２２は、検知部５２１によって検知された物体または特定部位の動きベクトルに応じて秘匿化範囲が大きくなるように秘匿化処理を実行してもよい。かかる変形例である第１変形例について、図１０を用いて説明する。図１０は、第１変形例に係る秘匿化処理の処理説明図である。

秘匿化部５２２は、過去の撮影画像Ｐ_ｔ－１，Ｐ_ｔ－２…における検知範囲の時系列的な推移に基づいて検知範囲の動きベクトルを算出することができる。ここで、図１０に示すように、秘匿化部５２２が、検知範囲であるバウンディングボックスＢの動きベクトルとして、ベクトルｖ１を得たものとする。

かかる場合に、秘匿化部５２２は、図１０に示すように、ベクトルｖ１に沿って秘匿化範囲を拡大することができる。これにより、時系列上、変化する検知範囲の動きに応じつつ、秘匿化が必要な検知範囲を漏れなく秘匿化することができる。

［３－１－２．画像処理装置の動作例］
次に、実施形態に係る画像処理装置５の動作例について、図１１を用いて説明する。図１１は、実施形態に係る画像処理装置５の動作例を示すフローチャートである。

図１１に示すように、まず取得部５１が、今回の撮影画像Ｐ_ｔを取得する（ステップＳ１０１）。そして、検知部５２１が、今回の撮影画像Ｐ_ｔに対し、学習済みモデル５３１を用いて物体検知処理を実行する（ステップＳ１０２）。

そして、秘匿化部５２２が、検知部５２１によって所定の物体または特定部位が検知されたか否かを判定する（ステップＳ１０３）。ここで、所定の物体または特定部位が検知された場合（ステップＳ１０３，Ｙｅｓ）、秘匿化部５２２は、かかる物体または特定部位の検知範囲が秘匿化対象であるか否かを判定する（ステップＳ１０４）。

ここで、検知範囲が秘匿化対象である場合（ステップＳ１０４，Ｙｅｓ）、秘匿化部５２２は、学習済みモデル５３１が出力した今回の確度を取得する（ステップＳ１０５）。そして、秘匿化部５２２は、今回の確度が、所定の第１閾値（例えば、５０％）以上であるか否かを判定する（ステップＳ１０６）。

そして、今回の確度が第１閾値以上である場合（ステップＳ１０６，Ｙｅｓ）、秘匿化部５２２は、検知範囲を秘匿化し（ステップＳ１０７）、処理を終了する。一方、今回の確度が第１閾値より小さい場合（ステップＳ１０６，Ｎｏ）、秘匿化部５２２は、過去の確度が、第１閾値より大きい所定の第２閾値（例えば、９０％）以上であるか否かを判定する（ステップＳ１０８）。

そして、過去の確度が第２閾値以上である場合（ステップＳ１０８，Ｙｅｓ）、秘匿化部５２２は、今回の確度に応じて秘匿化範囲を検知範囲よりも拡大する（ステップＳ１０９）。そして、秘匿化部５２２は、拡大した秘匿化範囲を秘匿化し（ステップＳ１１０）、処理を終了する。

また、過去の確度が第２閾値より小さい場合（ステップＳ１０８，Ｎｏ）、秘匿化部５２２は、秘匿化を行わず（ステップＳ１１１）、処理を終了する。なお、かかる過去の確度が第２閾値より小さい場合は、確度の低い状態が継続しているため、秘匿化すべき部分はないと推定することにより、秘匿化を行わないとするものである。秘匿化すべき部分はないとの推定をより確実にするために、第１閾値よりも小さい第３閾値を用いることができる。かかる例については、図１２を用いて後述する。

また、検知範囲が秘匿化対象でない場合（ステップＳ１０４，Ｎｏ）、秘匿化部５２２は、秘匿化を行わず（ステップＳ１１１）、処理を終了する。

また、検知部５２１によって所定の物体または特定部位が検知されなかった場合（ステップＳ１０３，Ｎｏ）、秘匿化部５２２は、ステップＳ１０４以降の秘匿化処理を実行せず、処理を終了する。

［３－１－３．第２変形例の動作例］
ところで、上述した実施形態では、検知された検知範囲の確度がどのくらいであれば秘匿化を行うかを判定するための閾値として所定の第１閾値を用いる例を挙げた。しかしながら、過去の確度が例えば連続的に大きければ、今回の確度に応じて第１閾値よりも小さい第３閾値を設定し、かかる第３閾値を用いて秘匿化を行うか否かを判定するようにしてもよい。

すなわち、秘匿化部５２２は、今回の撮影画像Ｐ_ｔにおいて確度が低下したと判定した場合に、当該確度が、かかる確度に応じて設定された、第１閾値よりも小さい第３閾値以上であるならば、秘匿化処理を実行するようにしてもよい。かかる変形例を第２変形例として、第２変形例に係る画像処理装置５の動作例について、図１２を用いて説明する。図１２は、第２変形例に係る画像処理装置５の動作例を示すフローチャートである。

なお、図１２は図１１に対応しており、図１２に示すステップＳ２０１～Ｓ２０８，Ｓ２１３は、それぞれ順に図１１のステップＳ１０１～Ｓ１０８，Ｓ１１１と同様であるため、図１２を用いた説明では省略する。

図１２に示すように、ステップＳ２０８で過去の確度が第２閾値以上である場合（ステップＳ２０８，Ｙｅｓ）、すなわち、今回の撮影画像Ｐ_ｔにおいて確度が低下したと判定された場合、秘匿化部５２２は、今回の確度に応じて第１閾値より小さい第３閾値を設定する（ステップＳ２０９）。

秘匿化部５２２は、例えば第１閾値が５０％であり、今回の確度が３０％である場合、第３閾値に２０％を設定する。そして、秘匿化部５２２は、今回の確度が第３閾値以上であるか否かを判定する（ステップＳ２１０）。

そして、今回の確度が第３閾値以上である場合（ステップＳ２１０，Ｙｅｓ）、今回の確度に応じて秘匿化範囲を検知範囲よりも拡大する（ステップＳ２１１）。そして、秘匿化部５２２は、拡大した秘匿化範囲を秘匿化し（ステップＳ２１２）、処理を終了する。なお、ここで、ステップＳ２１１，Ｓ２１２に代えて、秘匿化範囲を検知範囲よりも拡大せずに、単に検知範囲を秘匿化するようにしてもよい。

また、今回の確度が第３閾値より小さい場合（ステップＳ２１０，Ｎｏ）、秘匿化部５２２は、秘匿化を行わず（ステップＳ２１３）、処理を終了する。このような第２変形例により、秘匿化が必要な検知範囲を漏れなく秘匿化するのに資することができる。

上述してきたように、実施形態に係る画像処理装置５は、検知部５２１と、秘匿化部５２２と、を備える。検知部５２１は、取得した撮影画像Ｐから、個人情報を保護する秘匿化が必要な特定部位を含む物体または特定部位を検知可能に設けられる。秘匿化部５２２は、検知部５２１の検知結果に基づき、撮影画像Ｐの物体または特定部位に対して秘匿化を行う秘匿化処理を実行する。また、秘匿化部５２２は、検知部５２１によって検知された物体または特定部位の確度（「検知確度」の一例に相当）が小さいほど秘匿化を行う秘匿化範囲が大きくなるように秘匿化処理を実行する。

したがって、実施形態に係る画像処理装置５によれば、撮影画像Ｐに対して行われる個人情報の保護のための秘匿化を適切に行うことができる。

また、秘匿化部５２２は、上記確度が今回の撮影画像Ｐ_ｔ（「時系列上の直近の撮影画像」の一例に相当）において低下した場合に、上記確度が小さいほど秘匿化を行う秘匿化範囲が大きくなるように秘匿化処理を実行する。

したがって、実施形態に係る画像処理装置５によれば、撮影画像Ｐに対して行われる個人情報の保護のための秘匿化を、撮影画像Ｐの時系列上の変化に基づいて適切に行うことができる。

また、秘匿化部５２２は、今回の撮影画像Ｐ_ｔにおける上記確度が所定の第１閾値より小さい場合に、今回の撮影画像Ｐ_ｔよりも過去の撮影画像Ｐ_ｔ－１，Ｐ_ｔ－２…における上記確度が第１閾値よりも大きい第２閾値以上であるならば、今回の撮影画像Ｐ_ｔにおいて上記確度が低下したと判定する。

したがって、実施形態に係る画像処理装置５によれば、過去に一度でも高い確度で検知された検知範囲について、確度が低下しても、漏れなく秘匿化することができる。

また、秘匿化部５２２は、連続的に過去の撮影画像Ｐ_ｔ－１，Ｐ_ｔ－２…における上記確度が第２閾値以上であるならば、今回の撮影画像Ｐ_ｔにおいて上記確度が低下したと判定する。

したがって、実施形態に係る画像処理装置５によれば、時系列上、連続的に高い確度で検知された検知範囲について、瞬間的に確度が低下しても、漏れなく秘匿化することができる。

また、秘匿化部５２２は、今回の撮影画像Ｐ_ｔにおいて上記確度が低下したと判定した場合に、当該確度が、かかる確度に応じて設定された、第１閾値よりも小さい第３閾値以上であるならば、秘匿化処理を実行する。

したがって、実施形態に係る画像処理装置５によれば、秘匿化が必要な検知範囲を漏れなく秘匿化するのに資することができる。

また、秘匿化部５２２は、検知部５２１によって検知された物体または特定部位の動きベクトルに応じて秘匿化範囲が大きくなるように秘匿化処理を実行する。

したがって、実施形態に係る画像処理装置５によれば、時系列上、変化する検知範囲の動きに応じつつ、秘匿化が必要な検知範囲を漏れなく秘匿化することができる。

＜４．留意事項等＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で適宜組み合わせて実施されてよい。

５ 画像処理装置
６ カメラ
５１ 取得部
５２ 制御部
５３ 記憶部
１００ 車両用装置
１０１ 個人情報保護処理部
１０２ 送信部
２００ データ収集装置
２０１ 個人情報管理部
２０２ 受信部
２０３ 記憶部
３００ 利用者端末
５２１ 検知部
５２２ 秘匿化部
５３１ 学習済みモデル
Ｐ 撮影画像
Ｓ 個人情報保護システム

Claims (9)

1. 取得した撮影画像から、個人情報を保護する秘匿化が必要な特定部位を含む物体または前記特定部位を検知し、
   検知した前記撮影画像の前記物体または前記特定部位に対する検知確度が小さいほど、前記撮影画像における秘匿化を行う秘匿化範囲が大きくなるように秘匿化処理を実行する、
   画像処理装置。
2. 前記検知確度が時系列上の直近の撮影画像において低下した場合に、前記検知確度が小さいほど前記秘匿化範囲が大きくなるように前記秘匿化処理を実行する、
   請求項１に記載の画像処理装置。
3. 前記直近の撮影画像における前記検知確度が所定の第１閾値より小さい場合に、前記直近の撮影画像よりも過去の撮影画像における前記検知確度が前記第１閾値よりも大きい第２閾値以上であるならば、前記直近の撮影画像において前記検知確度が低下したと判定する、
   請求項２に記載の画像処理装置。
4. 連続的に前記過去の撮影画像における前記検知確度が前記第２閾値以上であるならば、前記直近の撮影画像において前記検知確度が低下したと判定する、
   請求項３に記載の画像処理装置。
5. 前記直近の撮影画像において前記検知確度が低下したと判定した場合に、当該検知確度が、該検知確度に応じて設定された、前記第１閾値よりも小さい第３閾値以上であるならば、前記秘匿化処理を実行する、
   請求項３または４に記載の画像処理装置。
6. 検知された前記物体または前記特定部位の動きベクトルに応じて前記秘匿化範囲が大きくなるように前記秘匿化処理を実行する、
   請求項１～５のいずれか一つに記載の画像処理装置。
7. 画像に対する前記検知確度の方向性に応じて、方向性を持たせて前記秘匿化範囲が大きくなるように前記秘匿化処理を実行する、
   請求項１～６のいずれか一つに記載の画像処理装置。
8. 取得した撮影画像から、個人情報を保護する秘匿化が必要な特定部位を含む物体または前記特定部位の検知を試みる検知工程と、
   検知した前記撮影画像の前記物体または前記特定部位に対する検知確度が小さいほど、前記撮影画像における秘匿化を行う秘匿化範囲が大きくなるように秘匿化処理を実行する秘匿化工程と、を含む、
   画像処理方法。
9. 前記秘匿化工程は、
   前記検知確度が時系列上の直近の撮影画像において低下した場合に、前記検知確度が小さいほど前記秘匿化範囲が大きくなるように前記秘匿化処理を実行する、
   請求項８に記載の画像処理方法。

Images