JP7456446B2 - 画像処理方法、画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理方法、画像処理装置及びプログラムに関する。

不審者の監視やデジタルサイネージの効果測定等、様々な目的で多くのカメラが身の回りに設置されている。これらのカメラの多くはネットワークに接続されており、撮影した画像データをサーバに送信している。送信先では、人によって映像が確認されたり、自動で不審者が特定されたりしている。

安価で小型のカメラが利用可能になるにつれて、今後ますますカメラは様々な目的で様々な場所に設置されると推測される。そのような世の中において、プライバシーの保護は重要な課題である。公共空間に設置されたカメラは、本来の目的には不要な個人情報も同時に撮影してしまう。

例えば、デジタルサイネージの前で立ち止まる人の人数をカウントする目的で、デジタルサイネージの横にカメラが設置されたとする（非特許文献１）。このカメラによる撮影映像には、個人を特定できる情報である顔が容易に映り込んでしまう。また、デジタルサイネージが待ち合わせ場所として利用されていれば、待っている人が操作しているスマートフォンの画面も撮影されてしまう可能性が高い。人物を特定できる情報（顔など）や、その人物が本来見られたくない情報（個人のスマートフォン上に表示された情報など）は、デジタルサイネージの効果測定には本来不要である。それにもかかわらず、このようなプライバシーを侵害しかねない情報をカメラは収集してしまう。さらに、このような画像がネットワーク経由でサーバに送信されると、それらの情報が漏洩してしまう危険性が高まってしまう。そのため、デジタルサイネージの効果測定では、画像処理ができるコンピュータ（汎用ＰＣ等）を現場に設置し、処理結果のみをサーバに送信し、処理後の画像を速やかに消去する、といったことが行われている。

杵渕哲也他，画像処理による広告効果測定技術，NTT 技術ジャーナル，2009 井尻善久他，視野を共有しない複数カメラ間での人物照合，信学技報, PRMU, パターン認識・メディア理解，Vol. 111, No.317, pp.117-124, 2011 西貝吉晃, 飯田誠, 苗村健，"Thermosaic: 温度情報を利用した自動モザイク処理"， 映情学誌, 59, 3, pp. 422 - 426, 2005

しかしながら、画像処理性能の高いコンピュータの設置は、設置スペースの確保や盗難対策など、別の課題を引き起こしてしまう。また、複数のカメラで撮影された画像に基づいて、人物の移動経路を推定するような目的の場合（非特許文献２）、別々のカメラで撮影された人物のマッチングを行う必要があり、カメラ側の画像処理装置で目的に応じた全ての処理を実行することは困難である。このような場合、カメラ側では、画像の収集や簡単な加工処理のみを行って画像をサーバに送信し、サーバ側で目的に応じた画像処理を行うのが現実的であると考えられる。

本発明は、上記の点に鑑みてなされたものであって、カメラによって撮影された画像からのプライバシーの漏洩を防止することを目的とする。

そこで上記課題を解決するため、画像処理方法は、可視光画像に対応する熱画像において、温度に対する閾値に基づいて一部の領域を特定する特定手順と、前記可視光画像について、前記特定手順が特定した領域を、前記可視光画像において出現頻度が高い一つの色にする加工手順と、をコンピュータが実行する。

カメラによって撮影された画像からのプライバシーの漏洩を防止することができる。

マスクの具体例を示す第１の図である。 マスクの具体例を示す第２の図である。 本発明の実施の形態におけるカメラユニット１の構成例を示す図である。 本発明の実施の形態におけるセンサノード部１０のハードウェア構成例を示す図である。 本発明の実施の形態におけるカメラユニット１の機能構成例を示す図である。 センサノード部１０が実行する処理手順の一例を説明するためのフローチャートである。

以下、図面に基づいて本発明の実施の形態を説明する。現在、ネットワークカメラを設置するためには、給電用と通信用のケーブルを敷設する必要がある。敷設を簡単化するため、給電及び通信を一本のケーブルで可能にしている場合が多いが、それでも敷設には工事等が必要になる場合が多い。設置の容易性等を考えると、バッテリー駆動が可能であり、かつ、無線通信機能を備えたカメラユニット１の普及が今後進んでいくと考えてられる。

このようなカメラユニット１において、前述するプライバシーの課題を解消しつつ、サーバに画像を送信するには以下を実現する必要がある。
１．プライバシー情報の画像からの除去
２．プライバシー情報を除去した画像の伝送コスト削減
すなわち、まず第一に、サーバに送信する画像からプライバシー情報を除去する必要がある。プライバシー情報の除去は、例えば、画像に写っている顔や、スマートフォンの画面などに加工を行う（マスクをかける）ことで実現する。但し、バッテリーによる運用が可能な演算装置での処理を考えると、低消費電力のＣＰＵでも高速に処理可能なアルゴリズムを用いる必要がある。

次に、加工（マスク）された画像（以下、「マスク後画像」という。）をサーバに送信する際には、伝送コストをできるだけ削減する、すなわち、送信データ量を減らすようにすべきであると考えられる。伝送するデータ量を減らすことで、無線通信の帯域を安定的に確保できるだけでなく、通信に付随した電力消費の削減も期待できるからである。

上記２つの要件を実現するため、本実施の形態のカメラユニット１は、可視光カメラ２１の他にサーモカメラ２２を具備する。

画像からのプライバシー情報の除去には、非特許文献３において提案されているサーモザイク手法を利用する。サーモザイク手法は、熱画像上で人間の領域が周囲の領域より一般に温度が高いことを利用して、人間の領域（もしくは人間外の領域）にモザイクをかける手法である。本実施の形態では、サーモザイク手法を実現する機能をカメラユニット１上に実装する。サーモザイク手法を用いることで、個人を特定可能な顔などに簡単にモザイクやマスクをかけることができる。熱画像が用意できれば、モザイクやマスクをかけるアルゴリズムは単純であり、低消費電力の演算装置でも十分に処理可能である。

また、スマートフォン、ノートパソコン等、個人情報が表示される可能性のある画面は、通常発熱しているため、サーモカメラ２２を利用して撮影した熱画像を利用することで、これらの画面領域の検知も行うことが可能である。

上記より、プライバシー情報の除去のための単純な実装として、本実施の形態では、特定の温度を閾値として、熱画像において閾値以上の温度を持ったピクセルに対応する可視光画像上の一部の領域（以下、「マスク領域」という。）にマスクをかける。

例えば、人の顔をマスクしたい場合、３０度前後を閾値とすれば、平均体温が３６度程度である人の領域（顔など肌が露出している部分）にマスクをかけることができる。

図１は、マスクの具体例を示す第１の図である。図１において、（ａ）は或る人物を被写体とする可視光画像を示す。（ｂ）は当該被写体を（ａ）と同じタイミングで撮影した熱画像を示す。（ｃ）は、（ｂ）の熱画像において温度が閾値（３０度）以上のマスク領域を示す。（ｄ）は、（ａ）の可視光画像について、（ｃ）のマスク領域がマスクされたマスク後画像を示す。（ｄ）では、人物の顔がマスクされている。

また、例えば、スマートフォンの画面領域をマスクしたい場合には、スマートフォンの画面のおおよその温度より若干低い温度（以下、「α度」とする。）を閾値とし、当該閾値以上の領域にマスクをかければよい。

図２は、マスクの具体例を示す第２の図である。図２において、（ａ）はスマートフォンを被写体とする可視光画像を示す。（ｂ）は当該被写体を（ａ）と同じタイミングで撮影した熱画像を示す。（ｃ）は、（ｂ）の熱画像において温度が閾値（α度）以上のマスク領域を示す。（ｄ）は、（ａ）の可視光画像について、（ｃ）のマスク領域がマスクされたマスク後画像を示す。（ｄ）では、スマートフォンの画面がマスクされている。

なお、図１の（ｄ）では、３０度より高温であった蛍光灯の領域もマスクされている。また、図２の（ｄ）では、α度より高温であった、スマートフォンを把持する手及び腕の領域もマスクされている。このように、本来マスクをかけたい領域以外に対するマスクを避けるため、閾値に幅（上限、下限）を持たせてもよい。例えば、図１の場合であれば、４５度くらいを上限とし、３０度以上４５度以下の領域をマスク対象とすれば、蛍光灯の部分のマスクを回避できる可能性がある。

なお、プライバシーの保護を促進するため、マスクされた画像の作成後は、マスク前の可視光画像を消去する。

更に、本実施の形態では、通信コストを削減するため、マスク後画像を圧縮する。圧縮にはｊｐｅｇやｐｎｇ等、既存の圧縮技術が用いられても独自のアルゴリズムが用いられても良いが、プライバシー情報の除去時に、採用したアルゴリズムの圧縮特性を利用したマスクをかけるようにするとよい。例えば、ｊｐｅｇ等を利用するのであれば、これらで採用されている圧縮アルゴリズムが、一般的に、画像特徴が複雑でないものほど圧縮効率が高くなることを利用する。

ｊｐｅｇなどでも採用されているハフマン符号（「https://ja.wikipedia.org/wiki/ハフマン符号」）を例にとる。ハフマン符号化では、データの統計的な偏りが高いと圧縮効率が高くなる。登場頻度が多い情報に短い符号を割り当て、登場頻度が少ない情報には長い符号を割り当てることで、固定長符号でデータを表現した時よりも、少ないデータ量で情報を表現できる。画像で言えば、同色のピクセルの数が大量に存在するような画像はその色に短い符号を割り当てることで、高い圧縮率を期待できる。このような特性を利用すると、前述したサーモザイク手法において、一定の閾値以上の部分にマスクをかける際に、単色のマスクをかけることで、高圧縮率を実現することができる。例えば、図２において、同様の圧縮率で、可視光画像とマスク後画像をｊｐｅｇ圧縮したところ、可視光画像は２０８ＫＢ、マスク後画像は１５８ＫＢとなった。

本手法の場合、もとの可視光画像上で出現頻度の高い色を算出し、その色をマスクの色として利用することで、より高い圧縮率を達成できるだろう。但し、この場合、画像中に高頻度で出現する色とマスクとして利用する色が同色となるため、サーバ側でマスク領域とそうでない領域を区別したい場合には注意が必要である。サーバ側における画像の利用目的に応じて、マスク方法を選択すべきであろう。

以下、上述の内容を実現するカメラユニット１について具体的に説明する。図３は、本発明の実施の形態におけるカメラユニット１の構成例を示す図である。図３において、カメラユニット１は、カメラ部２０及びセンサノード部１０を含む。カメラ部２０とセンサノード部１０は、カメラ（可視光カメラ２１及びサーモカメラ２２）の設置の自由度を確保するため、例えば、最大１ｍから１．５ｍ程度の１本のＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ケーブルで接続される。カメラ部２０は、可視光カメラ２１及びサーモカメラ２２とマイコンとを含む基板である。カメラ部２０は、可視光カメラ２１又はサーモカメラ２２が撮影した可視光画像及び熱画像と、サーモカメラ２２自体の温度を示す情報（以下、「温度情報」という。）とをケーブルで接続されたセンサノード部１０へ送る。

センサノード部１０は、マイコンを含む基板又はＰＣ（Personal Computer）等のコンピュータである。センサノード部１０は、熱画像及び当該温度情報に基づいて可視光画像に対してマスク処理をした後で、処理結果として得られるマスク後画像をサーバやクラウドなどへ送信する。

図４は、本発明の実施の形態におけるセンサノード部１０のハードウェア構成例を示す図である。図４のセンサノード部１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。

センサノード部１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従ってセンサノード部１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。

なお、センサノード部１０は、ＰＣ（Personal Computer）等のコンピュータでもよいし、マイコンが組み込まれた基板等であってもよい。

図５は、本発明の実施の形態におけるカメラユニット１の機能構成例を示す図である。図５において、カメラ部２０は、可視光カメラ２１、サーモカメラ２２、同期撮影部２３、カメラ温度取得部２４及び送信部２５等を含む。このうち、同期撮影部２３、カメラ温度取得部２４及び送信部２５は、カメラ部２０のマイコンにインストールされたプログラムが、当該マイコンに実行させる処理により実現される。

同期撮影部２３は、可視光カメラ２１とサーモカメラ２２とを同期させて撮影させる。その結果、可視光画像及び熱画像が同じタイミングで撮影される。同期撮影部２３は、可視光カメラ２１からはＭＩＰＩ（Mobile Industry Processor Interface）で可視光画像を取得し、サーモカメラ２２からはＳＰＩ（Serial Peripheral Interface）で熱画像を取得する。

カメラ温度取得部２４は、サーモカメラ２２そのものの温度を示す温度情報を取得する。送信部２５は、可視光画像及び熱画像と、温度情報とをセンサノード部１０にまとめて送信する。

一方、センサノード部１０は、受信部１１、マスク生成部１２、画像合成部１３、画像圧縮部１４及び画像送信部１５等を含む。これら各部は、センサノード部１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。

以下、センサノード部１０が実行する処理手順について説明する。図６は、センサノード部１０が実行する処理手順の一例を説明するためのフローチャートである。

受信部１１は、カメラ部２０から送信されたデータ（可視光画像、熱画像及び温度情報）を受信すると、当該データをメモリ上に展開する（Ｓ１０１）。

続いて、マスク生成部１２は、当該温度情報に基づいて、当該熱画像の各画素の実際の温度（以下、単に「温度」という。）を計算する（Ｓ１０２）。なお、熱画像の各画素の温度の計算は、公知の方法を用いて行うことが可能である。

続いて、マスク生成部１２は、当該熱画像の各画素について計算された温度を閾値と比較することで、マスク領域を特定する（Ｓ１０３）。上述したように、例えば、温度が閾値以上の画素の領域がマスク領域として特定される。

続いて、マスク生成部１２は、マスク領域に対してマスクをかけるための画像（すなわち、マスク画像に含まれる画素によって構成される画像）（以下、「マスク画像」という。）を生成する（Ｓ１０４）。上述したように、マスク画像は、高い圧縮率を達成できるように生成されてもよい。例えば、マスク画像は単色の画像として生成されてもよい。

続いて、画像合成部１３は、マスク生成部１２が生成したマスク画像を、可視光カメラ２１が撮影した可視光画像に重ね合わせることで、当該可視光画像におけるマスク領域がマスク画像によって塗りつぶされたマスク後画像を生成する（Ｓ１０５）。この際、画像合成部１３は、単純な画像の重畳による塗りつぶしだけでなく、可視光画像において、マスク画像で指定された箇所（領域）を当該箇所にける元の画像（例えば、人の顔等）が分からないようにぼかしやモザイクをかけるといった加工処理を行ってもよい。

続いて、画像圧縮部１４は、当該マスク後画像を圧縮する（Ｓ１０６）。圧縮アルゴリズムについては上記した通りである。続いて、画像送信部１５は、圧縮されたマスク後画像を既定のサーバやクラウドシステムなどにネットワークを介して送信する（Ｓ１０７）。

なお、画像圧縮部１４は、マスク後画像を圧縮するだけでなく、圧縮されたマスク後画像の送信先（サーバやクラウドシステム等）の便宜のため、マスク前の可視光画像から写っている物体が具体的にわかないよう、特徴量のみを抽出し、当該特徴量を付加情報としてマスク後画像と共に圧縮してもよい。そうすることで、サーバやクラウドシステム等は、マスクされることで情報量が失われた可視光画像の画像処理に関して、補足的な情報を得ることができる。

上述したように、本実施の形態によれば、可視光画像に対応する熱画像に基づいて、マスク領域が特定され、当該可視光画像における当該マスク領域が加工（変更）される。その結果、可視光画像について、プライバシーを侵害すると思われる部分を加工する（当該部分にマスクをかける）ことができる。したがって、カメラによって撮影された画像からのプライバシーの漏洩を防止することができる。

また、圧縮に適したマスク表現を選択してマスク画像が生成されることで、伝送するデータ量を減らすことができる。

以下に、本実施の形態の具体的な適用例について説明する。

［適用例１：人数カウント、人流追跡］
或る空間内に存在する人の数をカウントしたり、人の流れを追跡したりするのは、カメラを使った監視の典型的な応用例である。本実施の形態では、人の顔や手などを塗りつぶしはするが、撮影した可視光の画像をそのままサーバへ送信するので、従来の人数カウントや人流追跡のアルゴリズムに対しても本実施の形態を適用可能であると考えられる。従来のアルゴリズムでは、人物の形状や服の色等を利用して人の判別を行うためである。但し、アルゴリズムによっては、人の輪郭の情報を使っているものがあるため、こういったアルゴリズムに対しては、塗りつぶすことによって、本来存在しない輪郭が抽出されてしまう可能性がある。そこで、画像合成部１３は、マスク領域を塗りつぶす代わりに顔（マスク領域）の中心部分だけをぼかすといったように、若干アルゴリズムを調整すれば、プライバシーを保護しつつ、同一人物の抽出が可能だと考えられる。また、教師あり学習を使うようなアルゴリズムに対しては、塗りつぶした画像を学習データとして用意し、事前に転移学習を済ませれば、人物の検出が可能になると考えられる。

［適用例２：熱画像を用いた画像領域分割の精度向上］
熱画像においては、写っている物体が変われば温度も変化する可能性が高い。そこで、画像の写っている対象の物体を、領域を分割して識別しようとする応用に関しては、熱画像と可視光画像を合わせて処理することで、従来の可視光画像のみを用いて領域を分割するアルゴリズムよりも高い精度で領域分割を行える可能性がある。このように、本実施の形態によれば、単に、プライバシー上問題がある領域を隠すだけでなく、２つのカメラを組み合わせることで、従来の可視光画像のみを使った場合よりも高い精度で画像処理を行える可能性がある。

［適用例３：奥行情報の抽出］
ステレオカメラでは、隣接して配置された２つのカメラから取得された画像の視差を利用して、画面に映った物体の奥行情報を抽出できる。本実施の形態では、可視光カメラ２１とサーモカメラ２２を隣接して配置しているので、視差のある２つのカメラ画像ととらえることもできる。可視光画像と熱画像では、同じ物体であっても異なる色で撮影されているため、単純に従来のステレオカメラ向けのアルゴリズムを用いることはできないが、深層学習などにより、可視光画像と熱画像の領域の対応関係を取得することができれば、奥行の情報を取得できると考えられる。

なお、本実施の形態において、センサノード部１０は、画像処理装置の一例である。マスク生成部１２は、特定部の一例である。画像合成部１３は、加工部の一例である。

以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１ カメラユニット
１０ センサノード部１０部
１１ 受信部
１２ マスク生成部
１３ 画像合成部
１４ 画像圧縮部
１５ 画像送信部
２０ カメラ部
２１ 可視光カメラ
２２ サーモカメラ
２３ 同期撮影部
２４ カメラ温度取得部
２５ 送信部
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
Ｂ バス

Claims (3)

1. 可視光画像に対応する熱画像において、温度に対する閾値に基づいて一部の領域を特定する特定手順と、
   前記可視光画像について、前記特定手順が特定した領域を、前記可視光画像において出現頻度が高い一つの色にする加工手順と、
   をコンピュータが実行することを特徴とする画像処理方法。
2. 可視光画像に対応する熱画像において、温度に対する閾値に基づいて一部の領域を特定する特定部と、
   前記可視光画像について、前記特定部が特定した領域を、前記可視光画像において出現頻度が高い一つの色にする加工部と、
   を有することを特徴とする画像処理装置。
3. 請求項１記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

Images