JP6942752B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理技術に関する。

従来技術として、撮像装置が撮像した画像に含まれる人物のプライバシーを保護する技術がある。そのような技術として、撮像装置が撮像した画像と背景画像とを比較することで前景物体の領域を抽出し、抽出した前景物体の領域を抽象化した画像と背景画像と合成することでプライバシーを保護した出力画像を生成する技術がある。

特許文献１では、処理対象画像と背景画像との比較に応じた特定領域にマスク処理を実施し、マスク処理が行われた特定領域と背景画像とを合成して保護画像を生成する技術について開示されている。

また、監視用途として暗所や夜間を撮影するために、赤外照明を搭載した撮像装置がある。このような撮像装置では、所定のイベントやユーザによる操作に応じて、赤外照明の照射有無を制御することが可能である。

特開２０１６−１１５２１４

赤外光を用いて撮像される赤外光画像は、可視光を用いて撮像される可視光画像と比べて視認性が低いことがある。そのため、赤外光画像に基づき生成された背景画像と、前景物体の領域をマスクした画像とを合成した出力画像では、一見してどこの場所を撮像した画像なのか判別できないことがある。

そこで本発明は、赤外光を用いて画像が撮像される場合であっても、プライバシーを保護しつつ視認性の低下を抑制した出力画像の提供を目的としている。

上記課題を解決するために、例えば、本発明に係る情報処理装置は、以下の構成を備える。すなわち、可視光を用いて画像を撮像する第１モードにおいて撮像された可視光画像と、赤外光を用いて画像を撮像する第２モードにおいて撮像された赤外光画像とを取得する取得手段と、前記取得手段により取得された可視光画像に基づく第１背景画像を生成し、前記取得手段により取得された赤外光画像に基づく第２背景画像を生成する生成手段と、前記取得手段により取得された可視光画像と、前記生成手段により生成された第１背景画像とから前景物体の領域を抽出し、前記取得手段により取得された赤外光画像と、前記生成手段により生成された第２背景画像とから前景物体の領域を抽出する抽出手段と、前記可視光画像から抽出された前景物体の領域を抽象化したマスク画像と、前記生成手段により生成された第１背景画像とを合成した出力画像を出力し、前記赤外光画像から抽出された前景物体の領域を抽象化したマスク画像と、前記生成手段により生成された第１背景画像とを合成した出力画像を出力する出力制御手段とを有する。

本発明によれば、赤外光を用いて画像が撮像される場合であっても、プライバシーを保護しつつ視認性の低下を抑制した出力画像の提供が可能である。

システム構成の一例を示す図である。 撮像装置の機能ブロックを示す図である。 情報処理装置の機能ブロックを示す図である。 第１モードと第２モードとを切り替える処理の流れを示すフローチャートである。 出力画像を生成する処理の流れを示すフローチャートである。 出力画像を生成する処理を説明するための図である。 各装置のハードウェア構成を示す図である。

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、情報処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。

情報処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

情報処理装置１００は、例えば、後述する情報処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。撮像装置１１０は、画像を撮像する装置である。なお、本実施形態に係るシステムにおいて、撮像装置１１０は１つとするが、複数であってもよい。

なお、本実施形態に係る撮像装置１１０は、ＩＲＣＦ（Ｉｎｆｒａｒｅｄ Ｒａｙ Ｃｕｔ Ｆｉｌｔｅｒ）を有する。ＩＲＣＦとは、可視光を通過させ赤外光を通過させないフィルタである。ＣＭＯＳセンサなどの撮像素子は、可視光の波長範囲よりも広い波長範囲に対して感度を有している。そのため、被写体輝度が低下する低照度下においてＩＲＣＦを光路から取り除き、赤外光を通過させることにより感度を上昇させる手法がとられる。例えば、日中にＩＲＣＦを光路に挿入して撮影するデイモードと、夜間にＩＲＣＦを光路から取り外して撮影するナイトモードと、の２つのモードを切り替えて画像の撮像が可能である。

なお、本実施形態に係る撮像装置１１０は、さらに赤外光の照射が可能な赤外照明を有しているものとする。撮像装置１１０は、第１モード（デイモード）において、赤外照明をオフにし、ＩＲＣＦを光路に挿入して画像を撮像する。一方、撮像装置１１０は、第２モード（ナイトモード）において、赤外照明をオンにし、ＩＲＣＦを光路から取り外して画像を撮像する。なお、以降の説明において、第１モードにおいて撮像された画像を可視光画像とし、第２モードにおいて撮像された画像を赤外光画像とする。そして、撮像装置１１０は、撮像した画像の画像データと、当該画像を撮像した時刻の情報と、当該画像が可視光画像か赤外光画像かを示す情報とを関連付けて、ネットワーク１４０を介し、情報処理装置１００や記録装置１２０等の外部装置へ送信する。

記録装置１２０は、撮像装置１１０が撮像した画像の画像データと、当該画像を撮像した時刻の情報と、当該画像が可視光画像か赤外光画像かを示す情報とを関連付けて記録する。そして、情報処理装置１００からの要求に従って、記録装置１２０は、記録したデータ（画像データ、時刻の情報など）を情報処理装置１００へ送信する。

ディスプレイ１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、情報処理装置１００の情報処理の結果や、撮像装置１１０が撮像した画像などを表示する。ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して情報処理装置１００と接続されている。

また、ディスプレイ１３０は、表示手段として機能し、撮像装置１１０が撮像した画像や、後述する情報処理による結果等を表示する。なお、ディスプレイ１３０、情報処理装置１００、および記録装置１２０の少なくともいずれか２つ又は全ては、単一の筐体に設けられてもよい。

なお、情報処理装置１００の情報処理の結果や、撮像装置１１０により撮像された画像は、情報処理装置１００にディスプレイケーブルを介して接続されたディスプレイ１３０に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク１４０を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。

なお、本実施形態におけるシステム構成では、情報処理装置１００および撮像装置１１０はネットワーク１４０を介して接続されるが、これに限らない。例えば、情報処理装置１００および撮像装置１１０の筐体は一体であってもよい。

次に図２を参照して、本実施形態に係る撮像装置１１０について説明する。図２は、本実施形態に係る撮像装置１１０の機能ブロックを示す図である。本実施形態に係る撮像装置１１０は、レンズ２１０の光軸の向く方向が撮像装置１１０の撮像方向であり、レンズ２１０を通過した光束は、撮像部２０１の撮像素子に結像する。撮像部２０１は、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子（不図示）により構成される。そして、撮像部２０１は、レンズ２１０を通って結像された被写体像を光電変換して電気信号を生成する。画像処理部２０２は、撮像部２０１において光電変換された電気信号を所定のデジタル信号へ変換する処理や、圧縮符号化処理などを行い、画像データを生成する。

フィルタ制御部２０４は、フィルタホルダ２０９の切り替えを行うことでレンズ２１０および撮像部２０１間の光路に対するＩＲＣＦ２０８の挿抜を行う。本実施形態におけるフィルタホルダ２０９は複数の開口部を有する円盤状であるものとし、フィルタ制御部２０４によりフィルタホルダ２０９は回転移動させられ、それによりＩＲＣＦ２０８の挿抜を行う。なお、レンズ２１０と撮像部２０１との間の光路にＩＲＣＦ２０８を挿抜する方法は上述した方法に限らず、他の方法であってもよい。フィルタ制御部２０４は、日中において画像を撮像する第１モードでは、ＩＲＣＦ２０８をレンズ２１０と撮像部２０１との間の光路へ挿入するようフィルタホルダ２０９を制御する。一方、フィルタ制御部２０４は、夜間において画像を撮像する第２モードでは、レンズ２１０と撮像部２０１との間の光路からＩＲＣＦ２０８を取り外すようフィルタホルダ２０９を制御する。なお、フィルタ制御部２０４は、システム制御部２０３から伝達された指示に基づいて、フィルタホルダ２０９の制御を行う。

ズーム制御部２０５は、レンズ２１０を駆動させる駆動系により構成されるレンズ駆動部２１１を制御し、レンズ２１０の焦点距離を変更する。ズーム制御部２０５は、システム制御部２０３から伝達された指示に基づいて、レンズ駆動部２１１を制御する。

照明制御部２０６は、日中において画像を撮像する第１モードにおいて、赤外照明２１２をオフにして赤外光を照射しないよう制御する。一方、照明制御部２０６は、夜間において画像を撮像する第２モードにおいて、赤外照明２１２をオンにして赤外光を照射するよう制御する。照明制御部２０６は、システム制御部２０３から伝達された指示に基づいて、赤外照明２１２の制御を行う。

システム制御部２０３は、図７を参照して後述するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７００によって実現するでき、撮像装置１１０の全体を制御し、例えば、次のような処理を行う。すなわち、システム制御部２０３は、通信部２０７から伝達された制御コマンドを解析し、コマンドに応じた処理を行う。制御コマンドとしては、例えば、撮像装置１１０のズーム値を制御するコマンド、ＩＲＣＦの挿抜を制御するコマンド、または赤外照明の制御を行うコマンドなどがある。

また、システム制御部２０３は、可視光画像を撮像する第１モードと赤外光画像を撮像する第２モードとを切り替える制御を行う。このとき、システム制御部２０７は、例えば、情報処理装置１００から送信された撮像モード（第１モードおよび第２モード）を変更する制御コマンドに基づき、第１モードと第２モードとを切り替える制御を行う。また、システム制御部２０３は、例えば、現在の時刻の情報を取得し、日中に対応する時刻であると判別したら第１モードとし、夜間に対応する時刻であると判別したら第２モードとするようにしてもよい。なお、本実施形態において、第２モードでは赤外照明２１２をオンにするものとするが、必ずしも点灯させる必要はない。また、システム制御部２０３は、撮像モードが切り替えた場合、切り替えた後の撮像モード（第１モードまたは第２モード）を示す情報を情報処理装置１００へ送信する。

また、システム制御部２０３は、通信部２０７を介し、撮像された画像の画像データと、当該画像を撮像した時刻の情報と、当該画像が第１モードおよび第２モードのいずれで撮像されたかを示す情報と、を関連付けて情報処理装置１００へ送信する。なお、撮像された画像が第１モードおよび第２モードのいずれで撮像されたかを示す情報とは、すなわち、当該画像が可視光画像か赤外光画像かを示す情報である。通信部２０７は、図７を参照して後述するＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）７４０によって実現でき、情報処理装置１００との通信を行う。

次に、図３を参照して、本実施形態に係る情報処理装置１００の情報処理について説明する。なお、図３に示す各機能ブロックは、情報処理装置１００のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７２０に格納されたコンピュータプログラムをＣＰＵ７００が実行することにより実現される。

通信部３０１は、図７を参照して後述するＩ／Ｆ７４０によって実現でき、ネットワーク１４０を介して、撮像装置１１０や記録装置１２０と通信を行う。通信部３０１は、例えば、撮像装置１１０が撮像した可視光画像および赤外光画像を取得したり、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。

記憶部３０２は、図７を参照して後述するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７１０やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）７３０等によって実現でき、情報処理装置１００による情報処理に関わる情報やデータを記憶する。記憶部３０２は、通信部３０１が取得した画像（可視光画像および赤外光画像）と、当該画像が撮像された時刻の情報と、当該画像が可視光画像か赤外光画像かを示す情報とを関連付けて記憶する。また、記憶部３０２は、例えば、後述する生成部３０４により生成された背景画像を記憶する。

判別部３０３は、通信部３０１が取得した画像が第１モードで撮像された可視光画像か、第２モードで撮像された赤外光画像かを判別する。例えば、判別部３０３は、撮像装置１１０から送信された画像と関連付けられた情報（当該画像が可視光画像か赤外光画像かを示す情報）に基づき、当該画像が可視光画像か赤外光画像かを判別する。なお、判別部３０３による可視光画像か赤外光画像かを判別する方法として他の方法を用いてもよい。例えば、本実施形態に係る情報処理装置１００は、撮像装置１１０が撮像した画像をリアルタイムで受信し、当該画像に対して本実施形態に係る情報処理を行う場合、判別部３０３は、次のような処理を行ってもよい。すなわち、判別部３０３は、例えば、撮像装置１１０に撮像モードの設定情報を要求するコマンドを生成し、通信部３０１を介して撮像装置１１０へ送信する。そして、撮像装置１１０から送信された撮像モードの設定情報に基づき、現在の撮像装置１１０の撮像モードが第１モードか第２モードかを判別する。現在の撮像モードが第１モードであれば、判別部３０３は、通信部３０１が取得した画像は可視光画像であると判別し、現在の撮像モードが第２モードであれば、判別部３０３は、通信部３０１が取得した画像は赤外光画像であると判別する。

検出部３０４は、可視光画像または赤外光画像から特定の物体を検出する。例えば、検出部３０４は、照合パターン（辞書）を用いて、画像から特定の物体を検出する。なお、画像から特定の物体として人物を検出する場合において、人物が正面向きである場合の照合パターンと横向きである場合の照合パターンとを両方使うことで検出精度の向上が期待できる。また、照合パターンは、斜め方向からや上方向からなど他の角度からのものを用意しておいてもよい。また、人物を検出する場合、必ずしも全身の特徴を示す照合パターン（辞書）を用意しておく必要はなく、上半身、下半身、頭部、顔、足などの人物の一部について照合パターンを用意してもよい。なお、検出部３０４は、画像から特定の物体として人物を検出する機能を有していればよく、パターンマッチング処理にのみ限定されるものではない。なお、本実施形態に係る検出部３０４は、可視光画像または赤外光画像から特定の物体を検出するものとしたが、例えば、可視光画像または赤外光画像から動体検出処理により動体を検出するようにしてもよい。動体検出処理としては、例えば、背景差分法を用いて、可視光画像または赤外光画像から動体（前景物体）を検出するようにしてもよい。

生成部３０５は、撮像装置１１０により撮像された画像であって判別部３０３により第１モードで撮像されたと判別された画像である可視光画像に基づき第１背景画像を生成する生成処理を実行する。同様に、生成部３０５は、撮像装置１１０により撮像された画像であって判別部３０３により第２モードで撮像されたと判別された画像である赤外光画像に基づき第２背景画像を生成する生成処理を実行する。第１背景画像とは、可視光画像に基づき生成部３０４により生成される背景画像を示し、第２背景画像とは、赤外光画像に基づき生成部３０４により生成される背景画像を示す。

なお、本実施形態において生成部３０５により生成される第１背景画像および第２背景画像は、プライバシーを保護する対象の物体を含まない画像である。本実施形態において、プライバシーを保護する対象を人物であるとする場合、生成部３０５は、次のような処理を実行することで第１背景画像および第２背景画像を生成する。例えば、生成部３０５は、可視光画像における領域であって検出部３０４により検出された人物の領域以外の領域を用いて第１背景画像を生成する。同様に、生成部３０５は、赤外光画像における領域であって検出部３０４により検出された人物の領域以外の領域を用いて第２背景画像を生成する。なお、生成部３０５による背景画像を生成する処理の詳細な説明は後述する。

処理対象とする画像が可視光画像である場合、生成部３０５は第１背景画像を生成する生成処理を実行し、処理対象とする画像が赤外光画像である場合、生成部３０５は第２背景画像を生成する生成処理を実行する。なお、生成部３０５による生成処理は所定の間隔ごとに実行され、生成処理により生成された最新の第１背景画像および第２背景画像は記憶部３０２に記憶される。

抽出部３０６は、撮像装置１１０により撮像された赤外光画像および可視光画像に含まれる前景物体の領域を抽出する。本実施形態に係る抽出部３０６は、処理対象とする画像が判別部３０３により可視光画像であると判別された場合、当該可視光画像と、生成部３０５により生成された最新の第１背景画像とから当該可視光画像に含まれる前景物体の領域を抽出する。同様に、抽出部３０６は、処理対象とする画像が判別部３０３により赤外光画像であると判別された場合、当該赤外光画像と、生成部３０５により生成された最新の第２背景画像とから当該赤外光画像に含まれる前景物体の領域を抽出する。

なお、本実施形態に係る抽出部３０６による前景物体の領域を抽出する方法として、次のような処理が実行される。すなわち、抽出部３０６は、背景画像に対する差分の領域を示す前景領域を「１」とし、その他の領域を「０」とする２値画像を生成する。この場合、抽出部２０４は、例えば、第１背景画像の各画素と可視光画像の各画素とで差分値を算出し、算出した差分値が閾値以上の画素については前景領域を表す「１」を設定し、閾値未満の場合は「０」を設定することにより、２値画像を生成することができる。同様に、抽出部３０６は、第２背景画像の各画素と赤外光画像の各画素とで差分値を算出し、算出した差分値が閾値以上の画素については前景領域を表す「１」を設定し、閾値未満の場合は「０」を設定する。なお、抽出部２０３は、背景差分のみならず、他の手法によって前景領域を特定してもよい。

合成部３０７は、抽出部３０６により抽出された前景物体の領域を抽象化した画像と、背景画像とを合成した出力画像を生成する。本実施形態に係る合成部３０７は、処理対象とする画像が可視光画像であると判別部３０３により判別された場合、可視光画像から抽出された前景物体の領域を抽象化したマスク画像を生成する。そして、合成部３０７は、当該マスク画像と、可視光画像に基づく第１背景画像とを合成した出力画像を生成する。

一方、合成部３０７は、処理対象とする画像が赤外光であると判別部３０３により判別された場合、赤外光画像から抽出された前景物体の領域を抽象化したマスク画像を生成する。そして、合成部３０７は、当該マスク画像と、可視光画像に基づく第１背景画像とを合成した出力画像を生成する。

なお、合成部３０７による前景物体の領域を抽象化（匿名化）する処理は、例えば、次のような処理を実行する。すなわち、合成部３０７は、前景物体の領域を、任意の色（ＲＧＢ値）で塗りつぶすことで抽象化（匿名化）したマスク画像を生成する。なお、前景物体の領域を抽象化（匿名化）したマスク画像としては、例えば、当該領域に対しモザイク処理を施したモザイク画像、当該領域にぼかし処理を施したぼかし画像などであってもよい。

出力制御部３０８は、合成部３０７により生成された出力画像を外部装置（記録装置１２０、ディスプレイ１３０等）へ出力する。このとき、出力制御部３０８は、例えば、合成部３０７により生成された出力画像をディスプレイ１３０に表示させる。

次に、図４に示すフローを参照して、本実施形態に係る撮像装置１１０の処理について説明する。図４に示すフローの処理を実行することで、撮像装置１１０は、可視光画像を撮像する第１モードと、赤外光画像を撮像する第２モードとの切り替えを制御する。

なお、図４に示すフローの処理は、撮像装置１１０のＲＯＭ９２０に格納されたコンピュータプログラムを撮像装置１１０のＣＰＵ９００が実行して実現される図２に示すシステム制御部２０３等の機能ブロックにより実行されるものとする。

まず、Ｓ４０１にて、システム制御部２０７は、撮像モード（第１モードおよび第２モード）を切り替えるかを判別する。そして、撮像モードを切り替えると判別した場合（Ｓ４０１にてＹｅｓ）はＳ４０２へ遷移し、切り替えない場合（Ｓ４０１にてＮｏ）はＳ４０１の処理を繰り返す。なお、システム制御部２０７は、例えば、現在の撮像モードが第１モードである場合において、現在時刻の情報を取得し、夜間に対応する所定の時刻に達したと判別した場合は、第２モードへ切り替えると判別する。同様に、システム制御部２０７は、現在の撮像モードが第２モードである場合において、現在時刻の情報を取得し、日中に対応する所定の時刻に達したと判別した場合は、第１モードへ切り変えると判別する。

Ｓ４０１において第１モードへの切り替えると判別された場合（Ｓ４０２にてＹｅｓ）は、Ｓ４０３へ遷移し、Ｓ４０１において第２モードへ切り替えると判別された場合（Ｓ４０２にてＮｏ）の場合は、Ｓ４０５へ遷移する。

Ｓ４０２にてＹｅｓであった場合において、Ｓ４０３にて、照明制御部２０６は、日中において画像を撮像する第１モードにおいて、赤外照明２１２をオフにして赤外光を照射しないよう制御する。次に、Ｓ４０４にて、フィルタ制御部２０４は、日中において画像を撮像する第１モードでは、ＩＲＣＦ２０８をレンズ２１０と撮像部２０１の間の光路へ挿入するようフィルタホルダ２０９を制御する。次に、Ｓ４０２にてＹｅｓであった場合において、Ｓ４０７にて、システム制御部２０３は、撮像モードが第１モードへ切り替わったことを示す情報を情報処理装置１００へ送信する。

Ｓ４０２にてＮｏであった場合において（第２モードへ切り替わった場合において）、Ｓ４０５にて、照明制御部２０６は、赤外照明２１２をオンにして赤外光を照射するよう制御する。次に、Ｓ４０６にて、フィルタ制御部２０４は、レンズ２１０と撮像部２０１の間の光路からＩＲＣＦ２０８を取り外すようフィルタホルダ２０９を制御する。次に、Ｓ４０２にてＮｏであった場合において、Ｓ４０７にて、システム制御部２０７は、撮像モードが第２モードへ切り替わったことを示す情報を情報処理装置１００へ送信する。

Ｓ４０８にて、終了の指示があった場合（Ｓ４０８にてＹｅｓ）、図４に示すフローの処理を終了し、終了の指示がなかった場合（Ｓ４０８にてＹｅｓ）、Ｓ４０１へ遷移する。

次に、図５（ａ）および図５（ｂ）に示すフローと、図６とを参照して、本実施形態に係る情報処理装置１００の情報処理について説明する。なお、図５（ａ）に示す第１モード処理を実行することで、情報処理装置１００は、可視光画像に含まれる前景物体の領域を抽象化した出力画像を生成する。また、図５（ｂ）に示す第２モード処理を実行することで、情報処理装置１００は、赤外光画像に含まれる前景物体の領域を抽象化した出力画像を生成する。なお、本実施形態において、情報処理装置１００は、撮像装置１１０が撮像した画像をリアルタイムで取得し、取得した画像に対して本実施形態に係る情報処理を実行するものとする。

なお、図５（ａ）および図５（ｂ）に示すフローの処理は、情報処理装置１００のＲＯＭ９２０に格納されたコンピュータプログラムを情報処理装置１００のＣＰＵ９００が実行して実現される図３に示す機能ブロックにより実行されるものとする。

ここでまず、図５（ａ）に示す第１モード処理について説明する。Ｓ５１１にて、判別部３０３は、撮像モードが第１モードから第２モードへ変更されたかを判別する。本実施形態に係る判別部３０３は、撮像装置１１０から送信された撮像モードの情報に基づき、現在の撮像装置１１０の撮像モードが第１モードか第２モードかを判別する。そして、撮像モードが第２モードであると判別された場合（Ｓ５１１にてＹｅｓ）、Ｓ５１８へ遷移し、Ｓ５１８にて、情報処理装置１００は第２モード処理を開始する。第２モード処理の詳細な説明については図５（ｂ）を参照して後述する。

Ｓ５１１にて、判別部３０３により撮像モードが現在の撮像モードが第１モードであると判別された場合（Ｓ５１１にてＮｏ）、撮像モードは変更されていないとして、Ｓ５１２へ遷移する。Ｓ５１２にて、通信部３０１は、撮像装置１１０が撮像した可視光画像を取得する。なお、図６（ａ）に示す画像は、撮像装置１１０により撮像された可視光画像の一例であり、本実施形態におけるプライバシーを保護する対象である人物６０１を含む。

次に、Ｓ５１３にて、抽出部３０６は、最新の第１背景画像を取得する。最新の第１背景画像とは、生成部３０５により可視光画像に基づき生成された第１背景画像のうち最新の第１背景画像を示す。なお、図６（ｂ）に示す画像は、生成部３０５により生成された最新の第１背景画像を示す。ここで、生成部３０５による第１背景画像および第２背景画像の生成処理について説明する。例えば、生成部３０５は、検出部３０４の検出結果に基づき、第１背景画像および第２背景画像を生成する。

第１背景画像を生成する場合、生成部３０５は、第１モードにおいて撮像装置１１０が撮像した可視光画像を複数のブロックに分割し、ブロックごとに検出部３０４により人物（または動体）が検出されなかった時間（安定背景時間）を計測する。各ブロックの安定背景時間を計測する間、検出部３０４により検出された人物（または動体）の領域を含むブロックは安定背景時間がゼロにリセットされる。生成部３０５は、更新前の第１背景画像を、安定背景時間が所定値を超えたブロック内の可視光画像で置換することで最新の第１背景画像を生成する。

同様に、第２背景画像を生成する場合、生成部３０５は、第２モードにおいて撮像装置１１０が撮像した赤外光画像を複数のブロックに分割し、ブロックごとに検出部３０４により人物（または動体）が検出されなかった時間（安定背景時間）を計測する。各ブロックの安定背景時間を計測する間、検出部３０４により検出された人物（または動体）の領域を含むブロックは安定背景時間がゼロにリセットされる。生成部３０５は、更新前の第２背景画像を、安定背景時間が所定値を超えたブロック内の赤外光画像で置換することで最新の第２背景画像を生成する。

なお、第１背景画像および第２背景画像を生成する処理は上述した方法に限らず、プライバシーを保護する対象の物体を含まないような第１背景画像および第２背景画像を生成する処理であれば任意の方法を用いてよい。

図５（ａ）の説明に戻り、Ｓ５１４にて、抽出部３０６は、Ｓ５１３で取得した最新の第１背景画像と、可視光画像とを比較することで（背景差分法）、可視光画像に含まれる前景物体の領域を抽出する。図６に示す例において、抽出部３０６は、図６（ａ）に示す可視光画像と、図６（ｂ）に示す第１背景画像とを比較することで、可視光画像に含まれる前景物体の領域として人物６０１の領域を抽出する。

次に、Ｓ５１５にて、合成部３０７は、抽出部３０６により抽出された前景物体の領域を抽象化したマスク画像を生成する。図６に示す例において、合成部３０７は、抽出部３０６により前景物体の領域として抽出された人物６０１の領域を抽象化することでマスク画像６０２を生成する。

次に、Ｓ５１６にて、合成部３０７は、Ｓ５１５にて生成したマスク画像と、最新の第１背景画像とを合成した出力画像を生成する。図６（ｃ）に示す画像は、Ｓ５１５にて生成したマスク画像６０２と、図６（ｂ）に示す第１背景画像とを合成した出力画像である。

次に、Ｓ５１７にて、出力制御部３０８は、合成部３０７により生成された出力画像を外部装置（記録装置１２０、ディスプレイ１３０等）へ出力し、その後、Ｓ５１１へ遷移してＳ５１１の処理を繰り返す。なお本実施形態に係る出力制御部３０８は、合成部３０７により生成された出力画像をディスプレイ１３０に表示させる。

以上説明したように、第１モード処理では、可視光画像から抽出した前景物体の領域を抽象化してマスク画像を生成し、生成したマスク画像と最新の第１背景画像とを合成することで出力画像を生成する。

次に、図５（ｂ）に示す第２モード処理について説明する。Ｓ５２１にて、判別部３０３は、撮像モードが第２モードから第１モードへ変更されたかを判別する。本実施形態に係る判別部３０３は、撮像装置１１０から送信された撮像モードの情報に基づき、現在の撮像装置１１０の撮像モードが第１モードか第２モードかを判別する。そして、撮像モードが第１モードであると判別された場合（Ｓ５２１にてＹｅｓ）、Ｓ５２８へ遷移し、Ｓ５２８にて、情報処理装置１００は第１モード処理を開始する。

Ｓ５２１にて、判別部３０３により撮像モードが現在の撮像モードが第２モードであると判別された場合（Ｓ５１１にてＮｏ）、撮像モードは変更されていないとして、Ｓ５２２へ遷移する。Ｓ５２２にて、通信部３０１は、撮像装置１１０が撮像した赤外光画像を取得する。なお、図６（ｄ）に示す画像は、撮像装置１１０により撮像された赤外光画像の一例であり、本実施形態におけるプライバシーを保護する対象である人物６０３、６０４を含む。

次に、Ｓ５２３にて、抽出部３０６は、最新の第２背景画像を取得する。最新の第２背景画像とは、生成部３０５により可視光画像に基づき生成された第２背景画像のうち最新の第２背景画像を示す。なお、図６（ｅ）に示す画像は、生成部３０５により生成された最新の第２背景画像を示す。

次に、Ｓ５２４にて、抽出部３０６は、Ｓ５２３で取得した最新の第２背景画像と、赤外光画像とを比較することで（背景差分法）、赤外光画像に含まれる前景物体の領域を抽出する。図６に示す例において、抽出部３０６は、図６（ｄ）に示す赤外光画像と、図６（ｅ）に示す第２背景画像とを比較することで、赤外光画像に含まれる前景物体の領域として人物６０３、６０４の領域を抽出する。

次に、Ｓ５２５にて、合成部３０７は、抽出部３０６により抽出された前景物体の領域を抽象化したマスク画像を生成する。図６に示す例において、合成部３０７は、抽出部３０６により前景物体の領域として抽出された人物６０３、人物６０４の領域を抽象化することでマスク画像６０５、マスク画像６０６を生成する。

次に、Ｓ５２６にて、合成部３０７は、Ｓ５１５にて生成したマスク画像と、最新の第１背景画像とを合成した出力画像を生成する。図６（ｆ）に示す画像は、Ｓ５２５にて生成したマスク画像６０５およびマスク画像６０６と、図６（ｂ）に示す第１背景画像とを合成した出力画像である。なお、ここでの図６（ｂ）に示す第１背景画像は、第２モード処理が開始される前に生成部３０５により生成された最新の第１背景画像を示す。

次に、Ｓ５２７にて、出力制御部３０８は、合成部３０７により生成された出力画像を外部装置（記録装置１２０、ディスプレイ１３０等）へ出力し、その後、Ｓ５２１へ遷移してＳ５２１の処理を繰り返す。なお本実施形態に係る出力制御部３０８は、合成部３０７により生成された出力画像をディスプレイ１３０に表示させる。

以上説明したように、第２モード処理では、第２背景画像を用いて赤外光画像から抽出した前景物体の領域を抽象化してマスク画像を生成し、生成したマスク画像と最新の第１背景画像とを合成することで出力画像を生成する。すなわち、第２モード処理では、赤外光画像から前景物体の領域を抽出するにあたって、赤外光画像に基づく第２背景画像を用いるが、出力画像を生成するにあたっては、可視光画像に基づく第１背景画像を用いる。このように、出力画像を生成する際、より視認性の高い可視光画像に基づく第１背景画像を用いることで、赤外光を用いて画像が撮像される場合であっても、プライバシーを保護しつつ視認性の低下を抑制した出力画像を生成することができる。

なお、第２モード処理におけるＳ５２６にて、合成部３０７は、第２背景画像を用いて抽出した前景物体の領域に対応するマスク画像と、最新の第１背景画像とを合成した出力画像を生成するものとしたが、本実施形態ではこれに限らない。例えば、合成部３０７は、最新の第１背景画像に対し所定の補正処理を実行して生成した第３背景画像を用いてもよい。ここでの第１背景画像に対する補正処理の方法としては、例えば、当該第１背景画像の色彩度や色温度を変更することで第３背景画像を補正する方法がある。そして、合成部３０７は、第２背景画像を用いて抽出した前景物体の領域に対応するマスク画像と、最新の第１背景画像を補正した第３背景画像とを合成した出力画像を生成する。

また、第２モード処理におけるＳ５２６にて、合成部３０７は、第２背景画像を用いて抽出した前景物体の領域に対応するマスク画像と、最新の第１背景画像と、赤外光画像を撮像中である情報を示す画像とを合成した出力画像を生成してもよい。赤外光画像を撮像中である情報を示す画像としては、例えば、「赤外光画像」という文言が記載されたラベルの画像など、赤外光画像であることを示す画像であれば任意の画像でよい。

以上説明したように、本実施形態における情報処理装置１００は、第１モード処理において、第１背景画像を用いて可視光画像から抽出した前景物体の領域に対応するマスク画像と第１背景画像とを合成した出力画像を生成する。一方、第２モード処理において、情報処理装置１００は、第２背景画像を用いて赤外光画像から抽出した前景物体の領域に対応するマスク画像と第１背景画像とを合成した出力画像を生成する。このように、第２モード処理において出力画像を生成する際、より視認性の高い可視光画像に基づく第１背景画像とマスク画像とを合成することで、プライバシーを保護しつつ視認性の低下を抑制した出力画像を生成することができる。

（その他の実施形態）
次に図７を参照して、各実施形態の各機能を実現するための情報処理装置１００のハードウェア構成を説明する。なお、以降の説明において情報処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現されるものとする。

本実施形態における情報処理装置１００は、ＣＰＵ７００と、ＲＡＭ７１０と、ＲＯＭ７２０、ＨＤＤ７３０と、Ｉ／Ｆ７４０と、を有している。

ＣＰＵ７００は情報処理装置１００を統括制御する中央処理装置である。ＲＡＭ７１０は、ＣＰＵ７００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ７１０は、ＣＰＵ７００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ７１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ７２０は、ＣＰＵ７００が情報処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ７３０は、画像データ等を記録する記憶装置である。Ｉ／Ｆ７４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

なお、上述した各実施形態の説明では、ＣＰＵ７００が処理を実行する例について説明するが、ＣＰＵ７００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ７２０からプログラムコードを読み出してＲＡＭ７１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

なお、本発明は、上述の実施形態の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、画像処理装置１００の各部は、図７に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

なお、上述した実施形態に係る情報処理装置１００の１以上の機能を他の装置が有していてもよい。例えば、情報処理装置１００の１以上の機能を撮像装置１１０が有し、上述した実施形態に係る情報処理を撮像装置１１０が実行してもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

１００ 情報処理装置
１１０ 撮像装置
３０１ 通信部
３０２ 記憶部
３０３ 判別部
３０４ 検出部
３０５ 生成部
３０６ 抽出部
３０７ 合成部
３０８ 出力制御部

Claims (17)

1. 可視光を用いて画像を撮像する第１モードにおいて撮像された可視光画像と、赤外光を用いて画像を撮像する第２モードにおいて撮像された赤外光画像とを取得する取得手段と、
   前記取得手段により取得された可視光画像に基づく第１背景画像を生成し、前記取得手段により取得された赤外光画像に基づく第２背景画像を生成する生成手段と、
   前記取得手段により取得された可視光画像と、前記生成手段により生成された第１背景画像とから前景物体の領域を抽出し、前記取得手段により取得された赤外光画像と、前記生成手段により生成された第２背景画像とから前景物体の領域を抽出する抽出手段と、
   前記可視光画像から抽出された前景物体の領域を抽象化したマスク画像と、前記生成手段により生成された第１背景画像とを合成した出力画像を出力し、前記赤外光画像から抽出された前景物体の領域を抽象化したマスク画像と、前記生成手段により生成された第１背景画像とを合成した出力画像を出力する出力制御手段とを有することを特徴とする情報処理装置。
2. 前記出力制御手段は、前記赤外光画像から抽出された前景物体の領域を抽象化したマスク画像と、前記生成手段により生成された第１背景画像のうち最新の第１背景画像とを合成した出力画像を出力する請求項１に記載の情報処理装置。
3. 前記可視光画像および前記赤外光画像から物体を検出する検出処理を実行する検出手段を更に有し、
   前記生成手段は、前記可視光画像と、前記可視光画像に対する前記検出処理の結果とに基づき前記第１背景画像を生成し、前記赤外光画像と、前記赤外光画像に対する前記検出処理の結果とに基づき前記第２背景画像を生成することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記生成手段は、前記可視光画像における前記検出手段により検出された物体の領域以外の領域に基づいて前記第１背景画像を生成し、前記赤外光画像における前記検出手段により検出された物体の領域以外の領域に基づいて前記第２背景画像を生成することを特徴とする請求項３に記載の情報処理装置。
5. 前記抽出手段は、前記可視光画像と、前記第１背景画像とを比較することで前記可視光画像に含まれる前景物体の領域を抽出し、前記赤外光画像と、前記第２背景画像とを比較することで前記赤外光画像に含まれる前景物体の領域を抽出することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記前景物体の領域を抽象化したマスク画像は、前記前景物体の領域を所定の色で塗りつぶした画像であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記出力制御手段は、前記赤外光画像から抽出された前景物体の領域を抽象化したマスク画像と、前記第１背景画像と、前記赤外光画像を撮像していることを示すラベルとを合成した出力画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記出力制御手段は、前記赤外光画像から抽出された前景物体の領域を抽象化したマスク画像と、前記第１背景画像に対し所定の補正処理を実行して生成された第３背景画像とを合成した出力画像を出力することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 可視光を用いて画像を撮像する第１モードにおいて撮像された可視光画像と、赤外光を用いて画像を撮像する第２モードにおいて撮像された赤外光画像とを取得する取得工程と、
   前記取得工程において取得された可視光画像に基づく第１背景画像を生成し、前記取得工程において取得された赤外光画像に基づく第２背景画像を生成する生成工程と、
   前記取得工程において取得された可視光画像と、前記生成工程において生成された第１背景画像とから前景物体の領域を抽出し、前記取得工程において取得された赤外光画像と、前記生成工程において生成された第２背景画像とから前景物体の領域を抽出する抽出工程と、
   前記可視光画像から抽出された前景物体の領域を抽象化したマスク画像と、前記生成工程において生成された第１背景画像とを合成した出力画像を出力し、前記赤外光画像から抽出された前景物体の領域を抽象化したマスク画像と、前記生成工程において生成された第１背景画像とを合成した出力画像を出力する出力制御工程とを有することを特徴とする情報処理方法。
10. 前記出力制御工程において、前記赤外光画像から抽出された前景物体の領域を抽象化したマスク画像と、前記生成において生成された第１背景画像のうち最新の第１背景画像とを合成した出力画像を出力する請求項９に記載の情報処理方法。
11. 前記可視光画像および前記赤外光画像から物体を検出する検出処理を実行する検出工程を更に有し、
    前記生成工程において、前記可視光画像と、前記可視光画像に対する前記検出処理の結果とに基づき前記第１背景画像を生成し、前記赤外光画像と、前記赤外光画像に対する前記検出処理の結果とに基づき前記第２背景画像を生成することを特徴とする請求項９または１０に記載の情報処理方法。
12. 前記生成工程において、前記可視光画像における前記検出工程において検出された物体の領域以外の領域に基づいて前記第１背景画像を生成し、前記赤外光画像における前記検出工程において検出された物体の領域以外の領域に基づいて前記第２背景画像を生成することを特徴とする請求項１１に記載の情報処理方法。
13. 前記抽出工程において、前記可視光画像と、前記第１背景画像とを比較することで前記可視光画像に含まれる前景物体の領域を抽出し、前記赤外光画像と、前記第２背景画像とを比較することで前記赤外光画像に含まれる前景物体の領域を抽出することを特徴とする請求項９乃至１２のいずれか１項に記載の情報処理方法。
14. 前記前景物体の領域を抽象化したマスク画像は、前記前景物体の領域を所定の色で塗りつぶした画像であることを特徴とする請求項９乃至１３のいずれか１項に記載の情報処理方法。
15. 前記出力制御工程において、前記赤外光画像から抽出された前景物体の領域を抽象化したマスク画像と、前記第１背景画像と、前記赤外光画像を撮像していることを示すラベルとを合成した出力画像を生成することを特徴とする請求項９乃至１４のいずれか１項に記載の情報処理方法。
16. 前記出力制御工程において、前記赤外光画像から抽出された前景物体の領域を抽象化したマスク画像と、前記第１背景画像に対し所定の補正処理を実行して生成された第３背景画像とを合成した出力画像を出力することを特徴とする請求項９乃至１５のいずれか１項に記載の情報処理方法。
17. コンピュータを、請求項１乃至８のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。
    

Images