JP6180244B2 - カメラ映像処理方法、装置およびプログラム - Google Patents

Description

本発明は、カメラ映像を処理する方法、装置およびプログラムに係り、特に、オブジェクトの背景を選択的に映像処理して不可視化するカメラ映像処理方法、装置およびプログラムに関する。

テレビ会議やビデオチャット（インターネット経由で互いの映像を映しながら行う会話）のような映像コミュニケーション、あるいは取材場所を秘匿したい場合の現場取材などでは、当事者（オブジェクト）のみをカメラ映像として出力し、背景部分はプライバシーやセキュリティの観点から塗り潰し処理やモザイク処理を施して不可視化したいといった要望がある。

特許文献１には、オブジェクト抽出の代表的な方法として、カメラが固定されていることを前提に、オブジェクトを含まない背景画像を予め取得しておき、撮影映像と背景画像との差分をオブジェクト領域として抽出し、それ以外の領域を背景部分として映像処置する技術が開示されている。

特願2012-214194号

特許文献１で提案されている手法は、背景画像が固定的すなわちカメラが固定されていることを前提としているため、カメラを動かした場合は背景画像を再度取得する必要があり、円滑なコミュニケーションを阻害するという問題があった。特に、カメラがハンディタイプのように常に動く場合には適用できなかった。

一方、スマートデバイスカメラ等に搭載されている顔検出機能では、大まかな顔の領域は特定できるものの、顔や体（オブジェクト）の輪郭を認識することができないので、オブジェクトに映像欠けを生じさせることなく背景領域のみを正確に認識して画像処理することができなかった。

本発明の目的は、上記の技術課題を解決し、背景の映像が固定的ではない場合も、カメラ映像からオブジェクトの背景領域のみに映像処理を行えるカメラ映像処理方法、装置およびプログラムを提供することにある。

上記の目的を達成するために、本発明のカメラ映像処理装置は、以下の構成を具備した点に特徴がある。

(1)カメラ映像内でオブジェクトを追跡するオブジェクト追跡手段と、オブジェクトの輪郭を模したスケルトンモデルを出力するスケルトンモデル出力手段と、オブジェクトの追跡位置にスケルトンモデルを位置決めしてオブジェクトのシルエット映像を出力する映像処理手段と、前記スケルトンモデルに対するフィッティング操作を検知して当該スケルトンモデルの形状に反映させるフィッティング操作検知手段とを具備した。

(2)スケルトンモデルが、その輪郭部分にαブレンド領域を備え、映像処理手段は、前記αブレンド領域と重なる領域のカメラ映像を半可視化するようにした。

本発明によれば、以下のような効果が達成される。
(1)スケルトンモデルの形状をオブジェクトの輪郭にフィッティングさせることができるので、オブジェクトの形状に個体差がある場合でも、オブジェクトの背景のみを正確に不可視化したオブジェクトシルエット映像を提供できるようになる。

(2)オブジェクトの追跡結果に合わせてスケルトンモデルの表示位置が移動し、オブジェクトとスケルトンモデルとの相対的な位置関係が常に維持されるので、カメラ映像内でオブジェクトや背景が移動しても、オブジェクトの背景のみを正確に不可視化したオブジェクトシルエット映像を提供できるようになる。

(3)スケルトンモデルの輪郭近傍がαブレンド領域とされ、オブジェクトの輪郭部分はαブレンド画像とできるので、オブジェクトの形状を損なうことなく背景を確実に不可視化できるようになる。

本発明の一実施形態に係るカメラ映像処理装置の機能ブロック図である。 本発明の一実施形態の動作を示したフローチャートである。 カメラ映像の一例を示した図である。 カメラ映像を対象とした顔認識結果の一例を示した図である。 テンプレートの一例を示した図である。 スケルトンモデルの一例を示した図である。 人物シルエット映像（フィッティング前）の一例を示した図である。 人物シルエット映像（フィッティング後）の一例を示した図である。 オジュジェクト追跡時の人物シルエット映像の一例を示した図である。

以下、図面を参照して本発明の実施形態について詳細に説明する。図１は、本発明の一実施形態に係るカメラ映像処理装置の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。

本実施例のカメラ映像処理装置は、汎用のコンピュータ（サーバ、スマートフォン、PDA）に各機能を実現するアプリケーション（プログラム）を実装して構成しても良いし、あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成しても良い。

オブジェクト検出部１１は、撮像部１０がフレーム単位で出力するカメラ映像からオブジェクトを検出する。本実施例では、オブジェクト検出部１１が顔検出を実行し、人間の顔領域がオブジェクトとして検出されるものとして説明する。

テンプレート登録部１２は、顔領域（オブジェクト）を含む矩形領域をテンプレートとして登録する。オブジェクト追跡部１３は、カメラ映像を対象に前記テンプレートを用いた画像マッチング処理（テンプレートマッチング）を行ってオブジェクトを追跡する。

スケルトンモデル記憶部１４には、オブジェクトのスケルトン形状を模したスケルトンモデルの基本形状が予め登録されている。図６は、スケルトンモデルの基本形状の一例を示した図であり、追跡対象のオブジェクトが人間であれば、例えば上半身の輪郭形状に応じたスケルトン領域R1（黒色部分）と、当該スケルトン領域の顔領域の輪郭に沿って所定の幅で設けられたαブレンド領域R2（グレー部分）とから構成される。

フィッティング操作検知部１５は、前記スケルトンモデルの形状をオブジェクトの形状にフィッティングさせる手動操作を検知する。スケルトンモデル出力部１６は、前記フィッティング操作が検知されるまでは前記スケルトンモデルの基本形状をスケルトンモデル記憶部１４から読み出して出力し、前記フィッティング操作が検知されると、当該フィッティング操作をスケルトンモデルに反映させて得られるフィッティング後のスケルトンモデルを出力する。

映像処理部１７は、オブジェクトの背景を塗り潰したりモザイク処理したりすることで不可視化する処理部１７ａ，１７ｂを備え、撮像部１０が出力するカメラ映像に対して、スケルトンモデル出力部１６が出力するスケルトンモデルを、オブジェクト追跡部１３が出力する追跡結果に基づいて、オブジェクトの中心座標とスケルトンモデルの中心座標とが一致するように位置決めする。そして、カメラ映像のスケルトンモデルと重なる領域以外の背景領域に塗り潰し処理やモザイク処理などの背景処理を実施することで、オブジェクト以外が不可視化された人物シルエット映像（後述する図８，９）を生成、出力する。

本実施例では、スケルトンモデルがスケルトン領域R1およびαブレンド領域R2により構成されるので、スケルトン領域R1と重なる領域のカメラ映像は可視化され、αブレンド領域R2と重なる領域のカメラ映像は半可視化され、それ以外の領域は不可視化される。

次いで、図２のフローチャートを参照して本発明の一実施形態の動作について説明する。ステップS１では、図３に示したように、撮像部１０から出力されるカメラ映像がフレーム単位で順次に取得される。ステップS２では、オブジェクト検出部１１において、前記カメラ映像の時系列を対象に顔認識が実行され、図４に示したようにオブジェクト（本実施例では、顔領域）が検出される。

ステップS３では、図５に示したように、顔領域を含む矩形領域がオブジェクトのテンプレートとしてテンプレート登録部１２に登録される。ステップS４では、前記オブジェクト追跡部１３において、カメラ映像を対象に前記テンプレートを用いてテンプレートマッチングが実施され、マッチング尤度の高い領域をオブジェクトと判定して逐次追跡するオブジェクト追跡が開始される。

ステップS５では、スケルトンモデル出力部１６に登録されているスケルトンモデルが映像処理部１７へ取り込まれる。本実施例では、スケルトンモデルの基本形状が予めスケルトンモデル出力部１６に登録されているので、ここでは基本形状のスケルトンモデルが取り込まれる。

なお、前記顔認識機能に人物識別機能を追加する共に、各識別候補に固有のスケルトンモデルを予め用意しておき、人物の識別結果に基づいて対応するスケルトンモデルが選択的に取り込まれるようにしても良い。このように人物ごとにスケルトンモデルが選択できるようにすれば、体型や髪形といった輪郭の相違や、露出部分を顔のみにしたい人物と顔のみならず上半身の露出も許容できる人物とが混在している場合でもスケルトンモデルの基本形状を最適化できるので、後述するフィッティング操作が容易になる。

ステップS６では、映像処理部１７において、前記カメラ映像において追跡中の顔領域の中心座標と前記スケルトンモデルの顔領域の中心座標とが一致するように、カメラ映像に対して前記スケルトンモデル（フィッティング前）が位置決めされて重畳表示され、人物シルエット映像として出力される。

図７は、人物シルエット映像の一例を示した図であり、当該時点ではスケルトンモデルがオブジェクトに対してフィッティングされる前の基本モデルのままなので、オブジェクトの輪郭とスケルトンモデルの輪郭との間に隙間があり、輪郭部近傍では背景の不可視化が不十分となっている。

ステップS７では、オペレータによる前記スケルトンモデルに対するフィッティング操作の有無が前記フィッティング操作検知部１５により判定される。ここで、オペレータがマウス、タッチパネルあるいはキーボード等の入力操作子を適宜に操作することにより、図８に示したように、前記スケルトンモデルをオブジェクトの輪郭形状にフィッティングさせる操作を行うと、これが検知されるとステップS８へ進む。

ステップS８では、フィッティング後のスケルトンモデルが前記スケルトンモデル出力部１６に更新登録される。したがって、これ以降は、追跡中のカメラ映像に対して前記フィッティング後のスケルトンモデルが重畳表示されるので、背景領域のみが正確に不可視化ないしは半可視化された人物シルエット映像が出力されるようになる。

ステップS９では、前記ステップS４におけるテンプレートマッチングの尤度に基づいて、オブジェクトを正常に追跡できているか否かが判定される。追跡が正常に行われていればステップS４へ戻り、オブジェクトの追跡、スケルトンモデルの位置決めおよび人物シルエット映像の出力が繰り返される。これに対して、マッチング尤度が所定の閾値を下回ると、追跡に失敗していると判断されてステップS２へ戻り、オジュジェクト検出から上記の各処理が改めて行われる。

図９(a)，(b)，(c)は、オブジェクト追跡が正常に行われている場合のカメラ映像およびその人物シルエット映像の出力例を示した図であり、オブジェクトの表示欠けを抑えながら背景が正確に不可視化ないしは半可視化されている様子を確認できる。

なお、上記の実施形態では、予め用意されているスケルトンモデル（図６）の形状が、人の上半身や頭部を模したものであるとして説明したが、本発明はこれのみに限定されるものではなく、例えば人の全身を模したスケルトンモデルを含む多数のスケルトンモデルも用意しておき、オペレータがカメラ映像内でのオブジェクトの形状に応じて所望のスケルトンモデルを選択できるようにしても良い。

また、上記の実施形態ではオブジェクトが人間であるものとして説明したが、本発明はこれのみに限定されるものではなく、人間以外の有体分（物品）であっても良い。この場合は、顔認認識アルゴリズムに代えて当該物品認識用のアルゴリズムを採用し、さらにスケルトンモデルも当該物品の輪郭形状を模したモデルを用意すればよい。

本実施例によれば、スケルトンモデルの形状をオブジェクトの輪郭にフィッティングさせることができるので、オブジェクトの形状に個体差がある場合でも、オブジェクトの背景のみを正確に不可視化したオブジェクトシルエット映像を提供できるようになる。

また、オブジェクトの追跡結果に合わせてスケルトンモデルの表示位置が移動し、オブジェクトとスケルトンモデルとの相対的な位置関係が常に維持されるので、カメラ映像内でオブジェクトや背景が移動しても、オブジェクトの背景のみを正確に不可視化したオブジェクトシルエット映像を提供できるようになる。

さらに、スケルトンモデルの輪郭近傍がαブレンド領域とされ、オブジェクトの輪郭部分はαブレンド画像とできるので、オブジェクトの形状を損なうことなく背景を確実に不可視化できるようになる。

１０…撮像部，１１…オブジェクト検出部，１２…テンプレート登録部，１３…オブジェクト追跡部，１４…スケルトンモデル記憶部，１５…フィッティング操作検知部，１６…スケルトンモデル出力部，１７…映像処理部

Claims (8)

1. カメラ映像内でオブジェクトを追跡するオブジェクト追跡手段と、
   オブジェクトの輪郭を模し、その形状を更にオブジェクトの輪郭にフィッティングできるスケルトンモデルを出力するスケルトンモデル出力手段と、
   オブジェクトの追跡位置にスケルトンモデルを位置決めしてオブジェクトシルエット映像を出力する映像処理手段と、
   前記スケルトンモデルに対するフィッティング操作を検知して当該スケルトンモデルの形状に反映させるフィッティング操作検知手段とを具備したことを特徴とするカメラ映像処理装置。
2. カメラ映像から検出されたオブジェクトのテンプレートを登録するテンプレート登録手段をさらに具備し、
   前記オブジェクト追跡手段は、カメラ映像に対するテンプレートマッチングによりオブジェクトを追跡することを特徴とする請求項１に記載のカメラ映像処理装置。
3. 前記映像処理手段は、前記スケルトンモデルと重なる領域のカメラ映像を可視化し、それ以外の領域を不可視化することを特徴とする請求項１または２に記載のカメラ映像処理装置。
4. 前記スケルトンモデルは、その輪郭部分にαブレンド領域を備え、
   前記映像処理手段は、前記αブレンド領域と重なる領域のカメラ映像を半可視化することを特徴とする請求項３に記載のカメラ映像処理装置。
5. カメラ画像から顔領域を認識する手段と、
   顔認識された人物を識別する手段とをさらに具備し、
   前記スケルトンモデルが識別候補の人物ごとに用意され、
   前記スケルトンモデル出力手段は、前記識別された人物に対応したスケルトンモデルを出力することを特徴とする請求項１ないし４のいずれかに記載のカメラ映像処理装置。
6. 前記カメラ映像処理装置が、コンピュータまたはサーバにより構成されたことを特徴とする請求項１ないし５のいずれかに記載のカメラ映像処理装置。
7. コンピュータにより実行されるカメラ映像処理方法において、
   カメラ映像内でオブジェクトを追跡する手順と、
   オブジェクトの追跡位置に、オブジェクトの輪郭を模し、その形状を更にオブジェクトの輪郭にフィッティングできるスケルトンモデルを位置決めしてオブジェクトシルエット映像を出力する手順と、
   前記スケルトンモデルに対するフィッティング操作を検知して当該スケルトンモデルの形状に反映させる手順とを含むことを特徴とするカメラ映像処理方法。
8. カメラ映像内でオブジェクトを追跡する手順と、
   オブジェクトの追跡位置に、オブジェクトの輪郭を模し、その形状を更にオブジェクトの輪郭にフィッティングできるスケルトンモデルを位置決めしてオブジェクトシルエット映像を出力する手順と、
   前記スケルトンモデルに対するフィッティング操作を検知して当該スケルトンモデルの形状に反映させる手順とを、コンピュータに実行させるカメラ映像処理プログラム。