JP5273087B2

JP5273087B2 - 映像処理装置および映像処理方法

Info

Publication number: JP5273087B2
Application number: JP2010093055A
Authority: JP
Inventors: 博幸佐藤
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2010-04-14
Filing date: 2010-04-14
Publication date: 2013-08-28
Anticipated expiration: 2030-04-14
Also published as: US20130027405A1; KR101327252B1; CN102986206B; EP2560365A4; JP2011223498A; WO2011129174A1; KR20120137408A; EP2560365A1; CN102986206A

Description

本発明は、映像の一部の領域をマスキングする映像処理装置および映像処理方法に関する。

監視カメラを用いて公共の場所を監視する場合、プライバシーの保護のため、個人の家などが公にならないよう配慮する必要がある。このため、監視カメラの撮影画像の一部の領域にマスキング処理を施すことが行われている。

例えば、撮影画像をブロックに分割し、ブロック単位でマスキングを行うか否かを指定することによりマスク領域を設定し、このマスク領域の画像にマスキング処理を施す技術が知られている。

しかし、上記のように撮影画像をブロック分割してマスク領域を設定する手法では、マスク領域の形状が、矩形を組み合わせた形状に限られる。このため、保護したい対象物の画像を正確にトレースすることが困難であり、保護対象物を十分にマスキングできないことがあった。

そこで、特許文献１では、三角形、四角形等の形状を有する複数種類のマスクパターンを予めメモリに記憶し、これらのマスクパターンを必要に応じて組み合わせて撮影画像に重畳してマスキングする撮像装置が提案されている。これにより、さまざまな形状の領域をマスキングできるようにしている。

特開２００５−２２９３５１号公報

しかし、特許文献１の技術では、マスクパターンを記憶しておくためのフレームメモリがマスクパターンの種類の数だけ必要であり、装置構成の増大を招く。

また、マスクパターンを拡大、縮小、回転させて用いることはできるが、予めメモリに記憶しておいたマスクパターンがベースとなるため、複数のマスクパターンを記憶していたとしても、マスキングする領域の形状設定の自由度は限られていた。

本発明は上記に鑑みてなされたもので、装置構成の増大を抑えながら、映像中でマスキングする領域の形状設定の自由度を向上することができる映像処理装置および映像処理方法を提供することを目的とする。

上記目的を達成するため、本発明の映像処理装置は、映像信号とその同期信号とを取得する映像取得部と、ユーザ操作に応じて、前記映像信号に基づく映像を表示する表示画面上における３つ以上の点を指定する指定部と、前記指定部で指定された各点を頂点とする多角形の各辺を構成する各直線を定義する定義部と、前記同期信号に基づいて、前記映像信号における各画素の前記表示画面上における水平方向および垂直方向の座標を指定する座標指定部と、前記座標指定部により指定される各画素の水平方向または垂直方向である一方の方向の座標値に対応する、前記各直線上の前記一方の方向とは異なる方向である他方の方向の座標値を算出する座標算出部と、前記座標指定部により指定される各画素の前記他方の方向の座標値と、前記座標算出部により算出された前記各直線上の前記他方の方向の座標値とを比較することにより、前記映像信号における各画素が、前記各直線で囲まれる前記多角形内の領域であるマスク領域に含まれるか否かを判定する判定部と、前記マスク領域に含まれる各画素をマスク画像でマスキングするマスキング部とを備えることを特徴とする。

また、本発明の映像処理方法は、映像信号とその同期信号とを取得し、前記同期信号に基づいて、前記映像信号における各画素の表示画面上における水平方向および垂直方向の座標を座標指定部により指定して、前記映像信号に基づく映像を前記表示画面に表示する映像処理装置における映像処理方法であって、ユーザ操作に応じて、前記表示画面上における３つ以上の点を指定し、指定した各点を頂点とする多角形の各辺を構成する各直線を定義する工程と、前記座標指定部により指定される各画素の水平方向または垂直方向である一方の方向の座標値に対応する、前記各直線上の前記一方の方向とは異なる方向である他方の方向の座標値を算出する工程と、前記座標指定部により指定される各画素の前記他方の方向の座標値と、前記算出する工程で算出された前記各直線上の前記他方の方向の座標値とを比較することにより、前記映像信号における各画素が、前記各直線で囲まれる前記多角形内の領域であるマスク領域に含まれるか否かを判定する工程と、前記マスク領域に含まれる各画素をマスク画像でマスキングする工程とを含むことを特徴とする。

本発明の映像処理装置および映像処理方法によれば、装置構成の増大を抑えながら、映像中でマスキングする領域の形状設定の自由度を向上することができる。

本発明の実施の形態に係る映像処理装置の構成を示すブロック図である。直線で隔てられた領域を示す図である。４本の直線で囲まれた領域を示す図である。２つの点を通る直線を示す図である。図１に示す映像処理装置におけるマスク情報生成部の構成図である。図５に示すマスク情報生成部におけるオフセット算出部の構成図である。ブロック座標の説明図である。図５に示すマスク情報生成部における座標算出部の構成図である。図５に示すマスク情報生成部における比較器の説明図である。図８に示す座標算出部による座標算出結果の説明図である。マスク領域を設定するためのユーザインタフェースの一例の説明図である。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明の実施の形態に係る映像処理装置の構成を示すブロック図である。図１に示すように本実施の形態に係る映像処理装置１は、映像取得部２と、操作入力部３と、マスク情報生成部４と、マスキング部５と、モニタ６とを備える。

映像取得部２は、撮像機能を有し、被写体を撮影して得られた輝度信号および色差信号からなる映像信号と、その同期信号とを出力する。同期信号は、水平同期信号、垂直同期信号、およびクロック信号を含む。なお、映像取得部２は、外部から撮像装置で撮影された映像信号およびその同期信号を取得するものでもよい。

操作入力部３は、ユーザの操作を受け付け、操作に応じた操作信号を出力する。本実施の形態では、ユーザは、操作入力部３を操作して、映像が表示されるモニタ６の表示画面においてマスキングしたい領域の頂点となる点（３つ以上）を指定することで、指定した点の数と同数（３本以上）の直線で囲まれるマスク領域を設定することができる。操作入力部３は、ユーザ操作に応じてマスク領域の頂点となる各点（画素位置）を指定する指定部として機能し、各点の座標を示すマスク位置情報を出力する。

マスク情報生成部４は、映像信号における各画素が、ユーザ操作により指定された各点を頂点とする多角形内の領域であるマスク領域に含まれるか否かを判定し、その結果を示すマスク情報を出力する。

マスキング部５は、マスク情報生成部４から入力されるマスク情報に基づいて、映像信号におけるマスク領域に含まれる各画素をマスク画像でマスキングする処理を行う。

モニタ６は、液晶ディスプレイ等からなり、マスキング部５でマスク領域がマスキングされた映像を表示画面に表示する。

ここで、本実施の形態におけるマスク領域判定の考え方について説明する。

図２に示すｘｙ座標上の点ｐ（ｘ_ｐ，ｙ_ｐ）が、ｙ＝ａｘ＋ｂで表される直線Ｌで隔てられた領域Ａと領域Ｂとのどちらに位置するのかを知るには、以下の（式１）、（式２）の不等式が満たされるか否かを調べればよい。

ｙ_ｐ＜ａｘ_ｐ＋ｂ …（式１）
ｙ_ｐ＞ａｘ_ｐ＋ｂ …（式２）
（式１）が満たされる場合は、点ｐは領域Ａに位置し、（式２）が満たされる場合は、点ｐは領域Ｂに位置する。

したがって、例えば、図３に示す４本の直線Ｌ０〜Ｌ３（Ｌ０：ｙ＝ａ０ｘ＋ｂ０，Ｌ１：ｙ＝ａ１ｘ＋ｂ１，Ｌ２：ｙ＝ａ２ｘ＋ｂ２，Ｌ３：ｙ＝ａ３ｘ＋ｂ３）で囲まれる領域Ｃ内の点では、以下の（式３）〜（式６）の４つの不等式がすべて満たされる。

ｙ＜ａ０ｘ＋ｂ０ …（式３）
ｙ＞ａ１ｘ＋ｂ１ …（式４）
ｙ＜ａ２ｘ＋ｂ２ …（式５）
ｙ＜ａ３ｘ＋ｂ３ …（式６）
ところで、図４に示すｘｙ座標上の点ｐ０（ｘ０，ｙ０）、ｐ１（ｘ１，ｙ１）の２点を通る直線Ｌは、ｙ切片をｚとして、以下のように表現できる。

ｙ＝（（ｙ１−ｙ０）／（ｘ１−ｘ０））ｘ＋ｚ
これを、ｐ０を原点とした直線に変形すると、
ｙ−ｙ０＝（（ｙ１−ｙ０）／（ｘ１−ｘ０））（ｘ−ｘ０）
ここで、α＝（ｙ１−ｙ０），β＝（ｘ１−ｘ０）とすると、
ｙ−ｙ０＝（α／β）（ｘ−ｘ０）
よって、
ｙ＝（α／β）ｘ−（α／β）ｘ０＋ｙ０ …（式７）
このように、ｐ０（ｘ０，ｙ０）、ｐ１（ｘ１，ｙ１）の２点を通る直線Ｌは、傾きα／β（α＝（ｙ１−ｙ０），β＝（ｘ１−ｘ０））、および、ｙ切片に相当するオフセット（−（α／β）ｘ０＋ｙ０）により定義される。オフセットは、直線を構成する２点の座標と傾きとが決まれば固定値となる。

本実施の形態では、例えば４つの点が指定される場合、マスク情報生成部４が、指定された４点を頂点とする四角形の各辺を構成する４本の直線を、上記（式７）のように定義し、定義した各直線に対応する上記（式３）〜（式６）のような不等式に基づいて、映像信号における各画素が、マスク領域となる四角形内に含まれるか否かを判定し、その結果を示すマスク情報を出力する。

このような処理を行うマスク情報生成部４の構成を図５に示す。図５に示すように、マスク情報生成部４は、オフセット算出部４１と、カウンタ（座標指定部）４２と、座標算出部４３Ａ〜４３Ｄと、比較器４４Ａ〜４４Ｄと、ＡＮＤ回路４５とを備える。図５は、４本の直線で囲まれる四角形内の領域をマスク領域とする場合の構成例を示しており、座標算出部および比較器がそれぞれ直線の数に対応して４つずつ設けられている。

オフセット算出部４１は、ユーザ操作により指定される４つの点の座標を示すマスク位置情報に基づいて、その４点を頂点とする四角形の各辺を構成する４本の直線の傾きおよびオフセットをそれぞれ算出する。オフセット算出部４１は、本発明の定義部に対応する。

オフセット算出部４１の構成を図６に示す。図６に示すように、オフセット算出部４１は、ブロック位置変換部４１１と、減算回路４１２と、テーブル４１３と、乗算回路４１４，４１５と、加算回路４１６と、Ｄ−ＦＦ（Ｄ型フリップフロップ）４１７，４１８とを備える。

ブロック位置変換部４１１は、マスク領域の頂点として指定された点の座標を、図７に示すような目の粗いブロック座標に変換する。例えば、ブロック位置変換部４１１は、図７のように、画像空間を水平方向（図示ｘ方向）、垂直方向（図示ｙ方向）それぞれ１６画素のブロック（１６×１６画素）に分割し、各ブロック内の画素の座標を、ブロックの図示左上の点のブロック座標に変換する。例えば、図７のブロック１０内に含まれる各画素の座標は、ブロック座標の（４，１）に変換される。

減算回路４１２は、ブロック位置変換部４１１で変換された座標に基づいて、（式７）におけるα，βを算出する。（ｘ０，ｙ０），（ｘ１，ｙ１）の２点の座標がブロック位置変換部４１１によりそれぞれ（ｘ０´，ｙ０´），（ｘ１´，ｙ１´）に変換されたとすると、減算回路４１２は、α＝（ｙ１´−ｙ０´），β＝（ｘ１´−ｘ０´）を算出する。

テーブル４１３は、βの値と１／βの値とを対応させて保持しており、減算回路４１２からβの値が入力されると、それに対応する１／βの値を出力する。

このように、除算を行うのではなくテーブル引きにより１／βの値を求めるようにすることで、回路規模の増大を抑えることができる。さらに、ブロック位置変換部４１１により変換した目の粗いブロック座標に基づいて算出されるβの値から１／βの値を求めるようにすることで、βの値のパターンを少なくして、テーブルのサイズを小さくすることができ、回路規模の増大を抑えることができる。

なお、ブロック位置変換部４１１におけるブロックが大きすぎると、ブロック座標変換を行うことによりマスク領域の形状に大きな影響が出るおそれがある。このため、ブロックの大きさは、マスク領域の形状に与える影響が無視できる程度の大きさに設定する。

乗算回路４１４は、テーブル４１３から入力される１／βと、減算回路４１２から入力されるαとを乗算して、傾きα／βを算出する。

乗算回路４１５は、乗算回路４１４で算出された傾きα／βにｘ０を乗算するとともに正負を反転して−（α／β）ｘ０を算出する。

加算回路４１６は、乗算回路４１５で算出された−（α／β）ｘ０にｙ０を加算して、オフセット（−（α／β）ｘ０＋ｙ０）を算出する。

Ｄ−ＦＦ４１７，４１８はそれぞれ、加算回路４１６で算出されたオフセット（−（α／β）ｘ０＋ｙ０）、乗算回路４１４で算出された傾きα／βを保持するとともに、座標算出部４３Ａ〜４３Ｄのうちの１つに出力する。

オフセット算出部４１は、上記のような構成により、４本の直線の傾きおよびオフセットをそれぞれ算出し、それぞれの直線に対応する座標算出部４３Ａ〜４３Ｄに出力する。

カウンタ４２は、映像取得部２から供給される同期信号（水平同期信号、垂直同期信号、クロック信号）に基づいて、映像信号における各画素の表示画面上での位置（座標）を指定し、その位置情報を比較器４４Ａ〜４４Ｄに出力する。

座標算出部４３Ａ〜４３Ｄは、オフセット算出部４１から入力される各直線の傾きおよびオフセットに基づいて、（式７）の右辺に相当する演算を行うものである。

座標算出部４３Ａの構成を図８に示す。座標算出部４３Ｂ〜４３Ｄの構成も同様である。図８に示すように、座標算出部４３Ａは、加算回路４３１，４３２と、Ｄ−ＦＦ４３３とを備える。

前述の（式７）の右辺は、画像空間のｘ座標に応じて変化する変数部分である（α／β）ｘと、固定値となるオフセット（−（α／β）ｘ０＋ｙ０）とに分けられる。座標算出部４３Ａでは、加算回路４３１とＤ−ＦＦ４３３とにより、変数部分（α／β）ｘを算出する。

Ｄ−ＦＦ４３３には、表示画面の水平方向（ｘ方向）の有効範囲を示す水平同期信号と、１画素ずつ描画処理するためのクロック信号とが入力される。Ｄ−ＦＦ４３３は、１クロック周期ごとに、加算回路４３１の算出結果を取り込んで保持するとともに、前のクロック周期で取り込んだ加算回路４３１の算出結果を加算回路４３１に出力する。Ｄ−ＦＦ４３３の保持する値は、水平同期信号の立ち上がりのタイミングで０にリセットされる。

加算回路４３１は、Ｄ−ＦＦ４３３からの入力値に傾きα／βを加算して算出結果を出力する。

このように、加算回路４３１とＤ−ＦＦ４３３とを用いて、１クロックごとに傾きα／βを累積加算することで、（式７）の右辺の変数部分（α／β）ｘを算出する。

加算回路４３２は、加算回路４３１の算出結果に、オフセット算出部４１から入力されるオフセットの値を加算する。この加算回路４３２の算出結果（座標算出結果）は、（式７）の右辺に相当する値となる。

比較器４４Ａ〜４４Ｄは、それぞれに対応する直線に応じた（式３）〜（式６）のような不等式が満たされるか否かの判定を行うものである。

例えば、比較器４４Ａ〜４４Ｄが、それぞれ（式３）〜（式６）に対応するものとすると、比較器４４Ａは、図９に示すように、座標算出部４３Ａから入力される座標算出結果と、カウンタ４２から入力される位置情報とに基づいて、（式３）の不等式が満たされるか否かを判定する。比較器４４Ａは、不等式が満たされる場合、判定結果として論理「１」を出力し、不等式が満たされない場合、論理「０」を出力する。同様に、比較器４４Ｂ〜４４Ｄは、それぞれ（式４）〜（式６）の不等式が満たされるか否かを判定し、判定結果として論理「１」または「０」を出力する。

図１０に示すように、カウンタ４２により指定される画素位置（座標）をｑ０（ｘ３，ｙ３）とすると、座標算出部４３Ａの座標算出結果は、座標算出部４３Ａに対応する直線Ｌ０におけるｘ＝ｘ３に対応する点ｑ０（ｘ３，ｙ４）のｙ方向（垂直方向）の座標値であるｙ４となる。比較器４４Ａにおける不等式を満たすか否かの判定処理は、ｙ３とｙ４とを比較することにより、直線Ｌ０に対してｑ０がマスク領域側にあるか否かを判定するものであり、ｑ０がマスク領域側にある場合に、判定結果として論理「１」を出力することになる。座標算出部４３Ｂ〜４３Ｄ、比較器４４Ｂ〜４４Ｄの処理についても同様であり、ｑ０が各直線に囲まれるマスク領域内にある場合、比較器４４Ａ〜４４Ｄからの出力がすべて論理「１」となる。

ＡＮＤ回路４５は、比較器４４Ａ〜４４Ｄから入力される判定結果がすべて論理「１」である場合、マスク情報として、カウンタ４２により指定される画素位置（座標）がマスク領域内にあることを示す論理「１」を出力し、その他の場合、論理「０」を出力する。

上記のような比較器４４Ａ〜４４Ｄ、およびＡＮＤ回路４５によって、映像信号における各画素がマスク領域に含まれるか否かを判定する判定部が構成される。

次に、映像処理装置１の動作について説明する。

マスク領域が設定されていない状態では、映像処理装置１は、映像取得部２で取得した映像信号に基づく映像をそのままモニタ６に表示する。ユーザは、モニタ６の表示画面を見ながら、操作入力部３を操作して、マスク領域の頂点の位置となる各点を指定する。本実施の形態では、４つの点を指定するものとする。

マスク領域の頂点となる４点が指定されると、マスク情報生成部４のオフセット算出部４１は、前述したブロック位置変換部４１１、減算回路４１２、テーブル４１３、乗算回路４１４，４１５、および加算回路４１６を用いた演算により、４点を頂点とする四角形の各辺を構成する４本の直線の傾きおよびオフセットをそれぞれ算出し、算出した傾きおよびオフセットの値を、それぞれの直線に対応する座標算出部４３Ａ〜４３Ｄに出力する。

次いで、座標算出部４３Ａ〜４３Ｄは、前述したように、加算回路４３１およびＤ−ＦＦ４３３により、対応する直線の傾きα／βを累積加算することで、（式７）の右辺の変数部分（α／β）ｘを算出し、この値に、加算回路４３２によりオフセットの値を加算して、（式７）の右辺に相当する値を示す座標算出結果を出力する。

次いで、比較器４４Ａ〜４４Ｄは、座標算出部４３Ａ〜４３Ｄから入力される座標算出結果と、カウンタ４２から入力される位置情報とに基づいて、対応する直線に応じた（式３）〜（式６）のような不等式が満たされるか否かの判定を行う。比較器４４Ａ〜４４Ｄは、不等式が満たされる場合、判定結果として論理「１」を出力し、不等式が満たされない場合、論理「０」を出力する。

そして、ＡＮＤ回路４５は、比較器４４Ａ〜４４Ｄから入力される判定結果がすべて論理「１」である場合、マスク情報として論理「１」を出力し、その他の場合は論理「０」を出力する。

マスキング部５は、映像取得部２から入力される映像信号において、マスク情報生成部４から入力されるマスク情報が論理「１」である画素をマスク画像でマスキングし、マスク情報が論理「０」である画素についてはそのまま映像信号を出力する。これにより、モニタ６の表示画面には、マスク領域がマスキングされた映像が表示される。マスク画像は、マスク領域を特定の色で塗りつぶす画像や、モザイク画像とすることができる。

以上説明したように本実施の形態では、ユーザ操作により表示画面上で指定された各点を頂点とする多角形の領域内をマスキングするようにしたので、ユーザは、さまざまな形状の領域をマスク領域として設定できる。

また、マスク領域となる多角形の各辺を構成する直線を定義する処理、マスク領域の判定処理等を行うマスク情報生成部４を、図５、図６、図８、図９のように、加算回路、減算回路、乗算回路等からなる回路で構成したので、小さな回路規模で実現することができる。また、リアルタイムでマスキング処理することができる。

このように本実施の形態によれば、装置構成の増大を抑えながら、映像中でマスキングする領域の形状設定の自由度を向上することができる。

なお、ユーザはモニタ６の表示画面上でマスク領域の頂点となる点を任意に指定することができるが、例えば、表示画面に表示される図１１に示したようなマスク形状２０Ａ，２０Ｂ，…からいずれかをユーザが操作入力部３を操作することにより選択し、選択したマスク形状の頂点を必要に応じて移動させて、頂点の位置を指定できるようなユーザインタフェースを設けてもよい。

１映像処理装置
２映像取得部
３操作入力部
４マスク情報生成部
５マスキング部
６モニタ
４１オフセット算出部
４２カウンタ
４３Ａ〜４３Ｄ座標算出部
４４Ａ〜４４Ｄ比較器
４５ＡＮＤ回路
４１１ブロック位置変換部
４１２減算回路
４１３テーブル
４１４，４１５乗算回路
４１６，４３１，４３２加算回路
４１７，４１８，４３３Ｄ−ＦＦ

Claims

映像信号とその同期信号とを取得する映像取得部と、
ユーザ操作に応じて、前記映像信号に基づく映像を表示する表示画面上における３つ以上の点を指定する指定部と、
前記指定部で指定された各点を頂点とする多角形の各辺を構成する各直線を定義する定義部と、
前記同期信号に基づいて、前記映像信号における各画素の前記表示画面上における水平方向および垂直方向の座標を指定する座標指定部と、
前記座標指定部により指定される各画素の水平方向または垂直方向である一方の方向の座標値に対応する、前記各直線上の前記一方の方向とは異なる方向である他方の方向の座標値を算出する座標算出部と、
前記座標指定部により指定される各画素の前記他方の方向の座標値と、前記座標算出部により算出された前記各直線上の前記他方の方向の座標値とを比較することにより、前記映像信号における各画素が、前記各直線で囲まれる前記多角形内の領域であるマスク領域に含まれるか否かを判定する判定部と、
前記マスク領域に含まれる各画素をマスク画像でマスキングするマスキング部と
を備えることを特徴とする映像処理装置。
映像信号とその同期信号とを取得し、前記同期信号に基づいて、前記映像信号における各画素の表示画面上における水平方向および垂直方向の座標を座標指定部により指定して、前記映像信号に基づく映像を前記表示画面に表示する映像処理装置における映像処理方法であって、
ユーザ操作に応じて、前記表示画面上における３つ以上の点を指定し、指定した各点を頂点とする多角形の各辺を構成する各直線を定義する工程と、
前記座標指定部により指定される各画素の水平方向または垂直方向である一方の方向の座標値に対応する、前記各直線上の前記一方の方向とは異なる方向である他方の方向の座標値を算出する工程と、
前記座標指定部により指定される各画素の前記他方の方向の座標値と、前記算出する工程で算出された前記各直線上の前記他方の方向の座標値とを比較することにより、前記映像信号における各画素が、前記各直線で囲まれる前記多角形内の領域であるマスク領域に含まれるか否かを判定する工程と、
前記マスク領域に含まれる各画素をマスク画像でマスキングする工程と
を含むことを特徴とする映像処理方法。