WO2011129174A1 - 映像処理装置および映像処理方法 - Google Patents

映像処理装置および映像処理方法 Download PDF

Info

Publication number
WO2011129174A1
WO2011129174A1 PCT/JP2011/056339 JP2011056339W WO2011129174A1 WO 2011129174 A1 WO2011129174 A1 WO 2011129174A1 JP 2011056339 W JP2011056339 W JP 2011056339W WO 2011129174 A1 WO2011129174 A1 WO 2011129174A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
unit
coordinate
mask
video signal
Prior art date
Application number
PCT/JP2011/056339
Other languages
English (en)
French (fr)
Inventor
佐藤 博幸
Original Assignee
日本ビクター株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本ビクター株式会社 filed Critical 日本ビクター株式会社
Priority to KR1020127026449A priority Critical patent/KR101327252B1/ko
Priority to EP11768695.6A priority patent/EP2560365A4/en
Priority to CN201180018522.9A priority patent/CN102986206B/zh
Publication of WO2011129174A1 publication Critical patent/WO2011129174A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for masking a partial area of an image.
  • a technique in which a shot image is divided into blocks, a mask area is set by designating whether or not to perform masking in block units, and masking processing is performed on the image in the mask area.
  • the shape of the mask area is limited to a combination of rectangles. For this reason, it is difficult to accurately trace an image of an object to be protected, and the protected object may not be masked sufficiently.
  • Patent Document 1 proposes an imaging apparatus that stores a plurality of types of mask patterns having a shape such as a triangle and a quadrangle in a memory in advance, and combines these mask patterns as necessary to superimpose on a captured image for masking. Has been. As a result, areas of various shapes can be masked.
  • Patent Document 1 requires as many frame memories for storing mask patterns as the number of types of mask patterns, resulting in an increase in apparatus configuration.
  • the mask pattern can be enlarged, reduced, and rotated, but since the mask pattern stored in advance in the memory is the base, even if a plurality of mask patterns are stored, The degree of freedom of shape setting was limited.
  • the present invention has been made in view of the above, and provides a video processing apparatus and a video processing method capable of improving the degree of freedom of shape setting of a region to be masked in an image while suppressing an increase in the apparatus configuration. Objective.
  • a video processing apparatus includes a video acquisition unit that acquires a video signal and a synchronization signal thereof, and a 3 on a display screen that displays a video based on the video signal in response to a user operation.
  • a designation unit that designates at least two points; a definition unit that defines each straight line that forms each side of a polygon whose apexes are the points designated by the designation unit; and the video based on the synchronization signal
  • a coordinate designating unit for designating horizontal and vertical coordinates of each pixel on the display screen in the signal, and a coordinate value in one direction which is the horizontal or vertical direction of each pixel designated by the coordinate designating unit.
  • a coordinate calculation unit that calculates a corresponding coordinate value in the other direction that is different from the one direction on each straight line, and a coordinate value in the other direction of each pixel specified by the coordinate specification unit And before By comparing the coordinate value in the other direction on each straight line calculated by the coordinate calculation unit, each pixel in the video signal is a mask area that is an area within the polygon surrounded by each straight line And a masking unit for masking each pixel included in the mask region with a mask image.
  • the video processing method of the present invention acquires a video signal and its synchronization signal, and based on the synchronization signal, coordinates in the horizontal direction and the vertical direction on the display screen of each pixel in the video signal are coordinate designation units.
  • a video processing method in a video processing apparatus for displaying video based on the video signal on the display screen by designating at least three points on the display screen according to a user operation Corresponding to the coordinate value of one direction which is the horizontal direction or the vertical direction of each pixel specified by the coordinate specification unit Calculating the coordinate value of the other direction that is different from the one direction on each straight line, the coordinate value of the other direction of each pixel specified by the coordinate specifying unit, and the calculation By comparing the coordinate value of the other direction on the straight line calculated in the step of performing each pixel in the video signal into a mask region that is a region within the polygon surrounded by the straight line.
  • the video processing apparatus and the video processing method of the present invention it is possible to improve the degree of freedom in setting the shape of the area to be masked in the video while suppressing an increase in the apparatus configuration.
  • FIG. 1 is a block diagram showing a configuration of a video processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating regions separated by a straight line.
  • FIG. 3 is a diagram illustrating a region surrounded by four straight lines.
  • FIG. 4 is a diagram showing a straight line passing through two points.
  • FIG. 5 is a configuration diagram of a mask information generation unit in the video processing apparatus shown in FIG.
  • FIG. 6 is a configuration diagram of the offset calculation unit in the mask information generation unit shown in FIG.
  • FIG. 7 is an explanatory diagram of block coordinates.
  • FIG. 8 is a configuration diagram of a coordinate calculation unit in the mask information generation unit shown in FIG.
  • FIG. 9 is an explanatory diagram of a comparator in the mask information generation unit shown in FIG.
  • FIG. 10 is an explanatory diagram of a coordinate calculation result by the coordinate calculation unit shown in FIG.
  • FIG. 11 is an explanatory diagram of an example of a user interface for setting a
  • FIG. 1 is a block diagram showing a configuration of a video processing apparatus according to an embodiment of the present invention.
  • the video processing apparatus 1 includes a video acquisition unit 2, an operation input unit 3, a mask information generation unit 4, a masking unit 5, and a monitor 6.
  • the video acquisition unit 2 has an imaging function and outputs a video signal composed of a luminance signal and a color difference signal obtained by photographing a subject and a synchronization signal thereof.
  • the synchronization signal includes a horizontal synchronization signal, a vertical synchronization signal, and a clock signal. Note that the video acquisition unit 2 may acquire a video signal captured by an imaging device and a synchronization signal thereof from the outside.
  • the operation input unit 3 receives a user operation and outputs an operation signal corresponding to the operation.
  • the user operates the operation input unit 3 to specify the points (three or more) that are the vertices of the area to be masked on the display screen of the monitor 6 on which the video is displayed.
  • Mask areas surrounded by the same number of lines (three or more) as the number of points can be set.
  • the operation input unit 3 functions as a designating unit that designates each point (pixel position) serving as a vertex of the mask area in response to a user operation, and outputs mask position information indicating the coordinates of each point.
  • the mask information generation unit 4 determines whether each pixel in the video signal is included in a mask area that is an area within a polygon having each point designated by a user operation as a vertex, and indicates the mask Output information.
  • the masking unit 5 performs a process of masking each pixel included in the mask area in the video signal with a mask image based on the mask information input from the mask information generating unit 4.
  • the monitor 6 is composed of a liquid crystal display or the like, and displays an image whose mask area is masked by the masking unit 5 on the display screen.
  • the mask information generation unit 4 defines the four straight lines that form each side of the quadrangle having the designated four points as vertices (Formula 7). Whether or not each pixel in the video signal is included in a quadrangle serving as a mask area based on the inequalities such as (Equation 3) to (Equation 6) corresponding to the defined straight lines. And mask information indicating the result is output.
  • FIG. 5 shows the configuration of the mask information generation unit 4 that performs such processing.
  • the mask information generating unit 4 includes an offset calculating unit 41, a counter (coordinate specifying unit) 42, coordinate calculating units 43A to 43D, comparators 44A to 44D, and an AND circuit 45.
  • FIG. 5 shows a configuration example in the case where an area within a quadrangle surrounded by four straight lines is used as a mask area. Four coordinate calculation units and four comparators are provided corresponding to the number of straight lines. Yes.
  • the offset calculating unit 41 calculates the inclinations and offsets of the four straight lines that form each side of the quadrangle having the four points as vertices. calculate.
  • the offset calculation unit 41 corresponds to the definition unit of the present invention.
  • the offset calculation unit 41 includes a block position conversion unit 411, a subtraction circuit 412, a table 413, multiplication circuits 414 and 415, an addition circuit 416, and a D-FF (D type flip-flop). 417, 418.
  • a block position conversion unit 411 the offset calculation unit 41 includes a block position conversion unit 411, a subtraction circuit 412, a table 413, multiplication circuits 414 and 415, an addition circuit 416, and a D-FF (D type flip-flop). 417, 418.
  • D-FF D type flip-flop
  • the block position conversion unit 411 converts the coordinates of the point designated as the vertex of the mask area into coarse block coordinates as shown in FIG. For example, as shown in FIG. 7, the block position conversion unit 411 divides the image space into 16 pixel blocks (16 ⁇ 16 pixels) in the horizontal direction (x direction in the drawing) and the vertical direction (y direction in the drawing). The coordinates of the pixel inside are converted into the block coordinates of the upper left point in the figure of the block. For example, the coordinates of each pixel included in the block 10 of FIG. 7 are converted into the block coordinates (4, 1).
  • the subtraction circuit 412 calculates ⁇ and ⁇ in (Expression 7) based on the coordinates converted by the block position conversion unit 411.
  • the coordinates of the two points (x 0 , y 0 ) and (x 1 , y 1 ) are converted into (x 0 ′, y 0 ′) and (x 1 ′, y 1 ′) by the block position conversion unit 411, respectively.
  • the table 413 holds the value of ⁇ and the value of 1 / ⁇ in correspondence with each other, and when the value of ⁇ is input from the subtraction circuit 412, the value of 1 / ⁇ corresponding thereto is output.
  • an increase in circuit scale can be suppressed by obtaining the value of 1 / ⁇ by table lookup instead of division. Further, by obtaining the 1 / ⁇ value from the ⁇ value calculated based on the coarse block coordinates converted by the block position converting unit 411, the pattern of the ⁇ value can be reduced, and The size can be reduced and an increase in circuit scale can be suppressed.
  • the size of the block is set to such a size that the influence on the shape of the mask region can be ignored.
  • the multiplication circuit 414 multiplies 1 / ⁇ input from the table 413 and ⁇ input from the subtraction circuit 412 to calculate the inclination ⁇ / ⁇ .
  • the multiplication circuit 415 multiplies the slope ⁇ / ⁇ calculated by the multiplication circuit 414 by x 0 and inverts the sign to calculate ⁇ ( ⁇ / ⁇ ) x 0 .
  • the adder circuit 416 adds y 0 to ⁇ ( ⁇ / ⁇ ) x 0 calculated by the multiplier circuit 415 to calculate an offset ⁇ ( ⁇ / ⁇ ) x 0 + y 0 ⁇ .
  • Each of the D-FFs 417 and 418 holds the offset ⁇ ( ⁇ / ⁇ ) x 0 + y 0 ⁇ calculated by the adding circuit 416 and the gradient ⁇ / ⁇ calculated by the multiplying circuit 414, and the coordinate calculating units 43A to 43A- Output to one of 43D.
  • the offset calculation unit 41 calculates the inclinations and offsets of the four straight lines, respectively, and outputs them to the coordinate calculation units 43A to 43D corresponding to the respective straight lines.
  • the counter 42 designates the position (coordinates) on the display screen of each pixel in the video signal based on the synchronization signal (horizontal synchronization signal, vertical synchronization signal, clock signal) supplied from the video acquisition unit 2.
  • the position information is output to the comparators 44A to 44D.
  • the coordinate calculation units 43A to 43D perform an operation corresponding to the right side of (Expression 7) based on the slope and offset of each straight line input from the offset calculation unit 41.
  • the configuration of the coordinate calculation unit 43A is shown in FIG.
  • the configuration of the coordinate calculation units 43B to 43D is the same.
  • the coordinate calculation unit 43A includes addition circuits 431 and 432 and a D-FF 433.
  • ( ⁇ / ⁇ ) x that is a variable portion that changes in accordance with the x coordinate of the image space, and an offset ⁇ ( ⁇ / ⁇ ) x 0 + y 0 ⁇ that is a fixed value. It is divided into.
  • the variable circuit ( ⁇ / ⁇ ) x is calculated by the addition circuit 431 and the D-FF 433.
  • the D-FF 433 receives a horizontal synchronization signal indicating an effective range in the horizontal direction (x direction) of the display screen and a clock signal for rendering each pixel.
  • the D-FF 433 captures and holds the calculation result of the adder circuit 431 every clock cycle, and outputs the calculation result of the adder circuit 431 captured in the previous clock cycle to the adder circuit 431.
  • the value held by the D-FF 433 is reset to 0 at the rising edge of the horizontal synchronization signal.
  • the addition circuit 431 adds the gradient ⁇ / ⁇ to the input value from the D-FF 433 and outputs the calculation result.
  • variable portion ( ⁇ / ⁇ ) x on the right side of (Expression 7) is calculated by accumulating the slope ⁇ / ⁇ every clock using the adder circuit 431 and the D-FF 433.
  • the addition circuit 432 adds the offset value input from the offset calculation unit 41 to the calculation result of the addition circuit 431.
  • the calculation result (coordinate calculation result) of the addition circuit 432 is a value corresponding to the right side of (Expression 7).
  • the comparators 44A to 44D determine whether or not the inequalities such as (Expression 3) to (Expression 6) corresponding to the corresponding straight lines are satisfied.
  • the comparator 44A includes the coordinate calculation result input from the coordinate calculation unit 43A as shown in FIG. Based on the position information input from the counter 42, it is determined whether or not the inequality of (Expression 3) is satisfied.
  • the comparator 44A outputs a logic “1” as the determination result when the inequality is satisfied, and outputs a logic “0” when the inequality is not satisfied.
  • the comparators 44B to 44D determine whether or not the inequalities of (Expression 4) to (Expression 6) are satisfied, and output a logic “1” or “0” as a determination result.
  • the coordinate calculation result of the coordinate calculation unit 43A is a straight line L corresponding to the coordinate calculation unit 43A.
  • the determination process of whether or not the inequality is satisfied in the comparator 44A is to determine whether q 0 is on the mask region side with respect to the straight line L 0 by comparing y 3 and y 4 . , Q 0 is on the mask area side, a logic “1” is output as the determination result.
  • Coordinate calculation section 43B ⁇ 43D are the same for the treatment of comparators 44B ⁇ 44D, when inside the mask region q 0 is surrounded by the straight line, the output from the comparators 44A ⁇ 44D are all logic "1" Obviously.
  • the AND circuit 45 indicates that the pixel position (coordinates) specified by the counter 42 is within the mask area as mask information. Output logic “1”, otherwise output logic “0”.
  • the comparators 44A to 44D and the AND circuit 45 as described above constitute a determination unit that determines whether or not each pixel in the video signal is included in the mask area.
  • the video processing device 1 displays the video based on the video signal acquired by the video acquisition unit 2 on the monitor 6 as it is.
  • the user operates the operation input unit 3 while looking at the display screen of the monitor 6 and designates each point as the position of the vertex of the mask area. In the present embodiment, four points are designated.
  • the offset calculation unit 41 of the mask information generation unit 4 performs the above-described block position conversion unit 411, subtraction circuit 412, table 413, multiplication circuits 414 and 415, and addition circuit.
  • the inclination and offset of each of the four straight lines constituting each side of the quadrangle having four points as vertices are calculated, and the calculated inclination and offset values are calculated as coordinates corresponding to the respective straight lines. Output to the units 43A to 43D.
  • the coordinate calculation units 43A to 43D cumulatively add the slopes ⁇ / ⁇ of the corresponding straight lines by the addition circuit 431 and the D-FF 433, so that the variable portion ( ⁇ / ⁇ ) x is calculated, and an offset value is added to this value by the adding circuit 432, and a coordinate calculation result indicating a value corresponding to the right side of (Expression 7) is output.
  • the comparators 44A to 44D based on the coordinate calculation results input from the coordinate calculation units 43A to 43D and the position information input from the counter 42, correspond to the corresponding straight lines (Expression 3) to (Expression 3). It is determined whether the inequality such as 6) is satisfied.
  • the comparators 44A to 44D output a logic “1” as the determination result when the inequality is satisfied, and output a logic “0” when the inequality is not satisfied.
  • the AND circuit 45 outputs a logic “1” as mask information when the determination results input from the comparators 44A to 44D are all logic “1”, and outputs a logic “0” in other cases. .
  • the masking unit 5 masks a pixel in which the mask information input from the mask information generation unit 4 is logical “1” in the video signal input from the video acquisition unit 2 with a mask image, and the mask information is logical “0”. For the pixels that are, the video signal is output as it is. As a result, an image in which the mask area is masked is displayed on the display screen of the monitor 6.
  • the mask image can be an image in which the mask area is filled with a specific color or a mosaic image.
  • the user can mask variously shaped areas. Can be set as an area.
  • the mask information generation unit 4 that performs processing for defining straight lines constituting each side of the polygon that becomes the mask region, determination processing for the mask region, and the like, as shown in FIGS. 5, 6, 8, and 9, Since the circuit is composed of an addition circuit, a subtraction circuit, a multiplication circuit, etc., it can be realized with a small circuit scale. In addition, masking processing can be performed in real time.
  • a user interface may be provided in which the user can select any of the above by operating the operation input unit 3 and move the vertex of the selected mask shape as necessary to specify the position of the vertex.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

マスク情報生成部4は次の処理を行う:(1)ユーザ操作により指定された表示画面上の3つ以上の各点を頂点とする多角形の各辺を構成する各直線を定義する;(2)映像信号の同期信号に基づいて映像信号における各画素の座標を指定するカウンタにより指定される各画素の水平方向の座標値に対応する、各直線上の垂直方向の座標値を算出する;(3)この算出した各直線上の垂直方向の座標値と、カウンタにより指定される各画素の垂直方向の座標値とを比較することにより、映像信号における各画素が、各直線で囲まれる多角形内の領域であるマスク領域に含まれるか否かを判定する。マスキング部5は、マスク情報生成部4の判定結果に基づいて、マスク領域に含まれる各画素をマスク画像でマスキングする。

Description

映像処理装置および映像処理方法
 本発明は、映像の一部の領域をマスキングする映像処理装置および映像処理方法に関する。
 監視カメラを用いて公共の場所を監視する場合、プライバシーの保護のため、個人の家などが公にならないよう配慮する必要がある。このため、監視カメラの撮影画像の一部の領域にマスキング処理を施すことが行われている。
 例えば、撮影画像をブロックに分割し、ブロック単位でマスキングを行うか否かを指定することによりマスク領域を設定し、このマスク領域の画像にマスキング処理を施す技術が知られている。
 しかし、上記のように撮影画像をブロック分割してマスク領域を設定する手法では、マスク領域の形状が、矩形を組み合わせた形状に限られる。このため、保護したい対象物の画像を正確にトレースすることが困難であり、保護対象物を十分にマスキングできないことがあった。
 そこで、特許文献1では、三角形、四角形等の形状を有する複数種類のマスクパターンを予めメモリに記憶し、これらのマスクパターンを必要に応じて組み合わせて撮影画像に重畳してマスキングする撮像装置が提案されている。これにより、さまざまな形状の領域をマスキングできるようにしている。
特開2005-229351号公報
 しかし、特許文献1の技術では、マスクパターンを記憶しておくためのフレームメモリがマスクパターンの種類の数だけ必要であり、装置構成の増大を招く。
 また、マスクパターンを拡大、縮小、回転させて用いることはできるが、予めメモリに記憶しておいたマスクパターンがベースとなるため、複数のマスクパターンを記憶していたとしても、マスキングする領域の形状設定の自由度は限られていた。
 本発明は上記に鑑みてなされたもので、装置構成の増大を抑えながら、映像中でマスキングする領域の形状設定の自由度を向上することができる映像処理装置および映像処理方法を提供することを目的とする。
 上記目的を達成するため、本発明の映像処理装置は、映像信号とその同期信号とを取得する映像取得部と、ユーザ操作に応じて、前記映像信号に基づく映像を表示する表示画面上における3つ以上の点を指定する指定部と、前記指定部で指定された各点を頂点とする多角形の各辺を構成する各直線を定義する定義部と、前記同期信号に基づいて、前記映像信号における各画素の前記表示画面上における水平方向および垂直方向の座標を指定する座標指定部と、前記座標指定部により指定される各画素の水平方向または垂直方向である一方の方向の座標値に対応する、前記各直線上の前記一方の方向とは異なる方向である他方の方向の座標値を算出する座標算出部と、前記座標指定部により指定される各画素の前記他方の方向の座標値と、前記座標算出部により算出された前記各直線上の前記他方の方向の座標値とを比較することにより、前記映像信号における各画素が、前記各直線で囲まれる前記多角形内の領域であるマスク領域に含まれるか否かを判定する判定部と、前記マスク領域に含まれる各画素をマスク画像でマスキングするマスキング部とを備えることを特徴とする。
 また、本発明の映像処理方法は、映像信号とその同期信号とを取得し、前記同期信号に基づいて、前記映像信号における各画素の表示画面上における水平方向および垂直方向の座標を座標指定部により指定して、前記映像信号に基づく映像を前記表示画面に表示する映像処理装置における映像処理方法であって、ユーザ操作に応じて、前記表示画面上における3つ以上の点を指定し、指定した各点を頂点とする多角形の各辺を構成する各直線を定義する工程と、前記座標指定部により指定される各画素の水平方向または垂直方向である一方の方向の座標値に対応する、前記各直線上の前記一方の方向とは異なる方向である他方の方向の座標値を算出する工程と、前記座標指定部により指定される各画素の前記他方の方向の座標値と、前記算出する工程で算出された前記各直線上の前記他方の方向の座標値とを比較することにより、前記映像信号における各画素が、前記各直線で囲まれる前記多角形内の領域であるマスク領域に含まれるか否かを判定する工程と、前記マスク領域に含まれる各画素をマスク画像でマスキングする工程とを含むことを特徴とする。
 本発明の映像処理装置および映像処理方法によれば、装置構成の増大を抑えながら、映像中でマスキングする領域の形状設定の自由度を向上することができる。
図1は、本発明の実施の形態に係る映像処理装置の構成を示すブロック図である。 図2は、直線で隔てられた領域を示す図である。 図3は、4本の直線で囲まれた領域を示す図である。 図4は、2つの点を通る直線を示す図である。 図5は、図1に示す映像処理装置におけるマスク情報生成部の構成図である。 図6は、図5に示すマスク情報生成部におけるオフセット算出部の構成図である。 図7は、ブロック座標の説明図である。 図8は、図5に示すマスク情報生成部における座標算出部の構成図である。 図9は、図5に示すマスク情報生成部における比較器の説明図である。 図10は、図8に示す座標算出部による座標算出結果の説明図である。 図11は、マスク領域を設定するためのユーザインタフェースの一例の説明図である。
 以下、本発明の実施の形態について、図面を参照して説明する。
 図1は、本発明の実施の形態に係る映像処理装置の構成を示すブロック図である。図1に示すように本実施の形態に係る映像処理装置1は、映像取得部2と、操作入力部3と、マスク情報生成部4と、マスキング部5と、モニタ6とを備える。
 映像取得部2は、撮像機能を有し、被写体を撮影して得られた輝度信号および色差信号からなる映像信号と、その同期信号とを出力する。同期信号は、水平同期信号、垂直同期信号、およびクロック信号を含む。なお、映像取得部2は、外部から撮像装置で撮影された映像信号およびその同期信号を取得するものでもよい。
 操作入力部3は、ユーザの操作を受け付け、操作に応じた操作信号を出力する。本実施の形態では、ユーザは、操作入力部3を操作して、映像が表示されるモニタ6の表示画面においてマスキングしたい領域の頂点となる点(3つ以上)を指定することで、指定した点の数と同数(3本以上)の直線で囲まれるマスク領域を設定することができる。操作入力部3は、ユーザ操作に応じてマスク領域の頂点となる各点(画素位置)を指定する指定部として機能し、各点の座標を示すマスク位置情報を出力する。
 マスク情報生成部4は、映像信号における各画素が、ユーザ操作により指定された各点を頂点とする多角形内の領域であるマスク領域に含まれるか否かを判定し、その結果を示すマスク情報を出力する。
 マスキング部5は、マスク情報生成部4から入力されるマスク情報に基づいて、映像信号におけるマスク領域に含まれる各画素をマスク画像でマスキングする処理を行う。
 モニタ6は、液晶ディスプレイ等からなり、マスキング部5でマスク領域がマスキングされた映像を表示画面に表示する。
 ここで、本実施の形態におけるマスク領域判定の考え方について説明する。
 図2に示すxy座標上の点p(x,y)が、y=ax+bで表される直線Lで隔てられた領域Aと領域Bとのどちらに位置するのかを知るには、以下の(式1)、(式2)の不等式が満たされるか否かを調べればよい。
 y<ax+b  …(式1)
 y>ax+b  …(式2)
 (式1)が満たされる場合は、点pは領域Aに位置し、(式2)が満たされる場合は、点pは領域Bに位置する。
 したがって、例えば、図3に示す4本の直線L~L(L:y=ax+b,L:y=ax+b,L:y=ax+b,L:y=ax+b)で囲まれる領域C内の点では、以下の(式3)~(式6)の4つの不等式がすべて満たされる。
 y<ax+b  …(式3)
 y>ax+b  …(式4)
 y<ax+b  …(式5)
 y<ax+b  …(式6)
 ところで、図4に示すxy座標上の点p(x,y)、p(x,y)の2点を通る直線Lは、y切片をzとして、以下のように表現できる。
 y={(y-y)/(x-x)}x+z
 これを、pを原点とした直線に変形すると、
 y-y={(y-y)/(x-x)}(x-x
 ここで、α=(y-y),β=(x-x)とすると、
 y-y=(α/β)(x-x
 よって、
 y=(α/β)x-(α/β)x+y  …(式7)
 このように、p(x,y)、p(x,y)の2点を通る直線Lは、傾きα/β(α=(y-y),β=(x-x))、および、y切片に相当するオフセット(-(α/β)x+y)により定義される。オフセットは、直線を構成する2点の座標と傾きとが決まれば固定値となる。
 本実施の形態では、例えば4つの点が指定される場合、マスク情報生成部4が、指定された4点を頂点とする四角形の各辺を構成する4本の直線を、上記(式7)のように定義し、定義した各直線に対応する上記(式3)~(式6)のような不等式に基づいて、映像信号における各画素が、マスク領域となる四角形内に含まれるか否かを判定し、その結果を示すマスク情報を出力する。
 このような処理を行うマスク情報生成部4の構成を図5に示す。図5に示すように、マスク情報生成部4は、オフセット算出部41と、カウンタ(座標指定部)42と、座標算出部43A~43Dと、比較器44A~44Dと、AND回路45とを備える。図5は、4本の直線で囲まれる四角形内の領域をマスク領域とする場合の構成例を示しており、座標算出部および比較器がそれぞれ直線の数に対応して4つずつ設けられている。
 オフセット算出部41は、ユーザ操作により指定される4つの点の座標を示すマスク位置情報に基づいて、その4点を頂点とする四角形の各辺を構成する4本の直線の傾きおよびオフセットをそれぞれ算出する。オフセット算出部41は、本発明の定義部に対応する。
 オフセット算出部41の構成を図6に示す。図6に示すように、オフセット算出部41は、ブロック位置変換部411と、減算回路412と、テーブル413と、乗算回路414,415と、加算回路416と、D-FF(D型フリップフロップ)417,418とを備える。
 ブロック位置変換部411は、マスク領域の頂点として指定された点の座標を、図7に示すような目の粗いブロック座標に変換する。例えば、ブロック位置変換部411は、図7のように、画像空間を水平方向(図示x方向)、垂直方向(図示y方向)それぞれ16画素のブロック(16×16画素)に分割し、各ブロック内の画素の座標を、ブロックの図示左上の点のブロック座標に変換する。例えば、図7のブロック10内に含まれる各画素の座標は、ブロック座標の(4,1)に変換される。
 減算回路412は、ブロック位置変換部411で変換された座標に基づいて、(式7)におけるα,βを算出する。(x,y),(x,y)の2点の座標がブロック位置変換部411によりそれぞれ(x´,y´),(x´,y´)に変換されたとすると、減算回路412は、α=(y´-y´),β=(x´-x´)を算出する。
 テーブル413は、βの値と1/βの値とを対応させて保持しており、減算回路412からβの値が入力されると、それに対応する1/βの値を出力する。
 このように、除算を行うのではなくテーブル引きにより1/βの値を求めるようにすることで、回路規模の増大を抑えることができる。さらに、ブロック位置変換部411により変換した目の粗いブロック座標に基づいて算出されるβの値から1/βの値を求めるようにすることで、βの値のパターンを少なくして、テーブルのサイズを小さくすることができ、回路規模の増大を抑えることができる。
 なお、ブロック位置変換部411におけるブロックが大きすぎると、ブロック座標変換を行うことによりマスク領域の形状に大きな影響が出るおそれがある。このため、ブロックの大きさは、マスク領域の形状に与える影響が無視できる程度の大きさに設定する。
 乗算回路414は、テーブル413から入力される1/βと、減算回路412から入力されるαとを乗算して、傾きα/βを算出する。
 乗算回路415は、乗算回路414で算出された傾きα/βにxを乗算するとともに正負を反転して-(α/β)xを算出する。
 加算回路416は、乗算回路415で算出された-(α/β)xにyを加算して、オフセット{-(α/β)x+y}を算出する。
 D-FF417,418はそれぞれ、加算回路416で算出されたオフセット{-(α/β)x+y}、乗算回路414で算出された傾きα/βを保持するとともに、座標算出部43A~43Dのうちの1つに出力する。
 オフセット算出部41は、上記のような構成により、4本の直線の傾きおよびオフセットをそれぞれ算出し、それぞれの直線に対応する座標算出部43A~43Dに出力する。
 カウンタ42は、映像取得部2から供給される同期信号(水平同期信号、垂直同期信号、クロック信号)に基づいて、映像信号における各画素の表示画面上での位置(座標)を指定し、その位置情報を比較器44A~44Dに出力する。
 座標算出部43A~43Dは、オフセット算出部41から入力される各直線の傾きおよびオフセットに基づいて、(式7)の右辺に相当する演算を行うものである。
 座標算出部43Aの構成を図8に示す。座標算出部43B~43Dの構成も同様である。図8に示すように、座標算出部43Aは、加算回路431,432と、D-FF433とを備える。
 前述の(式7)の右辺は、画像空間のx座標に応じて変化する変数部分である(α/β)xと、固定値となるオフセット{-(α/β)x+y}とに分けられる。座標算出部43Aでは、加算回路431とD-FF433とにより、変数部分(α/β)xを算出する。
 D-FF433には、表示画面の水平方向(x方向)の有効範囲を示す水平同期信号と、1画素ずつ描画処理するためのクロック信号とが入力される。D-FF433は、1クロック周期ごとに、加算回路431の算出結果を取り込んで保持するとともに、前のクロック周期で取り込んだ加算回路431の算出結果を加算回路431に出力する。D-FF433の保持する値は、水平同期信号の立ち上がりのタイミングで0にリセットされる。
 加算回路431は、D-FF433からの入力値に傾きα/βを加算して算出結果を出力する。
 このように、加算回路431とD-FF433とを用いて、1クロックごとに傾きα/βを累積加算することで、(式7)の右辺の変数部分(α/β)xを算出する。
 加算回路432は、加算回路431の算出結果に、オフセット算出部41から入力されるオフセットの値を加算する。この加算回路432の算出結果(座標算出結果)は、(式7)の右辺に相当する値となる。
 比較器44A~44Dは、それぞれに対応する直線に応じた(式3)~(式6)のような不等式が満たされるか否かの判定を行うものである。
 例えば、比較器44A~44Dが、それぞれ(式3)~(式6)に対応するものとすると、比較器44Aは、図9に示すように、座標算出部43Aから入力される座標算出結果と、カウンタ42から入力される位置情報とに基づいて、(式3)の不等式が満たされるか否かを判定する。比較器44Aは、不等式が満たされる場合、判定結果として論理「1」を出力し、不等式が満たされない場合、論理「0」を出力する。同様に、比較器44B~44Dは、それぞれ(式4)~(式6)の不等式が満たされるか否かを判定し、判定結果として論理「1」または「0」を出力する。
 図10に示すように、カウンタ42により指定される画素位置(座標)をq(x,y)とすると、座標算出部43Aの座標算出結果は、座標算出部43Aに対応する直線Lにおけるx=xに対応する点q(x,y)のy方向(垂直方向)の座標値であるyとなる。比較器44Aにおける不等式を満たすか否かの判定処理は、yとyとを比較することにより、直線Lに対してqがマスク領域側にあるか否かを判定するものであり、qがマスク領域側にある場合に、判定結果として論理「1」を出力することになる。座標算出部43B~43D、比較器44B~44Dの処理についても同様であり、qが各直線に囲まれるマスク領域内にある場合、比較器44A~44Dからの出力がすべて論理「1」となる。
 AND回路45は、比較器44A~44Dから入力される判定結果がすべて論理「1」である場合、マスク情報として、カウンタ42により指定される画素位置(座標)がマスク領域内にあることを示す論理「1」を出力し、その他の場合、論理「0」を出力する。
 上記のような比較器44A~44D、およびAND回路45によって、映像信号における各画素がマスク領域に含まれるか否かを判定する判定部が構成される。
 次に、映像処理装置1の動作について説明する。
 マスク領域が設定されていない状態では、映像処理装置1は、映像取得部2で取得した映像信号に基づく映像をそのままモニタ6に表示する。ユーザは、モニタ6の表示画面を見ながら、操作入力部3を操作して、マスク領域の頂点の位置となる各点を指定する。本実施の形態では、4つの点を指定するものとする。
 マスク領域の頂点となる4点が指定されると、マスク情報生成部4のオフセット算出部41は、前述したブロック位置変換部411、減算回路412、テーブル413、乗算回路414,415、および加算回路416を用いた演算により、4点を頂点とする四角形の各辺を構成する4本の直線の傾きおよびオフセットをそれぞれ算出し、算出した傾きおよびオフセットの値を、それぞれの直線に対応する座標算出部43A~43Dに出力する。
 次いで、座標算出部43A~43Dは、前述したように、加算回路431およびD-FF433により、対応する直線の傾きα/βを累積加算することで、(式7)の右辺の変数部分(α/β)xを算出し、この値に、加算回路432によりオフセットの値を加算して、(式7)の右辺に相当する値を示す座標算出結果を出力する。
 次いで、比較器44A~44Dは、座標算出部43A~43Dから入力される座標算出結果と、カウンタ42から入力される位置情報とに基づいて、対応する直線に応じた(式3)~(式6)のような不等式が満たされるか否かの判定を行う。比較器44A~44Dは、不等式が満たされる場合、判定結果として論理「1」を出力し、不等式が満たされない場合、論理「0」を出力する。
 そして、AND回路45は、比較器44A~44Dから入力される判定結果がすべて論理「1」である場合、マスク情報として論理「1」を出力し、その他の場合は論理「0」を出力する。
 マスキング部5は、映像取得部2から入力される映像信号において、マスク情報生成部4から入力されるマスク情報が論理「1」である画素をマスク画像でマスキングし、マスク情報が論理「0」である画素についてはそのまま映像信号を出力する。これにより、モニタ6の表示画面には、マスク領域がマスキングされた映像が表示される。マスク画像は、マスク領域を特定の色で塗りつぶす画像や、モザイク画像とすることができる。
 以上説明したように本実施の形態では、ユーザ操作により表示画面上で指定された各点を頂点とする多角形の領域内をマスキングするようにしたので、ユーザは、さまざまな形状の領域をマスク領域として設定できる。
 また、マスク領域となる多角形の各辺を構成する直線を定義する処理、マスク領域の判定処理等を行うマスク情報生成部4を、図5、図6、図8、図9のように、加算回路、減算回路、乗算回路等からなる回路で構成したので、小さな回路規模で実現することができる。また、リアルタイムでマスキング処理することができる。
 このように本実施の形態によれば、装置構成の増大を抑えながら、映像中でマスキングする領域の形状設定の自由度を向上することができる。
 なお、ユーザはモニタ6の表示画面上でマスク領域の頂点となる点を任意に指定することができるが、例えば、表示画面に表示される図11に示したようなマスク形状20A,20B,…からいずれかをユーザが操作入力部3を操作することにより選択し、選択したマスク形状の頂点を必要に応じて移動させて、頂点の位置を指定できるようなユーザインタフェースを設けてもよい。
 1 映像処理装置
 2 映像取得部
 3 操作入力部
 4 マスク情報生成部
 5 マスキング部
 6 モニタ
 41 オフセット算出部
 42 カウンタ
 43A~43D 座標算出部
 44A~44D 比較器
 45 AND回路
 411 ブロック位置変換部
 412 減算回路
 413 テーブル
 414,415 乗算回路
 416,431,432 加算回路
 417,418,433 D-FF

Claims (2)

  1.  映像信号とその同期信号とを取得する映像取得部と、
     ユーザ操作に応じて、前記映像信号に基づく映像を表示する表示画面上における3つ以上の点を指定する指定部と、
     前記指定部で指定された各点を頂点とする多角形の各辺を構成する各直線を定義する定義部と、
     前記同期信号に基づいて、前記映像信号における各画素の前記表示画面上における水平方向および垂直方向の座標を指定する座標指定部と、
     前記座標指定部により指定される各画素の水平方向または垂直方向である一方の方向の座標値に対応する、前記各直線上の前記一方の方向とは異なる方向である他方の方向の座標値を算出する座標算出部と、
     前記座標指定部により指定される各画素の前記他方の方向の座標値と、前記座標算出部により算出された前記各直線上の前記他方の方向の座標値とを比較することにより、前記映像信号における各画素が、前記各直線で囲まれる前記多角形内の領域であるマスク領域に含まれるか否かを判定する判定部と、
     前記マスク領域に含まれる各画素をマスク画像でマスキングするマスキング部と
     を備えることを特徴とする映像処理装置。
  2.  映像信号とその同期信号とを取得し、前記同期信号に基づいて、前記映像信号における各画素の表示画面上における水平方向および垂直方向の座標を座標指定部により指定して、前記映像信号に基づく映像を前記表示画面に表示する映像処理装置における映像処理方法であって、
     ユーザ操作に応じて、前記表示画面上における3つ以上の点を指定し、指定した各点を頂点とする多角形の各辺を構成する各直線を定義する工程と、
     前記座標指定部により指定される各画素の水平方向または垂直方向である一方の方向の座標値に対応する、前記各直線上の前記一方の方向とは異なる方向である他方の方向の座標値を算出する工程と、
     前記座標指定部により指定される各画素の前記他方の方向の座標値と、前記算出する工程で算出された前記各直線上の前記他方の方向の座標値とを比較することにより、前記映像信号における各画素が、前記各直線で囲まれる前記多角形内の領域であるマスク領域に含まれるか否かを判定する工程と、
     前記マスク領域に含まれる各画素をマスク画像でマスキングする工程と
     を含むことを特徴とする映像処理方法。
PCT/JP2011/056339 2010-04-14 2011-03-17 映像処理装置および映像処理方法 WO2011129174A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020127026449A KR101327252B1 (ko) 2010-04-14 2011-03-17 영상 처리 장치 및 영상 처리 방법
EP11768695.6A EP2560365A4 (en) 2010-04-14 2011-03-17 Video image processing device and video image processing method
CN201180018522.9A CN102986206B (zh) 2010-04-14 2011-03-17 影像处理装置以及影像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-093055 2010-04-14
JP2010093055A JP5273087B2 (ja) 2010-04-14 2010-04-14 映像処理装置および映像処理方法

Publications (1)

Publication Number Publication Date
WO2011129174A1 true WO2011129174A1 (ja) 2011-10-20

Family

ID=44798553

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/056339 WO2011129174A1 (ja) 2010-04-14 2011-03-17 映像処理装置および映像処理方法

Country Status (6)

Country Link
US (1) US20130027405A1 (ja)
EP (1) EP2560365A4 (ja)
JP (1) JP5273087B2 (ja)
KR (1) KR101327252B1 (ja)
CN (1) CN102986206B (ja)
WO (1) WO2011129174A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6507518B2 (ja) * 2014-08-11 2019-05-08 セイコーエプソン株式会社 画像処理装置及び撮像表示システム
JP6539510B2 (ja) * 2015-06-17 2019-07-03 オリンパス株式会社 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム
CN105208340B (zh) * 2015-09-24 2019-10-18 浙江宇视科技有限公司 一种视频数据的显示方法和装置
KR102100582B1 (ko) * 2019-02-01 2020-04-13 순천향대학교 산학협력단 영상보안시스템에서 형태보존암호 기술을 이용한 프라이버시 마스킹 방법 및 이를 수행하기 위한 기록 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000324391A (ja) * 1999-04-09 2000-11-24 Sony United Kingdom Ltd ランプ関数信号ジェネレータ
JP2004015362A (ja) * 2002-06-06 2004-01-15 Hitachi Ltd 監視カメラ装置、監視カメラシステム装置及び撮像画面のマスク方法
JP2005135014A (ja) * 2003-10-28 2005-05-26 Hitachi Kokusai Electric Inc 物体検出装置
JP2005229351A (ja) 2004-02-13 2005-08-25 Victor Co Of Japan Ltd 撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0430501B1 (en) * 1989-11-17 1999-02-03 Digital Equipment Corporation System and method for drawing antialiased polygons
US5446836A (en) * 1992-10-30 1995-08-29 Seiko Epson Corporation Polygon rasterization
KR100771137B1 (ko) * 2005-02-21 2007-10-30 삼성전자주식회사 프라이버시영역을 마스크 처리하는 감시시스템 및 마스크영역 설정방법
KR100719120B1 (ko) * 2005-02-26 2007-05-17 삼성전자주식회사 프라이버시영역을 마스크 처리하는 감시시스템 및 그 방법
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000324391A (ja) * 1999-04-09 2000-11-24 Sony United Kingdom Ltd ランプ関数信号ジェネレータ
JP2004015362A (ja) * 2002-06-06 2004-01-15 Hitachi Ltd 監視カメラ装置、監視カメラシステム装置及び撮像画面のマスク方法
JP2005135014A (ja) * 2003-10-28 2005-05-26 Hitachi Kokusai Electric Inc 物体検出装置
JP2005229351A (ja) 2004-02-13 2005-08-25 Victor Co Of Japan Ltd 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2560365A4

Also Published As

Publication number Publication date
KR101327252B1 (ko) 2013-11-08
JP2011223498A (ja) 2011-11-04
JP5273087B2 (ja) 2013-08-28
EP2560365A1 (en) 2013-02-20
US20130027405A1 (en) 2013-01-31
EP2560365A4 (en) 2017-07-26
CN102986206A (zh) 2013-03-20
CN102986206B (zh) 2015-10-14
KR20120137408A (ko) 2012-12-20

Similar Documents

Publication Publication Date Title
JP6302219B2 (ja) Mtf測定装置およびmtf測定プログラム
US20090073259A1 (en) Imaging system and method
KR102550930B1 (ko) 나안 3d 디스플레이의 이미지 오차 수정방법 및 장치
JP6403393B2 (ja) 画像生成装置
JP2003269928A (ja) 3次元形状計測方法および装置ならびにプログラム
WO2011129174A1 (ja) 映像処理装置および映像処理方法
KR20120112051A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP6594170B2 (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
WO2013187204A1 (ja) 3次元計測装置のための合成パラメータの生成装置
WO2019050038A1 (ja) 画像生成方法および画像生成装置
JP2007041196A (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2019220887A (ja) 画像処理装置、画像処理方法およびプログラム
WO2015111262A1 (ja) 画像生成装置及び操作支援システム
JP6713622B2 (ja) 3次元計測装置、3次元計測システム、3次元計測方法及びプログラム
JP2009157219A (ja) ディスプレイの評価方法およびそれに用いる評価装置
JPWO2018087856A1 (ja) 映像合成装置及び映像合成方法
JP6317611B2 (ja) ディスプレイ表示パターン生成装置及びそのプログラム
JP4676385B2 (ja) 画像合成方法及び画像合成装置並びに画像合成プログラム
JP2022138883A (ja) 画像生成方法、制御方法、および情報処理装置
JP2014147047A (ja) 画像処理装置、方法、及びプログラム、並びに撮像装置
JP6742180B2 (ja) Mtf測定装置及びそのプログラム
JP5757463B2 (ja) 2次元カラーグラデーション表示装置
JP6795998B2 (ja) Mtf測定装置およびそのプログラム
JP6967382B2 (ja) Mtf測定装置およびそのプログラム
JP2016110354A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180018522.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11768695

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20127026449

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011768695

Country of ref document: EP