JP5782911B2 - Three-dimensional image processing apparatus and method - Google Patents
Three-dimensional image processing apparatus and method Download PDFInfo
- Publication number
- JP5782911B2 JP5782911B2 JP2011176160A JP2011176160A JP5782911B2 JP 5782911 B2 JP5782911 B2 JP 5782911B2 JP 2011176160 A JP2011176160 A JP 2011176160A JP 2011176160 A JP2011176160 A JP 2011176160A JP 5782911 B2 JP5782911 B2 JP 5782911B2
- Authority
- JP
- Japan
- Prior art keywords
- mask
- image
- area
- image data
- extended
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、三次元画像における所定の領域にモザイク加工等のマスク処理を施すマスク機能を有する三次元画像処理装置及び方法に関する。 The present invention relates to a three-dimensional image processing apparatus and method having a mask function for performing mask processing such as mosaic processing on a predetermined region in a three-dimensional image.
監視カメラを用いた監視システムは、通常、監視対象ではない被写体のプライバシーの侵害を回避するため、監視対象ではない所定の領域にモザイク加工等のマスク処理を施すマスク機能を備えている。この種のマスク機能は、監視システム以外にも、放送局におけるニュース映像の放映の際や、その他種々の分野で用いられている。モザイク加工によって画像をぼかす以外に、黒塗りにして画像を非表示にする等、種々の処理方法がある。 A surveillance system using a surveillance camera usually has a mask function for performing mask processing such as mosaic processing on a predetermined area that is not a monitoring target in order to avoid infringement of privacy of a subject that is not a monitoring target. This type of mask function is used not only for monitoring systems but also for broadcasting news videos at broadcast stations and in various other fields. In addition to blurring the image by mosaic processing, there are various processing methods such as blacking and non-displaying the image.
ところで、近年、三次元画像による立体画像を表示するようにした、いわゆる3Dの映画やテレビジョン受像機が普及し始めている。3D表示を行わせるための眼鏡を用いる方式の他、眼鏡を用いない裸眼3Dの方式も登場している。監視システムにおいても、三次元画像を取り扱うことが増えると予想される。 By the way, in recent years, so-called 3D movies and television receivers that display a stereoscopic image by a three-dimensional image have begun to spread. In addition to a method using glasses for performing 3D display, a naked-eye 3D method using no glasses has also appeared. Even in surveillance systems, it is expected that handling of three-dimensional images will increase.
一例として、三次元画像を撮影する監視カメラを用いた監視システムにおいて、所定の領域にマスク処理を施すためには、マスク画像も立体的に生成することが必要となる。立体的なマスク画像を厳密に生成するには、マスク処理を施す画像が奥行き方向のどの距離に位置しているのかを計測する距離計測や空間把握が必要となる。距離計測や空間把握を行うには、三次元画像における左右の画像の画素がどのように対応しているかを探索するアルゴリズムが必要となる。この探索アルゴリズムを実現するには高速のプロセッサが必要となり、高速のプロセッサを用いたとしても探索するのにかなりの時間がかかってしまう。従って、監視対象ではない所定の領域に即座にマスク処理を施さなければならない監視システム等において、探索アルゴリズムを用いて立体的にマスク画像を生成する生成方法を採用することは現実的ではない。 As an example, in a monitoring system using a monitoring camera that captures a three-dimensional image, in order to perform mask processing on a predetermined area, it is necessary to generate a mask image three-dimensionally. In order to strictly generate a three-dimensional mask image, it is necessary to perform distance measurement and space understanding to measure at which distance in the depth direction the image to be masked is located. In order to perform distance measurement and space grasp, an algorithm for searching how the pixels of the left and right images in the three-dimensional image correspond is necessary. To realize this search algorithm, a high-speed processor is required, and even if a high-speed processor is used, it takes a considerable time to search. Accordingly, it is not practical to employ a generation method that generates a mask image in a three-dimensional manner using a search algorithm in a monitoring system that must immediately perform mask processing on a predetermined region that is not a monitoring target.
三次元画像のコンテンツをオーサリングする場合、左右の画像を別々に二次元でオーサリングするのが一般的である。マスク処理を施した三次元画像を二次元でオーサリングすると、マスク画像は秘匿対象に対して平面的に貼り付いたように見えてしまう。マスク画像が立体的に見えないため、不自然な立体画像となってしまう。 When authoring the contents of a three-dimensional image, it is common to author the left and right images separately in two dimensions. If a three-dimensional image subjected to mask processing is authored in two dimensions, the mask image will appear to be affixed to the target to be concealed in a plane. Since the mask image does not look stereoscopic, it becomes an unnatural stereoscopic image.
本発明はこのような問題点に鑑み、複雑な演算処理を行う必要がなく、二次元でオーサリングを行っても立体的なマスク画像を生成することができ、自然な立体画像を得ることができる三次元画像処理装置及び方法を提供することを目的とする。 In view of such a problem, the present invention does not require complicated calculation processing, can generate a three-dimensional mask image even when two-dimensional authoring is performed, and can obtain a natural three-dimensional image. It is an object to provide a three-dimensional image processing apparatus and method.
本発明は、上述した従来の技術の課題を解決するため、三次元画像における左目用の画像データに対してマスクする対象の画像を囲む第1のマスク領域を設定し、三次元画像における右目用の画像データに対してマスクする対象の画像を囲む第2のマスク領域を設定するマスク領域設定部と、前記第1のマスク領域における左端部の位置をそのままの位置として、前記第1のマスク領域を右方向に伸張して第1の伸張マスク領域とし、前記第2のマスク領域における右端部の位置をそのままの位置として、前記第2のマスク領域を左方向に伸張して第2の伸張マスク領域とするマスク領域伸張部と、前記左目用の画像データにおける前記第1の伸張マスク領域と前記右目用の画像データにおける前記第2の伸張マスク領域に対して、共通のマスク画像を貼り付けるマスク画像貼り付け部とを備えることを特徴とする三次元画像処理装置を提供する。 In order to solve the above-described problems of the related art, the present invention sets a first mask region surrounding an image to be masked with respect to image data for the left eye in the three-dimensional image, and for the right eye in the three-dimensional image. A mask area setting unit for setting a second mask area surrounding an image to be masked with respect to the image data, and the position of the left end in the first mask area as it is, the first mask area Is extended to the right to form a first extended mask region, the position of the right end in the second mask region is left as it is, and the second mask region is extended to the left to form a second extended mask. a mask area expansion unit to an area, to the second stretch the mask region in the image data of the first stretch mask region and the right-eye in the image data for the left eye, the common Ma Providing a three-dimensional image processing apparatus characterized by comprising a mask image sticking section to paste a click images.
上記の三次元画像処理装置において、前記左目用の画像データと前記右目用の画像データとの一方を加工することによって拡張マスク画像を生成する拡張マスク画像生成部を備え、前記マスク画像貼り付け部は、前記拡張マスク画像を前記共通のマスク画像として用いて、前記第1及び第2の伸張マスク領域に貼り付けることが好ましい。 In the three-dimensional image processing apparatus includes an extended mask image generation unit which generates an extended mask image by the processing the one of the image data for the image data and the right eye for the eye, the mask image The affixing unit preferably affixes the first and second extended mask regions using the extended mask image as the common mask image .
上記の三次元画像処理装置において、前記拡張マスク画像生成部は、前記左目用の画像データにおける前記第1のマスク領域内の画像または前記右目用の画像データにおける前記第2のマスク領域内の画像を加工することによってマスク画像を生成するマスク画像生成部と、前記マスク画像を前記第1または第2の伸張マスク領域に合わせて拡張することにより、前記拡張マスク画像を生成するマスク画像拡張部とを有することが好ましい。 In the above three-dimensional image processing apparatus, the extended mask image generation unit includes an image in the first mask area in the image data for the left eye or an image in the second mask area in the image data for the right eye. A mask image generating unit that generates a mask image by processing the mask image, and a mask image extending unit that generates the extended mask image by expanding the mask image according to the first or second expanded mask region, It is preferable to have .
上記の三次元画像処理装置において、前記左目用及び右目用の画像データとは無関係に、前記第1または第2の伸張マスク領域に対応した大きさを有する所定のパターンの拡張マスク画像を生成する拡張マスク画像生成部を備え、前記マスク画像貼り付け部は、前記所定のパターンの拡張マスク画像を前記共通のマスク画像として用いて、前記第1及び第2の伸張マスク領域に貼り付けるように構成してもよい。 In the three-dimensional image processing apparatus, generates an extended mask image of said independently of the left eye and the image data for the right eye, the constant place with a size corresponding to the first or second stretch mask region pattern An extended mask image generation unit configured to attach the mask image pasting unit to the first and second extended mask regions using the extended mask image of the predetermined pattern as the common mask image. It may be configured.
この場合、前記拡張マスク画像生成部は、所定の文字列または模様を含む拡張マスク画像を生成することが好ましい。 In this case, it is preferable that the extended mask image generation unit generates an extended mask image including a predetermined character string or pattern.
また、本発明は、上述した従来の技術の課題を解決するため、三次元画像における左目用の画像データに対してマスクする対象の画像を囲む第1のマスク領域を設定し、三次元画像における右目用の画像データに対してマスクする対象の画像を囲む第2のマスク領域を設定するマスク領域設定ステップと、前記第1のマスク領域における左端部の位置をそのままの位置として、前記第1のマスク領域を右方向に伸張して第1の伸張マスク領域とし、前記第2のマスク領域における右端部の位置をそのままの位置として、前記第2のマスク領域を左方向に伸張して第2の伸張マスク領域とするマスク領域伸張ステップと、前記左目用の画像データにおける前記第1の伸張マスク領域と前記右目用の画像データにおける前記第2の伸張マスク領域に対して、共通のマスク画像を貼り付けるマスク画像貼り付けステップとを含むことを特徴とする三次元画像処理方法を提供する。 In addition, in order to solve the above-described problems of the related art, the present invention sets a first mask region that surrounds an image to be masked with respect to image data for the left eye in a three-dimensional image. A mask area setting step for setting a second mask area surrounding the image to be masked with respect to the image data for the right eye, and the position of the left end in the first mask area as the position as it is, the first The mask area is extended in the right direction to be the first extension mask area, the position of the right end in the second mask area is left as it is, and the second mask area is extended in the left direction to obtain the second A mask area expansion step as an expansion mask area; the first expansion mask area in the image data for the left eye; and the second expansion mask area in the image data for the right eye. In contrast, providing a three-dimensional image processing method which comprises a mask image pasting step of pasting a common mask image.
本発明の三次元画像処理装置及び方法によれば、複雑な演算処理を行う必要がなく、二次元でオーサリングを行っても立体的なマスク画像を生成することができ、自然な立体画像を得ることができる。 According to the three-dimensional image processing apparatus and method of the present invention, it is not necessary to perform complicated arithmetic processing, and a three-dimensional mask image can be generated even if two-dimensional authoring is performed, thereby obtaining a natural three-dimensional image. be able to.
以下、本発明の三次元画像処理装置及び方法の一実施形態について、添付図面を参照して説明する。まず、図1を用いて一実施形態をオーサリング装置に適用した構成例について説明する。図1において、画像入力部11は、オーサリングの対象となっている三次元画像における左目用の画像データ及び右目用の画像データ(以下、左右の画像データ)を入力する。左右の画像データは、マスク処理部12及びマスク領域生成部14に供給される。記憶部15には、操作部16の操作によってマスクする対象の画像データが予め記憶されている。マスクする対象は例えば車両のナンバープレート等である。記憶部15に、マスクする対象の画像を特定するための特徴情報を記憶しておいてもよい。
Hereinafter, an embodiment of a 3D image processing apparatus and method according to the present invention will be described with reference to the accompanying drawings. First, a configuration example in which one embodiment is applied to an authoring apparatus will be described with reference to FIG. In FIG. 1, an
マスク領域生成部14には、記憶部15からマスクする対象の画像データが入力される。マスク領域生成部14は、例えばパターンマッチングを用いることによって、左右それぞれの画像データからマスクする対象の画像データを抽出し、対象の画像データの位置と大きさを示すマスク領域データを生成する。マスク領域生成部14は、マスク領域データを記憶部15へと出力する。マスク領域生成部14は、マスクする対象の画像を特定するための特徴情報に基づいてマスク領域データを生成してもよい。
Image data to be masked is input from the
マスク領域生成部14は、一例として、まず、記憶部15に記憶された画像データを基準として左の1フレームの画像データからマスクする対象の画像データを抽出し、対象の画像データの位置と大きさを示すマスク領域データを生成する。次に、マスク領域生成部14は、左の画像データから抽出した画像データに基づいたパターンマッチングによって、同じフレームの右の画像データからマスクする対象の画像データを抽出して、マスク領域データを生成する。そして、マスク領域生成部14は、次のフレームでは、前のフレームの画像データから抽出した画像データに基づいたパターンマッチングによって対象の画像データを抽出して、同様の動作を繰り返す。これによって、それぞれのフレームにおける左右の画像データからマスクする対象の画像データのマスク領域データが順次生成される。
As an example, the mask
なお、マスク対象が動かない場合、記憶部15にマスクする対象の画像データを記憶させておく代わりに、マスクの位置と大きさを示すマスク領域データを片目、例えば左目用のマスク領域データのみ記憶させておいてもよい。その場合、記憶部15から読み出したマスク領域データと左目用の画像データとから、最初にマスクする対象の画像データを作成し、この画像データと右目用の画像データとからパターンマッチングを用いて右目用のマスク領域データを生成する。このような方法をとることにより、マスク領域の手前に物体が横切って画像が変化した場合などでも、マスク領域データを確実に生成することができる。
If the mask target does not move, instead of storing the image data to be masked in the
マスク領域生成部14が順次生成するマスク領域データは、記憶部15に一旦記憶されて読み出されて、マスク処理部12へと入力される。マスク処理部12は、入力されたマスク領域データに基づいて、左右の画像データにマスク処理を施して、画像出力部13へと出力する。画像出力部13はマスク処理が施された左右の画像データを出力する。マスク処理部12の具体的構成及びマスク処理の具体的な動作については後述する。
The mask area data sequentially generated by the mask
次に、図2を用いて一実施形態を監視システムに適用した構成例について説明する。図2において、左目撮像部21aは、被写体を撮影して左目用の画像信号を出力し、右目撮像部21bは、被写体を撮影して右目用の画像信号を出力する。A/D変換部22aは、左目撮像部21aより出力された画像信号をデジタルデータに変換して、左目用の画像データとしてマスク処理部23に供給する。A/D変換部22bは、右目撮像部21bより出力された画像信号をデジタルデータに変換して、右目用の画像データとしてマスク処理部23に供給する。
Next, a configuration example in which one embodiment is applied to a monitoring system will be described with reference to FIG. In FIG. 2, the left-
マスク処理部23には、記憶部24から左右の画像データそれぞれのマスクする対象の画像データの位置と大きさを示すマスク領域データが入力される。図2に示す例は、マスクする対象を固定とした場合を示している。図2においても、図1と同様、それぞれのフレームでマスクする対象の位置や大きさが変化する場合に、変化に追従するようにマスク領域データを生成してもよい。マスク処理部23は、マスク領域データに基づいて、A/D変換部22a,22bより入力された左右の画像データにマスク処理を施して出力する。マスク処理部23の具体的構成及びマスク処理の具体的な動作については後述する。
Mask area data indicating the position and size of image data to be masked for each of the left and right image data is input from the
D/A変換部25は、マスク処理が施された左右の画像データをアナログデータに変換して、画像出力部26へと出力する。画像出力部26は、アナログデータを出力する。画像圧縮部27は、マスク処理が施された左右の画像データをJPEG,MPEG等の任意のフォーマットで圧縮して、通信部28へと出力する。通信部28は、画像圧縮部27より入力された圧縮データをインターネット等の通信網によって外部へと送出する。記録部29は、画像圧縮部27より入力された圧縮データを記録する。図2に示す例では、D/A変換部25及び画像出力部26と、通信部28と、記録部29とを設けているが、それらの全てを設けなくてもよい。
The D /
図3にマスク処理部12,23の具体的構成例を示し、マスク処理部12,23の具体的な動作を、図4〜図9を参照しながら説明する。図3において、マスク領域設定部31は、左の画像データのマスク領域データを用いてマスク領域を設定し、マスク領域設定部32は、右の画像データのマスク領域データを用いてマスク領域を設定する。図4(A)は、左右の画像データの投射面40よりも奥側に秘匿対象41を表示する3D表示の例を示している。投射面40に、左目ELで見る秘匿対象41の左目画像41Lと、右目ERで見る秘匿対象41の右目画像41Rとを図示のように投射することによって、人は、秘匿対象41が投射面40よりも奥側に位置すると認識する。
FIG. 3 shows a specific configuration example of the
秘匿対象41をマスクするため、左目画像41Lをちょうどマスクするマスク領域42Lを設定し、右目画像41Rをちょうどマスクするマスク領域42Rを設定したとする。すると、マスク領域42Lとマスク領域42Rとが合成されたマスク領域42は、秘匿対象41をちょうどマスクするように配置される。しかしながら、図4(A)に示すようにマスク領域42を設定し、マスク領域42内に例えばモザイク加工等のマスク処理を施した場合には、マスク画像は秘匿対象41に対して平面的に貼り付いたように見えてしまい、立体的に見えない。
To mask concealed 41 sets a
図5(A)は、図4(A)を上から見た状態を示している。図5においては、都合上、投射面40を所定の幅を有するように図示している。図5(A)に示すように、マスク領域42は見かけ上、投射面40よりも奥側に位置しているように見える秘匿対象41とほぼ同一位置にあり、マスク領域42に対応させて設けるマスク画像は秘匿対象41に貼り付いたような状態となる。マスク処理部12,23は、マスク領域伸張部33,34とマスク画像生成部35とマスク画像拡張部36を備えることによって、マスク画像が秘匿対象41に貼り付いたような状態となることを解消する。
FIG. 5A shows a state in which FIG. 4A is viewed from above. In FIG. 5, for convenience, the
図3において、マスク領域伸張部33は、マスク領域設定部31より入力される図4(A)に示すマスク領域42Lを右方向に伸張して、図4(B)に示す伸張マスク領域42Lexとする。マスク領域伸張部34は、マスク領域設定部32より入力される図4(A)に示すマスク領域42Rを左方向に伸張して、図4(C)に示す伸張マスク領域42Rexとする。伸張マスク領域42Lex,42Rexとすることによって、図4(B),(C)に示すように、マスク領域42は、見かけ上、秘匿対象41よりも手前側に位置する。
In FIG. 3, the mask
図5(B)は、図4(B),(C)を上から見て、両者を合わせた状態を示している。図5(A)と図5(B)とを比較すれば明らかなように、伸張マスク領域42Lexはマスク領域42Lと比較して右方向に伸びており、伸張マスク領域42Rexはマスク領域42Rと比較して左方向に伸びている。図5(A)において、左目ELがマスク領域42Lに対応させて設けるマスク画像の右側端部を見る直線で示す視線と、右目ERがマスク領域42Rに対応させて設けるマスク画像の右側端部を見る直線で示す視線との交点は点PR0に位置している。左目ELがマスク領域42Lに対応させて設けるマスク画像の左側端部を見る直線で示す視線と、右目ERがマスク領域42Rに対応させて設けるマスク画像の左側端部を見る直線で示す視線との交点は点PL0に位置している。
FIG. 5 (B) shows a state in which the two are combined when viewed from above. As apparent from a comparison between FIG. 5A and FIG. 5B, the expanded mask region 42Lex extends rightward compared to the
図5(B)においては、伸張マスク領域42Lex,42Rexとなったことにより、左目ELが伸張マスク領域42Lexに対応させて設けるマスク画像の右側端部を見る破線で示す視線と、右目ERが伸張マスク領域42Rexに対応させて設けるマスク画像の右側端部を見る直線で示す視線との交点は点PR1に位置することになる。また、左目ELが伸張マスク領域42Lexに対応させて設けるマスク画像の左側端部を見る直線で示す視線と、右目ERが伸張マスク領域42Rexに対応させて設けるマスク画像の左側端部を見る破線で示す視線との交点は点PL1に位置することになる。 In FIG. 5B, since the extended mask areas 42Lex and 42Rex are obtained, the left eye EL is viewed with a broken line looking at the right end portion of the mask image provided corresponding to the expanded mask area 42Lex, and the right eye ER is expanded. The intersection point with the line of sight indicated by a straight line looking at the right end portion of the mask image provided corresponding to the mask region 42Rex is located at the point PR1. Further, the line of sight shown by a straight line looking at the left end of the mask image provided corresponding to the extended mask region 42Lex with the left eye EL and the broken line looking at the left end of the mask image provided by the right eye ER corresponding to the extended mask region 42Rex. The intersection with the line of sight shown is located at point PL1.
従って、図5(B)に示すように、伸張マスク領域42Lex,42Rexが合成されたマスク領域42は、見かけ上、秘匿対象41よりも手前側に位置する。マスク領域42に対応させて設けるマスク画像は秘匿対象41に貼り付いたような状態となることはなく、立体的に見えて自然な立体画像とすることができる。
Therefore, as shown in FIG. 5B, the
図6(A)〜(C)及び図7(A),(B)は、投射面40よりも手前側に秘匿対象41を表示する3D表示の例を示している。この場合も同様に、マスク領域伸張部33によってマスク領域42Lを右方向に伸張して伸張マスク領域42Lexとし、マスク領域伸張部34によってマスク領域42Rを左方向に伸張して伸張マスク領域42Rexとすることによって、図6(B),(C)及び図7(B)に示すように、マスク領域42を、見かけ上、秘匿対象41よりも手前側に位置させることができる。
6A to 6C and FIGS. 7A and 7B show examples of 3D display in which the
図3に戻り、マスク画像生成部35には、マスク領域設定部31より出力されたマスク領域42Lを示すデータが入力される。マスク画像生成部35に、マスク領域設定部32より出力されたマスク領域42Rを示すデータを入力してもよい。マスク画像生成部35には、一例として、左の画像データが入力される。マスク画像生成部35は、マスク領域42L内の左の画像データを例えばモザイク加工することによってマスク画像を生成する。マスク画像生成部35は、右の画像データに基づいてマスク画像を生成してもよい。
Returning to FIG. 3, data indicating the
マスク画像生成部35が生成するマスク画像は、左右の画像データ双方をマスクするために共通に用いられる。仮に、伸張マスク領域42Lex内の左の画像データに基づいて左の画像データをマスクするための左用マスク画像を生成し、伸張マスク領域42Rex内の右の画像データに基づいて右の画像データをマスクするための右用マスク画像を生成した場合を考える。図8(A),(D)は、伸張マスク領域42Lex,42Rex内の秘匿対象41の前に人物43がいる状態を示している。図8(B),(C)は、伸張マスク領域42Lex,42Rex内の画像データをモザイク加工して生成したマスク画像44L,44Rを示している。
The mask image generated by the mask
伸張マスク領域42Lex,42Rex内の画像データをそれぞれモザイク加工すると、図8(B),(C)における例えば矩形領域Ar0は、本来であれば同一の輝度や色となるべきところ、輝度や色が異なってしまう。従って、伸張マスク領域42Lex,42Rex内の画像データを個別にモザイク加工して生成したマスク画像44L,44Rを用いると、人の目は適切に距離感を認識することができない。そこで、上記のように、本実施形態においては、マスク画像生成部35が生成するマスク画像を、左右の画像データ双方をマスクするために共通に用いる。
When the image data in the extension mask areas 42Lex and 42Rex are respectively mosaic processed, for example, the rectangular area Ar0 in FIGS. 8B and 8C should have the same brightness and color, but the brightness and color should be the same. It will be different. Therefore, if the
図3において、マスク画像生成部35は、マスク領域42Lを示すデータを用いることにより、マスク領域42L内の左の画像データに基づいてマスク画像を生成する。図9(A)は、マスク領域42L内の秘匿対象41の前に人物43がいる状態を示している。図9(B)は、マスク画像生成部35によってマスク領域42L内の画像データをモザイク加工して生成したマスク画像45を示している。マスク画像生成部35が生成したマスク画像45はマスク画像拡張部36に入力される。マスク画像拡張部36は、図9(C)に示すように、マスク画像45をアフィン変換することによって、マスク画像45を伸張マスク領域42Lexの大きさに拡張した拡張マスク画像45Lexを生成する。また、マスク画像45をアフィン変換することによって、マスク画像45を伸張マスク領域42Rexの大きさに拡張した拡張マスク画像45Rexを生成する。
In FIG. 3, the mask
マスク画像生成部35及びマスク画像拡張部36は、拡張マスク画像45Lex,45Rexを生成する拡張マスク画像生成部356となっている。拡張マスク画像生成部356は、左右の画像データを加工するのではなく、左右の画像データとは無関係に所定の文字列や模様を含むパターンによってマスク画像(拡張マスク画像)を生成してもよい。マスク画像の生成に左右の画像データを用いない場合には、拡張マスク画像生成部356に左右の画像データを入力する必要はない。
The mask
左右の画像データを用いない場合には、マスク画像生成部35によってマスク領域42Lまたは42Rに対応したマスク画像を生成し、マスク画像拡張部36によって伸張マスク領域42Lexまたは42Rexに合わせるようにマスク画像を拡張するという2段階で行う必要はない。拡張マスク画像生成部356によって、伸張マスク領域42Lexまたは42Rexに合わせた所定のパターンの拡張マスク画像を生成すればよい。
When the left and right image data are not used, a mask image corresponding to the
マスク画像貼り付け部37には、左の画像データと、マスク画像拡張部36によって生成された拡張マスク画像45Lexと、伸張マスク領域42Lexを示すデータが入力される。マスク画像貼り付け部38には、右の画像データと、マスク画像拡張部36によって生成された拡張マスク画像45Rexと、伸張マスク領域42Rexを示すデータが入力される。マスク画像貼り付け部37,38は、伸張マスク領域42Lex,42Rexの範囲に拡張マスク画像45Lex,45Rexをそれぞれ貼り付ける。具体的には、マスク画像貼り付け部37,38は、伸張マスク領域42Lex,42Rex内の元の画像データを拡張マスク画像45Lex,45Rexのデータに置換する。これによって、マスク画像貼り付け部37,38から、秘匿対象41に対してマスク処理が施され、マスク画像が立体的に見える左右の画像データが出力されることになる。
The mask
図5(B)に、マスク領域伸張部33,34によってマスク領域42L,42Rを左右に伸ばす伸張量Δpを示している。図5(B)では、マスク領域42Rの伸張量Δpを図示している。本実施形態においては、マスク領域伸張部33,34に対して伸張量Δpを定数として与えればよい。本実施形態においては、図5(B)に示す投射面40上での視差p、秘匿対象41の奥行き量(または手前側への突出量)d、秘匿対象41からのマスク画像の距離D等を用いた演算を行う必要はない。従って、複雑な演算処理を行う必要はなく、極めて簡単にマスク画像を立体的に表示させることが可能となる。マスク領域伸張部33,34で設定する伸張量Δpを可変にし、3D表示を目視しながら最適な伸張量Δpを設定できるようにしてもよい。
FIG. 5B shows an extension amount Δp for extending the
図10は、マスク画像(拡張マスク画像)の他の例を示している。図10に示すマスク画像46は、黒の背景にPrivacy Maskingなる文字列を表示した例である。マスク画像46は、伸張マスク領域42Lex,42Rexに対応した大きさを有する。なお、例えば黒一色のような単調な画像をマスク画像とした場合にはマスク画像が立体的に見えない場合がある。そこで、上述したモザイク加工の画像、所定の文字列、所定の模様等、マスク画像が立体的に見えるパターンを採用すればよい。 FIG. 10 shows another example of a mask image (extended mask image). A mask image 46 shown in FIG. 10 is an example in which a character string “Privacy Masking” is displayed on a black background. The mask image 46 has a size corresponding to the extended mask areas 42Lex and 42Rex. For example, when a monotonous image such as one black color is used as a mask image, the mask image may not be seen stereoscopically. Therefore, a pattern in which the mask image looks three-dimensional, such as the above-described mosaic processing image, a predetermined character string, and a predetermined pattern, may be employed.
図11〜図15を用いて、本実施形態における動作について改めて説明する。ここでは、図1に示す構成例の動作を説明する。図11において、(A)〜(D)は左の画像データにおけるフレームFLを、(E)〜(H)は右の画像データにおけるフレームFRを示している。なお、図11(A)〜(D),(E)〜(H)は必ずしもそれぞれ異なるフレームを示しているわけではない。 The operation in the present embodiment will be described again with reference to FIGS. Here, the operation of the configuration example shown in FIG. 1 will be described. 11, (A) to (D) show the frame FL in the left image data, and (E) to (H) show the frame FR in the right image data. 11A to 11D and 11E to 11H do not necessarily indicate different frames.
図12において、マスク領域生成部14は、ステップS1にて、マスクする対象の画像データを記憶部15から読み出す。マスク領域生成部14は、ステップS2にて、左の画像データからマスクする対象の画像データを抽出し、対象の画像データの位置と大きさを示すマスク領域データを生成する。これによって、図11(A)に示すように、マスクする対象の画像データである秘匿対象41を囲むマスク領域42Lが設定される。マスク領域生成部14は、ステップS3にて、パターンマッチングによって右の画像データからマスクする対象の画像データを抽出し、対象の画像データの位置と大きさを示すマスク領域データを生成する。これによって、図11(F)に示すように、マスクする対象の画像データである秘匿対象41を囲むマスク領域42Rが設定される。
In FIG. 12, the mask
特に図示していないが、マスク領域生成部14は、左右の画像データにおけるそれぞれのフレームで、マスク領域データを順次生成する。
Although not particularly illustrated, the mask
マスク処理部12は、ステップS4にて、図11(C),(G)に示すように、左の画像データのマスク領域42Lを右方向にΔpだけ伸張して伸張マスク領域42Lexを生成し、右の画像データのマスク領域42Rを左方向にΔpだけ伸張して伸張マスク領域42Rexを生成する。マスク処理部12は、ステップS5にて、左の画像データの伸張マスク領域42Lexと右の画像データの伸張マスク領域42Rexとの双方に共通のマスク画像を貼り付けて終了する。
In step S4, as shown in FIGS. 11C and 11G, the
図13は、ステップS5の第1の具体例を示している。図13において、マスク処理部12は、ステップS51にて、図11(I)に示すように、一例として左の画像データにおけるマスク領域42L内の画像をモザイク加工して、マスク画像45を生成する。図11(I)では、図示の簡略化のため、マスク画像45のモザイク画像を破線にて表
現している。マスク処理部12は、ステップS52にて、図11(I)に示すように、Δpだけ伸張した伸張マスク領域42Lex,42Rexに合わせてマスク画像45をアフィン変換し、拡張マスク画像45Lex,45Rexを生成する。そして、マスク処理部12は、ステップS53にて、図11(D),(H)に示すように、生成した拡張マスク画像45Lexを左の画像データの伸張マスク領域42Lexに貼り付け、拡張マスク画像45Rexを右の画像データの伸張マスク領域42Rexに貼り付けて終了する。
FIG. 13 shows a first specific example of step S5. In FIG. 13, the
It appears. In step S52, the
図14は、ステップS5の第2の具体例を示している。図14において、マスク処理部12は、ステップS54にて、Δpだけ伸張した伸張マスク領域42Lex,42Rexに合わせて、所定のパターンのマスク画像を生成する。所定のパターンのマスク画像の一例は、図10に示すマスク画像46である。マスク処理部12は、ステップS55にて、生成したマスク画像を左の画像データの伸張マスク領域42Lexと右の画像データの伸張マスク領域42Rexとの双方に貼り付けて終了する。
FIG. 14 shows a second specific example of step S5. In FIG. 14, in step S54, the
本実施形態によれば、図15に概念的に示すように、見かけ上、秘匿対象41の手前側に拡張マスク画像45Lex,45Rexが表示されて、秘匿対象41が拡張マスク画像45Lex,45Rexによってマスクされる。拡張マスク画像45Lex,45Rexは立体的に見え、自然な3D画像とすることができる。図15では、図13に示す第1の具体例による表示状態を示しているが、図14に示す第2の具体例でも同様にマスク画像が立体的に見え、自然な3D画像とすることができる。
According to the present embodiment, as conceptually shown in FIG. 15, the extended mask images 45Lex and 45Rex are apparently displayed on the front side of the
本発明は以上説明した本実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図12〜図13の各動作をソフトウェア(コンピュータプログラム)によって実現してもよく、ハードウェアとソフトウェアとを適宜に組み合わせてもよい。 The present invention is not limited to the embodiment described above, and various modifications can be made without departing from the gist of the present invention. 12 to 13 may be realized by software (computer program), or hardware and software may be appropriately combined.
11 画像入力部
12,23 マスク処理部
13,26 画像出力部
14 マスク領域生成部
15,24 記憶部
16 操作部
21a 左目撮像部
21b 右目撮像部
22a,22b A/D変換部
25 D/A変換部
27 画像圧縮部
28 通信部
29 記録部
31,32 マスク領域設定部
33,34 マスク領域伸張部
35 マスク画像生成部
36 マスク画像拡張部
37,38 マスク画像貼り付け部
356 拡張マスク画像生成部
DESCRIPTION OF
Claims (6)
前記第1のマスク領域における左端部の位置をそのままの位置として、前記第1のマスク領域を右方向に伸張して第1の伸張マスク領域とし、前記第2のマスク領域における右端部の位置をそのままの位置として、前記第2のマスク領域を左方向に伸張して第2の伸張マスク領域とするマスク領域伸張部と、
前記左目用の画像データにおける前記第1の伸張マスク領域と前記右目用の画像データにおける前記第2の伸張マスク領域に対して、共通のマスク画像を貼り付けるマスク画像貼り付け部と、
を備えることを特徴とする三次元画像処理装置。 A first mask area surrounding the image to be masked with respect to the image data for the left eye in the three-dimensional image is set, and a second image surrounding the image to be masked with respect to the image data for the right eye in the three-dimensional image. A mask area setting section for setting a mask area;
The position of the left end in the first mask area is set as it is, the first mask area is extended rightward to form a first extended mask area, and the position of the right end in the second mask area is set. A mask area extension unit that extends the second mask area in the left direction as a second extension mask area as it is,
A mask image pasting unit for pasting a common mask image to the first decompression mask region in the image data for the left eye and the second decompression mask region in the image data for the right eye;
A three-dimensional image processing apparatus comprising:
前記マスク画像貼り付け部は、前記拡張マスク画像を前記共通のマスク画像として用いて、前記第1及び第2の伸張マスク領域に貼り付ける
ことを特徴とする請求項1記載の三次元画像処理装置。 With enhanced mask image generation unit which generates an extended mask image by the processing the one of the image data of the right eye and image data for the left eye,
The mask image pasting unit pastes the extended mask image on the first and second stretched mask areas using the common mask image as the common mask image.
3D image processing apparatus according to claim 1, wherein the this.
前記左目用の画像データにおける前記第1のマスク領域内の画像または前記右目用の画像データにおける前記第2のマスク領域内の画像を加工することによってマスク画像を生成するマスク画像生成部と、
前記マスク画像を前記第1または第2の伸張マスク領域に合わせて拡張することにより、前記拡張マスク画像を生成するマスク画像拡張部と、
を有することを特徴とする請求項2記載の三次元画像処理装置。 The extended mask image generation unit
A mask image generation unit that generates a mask image by processing an image in the first mask region in the image data for the left eye or an image in the second mask region in the image data for the right eye;
A mask image extension unit that generates the extended mask image by extending the mask image to fit the first or second extended mask region;
3D image processing apparatus according to claim 2, wherein a.
前記マスク画像貼り付け部は、前記所定のパターンの拡張マスク画像を前記共通のマスク画像として用いて、前記第1及び第2の伸張マスク領域に貼り付ける
ことを特徴とする請求項1記載の三次元画像処理装置。 Wherein independently of the left eye and the image data for the right eye, with enhanced mask image generation unit which generates an extended mask images of a constant pattern where having a size corresponding to the first or second stretch mask area,
The mask image pasting unit pastes the extended mask image having the predetermined pattern as the common mask image to the first and second extended mask regions.
3D image processing apparatus according to claim 1, wherein the this.
前記第1のマスク領域における左端部の位置をそのままの位置として、前記第1のマスク領域を右方向に伸張して第1の伸張マスク領域とし、前記第2のマスク領域における右端部の位置をそのままの位置として、前記第2のマスク領域を左方向に伸張して第2の伸張マスク領域とするマスク領域伸張ステップと、
前記左目用の画像データにおける前記第1の伸張マスク領域と前記右目用の画像データにおける前記第2の伸張マスク領域に対して、共通のマスク画像を貼り付けるマスク画像貼り付けステップと、
を含むことを特徴とする三次元画像処理方法。 A first mask area surrounding the image to be masked with respect to the image data for the left eye in the three-dimensional image is set, and a second image surrounding the image to be masked with respect to the image data for the right eye in the three-dimensional image. A mask area setting step for setting a mask area;
The position of the left end in the first mask area is set as it is, the first mask area is extended rightward to form a first extended mask area, and the position of the right end in the second mask area is set. A mask area expansion step that extends the second mask area in the left direction as the second position to make a second expansion mask area,
A mask image pasting step for pasting a common mask image to the first decompression mask region in the image data for the left eye and the second decompression mask region in the image data for the right eye;
A three-dimensional image processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011176160A JP5782911B2 (en) | 2011-08-11 | 2011-08-11 | Three-dimensional image processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011176160A JP5782911B2 (en) | 2011-08-11 | 2011-08-11 | Three-dimensional image processing apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013042227A JP2013042227A (en) | 2013-02-28 |
JP5782911B2 true JP5782911B2 (en) | 2015-09-24 |
Family
ID=47890257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011176160A Active JP5782911B2 (en) | 2011-08-11 | 2011-08-11 | Three-dimensional image processing apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5782911B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6522051B2 (en) * | 2017-06-16 | 2019-05-29 | 株式会社カタリナ | Image processing apparatus and image processing program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2826710B2 (en) * | 1995-02-27 | 1998-11-18 | 株式会社エイ・ティ・アール人間情報通信研究所 | Binocular stereoscopic image display method |
JP3653790B2 (en) * | 1995-05-23 | 2005-06-02 | 松下電器産業株式会社 | 3D electronic zoom device and 3D image quality control device |
JP2002271816A (en) * | 2001-03-13 | 2002-09-20 | Sony Corp | Stereoscopic mosaic generating device |
JP4707368B2 (en) * | 2004-06-25 | 2011-06-22 | 雅貴 ▲吉▼良 | Stereoscopic image creation method and apparatus |
JP2011120233A (en) * | 2009-11-09 | 2011-06-16 | Panasonic Corp | 3d video special effect apparatus, 3d video special effect method, and, 3d video special effect program |
-
2011
- 2011-08-11 JP JP2011176160A patent/JP5782911B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013042227A (en) | 2013-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102214827B1 (en) | Method and apparatus for providing augmented reality | |
US8488869B2 (en) | Image processing method and apparatus | |
US8928729B2 (en) | Systems and methods for converting video | |
CN103081476A (en) | Method and device for converting three-dimensional image using depth map information | |
CN106296781B (en) | Special effect image generation method and electronic equipment | |
KR101538947B1 (en) | The apparatus and method of hemispheric freeviewpoint image service technology | |
KR20070040645A (en) | Apparatus and method for processing 3 dimensional picture | |
JP2009123219A (en) | Device and method for estimating depth map, method for generating intermediate image, and method for encoding multi-view video using the same | |
KR20140030111A (en) | Pseudo-3d forced perspective methods and devices | |
KR101723210B1 (en) | Method For Producting Virtual Stereo Studio Image In Real-Time Virtual Stereo Studio System | |
Schmeing et al. | Depth image based rendering: A faithful approach for the disocclusion problem | |
CN102783161A (en) | Disparity distribution estimation for 3D TV | |
TW201143355A (en) | Apparatus and method for video processing | |
JP2021192541A (en) | Video conversion system, video conversion method, and video conversion program | |
JP5521608B2 (en) | Image processing apparatus, image processing method, and program | |
US9325962B2 (en) | Method and system for creating dynamic floating window for stereoscopic contents | |
JP5782911B2 (en) | Three-dimensional image processing apparatus and method | |
JP2014072809A (en) | Image generation apparatus, image generation method, and program for the image generation apparatus | |
CN109561263A (en) | 3D subtitle effect is realized in the 3D video of VR equipment | |
KR20190053565A (en) | Live stitching method using stitching device | |
KR101453531B1 (en) | 3D Real-Time Virtual Studio System And Method For Producting Virtual Studio Image In Real-Time Virtual Studio System | |
US10818264B2 (en) | Generating virtual reality and augmented reality content for a live event | |
CN114915798A (en) | Real-time video generation method, multi-camera live broadcast method and device | |
KR20170077331A (en) | Arbitrary View Image Generation Method and System | |
Liu et al. | Deinterlacing of depth-image-based three-dimensional video for a depth-image-based rendering system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141202 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150623 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5782911 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |