JP5782911B2 - Three-dimensional image processing apparatus and method - Google Patents

Three-dimensional image processing apparatus and method Download PDF

Info

Publication number
JP5782911B2
JP5782911B2 JP2011176160A JP2011176160A JP5782911B2 JP 5782911 B2 JP5782911 B2 JP 5782911B2 JP 2011176160 A JP2011176160 A JP 2011176160A JP 2011176160 A JP2011176160 A JP 2011176160A JP 5782911 B2 JP5782911 B2 JP 5782911B2
Authority
JP
Japan
Prior art keywords
mask
image
area
image data
extended
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011176160A
Other languages
Japanese (ja)
Other versions
JP2013042227A (en
Inventor
協助 所
協助 所
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2011176160A priority Critical patent/JP5782911B2/en
Publication of JP2013042227A publication Critical patent/JP2013042227A/en
Application granted granted Critical
Publication of JP5782911B2 publication Critical patent/JP5782911B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、三次元画像における所定の領域にモザイク加工等のマスク処理を施すマスク機能を有する三次元画像処理装置及び方法に関する。   The present invention relates to a three-dimensional image processing apparatus and method having a mask function for performing mask processing such as mosaic processing on a predetermined region in a three-dimensional image.

監視カメラを用いた監視システムは、通常、監視対象ではない被写体のプライバシーの侵害を回避するため、監視対象ではない所定の領域にモザイク加工等のマスク処理を施すマスク機能を備えている。この種のマスク機能は、監視システム以外にも、放送局におけるニュース映像の放映の際や、その他種々の分野で用いられている。モザイク加工によって画像をぼかす以外に、黒塗りにして画像を非表示にする等、種々の処理方法がある。   A surveillance system using a surveillance camera usually has a mask function for performing mask processing such as mosaic processing on a predetermined area that is not a monitoring target in order to avoid infringement of privacy of a subject that is not a monitoring target. This type of mask function is used not only for monitoring systems but also for broadcasting news videos at broadcast stations and in various other fields. In addition to blurring the image by mosaic processing, there are various processing methods such as blacking and non-displaying the image.

ところで、近年、三次元画像による立体画像を表示するようにした、いわゆる3Dの映画やテレビジョン受像機が普及し始めている。3D表示を行わせるための眼鏡を用いる方式の他、眼鏡を用いない裸眼3Dの方式も登場している。監視システムにおいても、三次元画像を取り扱うことが増えると予想される。   By the way, in recent years, so-called 3D movies and television receivers that display a stereoscopic image by a three-dimensional image have begun to spread. In addition to a method using glasses for performing 3D display, a naked-eye 3D method using no glasses has also appeared. Even in surveillance systems, it is expected that handling of three-dimensional images will increase.

特開2002−271816号公報JP 2002-271816 A

一例として、三次元画像を撮影する監視カメラを用いた監視システムにおいて、所定の領域にマスク処理を施すためには、マスク画像も立体的に生成することが必要となる。立体的なマスク画像を厳密に生成するには、マスク処理を施す画像が奥行き方向のどの距離に位置しているのかを計測する距離計測や空間把握が必要となる。距離計測や空間把握を行うには、三次元画像における左右の画像の画素がどのように対応しているかを探索するアルゴリズムが必要となる。この探索アルゴリズムを実現するには高速のプロセッサが必要となり、高速のプロセッサを用いたとしても探索するのにかなりの時間がかかってしまう。従って、監視対象ではない所定の領域に即座にマスク処理を施さなければならない監視システム等において、探索アルゴリズムを用いて立体的にマスク画像を生成する生成方法を採用することは現実的ではない。   As an example, in a monitoring system using a monitoring camera that captures a three-dimensional image, in order to perform mask processing on a predetermined area, it is necessary to generate a mask image three-dimensionally. In order to strictly generate a three-dimensional mask image, it is necessary to perform distance measurement and space understanding to measure at which distance in the depth direction the image to be masked is located. In order to perform distance measurement and space grasp, an algorithm for searching how the pixels of the left and right images in the three-dimensional image correspond is necessary. To realize this search algorithm, a high-speed processor is required, and even if a high-speed processor is used, it takes a considerable time to search. Accordingly, it is not practical to employ a generation method that generates a mask image in a three-dimensional manner using a search algorithm in a monitoring system that must immediately perform mask processing on a predetermined region that is not a monitoring target.

三次元画像のコンテンツをオーサリングする場合、左右の画像を別々に二次元でオーサリングするのが一般的である。マスク処理を施した三次元画像を二次元でオーサリングすると、マスク画像は秘匿対象に対して平面的に貼り付いたように見えてしまう。マスク画像が立体的に見えないため、不自然な立体画像となってしまう。   When authoring the contents of a three-dimensional image, it is common to author the left and right images separately in two dimensions. If a three-dimensional image subjected to mask processing is authored in two dimensions, the mask image will appear to be affixed to the target to be concealed in a plane. Since the mask image does not look stereoscopic, it becomes an unnatural stereoscopic image.

本発明はこのような問題点に鑑み、複雑な演算処理を行う必要がなく、二次元でオーサリングを行っても立体的なマスク画像を生成することができ、自然な立体画像を得ることができる三次元画像処理装置及び方法を提供することを目的とする。   In view of such a problem, the present invention does not require complicated calculation processing, can generate a three-dimensional mask image even when two-dimensional authoring is performed, and can obtain a natural three-dimensional image. It is an object to provide a three-dimensional image processing apparatus and method.

本発明は、上述した従来の技術の課題を解決するため、三次元画像における左目用の画像データに対してマスクする対象の画像を囲む第1のマスク領域を設定し、三次元画像における右目用の画像データに対してマスクする対象の画像を囲む第2のマスク領域を設定するマスク領域設定部と、前記第1のマスク領域における左端部の位置をそのままの位置として、前記第1のマスク領域を右方向に伸張して第1の伸張マスク領域とし、前記第2のマスク領域における右端部の位置をそのままの位置として、前記第2のマスク領域を左方向に伸張して第2の伸張マスク領域とするマスク領域伸張部と、前記左目用の画像データにおける前記第1の伸張マスク領域と前記右目用の画像データにおける前記第2の伸張マスク領域に対して、共通のマスク画像を貼り付けるマスク画像貼り付け部とを備えることを特徴とする三次元画像処理装置を提供する。 In order to solve the above-described problems of the related art, the present invention sets a first mask region surrounding an image to be masked with respect to image data for the left eye in the three-dimensional image, and for the right eye in the three-dimensional image. A mask area setting unit for setting a second mask area surrounding an image to be masked with respect to the image data, and the position of the left end in the first mask area as it is, the first mask area Is extended to the right to form a first extended mask region, the position of the right end in the second mask region is left as it is, and the second mask region is extended to the left to form a second extended mask. a mask area expansion unit to an area, to the second stretch the mask region in the image data of the first stretch mask region and the right-eye in the image data for the left eye, the common Ma Providing a three-dimensional image processing apparatus characterized by comprising a mask image sticking section to paste a click images.

上記の三次元画像処理装置において、前記左目用の画像データと前記右目用の画像データとの一方を加工することによって拡張マスク画像を生成する拡張マスク画像生成部を備え、前記マスク画像貼り付け部は、前記拡張マスク画像を前記共通のマスク画像として用いて、前記第1及び第2の伸張マスク領域に貼り付けることが好ましい。 In the three-dimensional image processing apparatus includes an extended mask image generation unit which generates an extended mask image by the processing the one of the image data for the image data and the right eye for the eye, the mask image The affixing unit preferably affixes the first and second extended mask regions using the extended mask image as the common mask image .

上記の三次元画像処理装置において、前記拡張マスク画像生成部は、前記左目用の画像データにおける前記第1のマスク領域内の画像または前記右目用の画像データにおける前記第2のマスク領域内の画像を加工することによってマスク画像を生成するマスク画像生成部と、前記マスク画像を前記第1または第2の伸張マスク領域に合わせて拡張することにより、前記拡張マスク画像を生成するマスク画像拡張部とを有することが好ましい。 In the above three-dimensional image processing apparatus, the extended mask image generation unit includes an image in the first mask area in the image data for the left eye or an image in the second mask area in the image data for the right eye. A mask image generating unit that generates a mask image by processing the mask image, and a mask image extending unit that generates the extended mask image by expanding the mask image according to the first or second expanded mask region, It is preferable to have .

上記の三次元画像処理装置において、前記左目用及び右目用の画像データとは無関係に、前記第1または第2の伸張マスク領域に対応した大きさを有する所定のパターンの拡張マスク画像を生成する拡張マスク画像生成部を備え、前記マスク画像貼り付け部は、前記所定のパターンの拡張マスク画像を前記共通のマスク画像として用いて、前記第1及び第2の伸張マスク領域に貼り付けるように構成してもよい。 In the three-dimensional image processing apparatus, generates an extended mask image of said independently of the left eye and the image data for the right eye, the constant place with a size corresponding to the first or second stretch mask region pattern An extended mask image generation unit configured to attach the mask image pasting unit to the first and second extended mask regions using the extended mask image of the predetermined pattern as the common mask image. It may be configured.

この場合、前記拡張マスク画像生成部は、所定の文字列または模様を含む拡張マスク画像を生成することが好ましい。   In this case, it is preferable that the extended mask image generation unit generates an extended mask image including a predetermined character string or pattern.

また、本発明は、上述した従来の技術の課題を解決するため、三次元画像における左目用の画像データに対してマスクする対象の画像を囲む第1のマスク領域を設定し、三次元画像における右目用の画像データに対してマスクする対象の画像を囲む第2のマスク領域を設定するマスク領域設定ステップと、前記第1のマスク領域における左端部の位置をそのままの位置として、前記第1のマスク領域を右方向に伸張して第1の伸張マスク領域とし、前記第2のマスク領域における右端部の位置をそのままの位置として、前記第2のマスク領域を左方向に伸張して第2の伸張マスク領域とするマスク領域伸張ステップと、前記左目用の画像データにおける前記第1の伸張マスク領域と前記右目用の画像データにおける前記第2の伸張マスク領域に対して、共通のマスク画像を貼り付けるマスク画像貼り付けステップとを含むことを特徴とする三次元画像処理方法を提供する。 In addition, in order to solve the above-described problems of the related art, the present invention sets a first mask region that surrounds an image to be masked with respect to image data for the left eye in a three-dimensional image. A mask area setting step for setting a second mask area surrounding the image to be masked with respect to the image data for the right eye, and the position of the left end in the first mask area as the position as it is, the first The mask area is extended in the right direction to be the first extension mask area, the position of the right end in the second mask area is left as it is, and the second mask area is extended in the left direction to obtain the second A mask area expansion step as an expansion mask area; the first expansion mask area in the image data for the left eye; and the second expansion mask area in the image data for the right eye. In contrast, providing a three-dimensional image processing method which comprises a mask image pasting step of pasting a common mask image.

本発明の三次元画像処理装置及び方法によれば、複雑な演算処理を行う必要がなく、二次元でオーサリングを行っても立体的なマスク画像を生成することができ、自然な立体画像を得ることができる。   According to the three-dimensional image processing apparatus and method of the present invention, it is not necessary to perform complicated arithmetic processing, and a three-dimensional mask image can be generated even if two-dimensional authoring is performed, thereby obtaining a natural three-dimensional image. be able to.

本発明の一実施形態をオーサリング装置に適用した構成例を示すブロック図である。It is a block diagram which shows the structural example which applied one Embodiment of this invention to the authoring apparatus. 本発明の一実施形態を監視システムに適用した構成例を示すブロック図である。It is a block diagram which shows the structural example which applied one Embodiment of this invention to the monitoring system. 図1,図2中のマスク処理部12,23の具体的構成例を示すブロック図である。It is a block diagram which shows the example of a specific structure of the mask process parts 12 and 23 in FIG. 1, FIG. 図3中のマスク領域伸張部33,34の動作を説明するための図である。It is a figure for demonstrating operation | movement of the mask area expansion | extension parts 33 and 34 in FIG. 図3中のマスク領域伸張部33,34の動作を説明するための図であり、秘匿画像及びマスク領域を上から見た状態を示す図である。FIG. 4 is a diagram for explaining the operation of the mask area expansion units 33 and in FIG. 3, and shows a state in which a secret image and a mask area are viewed from above. 図3中のマスク領域伸張部33,34の動作を説明するための図である。It is a figure for demonstrating operation | movement of the mask area expansion | extension parts 33 and 34 in FIG. 図3中のマスク領域伸張部33,34の動作を説明するための図であり、秘匿画像及びマスク領域を上から見た状態を示す図である。FIG. 4 is a diagram for explaining the operation of the mask area expansion units 33 and in FIG. 3, and shows a state in which a secret image and a mask area are viewed from above. 左右の画像データで異なるマスク画像を採用した場合に発生する問題点を説明するための図である。It is a figure for demonstrating the problem which generate | occur | produces when a different mask image is employ | adopted by right and left image data. 図3中のマスク画像生成部35及びマスク画像拡張部36の動作を説明するための図である。It is a figure for demonstrating operation | movement of the mask image generation part 35 and the mask image expansion part 36 in FIG. マスク画像の他の例を示す図である。It is a figure which shows the other example of a mask image. 一実施形態の動作の全体的な流れを説明するための図である。It is a figure for demonstrating the whole flow of operation | movement of one Embodiment. 一実施形態の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of one Embodiment. 図12におけるステップS5の第1の具体例を示すフローチャートである。It is a flowchart which shows the 1st specific example of step S5 in FIG. 図12におけるステップS5の第2の具体例を示すフローチャートである。It is a flowchart which shows the 2nd specific example of step S5 in FIG. 一実施形態によって表示される立体画像を概念的に示す図である。It is a figure which shows notionally the stereo image displayed by one Embodiment.

以下、本発明の三次元画像処理装置及び方法の一実施形態について、添付図面を参照して説明する。まず、図1を用いて一実施形態をオーサリング装置に適用した構成例について説明する。図1において、画像入力部11は、オーサリングの対象となっている三次元画像における左目用の画像データ及び右目用の画像データ(以下、左右の画像データ)を入力する。左右の画像データは、マスク処理部12及びマスク領域生成部14に供給される。記憶部15には、操作部16の操作によってマスクする対象の画像データが予め記憶されている。マスクする対象は例えば車両のナンバープレート等である。記憶部15に、マスクする対象の画像を特定するための特徴情報を記憶しておいてもよい。   Hereinafter, an embodiment of a 3D image processing apparatus and method according to the present invention will be described with reference to the accompanying drawings. First, a configuration example in which one embodiment is applied to an authoring apparatus will be described with reference to FIG. In FIG. 1, an image input unit 11 inputs left-eye image data and right-eye image data (hereinafter, left-right image data) in a three-dimensional image to be authored. The left and right image data is supplied to the mask processing unit 12 and the mask region generation unit 14. The storage unit 15 stores image data to be masked by the operation of the operation unit 16 in advance. The masking target is, for example, a vehicle license plate. Feature information for specifying an image to be masked may be stored in the storage unit 15.

マスク領域生成部14には、記憶部15からマスクする対象の画像データが入力される。マスク領域生成部14は、例えばパターンマッチングを用いることによって、左右それぞれの画像データからマスクする対象の画像データを抽出し、対象の画像データの位置と大きさを示すマスク領域データを生成する。マスク領域生成部14は、マスク領域データを記憶部15へと出力する。マスク領域生成部14は、マスクする対象の画像を特定するための特徴情報に基づいてマスク領域データを生成してもよい。   Image data to be masked is input from the storage unit 15 to the mask region generation unit 14. The mask area generation unit 14 extracts the target image data to be masked from the left and right image data by using, for example, pattern matching, and generates mask area data indicating the position and size of the target image data. The mask area generation unit 14 outputs the mask area data to the storage unit 15. The mask area generation unit 14 may generate mask area data based on feature information for specifying an image to be masked.

マスク領域生成部14は、一例として、まず、記憶部15に記憶された画像データを基準として左の1フレームの画像データからマスクする対象の画像データを抽出し、対象の画像データの位置と大きさを示すマスク領域データを生成する。次に、マスク領域生成部14は、左の画像データから抽出した画像データに基づいたパターンマッチングによって、同じフレームの右の画像データからマスクする対象の画像データを抽出して、マスク領域データを生成する。そして、マスク領域生成部14は、次のフレームでは、前のフレームの画像データから抽出した画像データに基づいたパターンマッチングによって対象の画像データを抽出して、同様の動作を繰り返す。これによって、それぞれのフレームにおける左右の画像データからマスクする対象の画像データのマスク領域データが順次生成される。   As an example, the mask area generation unit 14 first extracts target image data to be masked from the left one frame of image data based on the image data stored in the storage unit 15, and the position and size of the target image data. Mask area data indicating the length is generated. Next, the mask area generation unit 14 generates mask area data by extracting image data to be masked from the right image data of the same frame by pattern matching based on the image data extracted from the left image data. To do. Then, in the next frame, the mask area generation unit 14 extracts the target image data by pattern matching based on the image data extracted from the image data of the previous frame, and repeats the same operation. Thus, mask area data of image data to be masked is sequentially generated from the left and right image data in each frame.

なお、マスク対象が動かない場合、記憶部15にマスクする対象の画像データを記憶させておく代わりに、マスクの位置と大きさを示すマスク領域データを片目、例えば左目用のマスク領域データのみ記憶させておいてもよい。その場合、記憶部15から読み出したマスク領域データと左目用の画像データとから、最初にマスクする対象の画像データを作成し、この画像データと右目用の画像データとからパターンマッチングを用いて右目用のマスク領域データを生成する。このような方法をとることにより、マスク領域の手前に物体が横切って画像が変化した場合などでも、マスク領域データを確実に生成することができる。   If the mask target does not move, instead of storing the image data to be masked in the storage unit 15, mask area data indicating the position and size of the mask is stored only for the mask area data for one eye, for example, the left eye. You may leave it. In that case, image data to be masked first is created from the mask area data read from the storage unit 15 and the image data for the left eye, and the right eye using pattern matching is created from this image data and the image data for the right eye. Mask area data is generated. By adopting such a method, it is possible to reliably generate the mask area data even when the image changes with an object crossing in front of the mask area.

マスク領域生成部14が順次生成するマスク領域データは、記憶部15に一旦記憶されて読み出されて、マスク処理部12へと入力される。マスク処理部12は、入力されたマスク領域データに基づいて、左右の画像データにマスク処理を施して、画像出力部13へと出力する。画像出力部13はマスク処理が施された左右の画像データを出力する。マスク処理部12の具体的構成及びマスク処理の具体的な動作については後述する。   The mask area data sequentially generated by the mask area generation unit 14 is temporarily stored in the storage unit 15, read out, and input to the mask processing unit 12. The mask processing unit 12 performs mask processing on the left and right image data based on the input mask area data and outputs the result to the image output unit 13. The image output unit 13 outputs the left and right image data subjected to the mask process. A specific configuration of the mask processing unit 12 and a specific operation of the mask processing will be described later.

次に、図2を用いて一実施形態を監視システムに適用した構成例について説明する。図2において、左目撮像部21aは、被写体を撮影して左目用の画像信号を出力し、右目撮像部21bは、被写体を撮影して右目用の画像信号を出力する。A/D変換部22aは、左目撮像部21aより出力された画像信号をデジタルデータに変換して、左目用の画像データとしてマスク処理部23に供給する。A/D変換部22bは、右目撮像部21bより出力された画像信号をデジタルデータに変換して、右目用の画像データとしてマスク処理部23に供給する。   Next, a configuration example in which one embodiment is applied to a monitoring system will be described with reference to FIG. In FIG. 2, the left-eye imaging unit 21a captures a subject and outputs a left-eye image signal, and the right-eye imaging unit 21b captures a subject and outputs a right-eye image signal. The A / D conversion unit 22a converts the image signal output from the left eye imaging unit 21a into digital data, and supplies the digital data to the mask processing unit 23 as image data for the left eye. The A / D conversion unit 22b converts the image signal output from the right eye imaging unit 21b into digital data, and supplies the digital data to the mask processing unit 23 as image data for the right eye.

マスク処理部23には、記憶部24から左右の画像データそれぞれのマスクする対象の画像データの位置と大きさを示すマスク領域データが入力される。図2に示す例は、マスクする対象を固定とした場合を示している。図2においても、図1と同様、それぞれのフレームでマスクする対象の位置や大きさが変化する場合に、変化に追従するようにマスク領域データを生成してもよい。マスク処理部23は、マスク領域データに基づいて、A/D変換部22a,22bより入力された左右の画像データにマスク処理を施して出力する。マスク処理部23の具体的構成及びマスク処理の具体的な動作については後述する。   Mask area data indicating the position and size of image data to be masked for each of the left and right image data is input from the storage unit 24 to the mask processing unit 23. The example shown in FIG. 2 shows a case where the masking target is fixed. In FIG. 2, similarly to FIG. 1, when the position or size of the object to be masked in each frame changes, mask area data may be generated so as to follow the change. The mask processing unit 23 performs mask processing on the left and right image data input from the A / D conversion units 22a and 22b based on the mask area data and outputs the result. A specific configuration of the mask processing unit 23 and a specific operation of the mask processing will be described later.

D/A変換部25は、マスク処理が施された左右の画像データをアナログデータに変換して、画像出力部26へと出力する。画像出力部26は、アナログデータを出力する。画像圧縮部27は、マスク処理が施された左右の画像データをJPEG,MPEG等の任意のフォーマットで圧縮して、通信部28へと出力する。通信部28は、画像圧縮部27より入力された圧縮データをインターネット等の通信網によって外部へと送出する。記録部29は、画像圧縮部27より入力された圧縮データを記録する。図2に示す例では、D/A変換部25及び画像出力部26と、通信部28と、記録部29とを設けているが、それらの全てを設けなくてもよい。   The D / A conversion unit 25 converts the left and right image data subjected to the mask processing into analog data, and outputs the analog data to the image output unit 26. The image output unit 26 outputs analog data. The image compression unit 27 compresses the left and right image data subjected to the mask processing in an arbitrary format such as JPEG or MPEG, and outputs the compressed data to the communication unit 28. The communication unit 28 sends the compressed data input from the image compression unit 27 to the outside through a communication network such as the Internet. The recording unit 29 records the compressed data input from the image compression unit 27. In the example illustrated in FIG. 2, the D / A conversion unit 25 and the image output unit 26, the communication unit 28, and the recording unit 29 are provided, but it is not necessary to provide all of them.

図3にマスク処理部12,23の具体的構成例を示し、マスク処理部12,23の具体的な動作を、図4〜図9を参照しながら説明する。図3において、マスク領域設定部31は、左の画像データのマスク領域データを用いてマスク領域を設定し、マスク領域設定部32は、右の画像データのマスク領域データを用いてマスク領域を設定する。図4(A)は、左右の画像データの投射面40よりも奥側に秘匿対象41を表示する3D表示の例を示している。投射面40に、左目ELで見る秘匿対象41の左目画像41Lと、右目ERで見る秘匿対象41の右目画像41Rとを図示のように投射することによって、人は、秘匿対象41が投射面40よりも奥側に位置すると認識する。   FIG. 3 shows a specific configuration example of the mask processing units 12 and 23, and a specific operation of the mask processing units 12 and 23 will be described with reference to FIGS. In FIG. 3, a mask area setting unit 31 sets a mask area using the mask area data of the left image data, and a mask area setting unit 32 sets a mask area using the mask area data of the right image data. To do. FIG. 4A shows an example of 3D display in which the concealment target 41 is displayed behind the projection plane 40 of the left and right image data. By projecting the left-eye image 41L of the concealment object 41 viewed with the left eye EL and the right-eye image 41R of the concealment object 41 viewed with the right eye ER onto the projection surface 40 as shown in the figure, the person can conceal the concealment object 41. It recognizes that it is located in the back side.

秘匿対象41をマスクするため、左目画像41Lをちょうどマスクするマスク領域42Lを設定し、右目画像41Rをちょうどマスクするマスク領域42Rを定したとする。すると、マスク領域42Lとマスク領域42Rとが合成されたマスク領域42は、秘匿対象41をちょうどマスクするように配置される。しかしながら、図4(A)に示すようにマスク領域42を設定し、マスク領域42内に例えばモザイク加工等のマスク処理を施した場合には、マスク画像は秘匿対象41に対して平面的に貼り付いたように見えてしまい、立体的に見えない。 To mask concealed 41 sets a mask region 42L to just masking the left-eye image 41L, and was set boss mask region 42R to just mask the right-eye image 41R. Then, the mask area 42 in which the mask area 42L and the mask area 42R are combined is arranged so as to mask the concealment target 41. However, when a mask area 42 is set as shown in FIG. 4A and mask processing such as mosaic processing is performed in the mask area 42, the mask image is planarly attached to the concealment target 41. It looks like it is attached, and it doesn't look three-dimensional.

図5(A)は、図4(A)を上から見た状態を示している。図5においては、都合上、投射面40を所定の幅を有するように図示している。図5(A)に示すように、マスク領域42は見かけ上、投射面40よりも奥側に位置しているように見える秘匿対象41とほぼ同一位置にあり、マスク領域42に対応させて設けるマスク画像は秘匿対象41に貼り付いたような状態となる。マスク処理部12,23は、マスク領域伸張部33,34とマスク画像生成部35とマスク画像拡張部36を備えることによって、マスク画像が秘匿対象41に貼り付いたような状態となることを解消する。   FIG. 5A shows a state in which FIG. 4A is viewed from above. In FIG. 5, for convenience, the projection surface 40 is illustrated as having a predetermined width. As shown in FIG. 5A, the mask area 42 is apparently located at the same position as the concealment object 41 that appears to be located behind the projection surface 40, and is provided corresponding to the mask area 42. The mask image is in a state of being attached to the concealment target 41. The mask processing units 12 and 23 include the mask area expansion units 33 and 34, the mask image generation unit 35, and the mask image expansion unit 36, thereby eliminating the situation where the mask image is attached to the concealment target 41. To do.

図3において、マスク領域伸張部33は、マスク領域設定部31より入力される図4(A)に示すマスク領域42Lを右方向に伸張して、図4(B)に示す伸張マスク領域42Lexとする。マスク領域伸張部34は、マスク領域設定部32より入力される図4(A)に示すマスク領域42Rを左方向に伸張して、図4(C)に示す伸張マスク領域42Rexとする。伸張マスク領域42Lex,42Rexとすることによって、図4(B),(C)に示すように、マスク領域42は、見かけ上、秘匿対象41よりも手前側に位置する。   In FIG. 3, the mask area expanding unit 33 extends the mask area 42L shown in FIG. 4A input from the mask area setting unit 31 in the right direction, and expands the mask area 42Lex shown in FIG. 4B. To do. The mask area extension unit 34 extends the mask area 42R shown in FIG. 4A input from the mask area setting unit 32 in the left direction to obtain an extended mask area 42Rex shown in FIG. 4C. By setting the extended mask areas 42Lex and 42Rex, as shown in FIGS. 4B and 4C, the mask area 42 is apparently positioned in front of the concealment target 41.

図5(B)は、図4(B),(C)を上から見て、両者を合わせた状態を示している。図5(A)と図5(B)とを比較すれば明らかなように、伸張マスク領域42Lexはマスク領域42Lと比較して右方向に伸びており、伸張マスク領域42Rexはマスク領域42Rと比較して左方向に伸びている。図5(A)において、左目ELがマスク領域42Lに対応させて設けるマスク画像の右側端部を見る直線で示す視線と、右目ERがマスク領域42Rに対応させて設けるマスク画像の右側端部を見る直線で示す視線との交点は点PR0に位置している。左目ELがマスク領域42Lに対応させて設けるマスク画像の左側端部を見る直線で示す視線と、右目ERがマスク領域42Rに対応させて設けるマスク画像の左側端部を見る直線で示す視線との交点は点PL0に位置している。   FIG. 5 (B) shows a state in which the two are combined when viewed from above. As apparent from a comparison between FIG. 5A and FIG. 5B, the expanded mask region 42Lex extends rightward compared to the mask region 42L, and the expanded mask region 42Rex is compared with the mask region 42R. And extends to the left. In FIG. 5A, the line of sight shown by a straight line for viewing the right end of the mask image provided corresponding to the mask area 42L by the left eye EL, and the right end of the mask image provided by the right eye ER corresponding to the mask area 42R. The intersection with the line of sight shown by the straight line to be viewed is located at the point PR0. A line of sight shown by a straight line looking at the left end of the mask image provided corresponding to the mask area 42L with the left eye EL and a line of sight shown by a straight line looking at the left end of the mask image provided corresponding to the mask area 42R of the right eye ER The intersection is located at point PL0.

図5(B)においては、伸張マスク領域42Lex,42Rexとなったことにより、左目ELが伸張マスク領域42Lexに対応させて設けるマスク画像の右側端部を見る破線で示す視線と、右目ERが伸張マスク領域42Rexに対応させて設けるマスク画像の右側端部を見る直線で示す視線との交点は点PR1に位置することになる。また、左目ELが伸張マスク領域42Lexに対応させて設けるマスク画像の左側端部を見る直線で示す視線と、右目ERが伸張マスク領域42Rexに対応させて設けるマスク画像の左側端部を見る破線で示す視線との交点は点PL1に位置することになる。   In FIG. 5B, since the extended mask areas 42Lex and 42Rex are obtained, the left eye EL is viewed with a broken line looking at the right end portion of the mask image provided corresponding to the expanded mask area 42Lex, and the right eye ER is expanded. The intersection point with the line of sight indicated by a straight line looking at the right end portion of the mask image provided corresponding to the mask region 42Rex is located at the point PR1. Further, the line of sight shown by a straight line looking at the left end of the mask image provided corresponding to the extended mask region 42Lex with the left eye EL and the broken line looking at the left end of the mask image provided by the right eye ER corresponding to the extended mask region 42Rex. The intersection with the line of sight shown is located at point PL1.

従って、図5(B)に示すように、伸張マスク領域42Lex,42Rexが合成されたマスク領域42は、見かけ上、秘匿対象41よりも手前側に位置する。マスク領域42に対応させて設けるマスク画像は秘匿対象41に貼り付いたような状態となることはなく、立体的に見えて自然な立体画像とすることができる。   Therefore, as shown in FIG. 5B, the mask area 42 in which the extended mask areas 42 Lex and 42 Rex are combined is apparently positioned in front of the concealment target 41. The mask image provided corresponding to the mask area 42 does not become a state of being attached to the concealment target 41, and can be a stereoscopic image that looks stereoscopic and can be a natural one.

図6(A)〜(C)及び図7(A),(B)は、投射面40よりも手前側に秘匿対象41を表示する3D表示の例を示している。この場合も同様に、マスク領域伸張部33によってマスク領域42Lを右方向に伸張して伸張マスク領域42Lexとし、マスク領域伸張部34によってマスク領域42Rを左方向に伸張して伸張マスク領域42Rexとすることによって、図6(B),(C)及び図7(B)に示すように、マスク領域42を、見かけ上、秘匿対象41よりも手前側に位置させることができる。   6A to 6C and FIGS. 7A and 7B show examples of 3D display in which the concealment target 41 is displayed in front of the projection surface 40. FIG. Similarly, in this case, the mask region 42L is expanded rightward by the mask region expansion unit 33 to be the expanded mask region 42Lex, and the mask region 42R is expanded leftward by the mask region expansion unit 34 to be the expanded mask region 42Rex. Accordingly, as shown in FIGS. 6B, 6 </ b> C, and 7 </ b> B, the mask region 42 can be apparently positioned in front of the concealment target 41.

図3に戻り、マスク画像生成部35には、マスク領域設定部31より出力されたマスク領域42Lを示すデータが入力される。マスク画像生成部35に、マスク領域設定部32より出力されたマスク領域42Rを示すデータを入力してもよい。マスク画像生成部35には、一例として、左の画像データが入力される。マスク画像生成部35は、マスク領域42L内の左の画像データを例えばモザイク加工することによってマスク画像を生成する。マスク画像生成部35は、右の画像データに基づいてマスク画像を生成してもよい。   Returning to FIG. 3, data indicating the mask region 42 </ b> L output from the mask region setting unit 31 is input to the mask image generation unit 35. Data indicating the mask region 42 </ b> R output from the mask region setting unit 32 may be input to the mask image generation unit 35. As an example, the left image data is input to the mask image generation unit 35. The mask image generation unit 35 generates a mask image by, for example, mosaic processing the left image data in the mask region 42L. The mask image generation unit 35 may generate a mask image based on the right image data.

マスク画像生成部35が生成するマスク画像は、左右の画像データ双方をマスクするために共通に用いられる。仮に、伸張マスク領域42Lex内の左の画像データに基づいて左の画像データをマスクするための左用マスク画像を生成し、伸張マスク領域42Rex内の右の画像データに基づいて右の画像データをマスクするための右用マスク画像を生成した場合を考える。図8(A),(D)は、伸張マスク領域42Lex,42Rex内の秘匿対象41の前に人物43がいる状態を示している。図8(B),(C)は、伸張マスク領域42Lex,42Rex内の画像データをモザイク加工して生成したマスク画像44L,44Rを示している。   The mask image generated by the mask image generation unit 35 is commonly used to mask both the left and right image data. Temporarily, a left mask image for masking the left image data is generated based on the left image data in the expansion mask area 42Lex, and the right image data is masked based on the right image data in the expansion mask area 42Rex. Let us consider a case where a right mask image is generated for this purpose. FIGS. 8A and 8D show a state where a person 43 is present in front of the concealment target 41 in the extension mask areas 42Lex and 42Rex. 8B and 8C show mask images 44L and 44R generated by mosaicing image data in the extended mask regions 42Lex and 42Rex.

伸張マスク領域42Lex,42Rex内の画像データをそれぞれモザイク加工すると、図8(B),(C)における例えば矩形領域Ar0は、本来であれば同一の輝度や色となるべきところ、輝度や色が異なってしまう。従って、伸張マスク領域42Lex,42Rex内の画像データを個別にモザイク加工して生成したマスク画像44L,44Rを用いると、人の目は適切に距離感を認識することができない。そこで、上記のように、本実施形態においては、マスク画像生成部35が生成するマスク画像を、左右の画像データ双方をマスクするために共通に用いる。   When the image data in the extension mask areas 42Lex and 42Rex are respectively mosaic processed, for example, the rectangular area Ar0 in FIGS. 8B and 8C should have the same brightness and color, but the brightness and color should be the same. It will be different. Therefore, if the mask images 44L and 44R generated by mosaicing the image data in the extended mask areas 42Lex and 42Rex are used individually, the human eye cannot properly recognize the sense of distance. Therefore, as described above, in the present embodiment, the mask image generated by the mask image generation unit 35 is commonly used to mask both the left and right image data.

図3において、マスク画像生成部35は、マスク領域42Lを示すデータを用いることにより、マスク領域42L内の左の画像データに基づいてマスク画像を生成する。図9(A)は、マスク領域42L内の秘匿対象41の前に人物43がいる状態を示している。図9(B)は、マスク画像生成部35によってマスク領域42L内の画像データをモザイク加工して生成したマスク画像45を示している。マスク画像生成部35が生成したマスク画像45はマスク画像拡張部36に入力される。マスク画像拡張部36は、図9(C)に示すように、マスク画像45をアフィン変換することによって、マスク画像45を伸張マスク領域42Lexの大きさに拡張した拡張マスク画像45Lexを生成する。また、マスク画像45をアフィン変換することによって、マスク画像45を伸張マスク領域42Rexの大きさに拡張した拡張マスク画像45Rexを生成する。   In FIG. 3, the mask image generating unit 35 generates a mask image based on the left image data in the mask area 42L by using data indicating the mask area 42L. FIG. 9A shows a state in which a person 43 is present in front of the concealment target 41 in the mask area 42L. FIG. 9B shows a mask image 45 generated by mosaic processing the image data in the mask area 42L by the mask image generation unit 35. The mask image 45 generated by the mask image generation unit 35 is input to the mask image expansion unit 36. As shown in FIG. 9C, the mask image extension unit 36 performs an affine transformation on the mask image 45 to generate an extended mask image 45Lex in which the mask image 45 is extended to the size of the expanded mask region 42Lex. Further, by performing affine transformation on the mask image 45, an expanded mask image 45Rex is generated by expanding the mask image 45 to the size of the expanded mask region 42Rex.

マスク画像生成部35及びマスク画像拡張部36は、拡張マスク画像45Lex,45Rexを生成する拡張マスク画像生成部356となっている。拡張マスク画像生成部356は、左右の画像データを加工するのではなく、左右の画像データとは無関係に所定の文字列や模様を含むパターンによってマスク画像(拡張マスク画像)を生成してもよい。マスク画像の生成に左右の画像データを用いない場合には、拡張マスク画像生成部356に左右の画像データを入力する必要はない。   The mask image generating unit 35 and the mask image extending unit 36 are an extended mask image generating unit 356 that generates extended mask images 45Lex and 45Rex. The extended mask image generation unit 356 may generate a mask image (extended mask image) using a pattern including a predetermined character string or pattern regardless of the left and right image data, instead of processing the left and right image data. . When the left and right image data is not used for generating the mask image, it is not necessary to input the left and right image data to the extended mask image generation unit 356.

左右の画像データを用いない場合には、マスク画像生成部35によってマスク領域42Lまたは42Rに対応したマスク画像を生成し、マスク画像拡張部36によって伸張マスク領域42Lexまたは42Rexに合わせるようにマスク画像を拡張するという2段階で行う必要はない。拡張マスク画像生成部356によって、伸張マスク領域42Lexまたは42Rexに合わせた所定のパターンの拡張マスク画像を生成すればよい。   When the left and right image data are not used, a mask image corresponding to the mask region 42L or 42R is generated by the mask image generation unit 35, and the mask image is adjusted so as to match the expanded mask region 42Lex or 42Rex by the mask image expansion unit 36. There is no need to do it in two stages of expansion. The extended mask image generation unit 356 may generate an extended mask image having a predetermined pattern that matches the extended mask region 42Lex or 42Rex.

マスク画像貼り付け部37には、左の画像データと、マスク画像拡張部36によって生成された拡張マスク画像45Lexと、伸張マスク領域42Lexを示すデータが入力される。マスク画像貼り付け部38には、右の画像データと、マスク画像拡張部36によって生成された拡張マスク画像45Rexと、伸張マスク領域42Rexを示すデータが入力される。マスク画像貼り付け部37,38は、伸張マスク領域42Lex,42Rexの範囲に拡張マスク画像45Lex,45Rexをそれぞれ貼り付ける。具体的には、マスク画像貼り付け部37,38は、伸張マスク領域42Lex,42Rex内の元の画像データを拡張マスク画像45Lex,45Rexのデータに置換する。これによって、マスク画像貼り付け部37,38から、秘匿対象41に対してマスク処理が施され、マスク画像が立体的に見える左右の画像データが出力されることになる。   The mask image pasting unit 37 receives the left image data, the extended mask image 45Lex generated by the mask image extending unit 36, and data indicating the expanded mask area 42Lex. The mask image pasting unit 38 receives the right image data, the extended mask image 45Rex generated by the mask image extending unit 36, and data indicating the expanded mask region 42Rex. The mask image pasting units 37 and 38 paste the extended mask images 45Lex and 45Rex in the range of the extended mask areas 42Lex and 42Rex, respectively. Specifically, the mask image pasting units 37 and 38 replace the original image data in the extended mask areas 42Lex and 42Rex with the data of the extended mask images 45Lex and 45Rex. As a result, mask processing is performed on the concealment target 41 from the mask image pasting units 37 and 38, and left and right image data in which the mask image looks three-dimensional are output.

図5(B)に、マスク領域伸張部33,34によってマスク領域42L,42Rを左右に伸ばす伸張量Δpを示している。図5(B)では、マスク領域42Rの伸張量Δpを図示している。本実施形態においては、マスク領域伸張部33,34に対して伸張量Δpを定数として与えればよい。本実施形態においては、図5(B)に示す投射面40上での視差p、秘匿対象41の奥行き量(または手前側への突出量)d、秘匿対象41からのマスク画像の距離D等を用いた演算を行う必要はない。従って、複雑な演算処理を行う必要はなく、極めて簡単にマスク画像を立体的に表示させることが可能となる。マスク領域伸張部33,34で設定する伸張量Δpを可変にし、3D表示を目視しながら最適な伸張量Δpを設定できるようにしてもよい。   FIG. 5B shows an extension amount Δp for extending the mask regions 42L and 42R left and right by the mask region extension units 33 and 34. FIG. 5B illustrates the extension amount Δp of the mask region 42R. In the present embodiment, the expansion amount Δp may be given as a constant to the mask region expansion units 33 and 34. In the present embodiment, the parallax p on the projection plane 40 shown in FIG. 5B, the depth amount (or the protruding amount toward the front side) d of the concealment target 41, the distance D of the mask image from the concealment target 41, etc. There is no need to perform an operation using. Therefore, it is not necessary to perform complicated arithmetic processing, and the mask image can be displayed three-dimensionally very easily. The expansion amount Δp set by the mask region expansion units 33 and 34 may be made variable so that the optimal expansion amount Δp can be set while viewing the 3D display.

図10は、マスク画像(拡張マスク画像)の他の例を示している。図10に示すマスク画像46は、黒の背景にPrivacy Maskingなる文字列を表示した例である。マスク画像46は、伸張マスク領域42Lex,42Rexに対応した大きさを有する。なお、例えば黒一色のような単調な画像をマスク画像とした場合にはマスク画像が立体的に見えない場合がある。そこで、上述したモザイク加工の画像、所定の文字列、所定の模様等、マスク画像が立体的に見えるパターンを採用すればよい。   FIG. 10 shows another example of a mask image (extended mask image). A mask image 46 shown in FIG. 10 is an example in which a character string “Privacy Masking” is displayed on a black background. The mask image 46 has a size corresponding to the extended mask areas 42Lex and 42Rex. For example, when a monotonous image such as one black color is used as a mask image, the mask image may not be seen stereoscopically. Therefore, a pattern in which the mask image looks three-dimensional, such as the above-described mosaic processing image, a predetermined character string, and a predetermined pattern, may be employed.

図11〜図15を用いて、本実施形態における動作について改めて説明する。ここでは、図1に示す構成例の動作を説明する。図11において、(A)〜(D)は左の画像データにおけるフレームFLを、(E)〜(H)は右の画像データにおけるフレームFRを示している。なお、図11(A)〜(D),(E)〜(H)は必ずしもそれぞれ異なるフレームを示しているわけではない。   The operation in the present embodiment will be described again with reference to FIGS. Here, the operation of the configuration example shown in FIG. 1 will be described. 11, (A) to (D) show the frame FL in the left image data, and (E) to (H) show the frame FR in the right image data. 11A to 11D and 11E to 11H do not necessarily indicate different frames.

図12において、マスク領域生成部14は、ステップS1にて、マスクする対象の画像データを記憶部15から読み出す。マスク領域生成部14は、ステップS2にて、左の画像データからマスクする対象の画像データを抽出し、対象の画像データの位置と大きさを示すマスク領域データを生成する。これによって、図11(A)に示すように、マスクする対象の画像データである秘匿対象41を囲むマスク領域42Lが設定される。マスク領域生成部14は、ステップS3にて、パターンマッチングによって右の画像データからマスクする対象の画像データを抽出し、対象の画像データの位置と大きさを示すマスク領域データを生成する。これによって、図11(F)に示すように、マスクする対象の画像データである秘匿対象41を囲むマスク領域42Rが設定される。   In FIG. 12, the mask area generation unit 14 reads out image data to be masked from the storage unit 15 in step S1. In step S2, the mask area generation unit 14 extracts target image data to be masked from the left image data, and generates mask area data indicating the position and size of the target image data. As a result, as shown in FIG. 11A, a mask area 42L surrounding the concealment target 41 that is image data to be masked is set. In step S3, the mask area generation unit 14 extracts target image data to be masked from the right image data by pattern matching, and generates mask area data indicating the position and size of the target image data. As a result, as shown in FIG. 11F, a mask area 42R surrounding the concealment target 41 that is the image data to be masked is set.

特に図示していないが、マスク領域生成部14は、左右の画像データにおけるそれぞれのフレームで、マスク領域データを順次生成する。   Although not particularly illustrated, the mask area generation unit 14 sequentially generates mask area data in each frame in the left and right image data.

マスク処理部12は、ステップS4にて、図11(C),(G)に示すように、左の画像データのマスク領域42Lを右方向にΔpだけ伸張して伸張マスク領域42Lexを生成し、右の画像データのマスク領域42Rを左方向にΔpだけ伸張して伸張マスク領域42Rexを生成する。マスク処理部12は、ステップS5にて、左の画像データの伸張マスク領域42Lexと右の画像データの伸張マスク領域42Rexとの双方に共通のマスク画像を貼り付けて終了する。   In step S4, as shown in FIGS. 11C and 11G, the mask processing unit 12 expands the mask area 42L of the left image data by Δp in the right direction to generate an expanded mask area 42Lex. The mask area 42R of the right image data is expanded leftward by Δp to generate an expanded mask area 42Rex. In step S5, the mask processing unit 12 pastes a common mask image on both the decompression mask area 42Lex of the left image data and the decompression mask area 42Rex of the right image data, and ends.

図13は、ステップS5の第1の具体例を示している。図13において、マスク処理部12は、ステップS51にて、図11(I)に示すように、一例として左の画像データにおけるマスク領域42L内の画像をモザイク加工して、マスク画像45を生成する。図11(I)では、図示の簡略化のため、マスク画像45のモザイク画像を破線にて表
現している。マスク処理部12は、ステップS52にて、図11(I)に示すように、Δpだけ伸張した伸張マスク領域42Lex,42Rexに合わせてマスク画像45をアフィン変換し、拡張マスク画像45Lex,45Rexを生成する。そして、マスク処理部12は、ステップS53にて、図11(D),(H)に示すように、生成した拡張マスク画像45Lexを左の画像データの伸張マスク領域42Lexに貼り付け、拡張マスク画像45Rexを右の画像データの伸張マスク領域42Rexに貼り付けて終了する。
FIG. 13 shows a first specific example of step S5. In FIG. 13, the mask processing unit 12 generates a mask image 45 by mosaicing the image in the mask area 42 </ b> L in the left image data as an example, as shown in FIG. 11I in step S <b> 51. . In FIG. 11I, the mosaic image of the mask image 45 is represented by a broken line for simplification of illustration.
It appears. In step S52, the mask processing unit 12 affine-transforms the mask image 45 in accordance with the expanded mask regions 42Lex and 42Rex expanded by Δp, as shown in FIG. 11 (I), and generates extended mask images 45Lex and 45Rex. To do. Then, in step S53, as shown in FIGS. 11D and 11H, the mask processing unit 12 pastes the generated extended mask image 45Lex on the expansion mask area 42Lex of the left image data, thereby extending the extended mask image. 45Rex is pasted on the expansion mask area 42Rex of the right image data, and the process ends.

図14は、ステップS5の第2の具体例を示している。図14において、マスク処理部12は、ステップS54にて、Δpだけ伸張した伸張マスク領域42Lex,42Rexに合わせて、所定のパターンのマスク画像を生成する。所定のパターンのマスク画像の一例は、図10に示すマスク画像46である。マスク処理部12は、ステップS55にて、生成したマスク画像を左の画像データの伸張マスク領域42Lexと右の画像データの伸張マスク領域42Rexとの双方に貼り付けて終了する。   FIG. 14 shows a second specific example of step S5. In FIG. 14, in step S54, the mask processing unit 12 generates a mask image having a predetermined pattern in accordance with the expanded mask areas 42Lex and 42Rex expanded by Δp. An example of a mask image having a predetermined pattern is a mask image 46 shown in FIG. In step S55, the mask processing unit 12 pastes the generated mask image on both the expansion mask area 42Lex of the left image data and the expansion mask area 42Rex of the right image data, and the process ends.

本実施形態によれば、図15に概念的に示すように、見かけ上、秘匿対象41の手前側に拡張マスク画像45Lex,45Rexが表示されて、秘匿対象41が拡張マスク画像45Lex,45Rexによってマスクされる。拡張マスク画像45Lex,45Rexは立体的に見え、自然な3D画像とすることができる。図15では、図13に示す第1の具体例による表示状態を示しているが、図14に示す第2の具体例でも同様にマスク画像が立体的に見え、自然な3D画像とすることができる。   According to the present embodiment, as conceptually shown in FIG. 15, the extended mask images 45Lex and 45Rex are apparently displayed on the front side of the concealment target 41, and the concealment target 41 is masked by the expansion mask images 45Lex and 45Rex. Is done. The extended mask images 45Lex and 45Rex look three-dimensional and can be natural 3D images. FIG. 15 shows the display state according to the first specific example shown in FIG. 13, but the mask image also appears three-dimensionally in the second specific example shown in FIG. it can.

本発明は以上説明した本実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図12〜図13の各動作をソフトウェア(コンピュータプログラム)によって実現してもよく、ハードウェアとソフトウェアとを適宜に組み合わせてもよい。   The present invention is not limited to the embodiment described above, and various modifications can be made without departing from the gist of the present invention. 12 to 13 may be realized by software (computer program), or hardware and software may be appropriately combined.

11 画像入力部
12,23 マスク処理部
13,26 画像出力部
14 マスク領域生成部
15,24 記憶部
16 操作部
21a 左目撮像部
21b 右目撮像部
22a,22b A/D変換部
25 D/A変換部
27 画像圧縮部
28 通信部
29 記録部
31,32 マスク領域設定部
33,34 マスク領域伸張部
35 マスク画像生成部
36 マスク画像拡張部
37,38 マスク画像貼り付け部
356 拡張マスク画像生成部
DESCRIPTION OF SYMBOLS 11 Image input part 12, 23 Mask processing part 13, 26 Image output part 14 Mask area | region production | generation part 15, 24 Storage part 16 Operation part 21a Left eye imaging part 21b Right eye imaging part 22a, 22b A / D conversion part 25 D / A conversion Unit 27 image compression unit 28 communication unit 29 recording unit 31, 32 mask region setting unit 33, 34 mask region expansion unit 35 mask image generation unit 36 mask image expansion unit 37, 38 mask image pasting unit 356 expansion mask image generation unit

Claims (6)

三次元画像における左目用の画像データに対してマスクする対象の画像を囲む第1のマスク領域を設定し、三次元画像における右目用の画像データに対してマスクする対象の画像を囲む第2のマスク領域を設定するマスク領域設定部と、
前記第1のマスク領域における左端部の位置をそのままの位置として、前記第1のマスク領域を右方向に伸張して第1の伸張マスク領域とし、前記第2のマスク領域における右端部の位置をそのままの位置として、前記第2のマスク領域を左方向に伸張して第2の伸張マスク領域とするマスク領域伸張部と、
前記左目用の画像データにおける前記第1の伸張マスク領域と前記右目用の画像データにおける前記第2の伸張マスク領域に対して、共通のマスク画像を貼り付けるマスク画像貼り付け部と、
を備えることを特徴とする三次元画像処理装置。
A first mask area surrounding the image to be masked with respect to the image data for the left eye in the three-dimensional image is set, and a second image surrounding the image to be masked with respect to the image data for the right eye in the three-dimensional image. A mask area setting section for setting a mask area;
The position of the left end in the first mask area is set as it is, the first mask area is extended rightward to form a first extended mask area, and the position of the right end in the second mask area is set. A mask area extension unit that extends the second mask area in the left direction as a second extension mask area as it is,
A mask image pasting unit for pasting a common mask image to the first decompression mask region in the image data for the left eye and the second decompression mask region in the image data for the right eye;
A three-dimensional image processing apparatus comprising:
前記左目用の画像データと前記右目用の画像データとの一方を加工することによって拡張マスク画像を生成する拡張マスク画像生成部を備え
前記マスク画像貼り付け部は、前記拡張マスク画像を前記共通のマスク画像として用いて、前記第1及び第2の伸張マスク領域に貼り付ける
とを特徴とする請求項1記載の三次元画像処理装置。
With enhanced mask image generation unit which generates an extended mask image by the processing the one of the image data of the right eye and image data for the left eye,
The mask image pasting unit pastes the extended mask image on the first and second stretched mask areas using the common mask image as the common mask image.
3D image processing apparatus according to claim 1, wherein the this.
前記拡張マスク画像生成部は、
前記左目用の画像データにおける前記第1のマスク領域内の画像または前記右目用の画像データにおける前記第2のマスク領域内の画像を加工することによってマスク画像を生成するマスク画像生成部と、
前記マスク画像を前記第1または第2の伸張マスク領域に合わせて拡張することにより、前記拡張マスク画像を生成するマスク画像拡張部と、
有することを特徴とする請求項2記載の三次元画像処理装置。
The extended mask image generation unit
A mask image generation unit that generates a mask image by processing an image in the first mask region in the image data for the left eye or an image in the second mask region in the image data for the right eye;
A mask image extension unit that generates the extended mask image by extending the mask image to fit the first or second extended mask region;
3D image processing apparatus according to claim 2, wherein a.
前記左目用及び右目用の画像データとは無関係に、前記第1または第2の伸張マスク領域に対応した大きさを有する所定のパターンの拡張マスク画像を生成する拡張マスク画像生成部を備え
前記マスク画像貼り付け部は、前記所定のパターンの拡張マスク画像を前記共通のマスク画像として用いて、前記第1及び第2の伸張マスク領域に貼り付ける
とを特徴とする請求項1記載の三次元画像処理装置。
Wherein independently of the left eye and the image data for the right eye, with enhanced mask image generation unit which generates an extended mask images of a constant pattern where having a size corresponding to the first or second stretch mask area,
The mask image pasting unit pastes the extended mask image having the predetermined pattern as the common mask image to the first and second extended mask regions.
3D image processing apparatus according to claim 1, wherein the this.
前記拡張マスク画像生成部は、所定の文字列または模様を含む拡張マスク画像を生成することを特徴とする請求項4記載の三次元画像処理装置。   The three-dimensional image processing apparatus according to claim 4, wherein the extended mask image generation unit generates an extended mask image including a predetermined character string or pattern. 三次元画像における左目用の画像データに対してマスクする対象の画像を囲む第1のマスク領域を設定し、三次元画像における右目用の画像データに対してマスクする対象の画像を囲む第2のマスク領域を設定するマスク領域設定ステップと、
前記第1のマスク領域における左端部の位置をそのままの位置として、前記第1のマスク領域を右方向に伸張して第1の伸張マスク領域とし、前記第2のマスク領域における右端部の位置をそのままの位置として、前記第2のマスク領域を左方向に伸張して第2の伸張マスク領域とするマスク領域伸張ステップと、
前記左目用の画像データにおける前記第1の伸張マスク領域と前記右目用の画像データにおける前記第2の伸張マスク領域に対して、共通のマスク画像を貼り付けるマスク画像貼り付けステップと、
を含むことを特徴とする三次元画像処理方法。
A first mask area surrounding the image to be masked with respect to the image data for the left eye in the three-dimensional image is set, and a second image surrounding the image to be masked with respect to the image data for the right eye in the three-dimensional image. A mask area setting step for setting a mask area;
The position of the left end in the first mask area is set as it is, the first mask area is extended rightward to form a first extended mask area, and the position of the right end in the second mask area is set. A mask area expansion step that extends the second mask area in the left direction as the second position to make a second expansion mask area,
A mask image pasting step for pasting a common mask image to the first decompression mask region in the image data for the left eye and the second decompression mask region in the image data for the right eye;
A three-dimensional image processing method.
JP2011176160A 2011-08-11 2011-08-11 Three-dimensional image processing apparatus and method Active JP5782911B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011176160A JP5782911B2 (en) 2011-08-11 2011-08-11 Three-dimensional image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011176160A JP5782911B2 (en) 2011-08-11 2011-08-11 Three-dimensional image processing apparatus and method

Publications (2)

Publication Number Publication Date
JP2013042227A JP2013042227A (en) 2013-02-28
JP5782911B2 true JP5782911B2 (en) 2015-09-24

Family

ID=47890257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011176160A Active JP5782911B2 (en) 2011-08-11 2011-08-11 Three-dimensional image processing apparatus and method

Country Status (1)

Country Link
JP (1) JP5782911B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6522051B2 (en) * 2017-06-16 2019-05-29 株式会社カタリナ Image processing apparatus and image processing program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2826710B2 (en) * 1995-02-27 1998-11-18 株式会社エイ・ティ・アール人間情報通信研究所 Binocular stereoscopic image display method
JP3653790B2 (en) * 1995-05-23 2005-06-02 松下電器産業株式会社 3D electronic zoom device and 3D image quality control device
JP2002271816A (en) * 2001-03-13 2002-09-20 Sony Corp Stereoscopic mosaic generating device
JP4707368B2 (en) * 2004-06-25 2011-06-22 雅貴 ▲吉▼良 Stereoscopic image creation method and apparatus
JP2011120233A (en) * 2009-11-09 2011-06-16 Panasonic Corp 3d video special effect apparatus, 3d video special effect method, and, 3d video special effect program

Also Published As

Publication number Publication date
JP2013042227A (en) 2013-02-28

Similar Documents

Publication Publication Date Title
KR102214827B1 (en) Method and apparatus for providing augmented reality
US8488869B2 (en) Image processing method and apparatus
US8928729B2 (en) Systems and methods for converting video
CN103081476A (en) Method and device for converting three-dimensional image using depth map information
CN106296781B (en) Special effect image generation method and electronic equipment
KR101538947B1 (en) The apparatus and method of hemispheric freeviewpoint image service technology
KR20070040645A (en) Apparatus and method for processing 3 dimensional picture
JP2009123219A (en) Device and method for estimating depth map, method for generating intermediate image, and method for encoding multi-view video using the same
KR20140030111A (en) Pseudo-3d forced perspective methods and devices
KR101723210B1 (en) Method For Producting Virtual Stereo Studio Image In Real-Time Virtual Stereo Studio System
Schmeing et al. Depth image based rendering: A faithful approach for the disocclusion problem
CN102783161A (en) Disparity distribution estimation for 3D TV
TW201143355A (en) Apparatus and method for video processing
JP2021192541A (en) Video conversion system, video conversion method, and video conversion program
JP5521608B2 (en) Image processing apparatus, image processing method, and program
US9325962B2 (en) Method and system for creating dynamic floating window for stereoscopic contents
JP5782911B2 (en) Three-dimensional image processing apparatus and method
JP2014072809A (en) Image generation apparatus, image generation method, and program for the image generation apparatus
CN109561263A (en) 3D subtitle effect is realized in the 3D video of VR equipment
KR20190053565A (en) Live stitching method using stitching device
KR101453531B1 (en) 3D Real-Time Virtual Studio System And Method For Producting Virtual Studio Image In Real-Time Virtual Studio System
US10818264B2 (en) Generating virtual reality and augmented reality content for a live event
CN114915798A (en) Real-time video generation method, multi-camera live broadcast method and device
KR20170077331A (en) Arbitrary View Image Generation Method and System
Liu et al. Deinterlacing of depth-image-based three-dimensional video for a depth-image-based rendering system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150706

R150 Certificate of patent or registration of utility model

Ref document number: 5782911

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150