JP5711634B2 - Image processing apparatus, image processing method, and image processing program - Google Patents

Image processing apparatus, image processing method, and image processing program Download PDF

Info

Publication number
JP5711634B2
JP5711634B2 JP2011207822A JP2011207822A JP5711634B2 JP 5711634 B2 JP5711634 B2 JP 5711634B2 JP 2011207822 A JP2011207822 A JP 2011207822A JP 2011207822 A JP2011207822 A JP 2011207822A JP 5711634 B2 JP5711634 B2 JP 5711634B2
Authority
JP
Japan
Prior art keywords
component
image
value
image processing
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011207822A
Other languages
Japanese (ja)
Other versions
JP2013070266A (en
Inventor
利幸 小野
利幸 小野
安則 田口
安則 田口
関根 真弘
真弘 関根
松本 信幸
信幸 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011207822A priority Critical patent/JP5711634B2/en
Priority to US13/419,811 priority patent/US20130076733A1/en
Publication of JP2013070266A publication Critical patent/JP2013070266A/en
Application granted granted Critical
Publication of JP5711634B2 publication Critical patent/JP5711634B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明の実施形態は、画像処理装置、画像処理方法および画像処理プログラムに関する。   Embodiments described herein relate generally to an image processing apparatus, an image processing method, and an image processing program.

カメラ等の撮像機器から被写体までの距離が分かっている場合、距離に応じた両眼視差をずらした2枚の画像を作成し、それぞれ右目と左目で観測することで画像を立体的に見ることができる。しかしながら、本システムを実現するためには、例えば、右目用と左目用の映像を空間的または時間的に分割して表示するディスプレイが必要になる。また、ユーザは眼鏡をかける必要があるなど構成が複雑になる。そこで、映像表示を2次元のままで立体感の増した映像を表示することができれば、ユーザの利益も大きい。   When the distance from an imaging device such as a camera to the subject is known, create two images with different binocular parallax according to the distance, and observe the images in three dimensions by observing with the right and left eyes respectively. Can do. However, in order to realize this system, for example, a display that displays right-eye and left-eye images divided spatially or temporally is required. In addition, the configuration is complicated such that the user needs to wear glasses. Thus, if a video with a three-dimensional effect can be displayed while the video display remains two-dimensional, the user's profit is also great.

被写体の陰影を強調することで凹凸感が増し、画像の立体感が増す効果がある。ここで、凹凸感とは、被写体表面の凹凸の表現力である。陰影を強調する手法として、被写体表面の凹凸感を表すグラデーションを強調する手法が知られている。この手法では、画像の勾配を計算し、勾配強度の小さい成分を強調している。   By emphasizing the shadow of the subject, the sense of unevenness is increased and the stereoscopic effect of the image is increased. Here, the concavo-convex feeling is the expressive power of the concavo-convex on the surface of the subject. As a technique for emphasizing shadows, a technique for emphasizing gradation representing a sense of unevenness on the surface of an object is known. In this method, the gradient of the image is calculated, and a component having a small gradient strength is emphasized.

しかしながら、この手法では、全画面一様に陰影が強調されるため、例えば、距離の遠い背景の凹凸感も増す。凹凸感の増した被写体は処理前よりも距離が近く知覚されるため、前景に被写体が存在した場合、前景と背景の距離が近く知覚され、結果的に奥行感の低い平面的な構図の画像となる問題があった。ここで、奥行感とは、被写体間の奥行方向の距離の表現力である。   However, in this method, since the shadow is emphasized uniformly on the entire screen, for example, the unevenness of the background with a long distance increases. Since the subject with increased unevenness is perceived closer than before processing, if there is a subject in the foreground, the distance between the foreground and the background is perceived closer, resulting in a planar composition with a lower depth feeling. There was a problem. Here, the sense of depth is the expressive power of the distance in the depth direction between subjects.

宮岡伸一郎:「画像の勾配空間フィルタリング」、電子情報通信学会技術研究報告、Vol.109、No.182、pp.143−150、2009年8月Shinichiro Miyaoka: “Gradient spatial filtering of images”, IEICE technical report, Vol. 109, no. 182, pp. 143-150, August 2009

発明が解決しようとする課題は、被写体間の奥行方向の距離の表現力が増した画像を生成する画像処理装置を提供することである。   The problem to be solved by the present invention is to provide an image processing apparatus that generates an image having an increased expression of distance in the depth direction between subjects.

実施形態の画像処理装置は、取得手段と領域取得手段と分離手段と処理手段と合成手段とを備える。取得手段は、入力画像中のオブジェクトの奥行値を取得する。領域取得手段は、オブジェクトの境界を取得する。分離手段は、入力画像を、オブジェクトのグラデーションを含む成分である第1成分と、この第1成分以外の成分である第2成分とに分離する。処理手段は、第1成分を奥行値に応じて変換した処理済成分を生成する。合成手段は、処理済成分と第2成分とを合成した合成成分を生成する。   The image processing apparatus according to the embodiment includes an acquisition unit, a region acquisition unit, a separation unit, a processing unit, and a synthesis unit. The acquisition unit acquires the depth value of the object in the input image. The area acquisition unit acquires the boundary of the object. The separation unit separates the input image into a first component that is a component including gradation of an object and a second component that is a component other than the first component. The processing means generates a processed component obtained by converting the first component according to the depth value. The synthesizing unit generates a synthesized component obtained by synthesizing the processed component and the second component.

第1の実施形態の画像処理装置を示すブロック図。1 is a block diagram illustrating an image processing apparatus according to a first embodiment. 実施形態の画像処理装置のハードウェア構成を示す図。1 is a diagram illustrating a hardware configuration of an image processing apparatus according to an embodiment. 実施形態の画像処理装置のフローチャート。3 is a flowchart of the image processing apparatus according to the embodiment. 実施形態の分離部を示すブロック図。The block diagram which shows the isolation | separation part of embodiment. 実施形態の分離部のフローチャート。The flowchart of the isolation | separation part of embodiment. 実施形態のオブジェクト境界座標の一例を示す図。The figure which shows an example of the object boundary coordinate of embodiment. 実施形態の画像の領域を示す図。The figure which shows the area | region of the image of embodiment. 実施形態の骨格成分画像と分離成分画像の一例を示す図。The figure which shows an example of the skeleton component image and separation component image of embodiment. 骨格成分画像と分離成分画像の一例を示す図。The figure which shows an example of a skeleton component image and a separation component image. 実施形態の骨格成分画像と分離成分画像の一例を示す図。The figure which shows an example of the skeleton component image and separation component image of embodiment. 実施形態の骨格成分画像と分離成分画像の一例を示す図。The figure which shows an example of the skeleton component image and separation component image of embodiment. 変形例1の画像処理装置を示すブロック図。The block diagram which shows the image processing apparatus of the modification 1. FIG. 第2の実施形態の画像処理装置を示すブロック図。The block diagram which shows the image processing apparatus of 2nd Embodiment.

以下、本発明の実施形態について図面を参照しながら説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

(第1の実施形態)
本実施形態の画像処理装置は、入力画像を処理して立体感の増した画像を求める装置である。例えば、本画像処理装置が出力する画像をテレビ受像機に表示することにより、立体感の増した画像をユーザに提供することができる。
(First embodiment)
The image processing apparatus according to the present embodiment is an apparatus that processes an input image and obtains an image with increased stereoscopic effect. For example, by displaying an image output from the image processing apparatus on a television receiver, an image with an increased stereoscopic effect can be provided to the user.

図1は、第1の実施形態にかかる画像処理装置を示すブロック図である。本実施形態の画像処理装置は、入力画像中の被写体の奥行値を取得する取得部101と、入力画像中の被写体から一又は複数のオブジェクトの境界を取得する領域取得部102と、入力画像をオブジェクトのグラデーションを含む成分である第1成分と、この第1成分以外の成分である第2成分とに分離する分離部103と、第1成分を奥行値に応じて変換した処理済成分を生成する処理部104と、処理済成分と第2成分とを合成した合成成分を生成する合成部105と、を備える。   FIG. 1 is a block diagram illustrating an image processing apparatus according to the first embodiment. The image processing apparatus according to this embodiment includes an acquisition unit 101 that acquires a depth value of a subject in an input image, an area acquisition unit 102 that acquires a boundary of one or more objects from the subject in the input image, and an input image. A separation unit 103 that separates a first component that is a component including gradation of an object and a second component that is a component other than the first component, and a processed component obtained by converting the first component according to a depth value And a combining unit 105 that generates a combined component obtained by combining the processed component and the second component.

入力画像は、カメラ等の撮像機器で被写体を撮像することで取得できる。オブジェクトは、入力画像中の被写体において、例えば照明が均等に当たったときに同じ輝度と色を持つ領域である。入力画像中の被写体は、一又は複数のオブジェクトを持つ。   An input image can be acquired by imaging a subject with an imaging device such as a camera. An object is a region having the same luminance and color when a subject is illuminated equally, for example, in a subject in an input image. The subject in the input image has one or more objects.

ここで、本実施形態の画像処理装置は、被写体の奥行値に応じてグラデーションを含む第1成分を強調する。具他的には、手前にある(奥行値が大きな)被写体ほど第1成分の強調度合いを高めることにより、被写体間における奥行方向の距離の表現力が増した画像を生成する。   Here, the image processing apparatus of the present embodiment emphasizes the first component including gradation according to the depth value of the subject. Specifically, by increasing the degree of emphasis of the first component on the subject in front (the depth value is large), an image in which the power of expressing the distance in the depth direction between the subjects is increased is generated.

また、本実施形態の画像処理装置は、処理部104で第1成分が強調された座標において、入力画像のグラデーション以外の成分と合成成分のグラデーション以外の成分とが同じ値になるように画像を生成する。ここで、グラデーション以外の成分とは、被写体表面の凹凸感以外を表す成分であり、入力画像中の被写体の明るさを表す。本実施形態の画像処理装置は、凹凸感を表すグラデーションが強調された座標において、グラデーション以外の成分の変動を抑えることにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防止する。   Further, the image processing apparatus according to the present embodiment displays an image so that the components other than the gradation of the input image and the components other than the gradation of the composite component have the same value at the coordinates where the first component is emphasized by the processing unit 104. Generate. Here, the component other than the gradation is a component representing a feeling of unevenness on the surface of the subject, and represents the brightness of the subject in the input image. The image processing apparatus according to the present embodiment generates an unnatural image such that only a part of the image is brightened by suppressing fluctuations of components other than the gradation in the coordinate in which the gradation representing the unevenness is emphasized. To prevent.

(ハードウェア構成)
本実施形態の画像処理装置は、図2に示すような通常のコンピュータを利用したハードウェアで構成されており、装置全体を制御するCPU(Central Processing Unit)等の制御部201と、各種データや各種プログラムを記憶するROM(Read Only Memory)やRAM(Random Access Memory)等の記憶部202と、各種データや各種プログラムを記憶するHDD(Hard Disk Drive)やCD(Compact Disk)ドライブ装置等の外部記憶部203と、ユーザの指示入力を受け付けるキーボードやマウスなどの操作部204と、外部装置との通信を制御する通信部205と、画像を撮像するカメラ206と、画像を表示するディスプレイ207と、これらを接続するバス208を備えている。
(Hardware configuration)
The image processing apparatus of the present embodiment is configured by hardware using a normal computer as shown in FIG. 2, and includes a control unit 201 such as a CPU (Central Processing Unit) that controls the entire apparatus, various data, A storage unit 202 such as a ROM (Read Only Memory) or a RAM (Random Access Memory) that stores various programs, and an external such as an HDD (Hard Disk Drive) or CD (Compact Disk) drive device that stores various data and various programs. A storage unit 203; an operation unit 204 such as a keyboard and a mouse that accepts user input; a communication unit 205 that controls communication with an external device; a camera 206 that captures an image; and a display 207 that displays an image; A bus 208 for connecting them is provided.

このようなハードウェア構成において、制御部201がROM等の記憶部202や外部記憶部203に記憶された各種プログラムを実行することにより以下に説明する機能が実現される。   In such a hardware configuration, the control unit 201 executes various programs stored in the storage unit 202 such as the ROM or the external storage unit 203, thereby realizing the functions described below.

(フローチャート)
図3のフローチャートを利用して、本実施形態にかかる画像処理装置の処理を説明する。
(flowchart)
Processing of the image processing apparatus according to the present embodiment will be described using the flowchart of FIG.

まず、ステップS301では、取得部101は、入力画像中の被写体の奥行値Rを取得する。ここで、奥行値とは、例えばカメラ206の所定の視点から被写体までの距離に対応する値のことであり、入力画像の画素毎に取得される。奥行値は、距離センサを用いて直接取得することができる。また、2つの視点から撮像された画像の組であるステレオ画像を用いて、ステレオ画像間の位置ずれ量に応じて奥行値を取得することもできる。特に、立体映像コンテンツに含まれる右目用画像と左目用画像を用いて奥行値を取得することができる。また、1枚の画像から、画像のぼやけ度合やコントラストの情報を用いて奥行値を推定してもよい。   First, in step S301, the acquisition unit 101 acquires the depth value R of the subject in the input image. Here, the depth value is, for example, a value corresponding to the distance from a predetermined viewpoint of the camera 206 to the subject, and is acquired for each pixel of the input image. The depth value can be obtained directly using a distance sensor. In addition, a depth value can be acquired according to the amount of positional deviation between stereo images using a stereo image that is a set of images taken from two viewpoints. In particular, the depth value can be acquired using the right-eye image and the left-eye image included in the stereoscopic video content. Further, the depth value may be estimated from one image using information on the degree of blurring or contrast of the image.

本実施形態では、座標(x,y)における奥行値R(x,y)は0から1の値をとり、値が大きいほど手前を示すものとする。なお、奥行値の範囲は一例であり、値が小さいほど手前を示す奥行値を用いてもよい。   In the present embodiment, the depth value R (x, y) at the coordinates (x, y) takes a value from 0 to 1, and the larger the value, the closer to the front. The range of the depth value is an example, and a depth value that indicates the near side as the value is smaller may be used.

次に、ステップS302では、領域取得部102は、入力画像をオブジェクト毎に分割してオブジェクトの境界の座標(オブジェクト境界座標)を取得する。ここで、オブジェクトとは、被写体において、照明が均等に当たったときに同じ輝度と色を持つ領域を指すものとする。実際の入力画像では、照明の当たり方などの影響により、各オブジェクトの領域内において異なる輝度や色になる。本実施形態では、隣接するオブジェクトの境界において入力画像の画素値が十分異なるものと仮定して、画素値の勾配強度の大きい座標をオブジェクト境界座標として取得する。   Next, in step S302, the area acquisition unit 102 divides the input image for each object, and acquires object boundary coordinates (object boundary coordinates). Here, the object refers to a region having the same luminance and color when the illumination is equally applied to the subject. In the actual input image, the brightness and color differ in the area of each object due to the influence of lighting. In the present embodiment, assuming that the pixel values of the input image are sufficiently different at the boundary between adjacent objects, coordinates having a large gradient strength of the pixel values are acquired as object boundary coordinates.

まず、入力画像の勾配強度を座標毎に計算する。入力画像をIinとしたとき、勾配強度Ginを以下の式で算出する。

Figure 0005711634
First, the gradient strength of the input image is calculated for each coordinate. When the input image is I in , the gradient strength G in is calculated by the following equation.
Figure 0005711634

ただし、(x,y)は、入力画像の座標を示すインデックスであり、例えば、Iin(x,y)は、Iinの座標(x,y)における画素値を示す。なお、カラー画像が入力される場合は、例えばYUVのうちY成分(明度)を画素値として処理し、UV成分はY成分に応じて処理する。 However, (x, y) is an index indicating the coordinates of the input image. For example, I in (x, y) indicates a pixel value at the coordinates (x, y) of I in . When a color image is input, for example, the Y component (brightness) of YUV is processed as a pixel value, and the UV component is processed according to the Y component.

次に、座標毎に勾配強度をある閾値で判定し、閾値より大きい勾配強度を持つ座標をオブジェクト境界座標として取得する。本実施形態では、オブジェクト境界座標はオブジェクト境界座標マップMの形式で持つものとし、M(x,y)が1ならばオブジェクト境界座標、0ならばオブジェクト境界座標ではないものとする。   Next, gradient strength is determined for each coordinate with a certain threshold value, and coordinates having gradient strength larger than the threshold value are acquired as object boundary coordinates. In this embodiment, the object boundary coordinates are assumed to be in the form of an object boundary coordinate map M. If M (x, y) is 1, it is assumed that the object boundary coordinates are not present, and if M (x, y) is 0, it is not an object boundary coordinate.

なお、オブジェクトの考え方については上述したものに限らない。例えば、実世界における物ひとつずつをオブジェクトとしてもよい。また、各オブジェクトの領域をミーンシフト法などのクラスタリング法により生成し、その境界の座標をオブジェクト境界座標としてもよい。   Note that the concept of the object is not limited to that described above. For example, each object in the real world may be an object. Alternatively, each object region may be generated by a clustering method such as a mean shift method, and the boundary coordinates may be used as the object boundary coordinates.

次に、ステップS303では、分離部103は、入力画像を骨格成分画像と分離成分画像とに分離する。ここで、骨格成分画像には、エッジなどの勾配が強い部分が含まれる。一方、分離勾配画像には、エッジを除いたグラデーションなどの勾配が弱い部分が含まれる。すなわち、分離部103により、入力画像が、グラデーションを含む成分である分離勾配画像(第1成分)と、第1成分以外の成分である骨格成分画像(第2成分)とに分離される。   Next, in step S303, the separation unit 103 separates the input image into a skeleton component image and a separation component image. Here, the skeleton component image includes a portion having a strong gradient such as an edge. On the other hand, the separation gradient image includes a portion having a weak gradient such as a gradation excluding an edge. That is, the separation unit 103 separates the input image into a separation gradient image (first component) that is a component including gradation and a skeleton component image (second component) that is a component other than the first component.

分離部103の動作を、図4および図5を参照しながら説明する。図4は、分離部103の内部構成を示すブロックである。分離部103は、入力画像とオブジェクト境界座標マップMから骨格勾配成分を生成する算出部401と、骨格勾配成分から骨格成分画像を生成する生成部402と、入力画像と骨格成分画像から分離成分画像を生成する減算部403を備えている。   The operation of the separation unit 103 will be described with reference to FIGS. 4 and 5. FIG. 4 is a block diagram showing the internal configuration of the separation unit 103. The separation unit 103 includes a calculation unit 401 that generates a skeleton gradient component from the input image and the object boundary coordinate map M, a generation unit 402 that generates a skeleton component image from the skeleton gradient component, and a separation component image from the input image and the skeleton component image. Is included.

図5は、分離部103の動作を表すフローチャートである。ステップS501では、算出部401は、オブジェクト境界座標マップMを用いて、骨格成分画像の勾配成分を示す骨格勾配成分を生成する。まず、水平方向の骨格勾配成分ghorを計算する。注目する座標(a,b)において、M(a,b)が0のときはghor(a,b)=0とする。M(a,b)が1のときは、水平方向に(a,b)より小さい座標のうちM(x,y)が1となる最も近い座標(c,d)を求め、(2)式で表される座標間の画素値の差によりghorを計算する。

Figure 0005711634
FIG. 5 is a flowchart showing the operation of the separation unit 103. In step S501, the calculation unit 401 uses the object boundary coordinate map M to generate a skeleton gradient component indicating the gradient component of the skeleton component image. First, a horizontal skeleton gradient component g hor is calculated. In the coordinate (a, b) of interest, when M (a, b) is 0, g hor (a, b) = 0. When M (a, b) is 1, the closest coordinate (c, d) where M (x, y) is 1 among the coordinates smaller than (a, b) in the horizontal direction is obtained, and equation (2) G hor is calculated from the difference in pixel value between the coordinates represented by
Figure 0005711634

(a,b)と(c,d)の関係を、図6を用いて説明する。この図は、オブジェクト境界座標マップMの例である。図中で斜線のある枠は、オブジェクト境界座標(M=1)を示している。座標(a,b)から見て、水平方向にはオブジェクト境界座標が複数存在するが、そのうち、(a,b)よりも水平座標が小さく(左に位置し)、かつ、最も近い座標を(c,d)として選択する。 The relationship between (a, b) and (c, d) will be described with reference to FIG. This figure is an example of the object boundary coordinate map M. A hatched frame in the figure indicates object boundary coordinates (M = 1). When viewed from the coordinates (a, b), there are a plurality of object boundary coordinates in the horizontal direction, of which the horizontal coordinates are smaller than (a, b) (located on the left) and the closest coordinates are ( c, d).

同様にして、垂直方向の骨格勾配成分gverを計算する。つまり、注目する座標(a,b)において、M(a,b)が0のときgver(a,b)=0とする。M(a,b)が1のときは、垂直方向に(a,b)より小さい座標のうち、M(x,y)が1となる最も近い座標(e,f)を求め、その座標間の入力画像の画素値の差((3)式)によりgverを計算する。

Figure 0005711634
Similarly, the skeletal gradient component g ver in the vertical direction is calculated. That is, g ver (a, b) = 0 when M (a, b) is 0 at the coordinate (a, b) of interest. When M (a, b) is 1, among the coordinates smaller than (a, b) in the vertical direction, the nearest coordinate (e, f) where M (x, y) is 1 is obtained, and the interval between the coordinates Gver is calculated from the difference in pixel values of the input image (equation (3)).
Figure 0005711634

次に、ステップS502では、生成部402は、水平方向の骨格勾配成分ghorおよび垂直方向の骨格勾配成分gverを勾配として持つ骨格成分画像Istを生成する。所定の勾配を持つ画像を生成する方法は、ポアソン方程式に問題を帰着して解く方法が広く知られている(例えば、R.Fattalら、「Gradient domain high dynamic range compression」、SIGGRAPH議事録、pp.249−256、2002年)。 Next, in step S502, the generation unit 402 generates a skeleton component image Ist having a skeleton gradient component g hor in the horizontal direction and a skeleton gradient component g ver in the vertical direction as gradients. As a method of generating an image having a predetermined gradient, a method of solving a problem by reducing the problem to the Poisson equation is widely known (for example, R. Fattal et al., “Gradient domain high dynamic compression”, SIGGRAPH proceedings, pp. 249-256, 2002).

生成部402は、図7に示す画像の端周囲1画素の領域Ωでは入力画像の画素値を保持するという境界条件を表す以下の式

Figure 0005711634
The generating unit 402 represents the boundary condition that the pixel value of the input image is held in the region Ω of one pixel around the edge of the image shown in FIG.
Figure 0005711634

を満たしつつ、勾配が骨格勾配成分gst=(ghor,gver)に近くなる画像(骨格成分画像)Istを以下の式により算出する。

Figure 0005711634
An image (skeleton component image) I st in which the gradient is close to the skeleton gradient component g st = (g hor , g ver ) while satisfying the above is calculated by the following expression.
Figure 0005711634

ただし、∇I=(∂I/∂x、∂I/∂y)である。(5)式は式変形により、以下の(6)式のポアソン方程式に帰着され、Jacobi法、Gauss−Seidel法、およびSOR法等により解くことができる。

Figure 0005711634
However, ∇I = (∂I / ∂x, ∂I / ∂y). The expression (5) is reduced to the Poisson equation of the following expression (6) by expression modification, and can be solved by the Jacobi method, the Gauss-Seidel method, the SOR method, and the like.
Figure 0005711634

また、骨格成分画像Istは、サイン変換した係数を処理することでも解くことができる。例えば、Jacobi法を用いて解く場合は、以下の式を、領域Ωを除く内部の領域(x,y)∈Γについて反復する。

Figure 0005711634
The skeleton component image Ist can also be solved by processing the sine-transformed coefficient. For example, when solving using the Jacobi method, the following equation is repeated for the internal region (x, y) εΓ excluding the region Ω.
Figure 0005711634

ただし、Ist は反復nにおける骨格成分画像であり、(divgst)(x,y)は、以下の式で計算する。

Figure 0005711634
Here, I st n is a skeleton component image at iteration n, and (divg st ) (x, y) is calculated by the following equation.
Figure 0005711634

nが事前に定められた数に到達するか、反復によるIst の変化が十分小さくなるまで反復を繰り返した後のIst を、最終的な骨格成分画像Istとする。 The final skeletal component image I st is defined as I st n after iterating until n reaches a predetermined number or the change in I st n due to the iteration becomes sufficiently small.

次に、ステップS503では、減算部203は、入力画像から骨格成分画像Istを減算して分離成分画像Igrを生成する。 Next, in step S503, the subtraction unit 203 subtracts the skeleton component image Ist from the input image to generate a separated component image Igr .

図8は、入力画像から分離した骨格成分画像と分離成分画像の一例を示す図である。この図は、入力画像のある断面における画素値を1次元で示したグラフである。入力画像の画素値が801で示すような形状の場合、分離部103で生成される骨格成分画像および分離成分画像は、それぞれ802および803のような形状となる。ここで、A、B、C、Dはオブジェクト境界座標であり、A−B、B−C、C−Dがそれぞれ1つのオブジェクトを表している。   FIG. 8 is a diagram illustrating an example of a skeleton component image and a separated component image separated from the input image. This figure is a graph showing the pixel values in a certain section of the input image in one dimension. When the pixel value of the input image has a shape indicated by 801, the skeleton component image and the separation component image generated by the separation unit 103 have shapes such as 802 and 803, respectively. Here, A, B, C, and D are object boundary coordinates, and AB, BC, and CD each represent one object.

図8に示すように、骨格成分画像は、主に入力画像のエッジ部において画素値が変動する成分である。分離成分画像は、主にグラデーションや微小なテクスチャを含み、陰影を表現する成分である。ここで、本実施形態の分離部103で生成される分離成分画像は、最も近い2つのオブジェクト境界座標のペアにおいて、少なくとも1つの画素値が0になる。つまり、A−BではA、B−CではB、C−DではCにおける分離成分画像の画素値が0になっている。   As shown in FIG. 8, the skeleton component image is a component whose pixel value fluctuates mainly at the edge portion of the input image. The separated component image is a component that expresses a shadow mainly including gradation and fine texture. Here, in the separation component image generated by the separation unit 103 of the present embodiment, at least one pixel value is 0 in the pair of the two closest object boundary coordinates. That is, the pixel value of the separated component image is 0 for A in B, B in B-C, and C in C.

このように、オブジェクトの境界における少なくとも1つの座標において、分離成分画像が0になるように分離されていることが重要である。この分離成分画像を用いれば、後述の処理部104における強調により、グラデーション以外の成分が変動することを抑えることができる。分離成分画像が0になる座標では処理済成分も0になる。つまり、この座標では、入力画像のグラデーション以外の成分と合成成分のグラデーション以外の成分とが同じ値になる。これにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防止する。   As described above, it is important that the separation component image is separated so as to be zero at at least one coordinate at the boundary of the object. If this separated component image is used, it is possible to suppress fluctuations of components other than gradation due to enhancement in the processing unit 104 described later. At the coordinates where the separated component image is 0, the processed component is also 0. That is, at this coordinate, the component other than the gradation of the input image and the component other than the gradation of the composite component have the same value. This prevents an unnatural image such as a part of the image from becoming bright.

例えば、図9のように入力画像が分離された場合、処理部104で分離成分画像を強調すると、グラデーション以外の不要成分903も強調されてしまう。結果として、合成成分のグラデーション以外の成分が変動することになり、画像の一部のみが明るくなるなど不自然な画像が生成される。   For example, when the input image is separated as shown in FIG. 9, if the separation component image is emphasized by the processing unit 104, the unnecessary component 903 other than the gradation is also emphasized. As a result, components other than the gradation of the composite component fluctuate, and an unnatural image is generated such that only a part of the image becomes bright.

入力画像を分離する方法は上述のものに限られない。例えば、図10に示すように、骨格成分画像のオブジェクト境界座標における画素値を入力画像の画素値と等しくし、オブジェクト境界座標ではない座標における画素値をオブジェクト境界座標の画素値の補間により生成することもできる。   The method for separating the input image is not limited to the above. For example, as shown in FIG. 10, the pixel value at the object boundary coordinate of the skeleton component image is made equal to the pixel value of the input image, and the pixel value at the coordinate that is not the object boundary coordinate is generated by interpolation of the pixel value of the object boundary coordinate. You can also

また、図11のように、各オブジェクトの領域において、分離成分画像の平均値が0になるように入力画像を分離することができる。例えば、各オブジェクトの領域における画素値の平均値を計算し、その値を各オブジェクトの領域における骨格成分画像とし、入力画像からこの骨格画像成分を減じたものを分離成分画像とする。   Further, as shown in FIG. 11, the input image can be separated so that the average value of the separated component images becomes 0 in each object region. For example, an average value of pixel values in each object region is calculated, and the value is used as a skeleton component image in each object region, and an image obtained by subtracting this skeleton image component from the input image is used as a separated component image.

図3のフローチャートに戻って説明を続ける。ステップS304では、処理部104は、奥行値に応じて分離成分画像を強調して処理済成分を生成する。本実施形態では、手前に存在する被写体ほど(奥行値Rの大きな被写体ほど)強調度合いを高めることにより、奥に存在する被写体と手前に存在する被写体の奥行方向の距離が広がって知覚される画像を生成する。分離成分画像(第1成分)の強調により凹凸感の増した被写体はより手前側に知覚される。   Returning to the flowchart of FIG. In step S304, the processing unit 104 generates a processed component by enhancing the separated component image according to the depth value. In the present embodiment, by increasing the degree of emphasis for a subject existing in the foreground (a subject having a greater depth value R), an image that is perceived by increasing the depth direction distance between the subject existing in the back and the subject existing in the foreground. Is generated. A subject having a sense of unevenness due to the enhancement of the separated component image (first component) is perceived on the near side.

処理部104は、分離成分画像Igrと奥行値Rを用いて、以下の式により処理済成分I^grを計算する。なお、数式中のハット記号^の付された文字Iを、本文中ではI^と表記する。

Figure 0005711634
The processing unit 104 uses the separated component image I gr and the depth value R to calculate a processed component I ^ gr according to the following equation. In addition, the letter I with the hat symbol ^ in the mathematical expression is expressed as I ^ in the text.
Figure 0005711634

ここで、α(r)は奥行値が手前であるほど大きな値をとる処理係数であり、正の定数βを用いて以下の式で表すことができる。

Figure 0005711634
Here, α (r) is a processing coefficient that takes a larger value as the depth value is closer, and can be expressed by the following equation using a positive constant β.
Figure 0005711634

また、正の定数ωを用いて、以下の式のように非線形の形でα(r)を表してもよい。

Figure 0005711634
Alternatively, α (r) may be expressed in a non-linear form using the positive constant ω as in the following equation.
Figure 0005711634

以上のように、処理係数αは任意の正数を値としてとることができ、処理係数αが1より大きければ分離成分画像は強調され、処理済成分の陰影が強くなる。また、処理係数αが1より小さければ分離成分画像は抑制され、処理済成分の陰影は弱くなる。さらに、分離成分画像の強調は、処理係数αの乗算に限らない。例えば、以下の式のように加算により絶対値を操作してもよい。

Figure 0005711634
As described above, the processing coefficient α can take an arbitrary positive number as a value. If the processing coefficient α is larger than 1, the separated component image is emphasized, and the shadow of the processed component becomes strong. If the processing coefficient α is smaller than 1, the separated component image is suppressed, and the shadow of the processed component becomes weak. Further, the enhancement of the separated component image is not limited to multiplication by the processing coefficient α. For example, the absolute value may be manipulated by addition as in the following equation.
Figure 0005711634

ここで、sign(i)はiの正負の符号である。また、奥行値Rに応じて値を大きく変換するテーブルを予め作成しておき、このテーブルに応じて分離成分画像の絶対値を変換してもよい。 Here, sign (i) is the sign of i. Further, a table for largely converting the value according to the depth value R may be created in advance, and the absolute value of the separated component image may be converted according to this table.

ここでは、奥行値の取りうる値のうち最も手前を表す値を基準値とし、基準値と奥行値との差分が小さいほど分離成分画像を強調する例を示したが、基準値はこれに限られない。中間の奥行値または最も奥の奥行値を基準値とし、この基準値に近いほど分離成分画像を強調してもよい。例えば、ある中間の奥行値をrbaseとすると、奥行値R(x,y)がrbaseに近いほど大きくなるαを(9)式で用いればよい。αは、例えばωを正の定数として以下の式で計算することができる。

Figure 0005711634
In this example, the value representing the forefront of the possible values of the depth value is used as the reference value, and the separation component image is emphasized as the difference between the reference value and the depth value is small. However, the reference value is not limited to this. I can't. The intermediate depth value or the innermost depth value may be used as a reference value, and the separation component image may be enhanced as the reference value is closer. For example, if an intermediate depth value is r base , α that increases as the depth value R (x, y) is closer to r base may be used in equation (9). α can be calculated by the following equation, for example, where ω is a positive constant.
Figure 0005711634

これにより、ある奥行値rbaseにのみ照明が強く当たっている場合などに、この位置にある被写体を強調することができる。 Thereby, the subject at this position can be emphasized, for example, when the illumination is strongly applied only to a certain depth value r base .

図3のフローチャートに戻って説明を続ける。最後に、ステップS305では、合成部105は、骨格成分画像Istと処理済成分I^grとを合成して合成成分Icombを生成する。合成部105は、例えば以下の式により合成成分Icombを生成する。

Figure 0005711634
Returning to the flowchart of FIG. Finally, in step S305, the synthesizer 105 synthesizes the skeleton component image Ist and the processed component I ^ gr to generate a synthesized component Icomb . The synthesizer 105 generates a synthesized component I comb by the following formula, for example.
Figure 0005711634

以上の処理により生成された合成成分Icombが、本実施形態にかかる画像処理装置が出力する画像になる。 The composite component I comb generated by the above processing becomes an image output by the image processing apparatus according to the present embodiment.

このように、本実施形態の画像処理装置は、手前にある被写体ほど分離成分画像(第1成分)の強調度合いを高めた合成成分を生成する。これにより、被写体間における奥行方向の距離の表現力が増した画像を生成することができる。   As described above, the image processing apparatus according to the present embodiment generates a composite component in which the degree of enhancement of the separated component image (first component) is increased as the subject is closer to the front. As a result, it is possible to generate an image in which the power of expressing the distance in the depth direction between the subjects is increased.

また、本実施形態の画像処理装置は、分離成分画像(第1成分)が強調された座標において、入力画像のグラデーション以外の成分と合成成分のグラデーション以外の成分とが同じ値になるように合成成分を生成する。これにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防止することができる。   Further, the image processing apparatus according to the present embodiment combines the components other than the gradation of the input image and the components other than the gradation of the combined component at the same value at the coordinates where the separated component image (first component) is emphasized. Generate ingredients. Thereby, it is possible to prevent an unnatural image such as a part of the image from being brightened.

(変形例1)
本実施形態にかかる方法を用いれば、分離成分と処理済成分の明るさの変化を小さくすることができるが、処理係数α(r)の変化が空間的に大きいときには、処理前後において明るさの変化が大きくなる場合がある。そこで、各オブジェクトの領域において、処理済成分の平均値と分離成分画像の平均値とが一致するように、入力画像から分離成分画像を分離してもよい。
(Modification 1)
If the method according to the present embodiment is used, the change in brightness of the separated component and the processed component can be reduced. However, when the change in the processing coefficient α (r) is spatially large, Changes can be significant. Therefore, in each object region, the separated component image may be separated from the input image so that the average value of the processed component and the average value of the separated component image match.

例えば、1つのオブジェクトの領域における骨格成分画像の画素値を定数値Jとし、分離成分画像をIin−Jとする。このとき、処理済成分はα(R(x,y))×(Iin−J)となるから、Jの値を(15)式を満たすように求めればよい。ただし、積分は1つの領域内部の座標で行う。例えば、Jの値を離散的な値で変化させることができる。

Figure 0005711634
For example, the pixel value of the skeleton component image in one object region is a constant value J, and the separated component image is I in −J. At this time, since the processed component is α (R (x, y)) × (I in −J), the value of J may be obtained so as to satisfy the expression (15). However, integration is performed with the coordinates inside one region. For example, the value of J can be changed with a discrete value.
Figure 0005711634

図12を用いて、本変形例を実現する方法を説明する。本変形例の画像処理装置は、分離部1203が入力画像・オブジェクト境界座標だけでなく奥行値も入力している点が第1の実施形態と異なる。分離部1203は、まず、処理部104と同様な方法により処理係数αを計算する。そして、1つのオブジェクトの領域で(15)式を満たすJを算出する。そして、同じオブジェクトの領域について、骨格成分画像の画素値をJとして出力し、分離成分画像をIin−Jとして出力する。その他のオブジェクトについても同様な処理を行う。 A method for realizing the present modification will be described with reference to FIG. The image processing apparatus according to the present modification is different from the first embodiment in that the separation unit 1203 inputs not only the input image / object boundary coordinates but also the depth value. The separation unit 1203 first calculates the processing coefficient α by the same method as the processing unit 104. Then, J that satisfies the equation (15) is calculated in the area of one object. Then, for the same object region, the pixel value of the skeleton component image is output as J, and the separated component image is output as I in -J. Similar processing is performed for other objects.

このように、各オブジェクトの領域において、分離成分画像の平均値と処理済成分の平均値とを一致させることにより、入力画像と合成成分との間においてグラデーション以外の成分が大きく変動することを防止する。これにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防ぐことができる。   In this way, in the area of each object, by matching the average value of the separated component image and the average value of the processed component, it is possible to prevent components other than gradation from fluctuating greatly between the input image and the composite component. To do. Thereby, it is possible to prevent an unnatural image such as a part of the image from being brightened.

(第2の実施形態)
図13は、第2の実施形態にかかる画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置は、分離部1303および処理部1304の機能が第1の実施形態と異なる。その他の機能は、第1の実施形態にかかる画像処理装置と同様であるので説明を省略する。
(Second Embodiment)
FIG. 13 is a block diagram illustrating a configuration of an image processing apparatus according to the second embodiment. The image processing apparatus according to the present embodiment is different from the first embodiment in the functions of the separation unit 1303 and the processing unit 1304. Since other functions are the same as those of the image processing apparatus according to the first embodiment, description thereof will be omitted.

分離部1303は、入力画像を骨格成分画像と分離成分画像に分離する。本実施形態では、入力画像を分離する際、骨格成分画像と分離成分画像の間に制約は課さない。例えば、図9のように、分離成分画像がグラデーション以外の不要成分を含むように入力画像を分離してもよい。   The separation unit 1303 separates the input image into a skeleton component image and a separation component image. In the present embodiment, when the input image is separated, no restriction is imposed between the skeleton component image and the separated component image. For example, as shown in FIG. 9, the input image may be separated so that the separated component image includes unnecessary components other than gradation.

処理部1304は、オブジェクト境界座標マップMおよび奥行値を用いて、分離成分画像を強調した処理済成分を生成する。このとき、処理部1304は、入力画像のグラデーション以外の成分と合成部105で生成される合成成分のグラデーション以外の成分が大きく変動しないように処理済成分を生成する。具体的には、各オブジェクトの領域において、グラデーション以外の成分の平均値が変動しないように処理済成分を生成する。   The processing unit 1304 uses the object boundary coordinate map M and the depth value to generate a processed component that emphasizes the separated component image. At this time, the processing unit 1304 generates processed components so that components other than the gradation of the input image and components other than the gradation of the synthesized component generated by the synthesizing unit 105 do not vary greatly. Specifically, the processed components are generated so that the average value of the components other than the gradation does not fluctuate in each object region.

まず、処理部1304は、分離成分画像Igrと奥行値Rを用いて、以下の式により仮処理済成分I grを計算する。なお、数式中の記号−の付された文字Iを、本文中ではIと表記する。

Figure 0005711634
First, the processing unit 1304 uses the separated component image I gr and the depth value R to calculate a provisionally processed component I - gr according to the following equation. Note that symbols in the formulas - the fringed characters I, in the text I - that notation.
Figure 0005711634

ここで、αは第1の実施形態と同じものを用いることができる。 Here, α can be the same as in the first embodiment.

次に、処理部1304は、1つのオブジェクトの領域について、分離成分画像Igrの平均値Iaveおよび仮処理済成分の平均値I aveを算出する。そして、同じ領域内の処理済成分を次の式で算出する。

Figure 0005711634
Then, the processing unit 1304, the region of one object, the average value I of the average value I ave and provisional treated component separation component image I gr - calculating the ave. And the processed component in the same area | region is calculated with the following formula | equation.
Figure 0005711634

すべてのオブジェクトの領域について、(17)式により処理済成分を算出する。 For all object regions, the processed components are calculated using equation (17).

処理部1304は、各オブジェクトについて、そのオブジェクト境界座標のうち1つの画素値が変化しないように処理済成分を生成してもよい。例えば、分離成分画像の絶対値が最小となる座標において、処理前後の画素値が変化しないように処理済成分を生成することができる。まず、処理部1304は、1つのオブジェクトの領域を選択する。次に、オブジェクト境界座標の中で分離成分画像の絶対値が最小となる座標を探索する。その座標を(g,h)とする。次に、(g,h)の分離成分画像の画素値Igr(g,h)を基準にして、選択したオブジェクトのオブジェクト境界座標の処理済成分を次式により計算する。

Figure 0005711634
The processing unit 1304 may generate a processed component for each object so that one pixel value of the object boundary coordinates does not change. For example, the processed component can be generated so that the pixel value before and after the process does not change at the coordinates where the absolute value of the separated component image is minimum. First, the processing unit 1304 selects a region of one object. Next, the coordinate where the absolute value of the separated component image is minimum is searched for in the object boundary coordinates. Let the coordinates be (g, h). Next, the processed component of the object boundary coordinates of the selected object is calculated by the following equation based on the pixel value I gr (g, h) of the separated component image of (g, h).
Figure 0005711634

すべてのオブジェクトの領域について、(18)式により、処理済成分を算出する。 For all object regions, processed components are calculated according to equation (18).

このようにして生成した処理済成分を用いて、合成部105は、合成成分を生成し第2の実施形態にかかる画像処理装置の出力とする。   Using the processed component generated in this way, the synthesizing unit 105 generates a synthesized component and outputs it as an output of the image processing apparatus according to the second embodiment.

本実施形態の画像処理装置は、分離成分画像(第1成分)が強調された座標において、入力画像のグラデーション以外の成分と合成成分のグラデーション以外の成分とが大きく変動することを防止する。これにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防ぐことができる。   The image processing apparatus according to the present embodiment prevents a component other than the gradation of the input image and a component other than the gradation of the composite component from greatly fluctuating in the coordinates where the separated component image (first component) is emphasized. Thereby, it is possible to prevent an unnatural image such as a part of the image from being brightened.

(変形例2)
第1および第2の実施形態では、オブジェクト毎の平均的な画素値の変化が小さくなるように処理する方法を示したが、これ以外にも、ディスプレイに表示したときの放射輝度のオブジェクト毎の平均値の変化が小さくなるように処理してもよい。
(Modification 2)
In the first and second embodiments, the method of processing so as to reduce the change in the average pixel value for each object is shown. However, in addition to this, the radiance for each object when displayed on the display is shown. You may process so that the change of an average value may become small.

また、第1および第2の実施形態では、2次元画像の処理について説明したが、右目画像と左目画像の2視差からなる立体画像や、3視差以上の視差をもつ立体画像についても処理することが可能である。これにより、メガネ式や裸眼式の立体ディスプレイに立体画像を表示する場合においても、さらに立体感のある画像を表示することが可能となる。   In the first and second embodiments, processing of a two-dimensional image has been described. However, processing is also performed for a stereoscopic image having two parallaxes of a right-eye image and a left-eye image and a stereoscopic image having a parallax of three or more parallaxes. Is possible. As a result, even when a stereoscopic image is displayed on a glasses-type or naked-eye type stereoscopic display, it is possible to display an image with a stereoscopic effect.

例えば、視差画像のそれぞれについて独立に、第1および第2の実施形態に示した方法で処理をすることができる。また、視差画像の処理の間で相関を持たせることで、処理後の画像の画質が向上する。例えば、領域取得部102は、視差画像間の位置合わせを行い、対応する座標においては同一のオブジェクトの領域になるようオブジェクト境界座標を算出することができる。これにより、オブジェクトを分割する精度が向上する。また、分離成分画像や処理済成分を視差画像の間で共通にすることで、出力画像の視差画像間における変化を抑制することができる。   For example, each of the parallax images can be processed independently by the method shown in the first and second embodiments. Further, by providing a correlation between processing of parallax images, the image quality of the processed image is improved. For example, the area acquisition unit 102 can perform alignment between parallax images and calculate object boundary coordinates so that the corresponding coordinates are in the same object area. Thereby, the precision which divides | segments an object improves. Further, by making the separation component image and the processed component common among the parallax images, it is possible to suppress a change in the output image between the parallax images.

(効果)
以上述べた少なくとも一つの実施形態の画像処理装置は、手前にある被写体ほど分離成分画像(第1成分)の強調度合いを高めた合成成分を生成する。これにより、被写体間における奥行方向の距離の表現力が増した画像を生成することができる。
(effect)
The image processing apparatus according to at least one embodiment described above generates a composite component in which the degree of enhancement of the separated component image (first component) is increased as the subject is closer to the front. As a result, it is possible to generate an image in which the power of expressing the distance in the depth direction between the subjects is increased.

また、少なくとも一つの実施形態の画像処理装置は、入力画像のグラデーション以外の成分と合成成分のグラデーション以外の成分とが大きく変動することを防止する。これにより、画像の一部のみが明るくなるなど不自然な画像が生成されることを防ぐことができる。   In addition, the image processing apparatus according to at least one embodiment prevents the component other than the gradation of the input image and the component other than the gradation of the composite component from greatly fluctuating. Thereby, it is possible to prevent an unnatural image such as a part of the image from being brightened.

なお、以上説明した本実施形態における一部機能もしくは全ての機能は、ソフトウェア処理により実現可能である。   Note that some or all of the functions in the present embodiment described above can be realized by software processing.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

101 取得部
102 領域取得部
103、1203、1303 分離部
104、1304 処理部
105 合成部
201 制御部
202 記憶部
203 外部記憶部
204 操作部
205 通信部
206 カメラ
207 ディスプレイ
208 バス
401 算出部
402 生成部
403 減算部
801 入力画像
802、901、1001、1101 骨格成分画像
803、902、1002、1102 分離成分画像
903 不要成分
DESCRIPTION OF SYMBOLS 101 Acquisition part 102 Area | region acquisition part 103, 1203, 1303 Separation part 104, 1304 Processing part 105 Composition part 201 Control part 202 Storage part 203 External storage part 204 Operation part 205 Communication part 206 Camera 207 Display 208 Bus 401 Calculation part 402 Generation part 403 Subtraction unit 801 Input image 802, 901, 1001, 1101 Skeletal component image 803, 902, 1002, 1102 Separation component image 903 Unnecessary component

Claims (10)

入力画像中のオブジェクトの奥行値を取得する取得手段と、
前記オブジェクトの境界を取得する領域取得手段と、
前記入力画像を、前記オブジェクトのグラデーションを含む成分である第1成分と、この第1成分以外の成分である第2成分とに分離する分離手段と、
前記第1成分を前記奥行値に応じた強さで強調した処理済成分を生成する処理手段と、
前記処理済成分と前記第2成分とを合成した合成成分を生成する合成手段とを備え
前記処理手段は、予め定められた基準値と前記奥行値との差分が小さいほど、前記第1成分を強調する量を大きくすることを特徴とする画像処理装置。
Acquisition means for acquiring the depth value of the object in the input image;
Area acquisition means for acquiring a boundary of the object;
Separating means for separating the input image into a first component that is a component including gradation of the object and a second component that is a component other than the first component;
Processing means for generating a processed component in which the first component is emphasized with a strength corresponding to the depth value;
A synthesizing means for generating a composite synthetic component and said second component and said processed component,
The processing means, the image processing apparatus characterized as the difference of the predetermined reference value and the depth value is smaller, that increasing the amount of emphasizing the first component.
前記処理手段で前記第1成分が変換された座標において、前記入力画像のグラデーション以外の成分と前記合成成分のグラデーション以外の成分とが同じ値になるように前記合成成分を生成する請求項1記載の画像処理装置。 2. The composite component is generated such that a component other than the gradation of the input image and a component other than the gradation of the composite component have the same value in the coordinates obtained by converting the first component by the processing unit. Image processing apparatus. 前記分離手段が、前記オブジェクトの境界における少なくとも1つの座標において、前記第1成分が0になるように前記入力画像を前記第1成分と前記第2成分とに分離する請求項2記載の画像処理装置。 3. The image processing according to claim 2, wherein the separation unit separates the input image into the first component and the second component so that the first component becomes zero at at least one coordinate at a boundary of the object. apparatus. 前記オブジェクトの領域において、前記第1成分の平均値と前記処理済成分の平均値とが同じ値になるように前記処理済成分を生成する請求項1記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the processed component is generated so that an average value of the first component and an average value of the processed component are the same value in the region of the object. 前記分離手段が、前記オブジェクトの領域において、前記第1成分の平均値が0になるように前記入力画像を前記第1成分と前記第2成分とに分離する請求項1記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the separation unit separates the input image into the first component and the second component such that an average value of the first component becomes 0 in the region of the object. 前記基準値は、前記奥行値の取りうる値のうち最も手前を表す値であることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the reference value is a value that represents the foremost value that can be taken by the depth value. 入力画像中のオブジェクトの奥行値を取得するステップと、
前記オブジェクトの境界を取得するステップと、
前記入力画像を、前記オブジェクトのグラデーションを含む成分である第1成分と、この第1成分以外の成分である第2成分とに分離するステップと、
前記第1成分を前記奥行値に応じた強さで強調した処理済成分を生成するステップと、
前記処理済成分と前記第2成分とを合成した合成成分を生成するステップとを備え
前記処理済成分は、予め定められた基準値と前記奥行値との差分が小さいほど、前記第1成分が強く強調されることを特徴とする画像処理方法。
Obtaining a depth value of an object in the input image;
Obtaining a boundary of the object;
Separating the input image into a first component that is a component including gradation of the object and a second component that is a component other than the first component;
Generating a processed component in which the first component is emphasized with a strength corresponding to the depth value;
And a step of generating a composite synthetic component and the processed component and the second component,
The image processing method , wherein the processed component is such that the first component is emphasized more strongly as a difference between a predetermined reference value and the depth value is smaller .
前記基準値は、前記奥行値の取りうる値のうち最も手前を表す値であることを特徴とする請求項7に記載の画像処理方法。The image processing method according to claim 7, wherein the reference value is a value that represents the foremost value that can be taken by the depth value. 画像処理装置に、
入力画像中のオブジェクトの奥行値を取得する機能と、
前記オブジェクトの境界を取得する機能と、
前記入力画像を、前記オブジェクトのグラデーションを含む成分である第1成分と、この第1成分以外の成分である第2成分とに分離する機能と、
前記第1成分を前記奥行値に応じた強さで強調した処理済成分を生成する機能と、
前記処理済成分と前記第2成分とを合成した合成成分を生成する機能と、
を実現させるための画像処理プログラムであって、
前記処理済成分は、予め定められた基準値と前記奥行値との差分が小さいほど、前記第1成分が強く強調されることを特徴とする画像処理プログラム。
In the image processing device,
A function to obtain the depth value of an object in the input image;
A function of obtaining a boundary of the object;
A function of separating the input image into a first component that is a component including gradation of the object and a second component that is a component other than the first component;
A function of generating a processed component in which the first component is emphasized with a strength corresponding to the depth value;
A function of generating a synthesized component obtained by synthesizing the processed component and the second component;
An image processing program for realizing a
An image processing program characterized in that the first component is more strongly emphasized as the difference between the predetermined reference value and the depth value is smaller.
前記基準値は、前記奥行値の取りうる値のうち最も手前を表す値であることを特徴とする請求項9に記載の画像処理プログラム。The image processing program according to claim 9, wherein the reference value is a value that represents the foremost value that can be taken by the depth value.
JP2011207822A 2011-09-22 2011-09-22 Image processing apparatus, image processing method, and image processing program Expired - Fee Related JP5711634B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011207822A JP5711634B2 (en) 2011-09-22 2011-09-22 Image processing apparatus, image processing method, and image processing program
US13/419,811 US20130076733A1 (en) 2011-09-22 2012-03-14 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011207822A JP5711634B2 (en) 2011-09-22 2011-09-22 Image processing apparatus, image processing method, and image processing program

Publications (2)

Publication Number Publication Date
JP2013070266A JP2013070266A (en) 2013-04-18
JP5711634B2 true JP5711634B2 (en) 2015-05-07

Family

ID=47910788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011207822A Expired - Fee Related JP5711634B2 (en) 2011-09-22 2011-09-22 Image processing apparatus, image processing method, and image processing program

Country Status (2)

Country Link
US (1) US20130076733A1 (en)
JP (1) JP5711634B2 (en)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7706633B2 (en) * 2004-04-21 2010-04-27 Siemens Corporation GPU-based image manipulation method for registration applications
CN101036161B (en) * 2004-10-08 2011-05-18 松下电器产业株式会社 Image processing apparatus and image processing method
JP5094219B2 (en) * 2006-06-29 2012-12-12 パナソニック株式会社 Image processing apparatus, image processing method, program, recording medium, and integrated circuit
JP2009110137A (en) * 2007-10-29 2009-05-21 Ricoh Co Ltd Image processor, image processing method, and image processing program
KR101468267B1 (en) * 2008-10-02 2014-12-15 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 Intermediate view synthesis and multi-view data signal extraction
KR101502362B1 (en) * 2008-10-10 2015-03-13 삼성전자주식회사 Apparatus and Method for Image Processing
JP4963124B2 (en) * 2009-03-02 2012-06-27 シャープ株式会社 Video processing apparatus, video processing method, and program for causing computer to execute the same
US8610758B2 (en) * 2009-12-15 2013-12-17 Himax Technologies Limited Depth map generation for a video conversion system
US9398289B2 (en) * 2010-02-09 2016-07-19 Samsung Electronics Co., Ltd. Method and apparatus for converting an overlay area into a 3D image
US20130071008A1 (en) * 2011-09-15 2013-03-21 National Taiwan University Image conversion system using edge information

Also Published As

Publication number Publication date
US20130076733A1 (en) 2013-03-28
JP2013070266A (en) 2013-04-18

Similar Documents

Publication Publication Date Title
JP6563453B2 (en) Generation of a depth map for an input image using an exemplary approximate depth map associated with an exemplary similar image
CN102474644B (en) Stereo image display system, parallax conversion equipment, parallax conversion method
JP5587894B2 (en) Method and apparatus for generating a depth map
JP6147275B2 (en) Stereoscopic image processing apparatus, stereoscopic image processing method, and program
KR101385514B1 (en) Method And Apparatus for Transforming Stereoscopic Image by Using Depth Map Information
JP4903240B2 (en) Video processing apparatus, video processing method, and computer program
JP5673032B2 (en) Image processing apparatus, display apparatus, image processing method, and program
JP2015156607A (en) Image processing method, image processing apparatus, and electronic device
JP2012019513A (en) Method and apparatus for converting 2d image to 3d image
US20160180514A1 (en) Image processing method and electronic device thereof
TW201315209A (en) System and method of rendering stereoscopic images
JP5862635B2 (en) Image processing apparatus, three-dimensional data generation method, and program
KR101511315B1 (en) Method and system for creating dynamic floating window for stereoscopic contents
JP2014072809A (en) Image generation apparatus, image generation method, and program for the image generation apparatus
CN103514593B (en) Image processing method and device
JP5711634B2 (en) Image processing apparatus, image processing method, and image processing program
JP5254297B2 (en) Image processing device
JP5545059B2 (en) Moving image processing method, moving image processing apparatus, and moving image processing program
JP5515864B2 (en) Image processing method, image processing apparatus, and image processing program
JP2011119926A (en) Video processing apparatus, video processing method and computer program
JP2015103960A (en) Method, program and apparatus for specifying image depth
JP5459231B2 (en) Pseudo stereoscopic image generation apparatus, pseudo stereoscopic image generation program, and pseudo stereoscopic image display apparatus
Ryu et al. 47‐2: Monocular Depth Perception Enhancement Based on Joint Shading/Contrast Model and Motion Parallax (JSM)
JP5782761B2 (en) Parallax image generation device, parallax image generation method, program, and storage medium
TWI463434B (en) Image processing method for forming three-dimensional image from two-dimensional image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150306

LAPS Cancellation because of no payment of annual fees