JP5243833B2 - Image signal processing circuit, an image display device, and an image signal processing method - Google Patents

Image signal processing circuit, an image display device, and an image signal processing method Download PDF

Info

Publication number
JP5243833B2
JP5243833B2 JP2008097714A JP2008097714A JP5243833B2 JP 5243833 B2 JP5243833 B2 JP 5243833B2 JP 2008097714 A JP2008097714 A JP 2008097714A JP 2008097714 A JP2008097714 A JP 2008097714A JP 5243833 B2 JP5243833 B2 JP 5243833B2
Authority
JP
Japan
Prior art keywords
image
processing
type
depth
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008097714A
Other languages
Japanese (ja)
Other versions
JP2009251839A (en
Inventor
浩司 永田
昌広 影山
茂喜 長屋
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2008097714A priority Critical patent/JP5243833B2/en
Publication of JP2009251839A publication Critical patent/JP2009251839A/en
Application granted granted Critical
Publication of JP5243833B2 publication Critical patent/JP5243833B2/en
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像を高解像度化するとともに、立体感や遠近感を効果的に作用させる技術に関する。 The invention, together with the resolution of the image, to effectively technique for applying a three-dimensional appearance and perspective.

最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体等から入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。 Recent television receivers and progressed larger screen, broadcasting and communication, it is common that the image signal input from the storage medium or the like, displayed to increase the number of pixels in the horizontal and vertical directions by the digital signal processing it is common practice to. この際、一般的に知られているsinc関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは解像度を上げることはできない。 At this time, only increasing the number of pixels by such commonly known interpolation low-pass filter using sinc function or spline function can not increase the resolution. 従来の高解像度化技術には、入力された複数の画像フレーム(以降、フレームと略記する)を合成して1枚のフレームとすることにより、高解像度化しながら画素数を増やす技術が開示されている(例えば、特許文献1、非特許文献1参照)。 The existing resolution enhancement technique, a plurality of image frames inputted (hereinafter, abbreviated to a frame) to the one frame by synthesizing, a technique of increasing the number of pixels is disclosed with high resolution are (for example, refer to Patent Document 1, non-Patent Document 1).

特許文献1および非特許文献1に記載されている高解像度化技術(従来方式)では、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理により高解像度化を行う。 In the high-resolution technique disclosed in Patent Document 1 and Non-Patent Document 1 (conventional method), the (1) position estimate, (2) broadband interpolation, (3) high resolution by a weighted sum, three processes do. ここで、(1)位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。 Here, (1) position estimate, using the image data of a plurality of image frames inputted, and estimates the difference in the sampling phase of each image data (sampling position). (2)広帯域補間は、原信号に含まれる折返し成分である高周波成分を全て透過する帯域の広いローパスフィルタを用いて補間して、各画像データの画素数(サンプリング点)を増やし、画像データの画素数を高解像度化するものである。 (2) broadband interpolation, and interpolation using wideband low-pass filter for transmitting all of the high-frequency component is aliasing components included in the original signal, increasing the number of pixels of each image data (sampling points), the image data in which the resolution of the number of pixels. (3)加重和は、各高解像度化された画像データに対して、サンプリング位相に応じた重み係数を加味して加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、原信号の高周波成分を復元するものである。 (3) removing weighted sum, for each high resolution image data, by taking a weighted sum by adding a weight coefficient corresponding to the sampling phase, by canceling the aliasing components generated when the pixel sampling as well as, it is to restore high-frequency components of the original signal.
前記した従来方式(以降、超解像処理という)によれば、表示画像の解像度を高くすることが可能である。 Wherein the conventional method (hereinafter, referred to as super-resolution processing) According to, it is possible to increase the resolution of the display image.

図13は、超解像処理の手順を説明する図である。 Figure 13 is a diagram for explaining the procedure of the super-resolution processing. 図13(a)は処理対象となる元画像を示す図であり、(b)は元画像の空間周波数スペクトルを示す図であり、(c)は超解像処理をした後の処理後画像を示す図であり、(d)は処理後画像の空間周波数スペクトルを示す図である。 13 (a) is a diagram showing an original image to be processed, the (b) is a diagram showing the spatial frequency spectrum of the original image, (c) the processed image after the super-resolution processing is a diagram illustrating a diagram illustrating a spatial frequency spectrum of (d) are processed image.
図13(a)に示す元画像1001は、(横)Nx×(縦)Nyの画素数によって構成されている。 Figure 13 (a) to show the original image 1001 is composed of a (horizontal) Nx × (vertical) Ny number of pixels. 元画像1001は、撮像系または表示系のサンプリング周波数の2分の1の周波数fの帯域幅を有した画像として表示できることになる。 Original image 1001 would be displayed as an image having a bandwidth of half the first frequency f of the sampling frequency of the imaging system or display system. したがって、元画像1001の空間周波数スペクトルは、図13(b)に示すように、周波数fよりも高い周波成分が、折り返し成分として混入したものとなる。 Therefore, the spatial frequency spectrum of the original image 1001, as shown in FIG. 13 (b), a high frequency component than the frequency f becomes as those incorporated as aliasing components.
超解像処理は、単一または複数の画像を用いて折り返し成分(高周波成分)を復元することによって、表示される画像の周波数帯域幅を広める。 Super-resolution processing, by restoring the aliasing component (high frequency component) using a single or multiple images, spread frequency bandwidth of the image displayed. その結果、図13(c)に示す様に、(横)2Nx×(縦)2Nyの画素数の処理後画像1002(高解像度化画像)が得られる。 As a result, as shown in FIG. 13 (c), it is (horizontal) 2NX × post (vertical) 2ny number of pixels of the processed image 1002 (high resolution image) is obtained. この処理後画像1002の空間周波数スペクトルは、図13(d)に示すように、元画像1001の2倍の帯域幅2fを有する。 The spatial frequency spectrum of the processed image 1002, as shown in FIG. 13 (d), with twice the bandwidth 2f of the original image 1001.
したがって、超解像処理では、表示画像の解像度を高くすることが可能となる。 Thus, in the super-resolution process, it is possible to increase the resolution of the display image.
特開平9−69755号公報 JP 9-69755 discloses

しかしながら、前記超解像処理により画像を高解像度化した場合、元画像に含まれていたぼやけが低減されてしまうため、高解像度化した画像では立体感や遠近感の低下をまねくという問題が発生する。 However, the case where the high resolution image by super-resolution processing, because the blurred contained in the original image from being reduced, a problem that a high resolution image lowers the stereoscopic effect and perspective is generated to.
本発明は、以上のような問題に鑑みてなされたものであり、前記超解像処理による画像の高解像度化と、立体感や遠近感を効果的に作用させることとを両立する技術を提供することを目的とする。 The present invention has been made in view of the above problems, provides a high resolution of an image by super-resolution processing, a technique to achieve both be effectively act stereoscopic feeling and perspective an object of the present invention is to.

前記した課題を解決するために、本発明は、画像中の被写体の奥行きに係る被写体距離に応じて分割して設けた複数の区間と、その区間と画像処理の種類とを関連付けた奥行き情報が記憶される記憶部を備え、入力画像中の被写体の被写体距離を算出し、前記記憶部を参照して、前記算出した前記被写体距離が属する前記区間を特定し、さらに、その特定した前記区間に関連付けられている前記画像処理の種類を特定し、前記特定した種類の前記画像処理を用いて、前記入力画像に対して演算処理を行って処理画像を出力する画像信号処理回路であって、前記画像処理の種類が、少なくとも、前記入力画像の単一フレームまたは複数フレームを用いた合成画像から、空間周波数スペクトルの折り返し成分を復元し空間周波数帯域幅を広げると To solve the problems described above, the present invention includes a plurality of sections provided by dividing in accordance with the subject distance according to the depth of the object in the image, the depth information associated with the type of the section and image processing a storage unit to be stored, to calculate a subject distance of a subject in the input image, by referring to the storage unit to identify the section in which the subject distance and the calculated belongs, further, to the identified the section identifies the type of the image processing associated, using said identified type of the image processing, an image signal processing circuit for outputting a processed image by performing arithmetic processing on the input image, the type of image processing is at least, from the composite image using a single frame or multiple frames of the input image, when widening the spatial frequency bandwidth restoring the aliasing components of the spatial frequency spectrum もに画素数を水平方向と垂直方向に対して増加する解像度変換処理、空間周波数帯域幅を変えることなく画素数を増やす画素数変化処理および前記入力画像の一部の画素信号を強調するまたは隣り合う画素間の画素値の差を少なくする空間周波数特性変化処理、のいずれか一つまたは二以上の組み合わせであり、前記入力画像中の被写体の被写体距離の算出を、前記入力画像の画面を複数に分割した微小領域ごとに行う際に、前記画像処理の種類として設定された全ての画像処理を用いて前記入力画像に対して演算処理を行って、全ての前記画像処理の種類に対応する前記微小領域の処理画像を求め、前記微小領域ごとに算出された前記被写体距離が属する前記区間を特定し、さらに、その特定した前記区間に関連付けられている前記画像 Resolution conversion process of increasing the monitor number of pixels in the horizontal direction and the vertical direction, adjacent or emphasize a portion of the pixel signals of the pixel number changing process and the input image to increase the number of pixels without changing the spatial frequency bandwidth match the spatial frequency characteristic change process to reduce the difference in pixel value between pixels, is any one or more combinations of the calculation of the subject distance of the subject in the input image, a plurality of screens of the input image when performed for each divided small region in the performing arithmetic processing on the input image using any image processing that has been set as the type of image processing, corresponding to the type of all of the image processing the seeking process image of the minute region, the micro the subject distance calculated to identify the section belonging to each area, further, the image associated with the identified the section 理の種類を特定し、前記特定した前記画像処理の種類に対応する前記微小領域の処理画像を取得して、前記処理画像の画面を構成して出力し、前記被写体距離が小さい前記区間に対して、前記処理画像の解像度を前記入力画像の解像度よりも高くする前記解像度変換処理または前記解像度変換処理とエッジを強調する前記空間周波数特性変化処理との組み合わせを関連付け、前記被写体距離が大きい前記区間に対して、前記画素数変化処理または前記画素数変化処理と解像度を低くするに従って空間周波数帯域幅を狭くする前記空間周波数特性変化処理との組み合わせを関連付けることを特徴とする。 Identify physical type, to obtain the processed image of the micro regions corresponding to the type of the image processing described above identified, and outputs the configuration screen of said processed image, with respect to the object distance is smaller the section Te, associates a combination of the resolution converting process or emphasizing the resolution conversion processing and edge the spatial frequency characteristic change processing higher than the resolution of the processed image resolution of the input image, is large the object distance with respect to the section, and wherein the associating the combination of the spatial frequency characteristic change processing for narrowing the spatial frequency bandwidth according to lower the number of pixels changing process or the number of pixels changing process and resolution.

本発明によれば、画像の高解像度化と、立体感や遠近感を効果的に作用させることとを両立することができる。 According to the present invention, it is possible to achieve both high resolution images, and thereby effectively act stereoscopic feeling and perspective.

《超解像処理における高解像度化とぼやけとの関係》 "Relationship between blur and higher resolution in the super-resolution processing"
初めに、超解像処理によって画像を高解像度化した場合に、元の画像に含まれていたぼやけが低減してしまうことを、図14を用いて説明する。 First, when high-resolution images by super-resolution processing, that blurred contained in the original image will be reduced, will be described with reference to FIG. 14. 図14(a)は、元画像に含まれるぼやけを示す図であり、(b)は高解像度化した処理後画像に含まれるぼやけを示す図であり、(c)は元画像および従来方式画像において知覚される奥行きを示す図である。 14 (a) is a diagram illustrating a blur contained in the original image, (b) is a diagram illustrating a blur contained in the high resolution the processed image, (c) the original image and conventional scheme image is a diagram illustrating the depth perceived in.

図14(a)に示した元画像1001は、山の遠景を背景として人物が撮影された画像である。 Figure 14 (a) original image 1001 shown in is an image person is photographed mountains in the distance as a background. 人物は、手前側に位置し、撮像系の被写界深度内にあって、焦点が合っているとみなせる状態となる。 People are located on the front side, there in the depth of field of the imaging system, a state which can be regarded as in focus. したがって、背景の微小領域1101のぼやけを表す量(ぼやけ量)1102の大きさは、人物の(人物を含む)微小領域1103のぼやけ量1104より大きくなる。 Thus, the magnitude of the amount (blurring amount) 1102 representing the blur in the small region 1101 of the background (including a person) of the person is larger than the blur amount 1104 of the micro-region 1103. ここで、ぼやけ量とは、被写体上の点が表示画像上でどの程度広がるか(点広がり)を示す量とする。 Here, the blur amount, the amount indicated whether a point on the object spreads extent on the display image (point spread).
すなわち、人物の微小領域1103のぼやけ量1104は、小さな点広がりとなる。 That is, blurring amount 1104 of a person very small region 1103 is a small point spread. これに対して、背景となる山の遠景では、撮像系の被写界深度が有限であるため、焦点が大きくずれている。 In contrast, in the distant view mountain as a background, since the depth of field of the imaging system is finite, the focus is shifted greatly. したがって、遠景の微小領域1101のぼやけ量1102は大きな点広がりとなる。 Thus, blurred amount 1102 of the distant view of the micro region 1101 it becomes a large point spread.

図14(b)は、超解像処理後の処理後画像のぼやけ量を示している。 FIG. 14 (b) shows the amount blur processed image after super-resolution processing. 人物の微小領域1203のぼやけ量1204および背景の微小領域1201のぼやけ量1202は、超解像処理による高解像度化によって、元画像1001の場合よりも低減する。 Blur amount 1202 of blur amount 1204 and the background of the micro-region 1201 of a person very small region 1203, by a high resolution by super-resolution processing is reduced than the case of the original image 1001. したがって、それぞれのぼやけ量1204および1202は、元画像1001の場合に比べて、点広がりが減少する。 Accordingly, each of the blur amount 1204 and 1202, as compared with the case of the original image 1001, the point spread is reduced.

図14(c)は、横軸に同じ絵柄を含む微小領域の並びを表し、縦軸(左側)にぼやけ量を表し、縦軸(右側)に知覚される奥行きを表している。 FIG. 14 (c) represents a sequence of small area including the same pattern on the horizontal axis represents the amount of blur in the vertical axis (left side) represents the depth perceived on the vertical axis (right side). すなわち、横軸は、元画像1001の微小領域のぼやけ量1102と、処理後画像1002の微小領域のぼやけ量1202とを比較するため、同じ絵柄に相当する微小領域を並べたものである。 In other words, the horizontal axis, the blur amount 1102 of the minute area of ​​the original image 1001, for comparing the blur amount 1202 of the minute area of ​​the processed image 1002 is obtained by arranging a small region corresponding to the same pattern. そして、縦軸は、ぼやけ量の大きさが被写体までの距離に依存するので、ぼやけ量と立体感や遠近感(知覚される奥行き)との両方で示している。 The vertical axis represents the blur amount of the size is indicated by both because it depends on the distance to the object, blurring amount and the three-dimensional appearance and perspective (the depth to be perceived).
図14(c)に示す実線1301は元画像1001の特性であり、破線1302は従来方式画像の特性(処理後画像1002の特性)である。 The solid line 1301 shown in FIG. 14 (c) is a characteristic of the original image 1001, a broken line 1302 shows the characteristic of the conventional system image (characteristic of the processed image 1002). 図14(c)に示すように、破線1302のぼやけ量は、実線1301のぼやけ量に比べて、超解像処理によって全域で小さくなる。 As shown in FIG. 14 (c), the amount blur dashed 1302, compared to the amount blur of solid 1301, reduced across the super-resolution processing. そのため、元画像1001と処理後画像1002とにおいて同じ絵柄を含む微小領域についてぼやけ量を比較した場合、それぞれG点1303とH点1304となり、処理後画像1002によって知覚される奥行きは、元画像1001によって知覚される奥行きよりも狭くなる。 Therefore, when comparing the amount of blur for small area including the same pattern in the original image 1001 processed image 1002., next to G point 1303 and point H 1304, respectively, the depth perceived by the processed image 1002, the original image 1001 It is narrower than the depth that is perceived by.

次に、本発明を実施するための最良の形態(以降、「実施形態」という)について、適宜図面を用いながら詳細に説明する。 Next, the best mode for carrying out the present invention (hereinafter, referred to as "embodiment") will be described in detail with reference to the drawings.

《第1実施形態》 "The first embodiment"
まず、知覚される奥行き(奥行き感)を制御する処理機能の概要について、図1を用いて説明する。 First, the outline of the processing function of controlling the perceived depth (depth feeling) will be described with reference to FIG. 図1(a)は、従来の処理機能の概要を示す図であり、(b)は本発明の処理機能の概要を示す図である。 1 (a) is a diagram showing an outline of a conventional processing function is a diagram showing an outline of (b) the processing functions of the present invention.
図1(a)に示すように、従来の処理では、画像入力101に対して画像処理102を行い、その結果を画像表示103を行う処理系において、超解像処理方式104(前記した超解像処理)が用いられていた。 As shown in FIG. 1 (a), in the conventional process, performs image processing 102 to the image input 101, the processing system for displaying an image 103 results, super-resolution was super-resolution processing method 104 (the image processing) has been used.

次に、本発明の処理では、図1(b)に示すように、画像処理102aが、超解像処理方式104(解像度変換処理)を含む複数の方式(画素数拡大処理方式121(画素数変化処理)、エッジ強調処理方式122(空間周波数特性変化処理)、平滑化処理方式123(空間周波数特性変化処理)等)を備える。 Next, in the process of the present invention, as shown in FIG. 1 (b), the image processing 102a is, the super-resolution processing method 104 (resolution conversion process) multiple methods (number of pixels larger processing scheme 121 (the number of pixels including change processing), edge enhancement processing method 122 (spatial frequency characteristic change processing), and a smoothing processing method 123 (spatial frequency characteristic change processing), or the like). そして、画像入力101に対して、その画像の奥行き情報を解析する奥行き情報解析124が設けられる。 Then, the image input 101, the depth information analysis 124 is provided to analyze the depth information of the image. 奥行き情報解析124からの出力である「方法の指定」125が画像処理102aに入力される。 Is the output from the depth information analysis 124 "specifies how" 125 are input to the image processing 102a. 画像処理102aは、方法の指定125にしたがって、画像処理102aに設けられた方式を適宜選択・組み合わせて画像処理を行う。 Image processing 102a, as specified 125 method, performs image processing appropriate combination selected and the method provided in the image processing 102a. その画像処理の結果が、画像表示103によって表示される。 The image processing result is displayed by an image display 103.
奥行き情報解析124における解析処理のパラメータ設定は、画質設定126や処理設定127によって変更可能である。 Parameter setting of analysis in the depth information analysis 124 can be changed by the image quality setting 126 and processing set 127.
画質設定126は、奥行き感をどれだけ強調するかを設定する機能を有する。 Image quality setting 126, has a function of setting whether to emphasize how much the sense of depth. すなわち、画質設定126は、エッジ強調の度合いや平滑化の度合いを設定する機能を有する。 That is, the image quality setting 126 has a function of setting a degree of degree and smoothing the edge enhancement.
処理設定127は、方式の処理パラメータを設定する機能を有する。 Processing setting 127 has a function of setting the processing parameters of the system. なお、処理設定127の詳細については、後記する。 The details of the processing set 127, described later.

ここで、画像処理102aにおいて用いられる、画素数拡大処理方式121、エッジ強調処理方式122、および平滑化処理方式123について、以下に説明する。 Here, used in an image processing 102a, the number of pixel expansion processing scheme 121, an edge enhancement processing method 122, and the smoothing processing method 123 will be described below.
画素数拡大処理方式121は、ほとんど解像度変化を伴わない方式であって、例えば、画素間の直線補間や非線形補間などの補間によって画素数の増加が行われる。 Number enlargement processing scheme 121 pixels, a method with little resolution change, for example, an increase in the number of pixels is performed by interpolation, such as linear interpolation or nonlinear interpolation between pixels. したがって、画素数拡大処理方式121を用いた場合、処理後画像1002(図14(b)参照)の空間周波数帯域幅は、元画像1001の空間周波数帯域幅に対して、ほとんど変化しない。 Therefore, when a pixel number expansion processing scheme 121, the spatial frequency bandwidth of the processed image 1002 (see FIG. 14 (b)), to the spatial frequency bandwidth of the original image 1001, hardly changed.
エッジ強調処理方式122は、隣り合う画素間の画素値(例えば、(輝度、色差)あるいはRGB等)の差を強調する方式である。 Edge enhancement system 122, pixel values ​​between adjacent pixels (e.g., (luminance, color difference) or RGB etc.) emphasize scheme difference. 例えば、エッジ強調処理方式122は、輪郭を強調することが可能となる。 For example, edge enhancement system 122, it is possible to enhance the outline.
平滑化処理方式123は、隣り合う画素間の画素値の差を小さくする方式である。 Smoothing processing method 123 is a method to reduce the difference in pixel value between adjacent pixels. 例えば、平滑化処理方式123は、輪郭をぼかすことが可能となる。 For example, the smoothing processing method 123, it is possible to blur the contours. すなわち、平滑化処理方式123は、処理後画像1002の空間周波数帯域幅を、元画像1001の空間周波数帯域幅より狭くすることが可能となる。 That is, smoothing processing system 123, the spatial frequency bandwidth of the processed image 1002, it is possible to narrower than the spatial frequency bandwidth of the original image 1001.

次に、奥行き情報解析124における、解像度(処理)と奥行き感すなわち奥行き距離(推定)との関係を、図2を用いて説明する。 Then, in the depth information analysis 124, the relationship between the resolution (processing) and sense of depth i.e. the depth distance (estimation) will be described with reference to FIG. 図2は、解像度(処理)と奥行き距離(推定)との関係の一例を示す図である。 Figure 2 is a diagram showing an example of the relationship between resolution (processing) and depth distance (estimated).
人間の知覚特性によれば、解像度(処理)と奥行き距離(推定)との関係は、領域140に示したように、奥行き距離(推定)が大きくなるにしたがって、解像度(処理)が低くてもよいという傾向にある。 According to human perception characteristics, the relationship between the resolution (processing) and depth distance (estimation), as shown in region 140, according to the depth distance (estimated) increases, even if the resolution (processing) is low there is a tendency that good. この理由は、図14(c)に示したように、ぼやけ量が大きい場合には知覚される奥行きが遠く感じられるためである。 This is because, as shown in FIG. 14 (c), when the amount of blurring is large because the felt distant depth perceived. そして、ぼやけ量がある程度大きな画像領域に対しては、超解像処理を行うのではなく、ぼやけ量が改善されないような方式(例えば、画素数拡大処理方式121や平滑化処理方式123)を用いた方が良いことになる。 Use and, for the amount of blurring relatively large image regions, instead of performing a super-resolution processing, blur such amount does not improve scheme (e.g., the number of pixel expansion processing method 121 and the smoothing processing method 123) If you had it is a good thing.

次に、奥行き情報解析124の出力である方式の指定125について、図3,図4を用いて説明する。 Next, the specification method 125 is the output of the depth information analysis 124, Fig. 3 will be described with reference to FIG. 図3は、「奥行き距離小」の方式の指定の場合の方式選択の一例を示す図である。 Figure 3 is a diagram showing an example of a method selection in the case of the method for specifying "depth distance small." 図4は、「奥行き距離大」の方式の指定の場合の方式選択の一例を示す図である。 Figure 4 is a diagram showing an example of a method selection in the case of the method for specifying "depth distance large".
図3では、奥行き情報解析124が、画像入力101の中の微小領域について、奥行き距離が小と判断した場合を示している。 In Figure 3, the depth information analysis 124, the minute regions in the image input 101 shows a case where the depth distance is determined as small. その奥行き情報解析124の結果から、方式の指定125aは、超解像処理を選択する情報となる。 The results of the depth information analysis 124, designated 125a scheme is information for selecting the super-resolution processing. これにより、画像入力101は超解像処理104によって高解像度化されて、その高解像度化された画像が画像表示103によって表示される。 Thus, the image input 101 is a high resolution by the super-resolution processing 104, the high resolution image is displayed by an image display 103.

図4では、奥行き情報解析124が、画像入力101の中の微小領域について、奥行き距離が大と判断された場合を示している。 In Figure 4, the depth information analysis 124, the minute regions in the image input 101 shows a case where the depth distance is determined to a large. その奥行き情報解析124の結果から、方式の指定125bは、画素数拡大処理方式121によって処理した後に、平滑化処理方式123によって処理することを選択する情報となる。 The results of the depth information analysis 124, designated 125b scheme, after processing by the pixel number larger processing scheme 121, the information for selecting be processed by smoothing processing system 123. これにより、画像入力101は画素数拡大処理方式121によって画素数が増やされ、その後平滑化処理方式によって平滑化されて、その処理された画像が画像表示103によって表示される。 Thus, the image input 101 is the number of pixels is increased by the number of pixels larger processing scheme 121, is smoothed by subsequent smoothing processing method, the processed image is displayed by an image display 103.

次に、奥行き情報解析124の詳細な処理機能について、図5を用いて説明する。 Next, the detailed processing function of the depth information analysis 124, will be described with reference to FIG. 図5(a)は、奥行き情報解析において、焦点ぼやけ量推定を用いた場合の処理機能の一例を示す図であり、(b)は、奥行き情報解析において、空間周波数分析を用いた場合の処理機能の一例を示す図であり、(c)は、奥行き情報解析において、奥行き距離推定を用いた場合の処理機能の一例を示す図である。 5 (a) is in the depth information analysis, a diagram showing an example of the processing functions in the case of using the focus blur estimation, (b), in the depth information analysis processing in the case of using the spatial frequency analysis is a diagram showing an example of a function, (c), in the depth information analysis, a diagram illustrating an example of processing functions in the case of using the depth distance estimation.

奥行き情報解析124aは、図5(a)に示すように、画像の入力を受け付けて、領域分割141、焦点ぼやけ量推定142、奥行き量閾値処理143、処理割り当て144の順に処理を実行し、方式の指定情報を出力する。 Depth information analysis 124a, as shown in FIG. 5 (a), receives an input image, area division 141, focus blur estimation 142, the depth amount threshold processing 143 executes processing in the order of processing assignment 144, method and outputs the specified information.
領域分割141は、入力された画像情報を、画面上の微小領域に分割する機能を有する。 Segmentation 141 has a function of dividing the image information input, a minute area on the screen. 微小領域とは、縦および横に隣り合う画素の並びの幅を有する領域のことであって、例えば、後記する図6(a)に示す(横)dx×(縦)dyの矩形領域のことである。 The small region, the method comprising: a region having a width of arrangement of pixels adjacent in vertical and horizontal, for example, to indicate (horizontal) dx × (vertical) that the rectangular region of dy 6 to be described later (a) it is. なお、この微小領域のサイズは、処理設定127によって設定される。 The size of the small region is set by the process setting 127.
そして、微小領域ごとに、焦点ぼやけ量推定142、奥行き量閾値処理143、処理割り当て144の各処理が行われる。 Then, for each small area, focus blur estimation 142, the depth amount threshold processing 143, the processing of the processing allocation 144 is performed.

焦点ぼやけ量推定142は、カメラレンズの焦点ぼやけ量を推定し、その推定結果から奥行き距離を推定する機能を有する。 Focus blur estimation 142 has a function to estimate the focus blur of a camera lens, to estimate the depth distance from the estimation result. なお、焦点ぼやけ量の推定は、例えば、微小領域内の画素値または微小領域を含むその周辺の画素値も含めた相関の大きさに基づいて行われる。 Incidentally, the estimation of the focus blur amount is performed based on the magnitude of the correlation, including the pixel values ​​of neighboring pixels including the pixel value or small area of ​​the small region.
奥行き量閾値処理143は、推定した奥行き距離の長さの閾値を設定する機能を有する。 Depth amount threshold processing 143 has a function of setting a threshold value of the length of the estimated depth distance. この閾値は、推定した奥行き距離の長さに応じて、処理に用いる方式を決定するときの比較基準として用いられる。 This threshold, depending on the length of the estimated depth distance is used as a comparison reference when determining the method to be used for processing. なお、この閾値は、画質設定126によって、可変にされるものとする。 Note that this threshold value, the image quality setting 126, shall be variable.
処理割り当て144は、推定された奥行き距離の長さと、奥行き量閾値処理143によって設定された閾値とを比較判定し、ある閾値間の範囲内であればどの方式を用いるかを決定する機能を有する。 Processing assignment 144 has a length of the estimated depth distance, the function of comparing determines the threshold set by the amount of depth thresholding 143, to determine whether use of which method as long as it is within the range between a threshold .

なお、前記した焦点ぼやけ量推定142では、焦点ぼやけ量から奥行き距離を推定していたが、焦点ぼやけ量を推定する(焦点ぼやけ量分析)機能だけであっても良い。 In focus blur estimation 142 described above, had been estimated depth distance from the focus blur amount, to estimate the focus blur amount may be only (focus blur weight analysis) function. その場合、奥行き量閾値処理143は、推定した焦点ぼやけ量の大きさの閾値を設定する機能を有するものとする。 In that case, the depth amount threshold processing 143 is assumed to have a function of setting a threshold value of the focus blur amount of a magnitude estimation.

奥行き情報解析124bは、図5(b)に示すように、画像の入力を受け付けて、領域分割151、空間周波数分析152、奥行き量閾値処理153、処理割り当て154の順に処理を実行し、方式の指定情報を出力する。 Depth information analysis 124b, as shown in FIG. 5 (b), receives an input image, area division 151, the spatial frequency analysis 152, the depth amount threshold processing 153 executes processing in the order of processing assignment 154, method and outputs the specified information.
領域分割151は、前記した領域分割141と同様に、入力された画像情報を、画像上の微小領域に分割する機能を有する。 Segmentation 151, like the region division 141 described above has a function of dividing the image information input, the minute region on the image. ただし、領域分割141において用いた微小領域のサイズとは異なっても良い。 However, it may be different from the size of a small region used in region segmentation 141. なお、この微小領域のサイズは、処理設定127によって設定される。 The size of the small region is set by the process setting 127.
そして、微小領域ごとに、空間周波数分析152、奥行き量閾値処理153、処理割り当て154の各処理が行われる。 Then, for each minute region, the spatial frequency analysis 152, the depth amount threshold processing 153, the processing of the processing allocation 154 is performed.

空間周波数分析152は、空間周波数帯域幅を求めて、その結果から奥行き距離を推定する機能を有する。 Spatial frequency analysis 152, seeking spatial frequency bandwidth has a function of estimating the depth distance from the result. なお、空間周波数帯域幅から奥行き距離を推定可能な根拠は、カメラレンズの被写界深度が有限であるので、被写体画像の空間周波数帯域幅は被写体までの距離に依存することに基づく。 Incidentally, the possible estimates grounds depth distance from the spatial frequency bandwidth, since the depth of field of the camera lens is finite, spatial frequency bandwidth of the subject image based on the fact that dependent on the distance to the object. つまり、遠くのものはぼやけて空間周波数帯域幅が狭く、近いものはぼやけが少なく空間周波数帯域幅が広くなる。 That is, the spatial frequency bandwidth blurred distant objects is narrow, less spatial frequency bandwidth blurring widens close. この関係に基づいて、微小領域毎に奥行き距離を推定するものである。 Based on this relationship, and estimates the depth distance for each minute region.
奥行き量閾値処理153は、推定した奥行き距離の長さの閾値を設定する機能を有する。 Depth amount threshold processing 153 has a function of setting a threshold value of the length of the estimated depth distance. この閾値は、推定した奥行き距離の長さに応じて、処理に用いる方式を決定するときの比較基準として用いられる。 This threshold, depending on the length of the estimated depth distance is used as a comparison reference when determining the method to be used for processing. なお、この閾値は、画質設定126によって、可変にされるものとする。 Note that this threshold value, the image quality setting 126, shall be variable. また、この閾値は、前記した奥行き量閾値処理143による設定とは異なっていても良い。 Further, the threshold may be different from the setting by the amount of depth threshold processing 143 described above.
処理割り当て154は、推定された奥行き距離の長さと、奥行き量閾値処理153によって設定された閾値とを比較判定し、ある閾値間の範囲内であればどの方式を用いるかを決定する機能を有する。 Processing assignment 154 has a length of the estimated depth distance, the function of comparing determines the threshold set by the amount of depth thresholding 153, to determine whether use of which method as long as it is within the range between a threshold .

なお、前記した空間周波数分析152では、空間周波数帯域幅から奥行き距離を推定していたが、空間周波数帯域幅を算出する機能だけであっても良い。 In the spatial frequency analysis 152 described above, it had been estimated depth distance from the spatial frequency bandwidth may be only the function to calculate a spatial frequency bandwidth. その場合、奥行き量閾値処理153は、算出した空間周波数帯域幅の大きさの閾値を設定する機能を有するものとする。 In that case, the depth amount threshold processing 153 is assumed to have a function of setting a threshold value of the magnitude of the calculated spatial frequency bandwidth.

奥行き情報解析124cは、図5(c)に示すように、画像の入力を受け付けて、領域分割161、奥行き距離推定162、奥行き量閾値処理163、処理割り当て164の順に処理を実行し、方式の指定情報を出力する。 Depth information analysis 124c, as shown in FIG. 5 (c), receives an input image, area division 161, the depth distance estimation 162, the depth quantity threshold processing 163 executes processing in the order of processing assignment 164, method and outputs the specified information.
領域分割161は、前記した領域分割141,151と同様に、入力された画像情報を、画像上の微小領域に分割する機能を有する。 Segmentation 161, similar to the region division 141, 151 described above, has a function of dividing the image information input, the minute region on the image. ただし、領域分割141,151において用いた微小領域のサイズとは異なっても良い。 However, it may be different from the size of a small region used in region segmentation 141 and 151. なお、この微小領域のサイズは、処理設定127によって設定される。 The size of the small region is set by the process setting 127.
そして、微小領域ごとに、奥行き距離推定162、奥行き量閾値処理163、処理割り当て164の各処理が行われる。 Then, for each small region, the depth distance estimation 162, the depth quantity threshold processing 163, the processing of the processing allocation 164 is performed.

奥行き距離推定162は、奥行き距離を推定する機能を有する。 Depth distance estimation 162 has a function of estimating the depth distance. 奥行き距離推定162は、焦点ぼやけ量推定142(図5(a)参照)によって推定される奥行き距離と、空間周波数分析152(図5(b)参照)によって推定される奥行き距離とをそれぞれ算出し、双方に重みを加味して重み付き奥行き距離を算出する。 Depth distance estimation 162 calculates the depth distance estimated by the focal blur amount estimation 142 (see FIG. 5 (a)), and a depth distance estimated by the spatial frequency analysis 152 (see FIG. 5 (b)), respectively , and it calculates the weighted depth distance by adding a weight to both.
奥行き量閾値処理163は、重み付き奥行き距離の長さの閾値を設定する機能を有する。 Depth amount threshold processing 163 has a function of setting a threshold value of the length of the weighted depth distance. この閾値は、重み付き奥行き距離の長さに応じて、処理に用いる方式を決定するときの比較基準として用いられる。 This threshold, depending on the length of the weighted depth distance is used as a comparison reference when determining the method to be used for processing. なお、この閾値は、画質設定126によって、可変にされるものとする。 Note that this threshold value, the image quality setting 126, shall be variable. また、この閾値は、前記した奥行き量閾値処理143,153による設定とは異なっていても良い。 Further, the threshold may be different from the setting by the amount of depth threshold processing 143, 153 described above.
処理割り当て164は、重み付き奥行き距離の長さと、奥行き量閾値処理163によって設定された閾値とを比較判定し、ある閾値間の範囲内であればどの方式を用いるかを決定する機能を有する。 Processing assignment 164 has a length of weighted depth distance, the function of comparing determines the threshold set by the amount of depth threshold processing 163, to determine whether use of which method as long as it is within the range between a threshold.

次に、第1実施形態における処理の流れについて、図6,図7を用いて説明する。 Next, the flow of processing in the first embodiment, FIG. 6, will be described with reference to FIG. 図6(a)は、微小領域の一例を示す図であり、(b)は、微小領域のぼやけ量の一例を示す図であり、(c)は、ぼやけ量と奥行き距離推定値との関係の一例を示す図である。 6 (a) is a diagram showing an example of a small area, the (b) is a diagram showing an example of a blur amount of the minute region, (c), the blur amount and the relationship between the depth distance estimate is a diagram illustrating an example of a. 図7(a)は、奥行き距離推定値と奥行き量閾値との関係を表す一例を示す図であり、(b)は、奥行き量閾値と処理方式とを関連付ける処理方式割当テーブルの一例を示す図である。 7 (a) is a diagram showing an example showing the relationship between the depth distance estimate and the amount of depth threshold, (b) is a diagram showing an example of a processing method assignment table correlating the processing method to the depth amount threshold value it is.

図6(a)には、処理対象となる元画像201が示されている。 In FIG. 6 (a), the original image 201 to be processed is shown. そして、元画像201の画面は、複数の微小領域202に分割される。 Then, the screen of the original image 201 is divided into a plurality of small regions 202. この処理は、図5(a)に示した領域分割141によって行われる。 This processing is performed by the area dividing 141 shown in Figure 5 (a).
微小領域202のサイズは、(横)dx×(縦)dyであり、前記した処理設定127(図5参照)によって決定される。 The size of the minute domains 202 is determined by the (horizontal) and dx × (vertical) dy, wherein the processing set 127 (see FIG. 5). また、微小領域202のサイズは、元画像201全体の縦横の画素数、元画像201の空間周波数帯域幅、画像処理後の画質および実装したときの演算処理速度等との兼ね合いで、決められる。 The size of the minute area 202, the number of pixels based on the image 201 overall aspect, the spatial frequency bandwidth of the original image 201, in view of the processing speed and the like when the image quality and implementation of the after image processing are determined.

図6(b)は、微小領域202ごとに、ぼやけ量(焦点ぼやけ量)Brxyを演算して推定することを示している。 6 (b) is, for each minute area 202, blur amount indicates that the estimated by calculating (focus blur amount) Brxy. 図6(c)において、データの範囲211は、予め、ぼやけ量Brxyと既知の奥行き距離との関係を求めてプロットしたデータを示している。 In FIG. 6 (c), the range 211 of the data in advance, shows data plotted seeking relationship blur amount Brxy and the known depth distance. また、予測関数210は、データの範囲211のデータを用いて、回帰分析や最小二乗法等によって導出された傾向を示している。 Further, the prediction function 210 uses the data of the range of the data 211 shows the trend derived by regression analysis, least squares method or the like. そして、ぼやけ量Brxy(図6(b)参照)が算出されると、予測関数210を用いて、奥行き距離推定値(d)を算出(推定)することが可能となる。 When the blur amount Brxy (see FIG. 6 (b)) is calculated, using the prediction function 210, it becomes possible depth distance estimate (d) is calculated (estimated). なお、予測関数210は、図6(c)では、直線として表されているが、高次の曲線であっても良い。 Incidentally, the prediction function 210 in FIG. 6 (c), the are represented as a straight line, it may be a higher order curve. この予測関数210は、数式でも、テーブルであっても構わない。 The prediction function 210 also in a formula, it may be a table.
なお、図6(b)および(c)に示した処理は、図5(a)に示した焦点ぼやけ量推定142によって行われる。 The process shown in FIG. 6 (b) and (c) is performed by the focus blur estimation 142 shown in Figure 5 (a).
また、ぼやけ量Brxyを算出する代わりに、空間周波数帯域幅を算出する場合は、図5(b)に示した空間周波数分析152によって行われる処理となる。 Further, instead of calculating the blur amount Brxy, when calculating the spatial frequency bandwidth, the processing performed by the spatial frequency analysis 152 shown in Figure 5 (b). さらに、ぼやけ量Brxyを算出する代わりに、重み付き奥行き距離推定値(d)を算出する場合は、図5(c)に示した奥行き距離推定162によって行われる処理となる。 Further, instead of calculating the blur amount Brxy, when calculating weighted depth distance estimate the (d) is a processing performed by the depth distance estimation 162 shown in FIG. 5 (c).

次に、図7(a)では、奥行き距離推定値(d)を複数の区間に分割する閾値を設定することが示されている。 Next, in FIG. 7 (a), it is shown that setting a threshold for dividing the depth range estimates (d) is a plurality of sections. 図7(a)は、閾値が6個(d1〜d6)設定された例を示されている。 FIGS. 7 (a) is shown an example in which the threshold value is six (d1 to d6) settings. この閾値を設定する処理は、図5(a)に示した奥行き量閾値処理143によって行われる。 Processing for setting the threshold value is performed by the depth amount threshold processing 143 shown in Figure 5 (a). そして、閾値は、画質設定126(図5参照)によって決定される。 The threshold is determined by the image quality setting 126 (see FIG. 5).

図7(b)では、閾値(d1〜d6)によって分割された区間にそれぞれ対応する処理方式を関連付けた、処理方式割当テーブル220(奥行き情報)が示されている。 In FIG. 7 (b), associated with the processing method corresponding to each respective section divided by the threshold (d1 to d6), the processing method assignment table 220 (depth information) is shown. 例えば、処理方式割当テーブル220では、奥行き距離推定値(d)がd3からd4の区間内にあれば、処理方式4によって画像処理が実行されることになる。 For example, the processing method assignment table 220, the depth range estimates (d) is, if in the interval from d3 d4, so that the image processing is executed by the processing system 4. なお、処理方式割当テーブル220に示されている、閾値と処理方式との関連付けは、画質設定126(図5参照)によって決定される。 Incidentally, shown in process method assignment table 220, the association between the threshold and the processing method is determined by the image quality setting 126 (see FIG. 5).

そして、処理の流れは、図7(a)中の矢印によって示されるように、ぼやけ量Brxyが与えられると、予測関数210を用いて、奥行き距離推定量(d)が閾値d3からd4の間にあると判定される。 Then, the processing flow, as indicated by arrows in FIG. 7 (a), when the blur amount Brxy is given, using the prediction function 210, between the depth distance estimator (d) is from the threshold d3 d4 It is determined to be in. 次に、処理方式割当テーブル220を参照して、処理方式4で処理を行うことが決定される。 Next, with reference to the processing method assignment table 220, it is determined to perform the processing in the processing system 4. この処理は、図5(a)に示した処理割り当て144によって行われる。 This process is performed by processing assignment 144 illustrated in Figure 5 (a).

以上、図6(a),(b)および図7(a),(b)に示した処理の流れは、奥行き情報解析124aにおける処理の流れ、すなわち、焦点ぼやけ量(ぼやけ量Brxy)を用いた場合について示した。 Use above, FIG. 6 (a), (b) and FIG. 7 (a), the processing flow shown (b), the flow of processing in the depth information analysis 124a, i.e., the amount of blur focus (the blur amount Brxy) It shows the case you were. なお、奥行き情報解析124bにおける処理の流れは、焦点ぼやけ量(ぼやけ量Brxy)を空間周波数帯域幅に置き換えて、図6(a),(b)および図7(a),(b)に示した処理の流れと同様となる。 Incidentally, the flow of processing in the depth information analysis 124b, replacing the amount of blur focus (the blur amount Brxy) in spatial frequency bandwidth, FIG. 6 (a), (b) and FIG. 7 (a), the shown in (b) the same as the processing flow was. また、奥行き情報解析124c(図5(c)参照)における処理の流れも、焦点ぼやけ量(ぼやけ量Brxy)を重み付き奥行き距離に置き換えて、図6(a),(b)および図7(a),(b)に示した処理の流れと同様となる。 Also, the flow of processing in the depth information analysis 124c (see FIG. 5 (c)), by substituting focus blur amount (blur amount Brxy) the weighted depth distance, FIG 6 (a), (b) and 7 ( a), the same as the processing flow shown in (b).
また、詳細な説明は省略するが、微小領域ごとに動きベクトルを検出し、その動きベクトルの大きさが、近くは大きく、遠くは小さいことを利用して、奥行き距離を推定しても良い。 Further, although a detailed description is omitted, the motion vector is detected for each minute region, the magnitude of the motion vector, nearby large by utilizing the fact that far less, may estimate the depth distance. この場合には、焦点ぼやけ量を動きベクトルの大きさに置き換えて、図6(a),(b)および図7(a),(b)に示した処理の流れと同様となる。 In this case, replacing the magnitude of focus blur amount motion vector, FIG. 6 (a), (b) and FIG. 7 (a), the the same as the processing flow shown in (b).

《具体例1》 "Example 1"
図7に示した処理の流れについて、図5に示す奥行き情報解析124aを用いた具体的な例で示すとともに、処理後画像において知覚される奥行き感の改善効果の一具体例について、図8,図9を用いて説明する。 The flow of processing shown in FIG. 7, the illustrated a concrete example using the depth information analysis 124a shown in FIG. 5, an example of improvement of sense of depth to be perceived in the processed image, FIG. 8, It will be described with reference to FIG. 図8(a)は、奥行き距離推定値の閾値の設定を表す一具体例を示す図であり、(b)は、閾値によって区分された領域と微小領域との関係を表す一具体例を示す図であり、(c)は、閾値によって区分された領域と処理方式とを関連付ける処理方式割当テーブルの一具体例を示す図である。 8 (a) is a diagram showing a specific example representing the threshold setting of the depth distance estimate, showing a specific example showing the relationship between (b) is segmented regions and the minute region by the threshold a diagram, (c) is a diagram showing a specific example of the processing method assignment table that associates the segmented region and the processing method by the threshold. 図9(a)は、処理後画像のぼやけ量を表す一具体例を示す図であり、(b)は、元画像、処理後画像、および従来方式画像において知覚される奥行きを表す一具体例を示す図である。 9 (a) is a diagram showing a specific example representing the amount blur processed image, (b) is an example representing the depth to be perceived in the original image, processed image, and the conventional method image is a diagram illustrating a.

図8(a)に示すように、奥行き距離推定値(d)は、閾値dA,dB,dC,dDによって5つの領域(A,B,C,D,E)に分割される。 As shown in FIG. 8 (a), the depth range estimate (d) is the threshold value dA, dB, dC, 5 one region by dD is divided (A, B, C, D, E) to. この閾値の設定は、画質設定126(図5(a)参照)によって行われる。 The setting of this threshold value is performed by the image quality setting 126 (see Figure 5 (a)).
そして、それぞれの領域(A,B,C,D,E)では、図8(b)に示すように、元画像201の人物は、奥行き距離推定値(d)が最も短い領域Eに、また、背景は、奥行き距離推定値(d)の違いにより、近い方から順に領域D、領域C、領域B、領域Aに設定されることになる。 Then, in each region (A, B, C, D, E), as shown in FIG. 8 (b), the person in the original image 201, the depth range estimate (d) is the shortest region E, also , background, due to differences in the depth range estimates (d), made of closer region in order D, region C, the region B, and being set to the region a.
そして、図8(c)に示すように、処理方式割当テーブル230が、画質設定126(図5(a)参照)によって設定される。 Then, as shown in FIG. 8 (c), the processing method assignment table 230 is set by the image quality setting 126 (see Figure 5 (a)). すなわち、各領域(A,B,C,D,E)に対応する処理方式(5,4,3,2,1)が関係付けられる。 That is, each region (A, B, C, D, E) corresponding processing method (5,4,3,2,1) is related to. 処理方式割当テーブル230では、最も近い人物の領域Eの処理には、高解像度化方式(超解像処理方式)が割り当てられる。 The processing method allocation table 230, the processing area E of the nearest person, high resolution method (the super-resolution processing method) is assigned. また、最も遠い背景の領域Aの処理には、元画像201が有するぼやけ量を保存する様に解像度変化の無い単純画素数拡大方式が割り当てられる。 Further, in the processing area A of the farthest background, simple pixel number expansion method with no resolution change is allocated so as to store the amount of blur with the original image 201. そして、その中間領域となる領域B,C,Dの処理には、高解像度化(超解像処理)の後、異なる周波数帯域幅のフィルタ(強、中、弱)による平滑化処理(強、中、弱)を行う方式が割り当てられる。 Then, the region B to be the intermediate region, C, to the processing of D, after the high resolution (super-resolution processing), filters of different frequency bandwidths (strong, medium, weak) smoothing (strong by, in, it is assigned a method of performing the weak). なお、平滑化処理(強)は、平滑化処理(中)に比較して、ぼやけ量をより大きくする機能を有する。 Incidentally, smoothing processing (strong), compared to the smoothing process (medium), has a function to increase the amount of blur. また、平滑化処理(中)は、平滑化処理(弱)に比較して、ぼやけ量をより大きくする機能を有する。 Further, the smoothing process (middle), as compared to the smoothing process (weak), has a function to increase the amount of blur.

図9(a)に示すように、図8に示した処理の後に得られる処理後画像240では、領域Eに属する微小領域243は超解像処理方式によって処理されている。 As shown in FIG. 9 (a), the processed image 240 obtained after the processing shown in FIG. 8, microscopic regions 243 belonging to the region E is processed by the super-resolution processing method. したがって、その微小領域243のぼやけ量244は、元画像201(図8(b)参照)のぼやけ量より小さくなっている。 Thus, blurred amount 244 of the small region 243 is smaller than the amount blur of the original image 201 (see Figure 8 (b)). また、領域Aに属する微小領域241は、単純画素数拡大方式によって処理されている。 Also, microscopic regions 241 belonging to the region A is processed by the number of simple pixel expansion scheme. したがって、その微小領域241のぼやけ量242は、元画像201のぼやけ量と変わらない。 Thus, blurred amount 242 of the small region 241 is unchanged from the amount blur of the original image 201.

図9(b)に示す実線250は元画像の特性であり、一点鎖線251は図8(c)に示した処理方式を用いて処理した処理後画像の特性であり、破線252は従来方式画像の特性である。 The solid line 250 shown in FIG. 9 (b) is a characteristic of the original image, a dashed line 251 is a characteristic of the processed processed image using the processing system shown in FIG. 8 (c), the broken line 252 is a conventional type image- it is a characteristic of.
図9(b)より明らかなように、破線252のぼやけ量は、実線250のぼやけ量に対して、同じ絵柄を含む微小領域において小さくなる。 In more apparent FIG. 9 (b), the amount blur dashed 252, relative to the amount blur of solid 250, decreased in a microscopic region containing the same picture. それに対して、一点鎖線251のぼやけ量は、ぼやけ量が小さい範囲では破線252のぼやけ量に近いが、ぼやけ量が大きい範囲では実線250に近くなる。 Amount blur of contrast, one-dot chain line 251 in a range amount is small blur is close to the amount blur dashed 252, close to the solid line 250 in the amount of blur is large range. すなわち、同じ絵柄を含む微小領域において、一点鎖線251のA点253は、破線252のB点254よりも、知覚される奥行きが遠くなる。 That is, in the minute area including the same picture, A point 253 of the one-dot chain line 251, than the point B 254 of the broken line 252, the depth to be perceived becomes longer.
そして、一点鎖線251の最大のぼやけ量は実線250にほぼ一致するため、処理後画像240に対して知覚される奥行きは、元画像の場合とほぼ同じになる。 Since the maximum blur amount of one-dot chain line 251 substantially coincides with the solid line 250, the depth to be perceived with respect to the processed image 240 is substantially the same as the case of the original image.

《具体例2》 "Example 2"
図7に示した処理の流れについて、図5に示す奥行き情報解析124aを用いた他の具体的な例で示すとともに、処理後画像において知覚される奥行き感の改善効果の他の具体例について、図10を用いて説明する。 The flow of processing shown in FIG. 7, the shown in other specific example using the depth information analysis 124a shown in FIG. 5, another embodiment of the effect of improving the sense of depth perceived in processed image, It will be described with reference to FIG. 10. 図10(a)は、閾値によって区分された領域と微小領域との関係を表す他の具体例を示す図であり、(b)は、閾値によって区分された微小領域と処理方式とを関連付ける処理方式割当テーブルの他の具体例を示す図であり、(c)は、元画像、処理後画像、および従来方式画像において知覚される奥行きを表す他の具体例を示す図である。 10 (a) is a diagram showing another example showing a relationship between the segmented region and the minute region by the threshold, (b) associates a processing method and partitioned micro area by thresholding is a diagram showing another specific example of the method assignment table, (c) is a diagram showing another specific example indicating depth perceived in the original image, processed image, and the conventional method image.

図10(a)に示すように、元画像201の人物は奥行き距離推定値(d)が最も短い領域Eに、また、背景は奥行き距離推定値(d)の違いにより、近い方から順に領域D、領域C、領域B、領域Aに分割されたとする。 As shown in FIG. 10 (a), the person in the original image 201 is the depth range estimates (d) is the shortest region E, The region background due to differences in the depth range estimates (d), in order from the side closer D, region C, the region B, and is divided into regions a.
そして、図10(b)に示すように、処理方式割当テーブル260が、画質設定126(図5(a)参照)によって設定される。 Then, as shown in FIG. 10 (b), the processing method assignment table 260 is set by the image quality setting 126 (see Figure 5 (a)). すなわち、各領域(A,B,C,D,E)に対応する処理方式(a,b,c,d,e)が関係付けられる。 That is, each region (A, B, C, D, E) processing method corresponding to the (a, b, c, d, e) are related. 処理方式割当テーブル260では、最も近い人物の領域Eの処理には、知覚される奥行き距離がより近くなるように強調するエッジ処理を高解像度化(超解像処理)の後に行う方式が割り当てられる。 The processing method allocation table 260, the processing area E of the nearest person is assigned a method for performing depth distance to be perceived to emphasize edges treated to be closer after high resolution (super-resolution processing) . これにより、領域Eでは、空間周波数の高域部分が強調されてぼやけ量が相対的に低減する。 Thus, in the region E, the amount of blur is emphasized high-frequency part of the spatial frequency is relatively reduced.
また、最も遠い背景の領域Aの処理には、単純画素数拡大を行った後に、フィルタリングによって平滑化して更にぼやけを強調する方式が割り当てられる。 Further, in the processing area A of the farthest background, after the number of simple pixel expansion, further blur emphasizing scheme is smoothed by the filtering is assigned. そして、その中間領域となる領域B,C,Dの処理には、それぞれ、処理方式割当テーブル260に示した処理方式が割り当てられる。 Then, the region B to be the intermediate region, C, to the processing of D, respectively, it is assigned a processing method illustrated in the process scheme allocation table 260.

図10(c)に示す実線270は元画像の特性であり、一点鎖線271は図10(b)に示した処理方式を用いて処理した処理後画像の特性であり、破線272は従来方式画像の特性である。 The solid line 270 shown in FIG. 10 (c) is a characteristic of the original image, a dashed line 271 is a characteristic of the processed processed image by using the processing method shown in FIG. 10 (b), the dashed line 272 the conventional method image it is a characteristic of.
図10(c)から明らかなように、破線272のぼやけ量は、実線270のぼやけ量に対して、同じ絵柄を含む微小領域において小さくなる。 As apparent from FIG. 10 (c), the amount blur dashed 272, relative to the amount blur of solid 270, decreased in a microscopic region containing the same picture. そして、ぼやけ量が小さい範囲(領域E)では、一点鎖線271の知覚される奥行き(ぼやけ量)は、エッジ処理によって、立体感を強調する効果を演出可能となり、破線272の知覚される奥行き(ぼやけ量)より小さくなる。 Then, the amount of blur is small range (region E), the perceived depth of the one-dot chain line 271 (amount blur) is the edge processing allows directing effect of enhancing the stereoscopic effect, the perceived depth of the broken line 272 ( blurred amount) smaller than.
また、ぼやけ量が大きい範囲(領域A)では、一点鎖線271の知覚される奥行き(ぼやけ量)は、平滑化処理の効果によって、実線270の知覚される奥行き(ぼやけ量)より大きくなる。 Further, the amount of blur is large range (region A), perceived depth (blur quantity) of one-dot chain line 271, the effect of smoothing becomes larger than the depth (amount blur) perceived by the solid line 270. すなわち、同じ絵柄を含む微小領域において、一点鎖線271のC点273は、実線270のD点274より、知覚される奥行きが遠くなる。 That is, in the minute area including the same picture, C point 273 of the one-dot chain line 271, from the point D 274 of a solid line 270, the depth to be perceived becomes longer. これによって、一点鎖線271のぼやけ量の範囲が、実線270のぼやけ量の範囲より広くなるため、知覚される奥行きも広くなる。 Thus, the range of blur of the dashed line 271, to become wider than the range of blur of solid 270, the depth to be perceived becomes wider.
このように、具体例2は、元画像よりも知覚される奥行きを遠くして、立体感や遠近感に作用させることが可能になる。 Thus, Example 2 is to far depth perceived than the original image, it is possible to act on the three-dimensional appearance and perspective.

《第2実施形態》 "The second embodiment"
次に、第1実施形態において前記した処理を適用した画像表示装置の構成例を、図11を用いて説明する。 Next, a configuration example of an image display apparatus using the process described above in the first embodiment will be described with reference to FIG. 11. 図11は、画像表示装置の構成例を示す図である。 Figure 11 is a diagram showing a configuration example of an image display device.
図11において、画像表示装置300は、入力部311、録画再生部312、制御部313、ユーザインタフェース部314、コンテンツ蓄積部315、画像信号処理部316、音声出力部317、および表示部318によって構成される。 11, the image display device 300 is configured by an input unit 311, a recording reproduction unit 312, the control unit 313, a user interface unit 314, a content storage unit 315, the image signal processing unit 316, an audio output unit 317 and a display unit 318, It is.
なお、図11中の二重線は、画像や音声の信号の流れを示し、一重線は、制御信号の流れを示している。 Note that the double line in FIG. 11 shows the flow of image and audio signals, singlet shows a flow of control signals.

入力部311は、テレビジョン信号などを含む放送波やネットワークなどを介して放送信号、映像信号、および画像や音声を含む放送・映像コンテンツ320の入力を受け付ける。 Input unit 311, a broadcast signal via a broadcast wave or a network, including television signals, receives an input of broadcasting and video content 320 containing a video signal, and images and audio. 入力部311は、放送波を受信するチューナを備えたものでも、ネットワークと接続するLAN用コネクタを備えたものでも、USBコネクタを備えたものでも良い。 The input unit 311 be equipped with a tuner for receiving broadcast waves, be equipped with a LAN connector for connecting with the network, it may be that having a USB connector. また、入力部311は、画像信号や音声信号をデジタル入力する端子を備えたものでも、コンポジット端子やコンポーネント端子などのアナログ入力端子を備えたものでも良い。 The input unit 311, be that having terminals for digital inputting of the picture signal and the audio signal may be that having analog input terminals such as a composite terminal or component terminal. あるいは、入力部311は、ワイヤレスにてデータを転送する受信部でも良い。 Alternatively, the input unit 311 may be a receiving unit for transferring data with wireless.
録画再生部312は、入力部311が受け付けたコンテンツを録画もしくは再生する。 Recording and reproducing unit 312 for recording or reproducing the content input unit 311 is accepted. なお、入力部311から受け付けた信号をスルーする機能を備えていても良い。 It is also provided with the ability to slew the signal received from the input unit 311.

制御部313は、画像表示装置300の各部(311,312,314〜318)の制御を司る機能を有し、各部(311,312,314〜318)間の情報の伝達を司る。 Control unit 313 has a function of controlling the respective units of the image display device 300 (311,312,314~318), governs the transfer of information between each section (311,312,314~318). . 制御部313は、例えば、演算処理を実行する図示しないCPU(Central Processing Unit )と、このCPUが演算処理に用いる主記憶装置である図示しないメモリとを備える。 Control unit 313, for example, includes a CPU (not shown) for executing the operation process (Central Processing Unit), a memory this CPU is not shown is a main memory used in processing. メモリは、RAM(Random Access Memory)またはROM(Read Only Memory)等により実現される。 Memory is realized by RAM (Random Access Memory) or ROM (Read Only Memory). そして、メモリに格納されたアプリケーションプログラムがRAMに展開され、CPUが、それを実行することにより種々の処理を具現化する。 Then, the application program stored in the memory is expanded into RAM, CPU is to embody various kinds of processing by executing it.
ユーザインタフェース部314は、ユーザが画像表示装置300の操作を行う機能を備える。 The user interface unit 314 has a function that the user performs an operation of the image display device 300.

コンテンツ蓄積部315は、録画再生部312を経由して、コンテンツを格納する機能を有する。 Content storage unit 315 via the recording and reproducing unit 312 has a function of storing content. コンテンツ蓄積部315は、例えば、ハードディスクドライブでも、フラッシュメモリでも、リムーバブルメディアディスクドライブでも良い。 Content storage unit 315, for example, be a hard disk drive, a flash memory, or a removable media disk drive.
画像信号処理部316は、画像信号を、第1実施形態に記載した処理を行う機能を有する。 The image signal processing unit 316, an image signal, has a function of performing processing described in the first embodiment. なお、画像信号処理部316の詳細な構成については、後記する。 The detailed configuration of the image signal processing unit 316 will be described later.
音声出力部317は、録画再生部312が再生した音声信号を出力する機能を有する。 The audio output unit 317 has a function of recording and reproducing unit 312 outputs the audio signal reproduced. 音声出力部317は、例えば、スピーカ等でもよい。 The audio output unit 317 may be, for example, a speaker or the like.
表示部318は、画像信号処理部316において処理された画像を表示する機能を有する。 Display unit 318 has a function of displaying the processed image in the image signal processing unit 316. 表示部318は、例えば、プラズマパネルモジュールでも、LCD(Liquid Crystal Display)モジュールでも、プロジェクタ用デバイスでもよい。 Display unit 318 is, for example, be a plasma panel module, even an LCD (Liquid Crystal Display) module, or a projector device.

画像表示装置300は、例えば、プラズマテレビでも、液晶テレビでも、ブラウン管でも、プロジェクタでもよく、また他のデバイスを用いた装置でも良い。 The image display device 300, for example, be a plasma TV and LCD TV, in a cathode ray tube, may be a projector, or may be a device using another device. そして、画像表示装置300が、第1実施形態に記載した処理を行う画像信号処理部316を備えることで、入力部311から受け付けた画像信号をより高解像度化、かつ遠近感や立体感を有する高画質な画像信号として表示部318に表示することができる。 Then, the image display apparatus 300 has by providing the image signal processing unit 316 to perform the processing described in the first embodiment, a higher resolution of the image signal received from the input unit 311, and a perspective and three-dimensional feeling it can be displayed on the display unit 318 as a high-quality image signal.
なお、第1実施形態に記載した処理は、画像信号処理部316において行うと説明したが、制御部313においてソフトウェア(プログラム)によって実現されても良い。 Note that the processing described in the first embodiment has been described as performed by the image signal processing unit 316 may be implemented in the control unit 313 by software (program).

次に、図11に示した画像信号処理部316の構成例を、図12を用いて説明する(適宜、図1,図5,図11参照)。 Next, a configuration example of an image signal processing unit 316 shown in FIG. 11 will be described with reference to FIG. 12 (appropriately, 1, 5, see FIG. 11). 図12は、画像信号処理部の構成例を示す図である。 Figure 12 is a diagram showing a configuration example of an image signal processing unit.
画像信号処理部316への入力は、録画再生部312から出力される画像信号入力401、ユーザインタフェース部314によって受け付けられ、制御部313を介して出力される画質設定412、および生産者によって制御部313を介して設定される処理設定411である。 The input to the image signal processing unit 316, the image signal input 401 which is output from the recording and reproducing unit 312, is accepted by the user interface unit 314, image quality setting 412 is output via the control unit 313, and a control unit by producers 313 is a processing set 411 which is set via the. また、画像信号処理部316の出力は、画像信号出力403であり、表示部318への入力になる。 The output of the image signal processing unit 316 is an image signal output 403, the input to the display unit 318.
画質設定412の機能は、図5(a)に示した画質設定126の機能と同じである。 Function of image quality setting 412 is the same as the function of image quality setting 126 shown in Figure 5 (a). また、処理設定411の機能は、図5(a)に示した処理設定127の機能と同じである。 Also, the functions of the processing set 411 is the same as the functions of the processing set 127 shown in Figure 5 (a).

画像信号処理部316(画像信号処理回路)は、奥行き情報解析処理部421、閾値判定・処理部422、超解像処理部423、画素数拡大処理部424、フィルタ特性設定部425、フィルタ処理部426、および出力選択部427を備えている。 Image signal processing unit 316 (image signal processing circuit), the depth information analysis processing unit 421, threshold decision-processing section 422, the super-resolution processing section 423, pixel number expansion processing unit 424, the filter characteristic setting unit 425, the filter processing unit 426, and an output selection unit 427.
奥行き情報解析処理部421の機能は、図5(a)に示した領域分割141の機能と焦点ぼやけ量推定142の機能、図5(b)に示した領域分割151の機能と空間周波数分析152の機能、および図5(c)に示した領域分割161の機能と奥行き距離推定162の機能、のいずれか一つまたは組み合わせである。 Function of depth information analysis processing unit 421, functions of the focus blur estimation 142 Segmentation 141 shown in FIG. 5 (a), function and spatial frequency analysis of the area division 151 shown in FIG. 5 (b) 152 features and functions of the depth distance estimation 162 Segmentation 161 shown in FIG. 5 (c), is any one or a combination of. また、奥行き情報解析処理部421の機能は、処理設定411によって設定される。 The functions of the depth information analysis processing unit 421 is set by the process setting 411.
閾値判定・処理部422の機能は、図5(a)に示した奥行き量閾値処理143の機能と処理割り当て144の機能、図5(b)に示した奥行き量閾値処理153の機能と処理割り当て154の機能、および図5(c)に示した奥行き量閾値処理163の機能と処理割り当て164の機能、のいずれか一つまたは組み合わせである。 Function of the threshold determination and processing unit 422, functions of the processing assignment 144 of the depth quantity threshold processing 143 shown in FIG. 5 (a), function and process allocation depth amount threshold processing 153 shown in FIG. 5 (b) 154 features, and functions of the processing assignment 164 of the depth quantity threshold processing 163 shown in FIG. 5 (c), is any one or a combination of. また、閾値判定・処理部422の機能は、画質設定412によって設定される。 The functions of the threshold determination and processing unit 422 is set by the image quality setting 412.
なお、閾値判定・処理部422から出力選択部427へ引かれた線430は、図1(b)に示す「方式の指定125」に相当する。 Incidentally, a line 430 drawn from the threshold determination and processing unit 422 to the output selection unit 427 corresponds to "Specify method 125" shown in FIG. 1 (b).

超解像処理部423は、前記した超解像処理方式(解像度変換処理)によって処理を行う機能を有する。 Super-resolution processing section 423 has a function of performing processing by the super-resolution processing method (resolution conversion) described above.
画素数拡大処理部424は、画素数拡大処理方式(画素数変化処理)によって処理を行う機能を有する。 Number enlargement processing section 424 pixel has a function of performing processing by the number of pixels larger processing scheme (the number of pixels changing process).
フィルタ特性設定部425は、画質設定412の出力を受け付けて、平滑化処理におけるフィルタの強弱の程度やエッジ強調の強弱の程度を決定し、フィルタ処理部426におけるエッジ強調処理または平滑化処理におけるフィルタの強弱を制御する機能を有する。 Filter characteristic setting unit 425 receives an output of the image quality setting 412, to determine the degree of intensity of the degree and edge enhancement of strength of the filter at the smoothing process, a filter in the edge enhancement processing or smoothing processing in filtering section 426 It has a function of controlling the strength.
フィルタ処理部426は、超解像処理部423の出力および画素数拡大処理部424の出力を受け付けて、エッジ強調処理(空間周波数特性変化処理)または平滑化処理(空間周波数特性変化処理)を行う機能を有する。 Filtering section 426 performs accepts the output of the output and pixel number expansion processing section 424 of the super-resolution processing unit 423, edge enhancement processing (spatial frequency characteristic change processing) or smoothing processing (spatial frequency characteristic change processing) It has a function. ただし、フィルタ処理部426から出力選択部427へ出力する線は、図12では一本しか記載されていないが、エッジ強調処理または平滑化処理において用いられたフィルタの数に相当する種類の画像信号が出力されていることを表している。 However, the line output from the filter processing unit 426 to the output selection unit 427 is not described only 12 one in the type of image signals corresponding to the number of filters used in the edge emphasis processing or smoothing processing There has been indication shows that the output.
なお、超解像処理部423、画素数拡大処理部424、およびフィルタ処理部426は、奥行き情報解析処理部421において領域分割された微小領域と同じサイズの微小領域ごとに常時繰り返し処理を行っているものとする。 Incidentally, the super-resolution processing section 423, pixel number expansion processing unit 424 and the filter processing unit 426, performs a constantly repeating process for each micro area as the area divided small regions in the depth information analysis processing unit 421 and those who are.

出力選択部427は、閾値判定・処理部422の出力を示す線430、すなわち「方式の指定125(図1参照)」を受け付けて、微小領域ごとに、指定の処理方式によって処理された画像を選択する機能を有する。 Output selection unit 427, a line 430 indicating the output of the threshold decision-processing section 422, that accepts the "specification method 125 (see FIG. 1)", for each minute region, an image processed by the given processing method It has a function of selecting.

なお、処理設定411および画質設定412は、それぞれ、出荷時の設定情報を記憶する機能、またはユーザが設定した設定情報を記憶する機能等が備えられているものとする。 The processing sets 411 and the image quality setting 412, respectively, function to store the setting information at the time of shipment, or the user is assumed to be equipped with functions for storing the setting information set.

以上説明したように、本実施形態に係る画像表示装置300(図11参照)は、処理対象となる画像に対して奥行き情報解析124(図1(b)参照)を行い、その奥行き情報の解析結果に基づいて画像の微小領域毎に画像処理方式(超解像処理方式104、画素数拡大処理方式121、エッジ強調処理方式122、平滑化処理方式123等(図1(b)参照))を適宜選択して処理する機能を設けているため、画像を高解像度化しても、立体感や遠近感を損なうことがないようにすることが可能となる。 As described above, the image display apparatus 300 according to the present embodiment (see FIG. 11) performs the depth information analysis 124 (see FIG. 1 (b)) for the image to be processed, the analysis of the depth information result image processing method for each minute region of the image based on the (super-resolution processing method 104, the number of pixel expansion processing scheme 121, an edge enhancement processing scheme 122, the smoothing processing scheme 123, etc. (see FIG. 1 (b))) the since it is provided a function of processing appropriately selected and, even when high resolution images, it is possible to so as not to impair the stereoscopic effect and perspective.

(a)は、従来の処理機能の概要を示す図であり、(b)は本発明の処理機能の概要を示す図である。 (A) is a diagram showing an outline of a conventional processing function is a diagram showing an outline of (b) the processing functions of the present invention. 解像度(処理)と奥行き距離(推定)との関係の一例を示す図である。 Is a diagram showing an example of the relationship between resolution (processing) and depth distance (estimated). 「奥行き距離小」の方式の指定の場合の方式選択の一例を示す図である。 Is a diagram illustrating an example of a method selection in the case of the method for specifying "depth distance small." 「奥行き距離大」の方式の指定の場合の方式選択の一例を示す図である。 It is a diagram illustrating an example of a method selection in the case of the method for specifying "depth distance large". (a)は、奥行き情報解析において、焦点ぼやけ量推定を用いた場合の処理機能の一例を示す図であり、(b)は、奥行き情報解析において、空間周波数分析を用いた場合の処理機能の一例を示す図であり、(c)は、奥行き情報解析において、奥行き距離推定を用いた場合の処理機能の一例を示す図である。 (A), in the depth information analysis, a diagram showing an example of the processing functions in the case of using the focus blur estimation, (b), in the depth information analysis, the case of using the spatial frequency analysis processing functions is a diagram showing an example, (c), in the depth information analysis, a diagram illustrating an example of processing functions in the case of using the depth distance estimation. (a)は、微小領域の一例を示す図であり、(b)は、微小領域のぼやけ量の一例を示す図であり、(c)は、ぼやけ量と奥行き距離推定値との関係の一例を示す図である。 (A) is a diagram showing an example of a small area, (b) is a diagram showing an example of amount blur small area, (c) shows an example of the relationship between the blur amount and the depth distance estimate is a diagram illustrating a. (a)は、奥行き距離推定値と奥行き量閾値との関係を表す一例を示す図であり、(b)は、奥行き量閾値と処理方式とを関連付ける処理方式割当テーブルの一例を示す図である。 (A) is a diagram showing an example showing the relationship between the depth distance estimate and the amount of depth threshold is a diagram showing an example of the processing method assignment table that associates a processing scheme and (b), the depth amount threshold . (a)は、奥行き距離推定値の閾値の設定を表す一具体例を示す図であり、(b)は、閾値によって区分された領域と微小領域との関係を表す一具体例を示す図であり、(c)は、閾値によって区分された領域と処理方式とを関連付ける処理方式割当テーブルの一具体例を示す図である。 (A) is a diagram showing a specific example representing the threshold setting of the depth distance estimate, (b) is a diagram showing a specific example showing the relationship between the segmented region and the minute domains by the threshold Yes, (c) is a diagram showing a specific example of the processing method assignment table that associates the segmented region and the processing method by the threshold. (a)は、処理後画像のぼやけ量を表す一具体例を示す図であり、(b)は、元画像、処理後画像、および従来方式画像において知覚される奥行きを表す一具体例を示す図である。 (A) is a diagram showing a specific example representing the amount blur processed image, showing a specific example representing the depth to be perceived in (b), the original image, processed image, and the conventional method image it is a diagram. (a)は、閾値によって区分された領域と微小領域との関係を表す他の具体例を示す図であり、(b)は、閾値によって区分された微小領域と処理方式とを関連付ける処理方式割当テーブルの他の具体例を示す図であり、(c)は、元画像、処理後画像、および従来方式画像において知覚される奥行きを表す他の具体例を示す図である。 (A) is a diagram showing another specific example showing the relationship between the segmented region and the minute region by the threshold, (b), the assignment processing method for associating and processing the segmented micro areas method by the threshold is a diagram showing another specific example of the table, (c) is a diagram showing another specific example indicating depth perceived in the original image, processed image, and the conventional method image. 画像表示装置の構成例を示す図である。 It is a diagram illustrating a configuration example of an image display device. 画像信号処理部の構成例を示す図である。 It is a diagram showing a configuration example of an image signal processing unit. (a)は処理対象となる元画像を示す図であり、(b)は元画像の空間周波数スペクトルを示す図であり、(c)は超解像処理をした後の処理後画像を示す図であり、(d)は処理後画像の空間周波数スペクトルを示す図である。 (A) is a diagram showing an original image to be processed, (b) is a diagram showing the spatial frequency spectrum of the original image, (c) is a diagram showing a processed image after the super-resolution processing and is a diagram showing the spatial frequency spectrum of (d) are processed image. (a)は、元画像に含まれるぼやけを示す図であり、(b)は高解像度化した処理後画像に含まれるぼやけを示す図であり、(c)は元画像および従来方式画像において知覚される奥行きを示す図である。 (A) is a diagram illustrating a blur contained in the original image, (b) is a diagram illustrating a blur contained in the high resolution the processed image, (c) is perceived in the original image and the conventional scheme image it is a diagram showing the depth to be.

符号の説明 DESCRIPTION OF SYMBOLS

124 奥行き情報解析 125 方式の指定 126,412 画質設定 127,411 処理設定 141,151,161 領域分割 142 焦点ぼやけ量推定 143,153,163 奥行き量閾値処理 144,154,164 処理割り当て 201 元画像 210 予測関数 220,230,260 処理方式割当テーブル 240 処理後画像 250,270 元画像の特性 251,271 処理後画像の特性 252,272 従来方式画像の特性 300 画像表示装置 313 制御部 314 ユーザインタフェース部 316 画像信号処理部 318 表示部 421 奥行き情報解析処理部 422 閾値判定・処理部 423 超解像処理部 424 画素数拡大処理部 425 フィルタ特性設定部 426 フィルタ処理部 427 出力選択部 124 depth information analysis 125 method specified 126,412 quality setting 127,411 processing setting 141,151,161 Segmentation 142 focus blur estimation 143,153,163 amount of depth thresholding 144,154,164 process allocation 201 yuan image 210 prediction function 220,230,260 processing method assignment table 240 characteristics 300 image display device characteristics 252,272 conventional system image properties 251,271 processed image of the processed image 250, 270 yuan image 313 control unit 314 the user interface unit 316 the image signal processing unit 318 display unit 421 depth information analysis processing unit 422 threshold determining and processing unit 423 super-resolution processing unit 424 the number of pixels enlargement processing unit 425 the filter characteristic setting unit 426 filtering unit 427 output selector

Claims (5)

  1. 画像中の被写体の奥行きに係る被写体距離に応じて分割して設けた複数の区間と、その区間と画像処理の種類とを関連付けた奥行き情報が記憶される記憶部を備え、 Comprising a plurality of sections provided by dividing in accordance with the subject distance according to the depth of the object in the image, a storage unit for depth information which associates the type of the section and the image processing are stored,
    入力画像中の被写体の被写体距離を算出し、前記記憶部を参照して、前記算出した前記被写体距離が属する前記区間を特定し、さらに、その特定した前記区間に関連付けられている前記画像処理の種類を特定し、 Calculating a subject distance of a subject in the input image, by referring to the storage unit to identify the section in which the subject distance and the calculated belongs, further, the image processing associated with the specified the section to identify the type,
    前記特定した種類の前記画像処理を用いて、前記入力画像に対して演算処理を行って処理画像を出力する画像信号処理回路であって、 Using said identified type of the image processing, an image signal processing circuit for outputting a processed image by performing arithmetic processing on the input image,
    前記画像処理の種類は、少なくとも、前記入力画像の単一フレームまたは複数フレームを用いた合成画像から、空間周波数スペクトルの折り返し成分を復元し空間周波数帯域幅を広げるとともに画素数を水平方向と垂直方向に対して増加する解像度変換処理、空間周波数帯域幅を変えることなく画素数を増やす画素数変化処理および前記入力画像の一部の画素信号を強調するまたは隣り合う画素間の画素値の差を少なくする空間周波数特性変化処理、のいずれか一つまたは二以上の組み合わせであり、 Type of the image processing is at least a single frame, or a synthetic image using a plurality of frames, horizontal and vertical number of pixels widens the spatial frequency bandwidth restoring the aliasing components of the spatial frequency spectrum of the input image resolution conversion process that increases relative to less a difference in pixel value between a portion of the highlight pixel signal or neighboring pixels of the pixel number changing process and the input image to increase the number of pixels without changing the spatial frequency bandwidth spatial frequency characteristic change processing for a any one or more combinations of,
    前記入力画像中の被写体の被写体距離の算出を、前記入力画像の画面を複数に分割した微小領域ごとに行う際に、 The calculation of the subject distance of the subject in the input image, when performing for each small area obtained by dividing the screen of the input image into a plurality,
    前記画像処理の種類として設定された全ての画像処理を用いて前記入力画像に対して演算処理を行って、全ての前記画像処理の種類に対応する前記微小領域の処理画像を求め、 It performs arithmetic processing on the input image using any image processing that has been set as the type of the image processing to obtain the processed image of the microscopic regions corresponding to the type of all of the image processing,
    前記微小領域ごとに算出された前記被写体距離が属する前記区間を特定し、さらに、その特定した前記区間に関連付けられている前記画像処理の種類を特定し、 Wherein the subject distance calculated for each small area to identify the section which belongs further identifies the type of the image processing associated with the specified the section,
    前記特定した前記画像処理の種類に対応する前記微小領域の処理画像を取得して、前記処理画像の画面を構成して出力し、 It acquires the processed image of the micro regions corresponding to the type of the image processing described above specified, and outputs the configuration screen of said processed image,
    前記被写体距離が小さい前記区間に対して、前記処理画像の解像度を前記入力画像の解像度よりも高くする前記解像度変換処理または前記解像度変換処理とエッジを強調する前記空間周波数特性変化処理との組み合わせを関連付け、 With respect to the object distance is smaller the interval, the combination of the resolution converting process or emphasizing the resolution conversion processing and edge the spatial frequency characteristic change processing higher than the resolution of the processed image resolution of the input image associate,
    前記被写体距離が大きい前記区間に対して、前記画素数変化処理または前記画素数変化処理と解像度を低くするに従って空間周波数帯域幅を狭くする前記空間周波数特性変化処理との組み合わせを関連付ける With respect to the subject distance is large the section, associate a combination of the spatial frequency characteristic change processing for narrowing the spatial frequency bandwidth according to lower the number of pixels changing process or the number of pixels changing process and resolution
    ことを特徴とする画像信号処理回路。 Image signal processing circuit, characterized in that.
  2. 画像の焦点ぼやけ量と前記被写体距離とを関連付けた奥行き情報を記憶部に記憶しておき、 Storing depth information associated focus blur of image and with said object distance in the storage unit advance,
    前記入力画像中の被写体の被写体距離の算出において、焦点ぼやけ量分析を行って前記入力画像の被写体の焦点ぼやけ量を算出し、前記奥行き情報を参照して、前記算出した前記焦点ぼやけ量から前記被写体距離を算出すること、 In the calculation of the subject distance of the subject in the input image, by performing focus blur weight analysis calculates the focus blur amount of the subject of the input image, by referring to the depth information, the from the focus blur amount and the calculated calculating a subject distance,
    を特徴とする請求項1に記載の画像信号処理回路。 Image signal processing circuit according to claim 1, wherein the.
  3. 画像の空間周波数帯域幅と前記被写体距離とを関連付けた奥行き情報を記憶部に記憶しておき、 Storing depth information associated spatial frequency bandwidth of the image and the said object distance in the storage unit advance,
    前記入力画像中の被写体の被写体距離の算出において、空間周波数分析を行って前記入力画像の被写体の空間周波数帯域幅を算出し、前記奥行き情報を参照して、前記算出した空間周波数帯域幅から前記被写体距離を算出すること、 In the calculation of the subject distance of the subject in the input image by performing a spatial frequency analysis to calculate the spatial frequency bandwidth of the subject of the input image, by referring to the depth information, the from the calculated spatial frequency bandwidth calculating a subject distance,
    を特徴とする請求項1に記載の画像信号処理回路。 Image signal processing circuit according to claim 1, wherein the.
  4. 入力画像に対して演算処理を行って処理画像を表示する画像表示装置であって、 An image display apparatus for displaying the processed image by performing arithmetic processing on the input image,
    画像信号処理部と、前記処理画像を表示する表示部と、前記処理画像の画質を制御する画質設定情報を前記画質信号処理部に出力する制御部と、画像中の被写体の奥行きに係る被写体距離に応じて分割して設けた複数の区間と、その区間と画像処理の種類とを関連付けた奥行き情報が記憶される記憶部と、を備え、 An image signal processing unit, and a display unit for displaying the processed image, and a control unit that outputs image quality setting information for controlling the image quality of the processed image to the image quality signal processing unit, the subject distance according to the depth of the object in the image comprising a plurality of sections provided by dividing a storage unit for depth information which associates the type of the section and the image processing is stored, a response to,
    前記画像信号処理部は、 The image signal processing unit,
    前記制御部から前記画質設定情報を受け付けて、前記区間の数および前記区間の幅のいずれか一つまたは双方を変更する設定を行い、 Accepting the image quality setting information from the control unit performs a setting to change any one or both of the number and width of the section of the section,
    入力画像中の被写体の被写体距離を算出し、前記記憶部を参照して、前記算出した前記被写体距離が属する前記区間を特定し、さらに、その特定した前記区間に関連付けられている前記画像処理の種類を特定し、 Calculating a subject distance of a subject in the input image, by referring to the storage unit to identify the section in which the subject distance and the calculated belongs, further, the image processing associated with the specified the section to identify the type,
    前記特定した種類の前記画像処理を用いて、前記入力画像に対して演算処理を行って処理画像を出力し、 Using said identified type of said image processing, and outputs the processed image by performing arithmetic processing on the input image,
    前記画像処理の種類は、少なくとも、前記入力画像の単一フレームまたは複数フレームを用いた合成画像から、空間周波数スペクトルの折り返し成分を復元し空間周波数帯域幅を広げるとともに画素数を水平方向と垂直方向に対して増加する解像度変換処理、空間周波数帯域幅を変えることなく画素数を増やす画素数変化処理および前記入力画像の一部の画素信号を強調するまたは隣り合う画素間の画素値の差を少なくする空間周波数特性変化処理、のいずれか一つまたは二以上の組み合わせであり、 Type of the image processing is at least a single frame, or a synthetic image using a plurality of frames, horizontal and vertical number of pixels widens the spatial frequency bandwidth restoring the aliasing components of the spatial frequency spectrum of the input image resolution conversion process that increases relative to less a difference in pixel value between a portion of the highlight pixel signal or neighboring pixels of the pixel number changing process and the input image to increase the number of pixels without changing the spatial frequency bandwidth spatial frequency characteristic change processing for a any one or more combinations of,
    前記入力画像中の被写体の被写体距離の算出を、前記入力画像の画面を複数に分割した微小領域ごとに行う際に、 The calculation of the subject distance of the subject in the input image, when performing for each small area obtained by dividing the screen of the input image into a plurality,
    前記画像処理の種類として設定された全ての画像処理を用いて前記入力画像に対して演算処理を行って、全ての前記画像処理の種類に対応する前記微小領域の処理画像を求め、 It performs arithmetic processing on the input image using any image processing that has been set as the type of the image processing to obtain the processed image of the microscopic regions corresponding to the type of all of the image processing,
    前記微小領域ごとに算出された前記被写体距離が属する前記区間を特定し、さらに、その特定した前記区間に関連付けられている前記画像処理の種類を特定し、 Wherein the subject distance calculated for each small area to identify the section which belongs further identifies the type of the image processing associated with the specified the section,
    前記特定した前記画像処理の種類に対応する前記微小領域の処理画像を取得して、前記処理画像の画面を構成し、前記構成された前記処理画像の画面を前記表示部に表示し、 It acquires the processed image of the micro regions corresponding to the type of the image processing described above specified, constitutes a screen of the processed image, and displays the screen of the constructed the processed image on the display unit,
    前記被写体距離が小さい前記区間に対して、前記処理画像の解像度を前記入力画像の解像度よりも高くする前記解像度変換処理または前記解像度変換処理とエッジを強調する前記空間周波数特性変化処理との組み合わせを関連付け、 With respect to the object distance is smaller the interval, the combination of the resolution converting process or emphasizing the resolution conversion processing and edge the spatial frequency characteristic change processing higher than the resolution of the processed image resolution of the input image associate,
    前記被写体距離が大きい前記区間に対して、前記画素数変化処理または前記画素数変化処理と解像度を低くするに従って空間周波数帯域幅を狭くする前記空間周波数特性変化処理との組み合わせを関連付ける With respect to the subject distance is large the section, associate a combination of the spatial frequency characteristic change processing for narrowing the spatial frequency bandwidth according to lower the number of pixels changing process or the number of pixels changing process and resolution
    ことを特徴とする画像表示装置。 An image display device, characterized in that.
  5. 画像中の被写体の奥行きに係る被写体距離に応じて分割して設けた複数の区間と、その区間と画像処理の種類とを関連付けた奥行き情報が記憶される記憶部を備え、 Comprising a plurality of sections provided by dividing in accordance with the subject distance according to the depth of the object in the image, a storage unit for depth information which associates the type of the section and the image processing are stored,
    入力画像中の被写体の被写体距離を算出し、前記記憶部を参照して、前記算出した前記被写体距離が属する前記区間を特定し、さらに、その特定した前記区間に関連付けられている前記画像処理の種類を特定し、 Calculating a subject distance of a subject in the input image, by referring to the storage unit to identify the section in which the subject distance and the calculated belongs, further, the image processing associated with the specified the section to identify the type,
    前記特定した種類の前記画像処理を用いて、前記入力画像に対して演算処理を行って処理画像を出力する画像信号処理回路において用いられる画像信号処理方法であって、 Using said identified type of the image processing, an image signal processing method used in the image signal processing circuit for outputting a processed image by performing arithmetic processing on the input image,
    前記画像処理の種類は、少なくとも、前記入力画像の単一フレームまたは複数フレームを用いた合成画像から、空間周波数スペクトルの折り返し成分を復元し空間周波数帯域幅を広げるとともに画素数を水平方向と垂直方向に対して増加する解像度変換処理、空間周波数帯域幅を変えることなく画素数を増やす画素数変化処理および前記入力画像の一部の画素信号を強調するまたは隣り合う画素間の画素値の差を少なくする空間周波数特性変化処理、のいずれか一つまたは二以上の組み合わせであり、 Type of the image processing is at least a single frame, or a synthetic image using a plurality of frames, horizontal and vertical number of pixels widens the spatial frequency bandwidth restoring the aliasing components of the spatial frequency spectrum of the input image resolution conversion process that increases relative to less a difference in pixel value between a portion of the highlight pixel signal or neighboring pixels of the pixel number changing process and the input image to increase the number of pixels without changing the spatial frequency bandwidth spatial frequency characteristic change processing for a any one or more combinations of,
    前記画像信号処理回路は、 The image signal processing circuit,
    前記入力画像中の被写体の被写体距離の算出を、前記入力画像の画面を複数に分割した微小領域ごとに行う際に、 The calculation of the subject distance of the subject in the input image, when performing for each small area obtained by dividing the screen of the input image into a plurality,
    前記画像処理の種類として設定された全ての画像処理を用いて前記入力画像に対して演算処理を行って、全ての前記画像処理の種類に対応する前記微小領域の処理画像を求め、 It performs arithmetic processing on the input image using any image processing that has been set as the type of the image processing to obtain the processed image of the microscopic regions corresponding to the type of all of the image processing,
    前記微小領域ごとに算出された前記被写体距離が属する前記区間を特定し、さらに、その特定した前記区間に関連付けられている前記画像処理の種類を特定し、 Wherein the subject distance calculated for each small area to identify the section which belongs further identifies the type of the image processing associated with the specified the section,
    前記特定した前記画像処理の種類に対応する前記微小領域の処理画像を取得して、前記処理画像の画面を構成して出力し、 It acquires the processed image of the micro regions corresponding to the type of the image processing described above specified, and outputs the configuration screen of said processed image,
    前記被写体距離が小さい前記区間に対して、前記処理画像の解像度を前記入力画像の解像度よりも高くする前記解像度変換処理または前記解像度変換処理とエッジを強調する前記空間周波数特性変化処理との組み合わせを関連付け、 With respect to the object distance is smaller the interval, the combination of the resolution converting process or emphasizing the resolution conversion processing and edge the spatial frequency characteristic change processing higher than the resolution of the processed image resolution of the input image associate,
    前記被写体距離が大きい前記区間に対して、前記画素数変化処理または前記画素数変化処理と解像度を低くするに従って空間周波数帯域幅を狭くする前記空間周波数特性変化処理との組み合わせを関連付ける With respect to the subject distance is large the section, associate a combination of the spatial frequency characteristic change processing for narrowing the spatial frequency bandwidth according to lower the number of pixels changing process or the number of pixels changing process and resolution
    ことを特徴とする画像信号処理方法。 Image signal processing method, characterized in that.
JP2008097714A 2008-04-04 2008-04-04 Image signal processing circuit, an image display device, and an image signal processing method Expired - Fee Related JP5243833B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008097714A JP5243833B2 (en) 2008-04-04 2008-04-04 Image signal processing circuit, an image display device, and an image signal processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008097714A JP5243833B2 (en) 2008-04-04 2008-04-04 Image signal processing circuit, an image display device, and an image signal processing method

Publications (2)

Publication Number Publication Date
JP2009251839A JP2009251839A (en) 2009-10-29
JP5243833B2 true JP5243833B2 (en) 2013-07-24

Family

ID=41312505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008097714A Expired - Fee Related JP5243833B2 (en) 2008-04-04 2008-04-04 Image signal processing circuit, an image display device, and an image signal processing method

Country Status (1)

Country Link
JP (1) JP5243833B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5453858B2 (en) * 2009-03-12 2014-03-26 株式会社リコー Image synthesizing apparatus, and an image synthesizing program
JP2012249038A (en) * 2011-05-27 2012-12-13 Hitachi Consumer Electronics Co Ltd Image signal processing apparatus and image signal processing method
CN103828361B (en) * 2011-09-21 2015-04-29 富士胶片株式会社 Image processing device, method, stereoscopic image capture device, portable electronic apparatus, printer, and stereoscopic image player device
KR101978172B1 (en) 2011-11-29 2019-05-15 삼성전자주식회사 Method and apparatus for converting depth image to high-resolution
JP5703255B2 (en) * 2012-04-27 2015-04-15 株式会社東芝 Image processing apparatus, image processing method, and program
JP2014006614A (en) 2012-06-22 2014-01-16 Sony Corp Image processing device, image processing method, and program
WO2014014135A1 (en) 2012-07-17 2014-01-23 인텔 코오퍼레이션 Method and apparatus for refocusing captured images, and computer-readable recording medium
EP3021278A4 (en) 2013-07-12 2017-03-01 Mitsubishi Electric Corporation High-resolution image generation device, high-resolution image generation method, and high-resolution image generation program
JP6500180B2 (en) * 2015-08-20 2019-04-17 株式会社Joled Image processing apparatus, display apparatus and electronic device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3773563B2 (en) * 1995-08-31 2006-05-10 株式会社リコー Two-dimensional digital signal processor
JP2002247439A (en) * 2001-02-13 2002-08-30 Ricoh Co Ltd Image input unit, image input method, and computer readable recording medium stored with program to allow computer to execute the method
JP4091455B2 (en) * 2003-02-27 2008-05-28 日本電信電話株式会社 3-dimensional shape measuring method and a three-dimensional shape measuring apparatus and the processing program and a recording medium
JP2006067521A (en) * 2004-08-30 2006-03-09 Kyocera Corp Image processor, image processing method, image pickup device, and image pickup method

Also Published As

Publication number Publication date
JP2009251839A (en) 2009-10-29

Similar Documents

Publication Publication Date Title
Zinger et al. Free-viewpoint depth image based rendering
Malvar et al. High-quality linear interpolation for demosaicing of Bayer-patterned color images
KR101445653B1 (en) Method for constructing a composite image
KR101038452B1 (en) Multi-view image generation
EP1577833A1 (en) High-quality gradient-corrected linear interpolation for demosaicing of color images
JP3882585B2 (en) An image processing apparatus and program
US7995855B2 (en) Image processing method and apparatus
CN1315099C (en) Image processing methods and apparatus, method for compressing and decompressing image signal
CN1169350C (en) Method and device for decreasing motion skewness and noise during video frequency image treatment
JP4139430B1 (en) An image processing apparatus and method, image display apparatus and method
CN102438097B (en) Visual processing device, visual processing method
Chang et al. Effective use of spatial and spectral correlations for color filter array demosaicking
CN101720480B (en) Computing a depth map
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
JP4513906B2 (en) Image processing apparatus, image processing method, program and recording medium
US7483040B2 (en) Information processing apparatus, information processing method, recording medium, and program
JP4900548B2 (en) Spatial resolution is improved video image
US6163621A (en) Histogram equalization method and device in contrast enhancement apparatus for image processing system
JP5342068B2 (en) Approach and the image upscaling processing system to multiplex frame
JP5400185B2 (en) Film grain simulation technique for use in the media reproduction apparatus
CN101512596B (en) Method and apparatus for processing image
US6266092B1 (en) Method and apparatus for video line multiplication with enhanced sharpness
DE112010003988T5 (en) Method and system for transforming a digital image from an image mitniedrigem dynamic range (low dynamic range, LDR) in an image with a high dynamic range (high dynamic range, HDR)
JP4618355B2 (en) Image processing apparatus and image processing method
CN102665088B (en) Detecting sharpness of the fuzzy mapping of local

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130405

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees