JP5469537B2 - Viewfinder video generator - Google Patents
Viewfinder video generator Download PDFInfo
- Publication number
- JP5469537B2 JP5469537B2 JP2010127389A JP2010127389A JP5469537B2 JP 5469537 B2 JP5469537 B2 JP 5469537B2 JP 2010127389 A JP2010127389 A JP 2010127389A JP 2010127389 A JP2010127389 A JP 2010127389A JP 5469537 B2 JP5469537 B2 JP 5469537B2
- Authority
- JP
- Japan
- Prior art keywords
- viewfinder
- resolution
- video
- signal
- intermediate processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 199
- 238000006243 chemical reaction Methods 0.000 claims description 84
- 238000000605 extraction Methods 0.000 claims description 77
- 230000002093 peripheral effect Effects 0.000 claims description 29
- 239000000284 extract Substances 0.000 claims description 23
- 230000015572 biosynthetic process Effects 0.000 claims description 19
- 238000003786 synthesis reaction Methods 0.000 claims description 19
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 16
- 238000005070 sampling Methods 0.000 description 29
- 238000000034 method Methods 0.000 description 19
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Images
Landscapes
- Viewfinders (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Description
本発明は、高精細撮影カメラのフォーカス調整を、当該高精細撮影カメラより低い解像度のビューファインダで行うためのビューファインダ映像を生成するビューファインダ映像生成装置に関する。 The present invention relates to a viewfinder video generation apparatus that generates a viewfinder video for performing focus adjustment of a high-definition shooting camera with a viewfinder having a lower resolution than the high-definition shooting camera.
近年、ハイビジョンを大きく上回る解像度を持つ、デジタルシネマ、スーパーハイビジョン等の超高精細映像システムが登場している。また、これにあわせて、映像素材を撮影するための超高精細撮影カメラの開発も進められている。これらの超高精細撮影カメラでは、その解像度がハイビジョンカメラの4倍から16倍に達するため、ハイビジョンカメラと比べて非常に厳しいフォーカス精度が要求される。 In recent years, ultra-high-definition video systems such as digital cinema and super high-definition that have resolutions that greatly exceed those of high-definition have appeared. In conjunction with this, development of an ultra-high-definition camera for shooting video materials is also underway. These ultra high-definition shooting cameras require resolutions that are 4 to 16 times higher than those of high-definition cameras, and therefore require extremely strict focus accuracy compared to high-definition cameras.
一般的に、ピーキングと呼ばれる強い輪郭補償を行い、合焦領域の輪郭を際立たせる手段が用いられている。通常の撮影カメラ(例えば、ハイビジョンカメラ)では、撮影したカメラ映像とビューファインダに入力されるビューファインダ映像との帯域幅がほぼ等しいので、ビューファインダ自体の解像度が低い場合でも、ビューファインダ映像に基づいて、ピーキング信号を生成することができる。 In general, means for performing strong contour compensation called peaking to make the contour of the focused region stand out is used. In a normal shooting camera (for example, a high-definition camera), the bandwidth of the captured camera image and the viewfinder image input to the viewfinder is almost equal, so even if the resolution of the viewfinder itself is low, it is based on the viewfinder image. Thus, a peaking signal can be generated.
一方、スーパーハイビジョンのような超高精細映像システムに用いられる超高精細撮影カメラは、ビューファインダ映像の帯城が、カメラ映像の帯域に比べて大幅に制限されている。つまり、超高精細撮影カメラでは、ビューファインダ映像から、フォーカス調整に有用な高域空間周波数成分が失われており、ピーキングを行っても最良のフォーカス状態を確認することができない。このため、従来の同様の手法では、超高精細撮影カメラでビューファインダを用いたフォーカス調整が、困難である。 On the other hand, in an ultra-high-definition camera used for an ultra-high-definition video system such as Super Hi-Vision, the viewfinder video band is significantly limited compared to the camera video bandwidth. That is, in the high-definition photographing camera, a high-frequency spatial frequency component useful for focus adjustment is lost from the viewfinder image, and the best focus state cannot be confirmed even if peaking is performed. For this reason, with the same conventional method, it is difficult to perform focus adjustment using a viewfinder in an ultra-high definition camera.
そこで、超高精細撮影カメラでフォーカス調整を行う手法が、幾つか提案されている(例えば、特許文献1〜3参照)。特許文献1に記載の発明は、撮影映像の一部を拡大および合成してビューファインダ映像を生成し、このビューファインダ映像をビューファインダに表示することでフォーカス調整を可能としている。
Therefore, several methods for performing focus adjustment with an ultra-high-definition photographing camera have been proposed (see, for example,
また、特許文献2に記載の発明は、カメラ映像に対して、フィールド間オフセット空間サブナイキスト標本化を行うことによって、輪郭や高域空間周波数成分を時間方向のフリッカ(ちらつき)に変換する。これによって、特許文献2に記載の発明は、ビューファインダで合焦領域をフリッカとして表示することができる。 Further, the invention described in Patent Document 2 performs contour-to-field offset space sub-Nyquist sampling on a camera image, thereby converting contours and high-frequency spatial frequency components into flicker in the time direction. Accordingly, the invention described in Patent Document 2 can display the in-focus area as flicker on the viewfinder.
さらに、特許文献3に記載の発明は、高精細映像のN×N画素領域ごとに分散値をとり、高域空間周波数成分を持つ領域では分散値が大きくなることを利用して、分散値の情報をフォーカス調整補助信号としてビューファインダ映像に多重している。 Furthermore, the invention described in Patent Document 3 takes a dispersion value for each N × N pixel region of high-definition video, and uses the fact that the dispersion value increases in a region having a high-frequency spatial frequency component. Information is multiplexed on the viewfinder video as a focus adjustment auxiliary signal.
しかし、特許文献1に記載の発明は、フォーカス調整の対象となる部分を拡大しているため、撮影画角全体を見ることができず、ビューファインダの視認性が悪くなるという問題がある。さらに、特許文献1に記載の発明は、フォーカス調整の対象となる領域を選択する操作(フォーカス調整領域選択操作)が必要となる。
However, the invention described in
また、特許文献2に記載の発明は、フォーカス状態がフリッカとして表示されるのでビューファインダの視認性が悪く、このフリッカがフォーカス調整を妨害してしまう。さらに、特許文献2に記載の発明は、フリッカの速さとフォーカス状態との関係をカメラマンが理解する必要があり、ビューファインダの利便性が低くなるという問題もある。 In the invention described in Patent Document 2, since the focus state is displayed as flicker, the visibility of the viewfinder is poor, and this flicker hinders focus adjustment. Furthermore, the invention described in Patent Document 2 requires the cameraman to understand the relationship between the flicker speed and the focus state, and there is a problem that the convenience of the viewfinder is lowered.
さらに、特許文献3に記載の発明は、分散値を計算するための計算コストが大きく、特に、超高精細映像では計算コストが莫大になるという問題がある。 Further, the invention described in Patent Document 3 has a problem that the calculation cost for calculating the variance value is large, and particularly, the calculation cost becomes enormous in the ultra high definition video.
そこで、本発明は、フォーカス調整領域選択操作を不要とし、ビューファインダの視認性および利便性を向上させると共に、計算コストが少ないビューファインダ映像生成装置を提供することを課題とする。 Therefore, an object of the present invention is to provide a viewfinder video generation apparatus that eliminates the need for a focus adjustment area selection operation, improves the visibility and convenience of the viewfinder, and reduces the calculation cost.
前記した課題を解決するため、本願第1発明に係るビューファインダ映像生成装置は、ビューファインダを備える高精細撮影カメラで撮影された高精細映像が入力されると共に、前記高精細映像から、前記高精細撮影カメラの解像度より低い前記ビューファインダの解像度に対応した低解像度映像を生成する低解像度映像生成部と、前記高精細映像から、前記ビューファインダにおいて前記高精細撮影カメラの合焦領域を示すフォーカス調整補助信号を生成するフォーカス調整補助信号生成部と、前記低解像度映像と前記フォーカス調整補助信号とを合成してビューファインダ映像を生成する信号合成部と、を備えるビューファインダ映像生成装置であって、前記フォーカス調整補助信号生成部が、高域空間周波数成分抽出部と、合焦領域抽出部と、解像度変換部と、を備えることを特徴とする。 In order to solve the above-described problem, the viewfinder video generation device according to the first invention of the present application receives a high-definition video shot by a high-definition shooting camera equipped with a viewfinder, and from the high-definition video, the high-definition video is input. A low-resolution video generation unit that generates a low-resolution video corresponding to the resolution of the viewfinder lower than the resolution of the high-definition camera, and a focus that indicates a focus area of the high-definition camera in the viewfinder from the high-definition video A viewfinder video generation device comprising: a focus adjustment auxiliary signal generation unit that generates an adjustment auxiliary signal; and a signal synthesis unit that generates a viewfinder image by combining the low-resolution video and the focus adjustment auxiliary signal. The focus adjustment auxiliary signal generation unit includes a high-frequency spatial frequency component extraction unit and an in-focus region extraction unit. It characterized in that it comprises a part, and the resolution conversion unit.
かかる構成によれば、ビューファインダ映像生成装置は、高域空間周波数成分抽出部によって、入力された前記高精細映像から、所定の周波数成分以上の高域空間周波数成分を、中間処理信号として抽出する。ここで、高精細映像において、フォーカスが合っている部分(合焦領域)にある輪郭、文字および細かな図柄は、フォーカスが合っていない部分(合焦領域以外の領域)と比べて高い空間周波数成分を有する。このため、高域空間周波数成分抽出部は、高精細映像から、合焦領域の空間周波数成分を含む、所定の周波数成分以上の高域空間周波数成分を抽出する。 According to such a configuration, the viewfinder video generation device extracts, as an intermediate processing signal, a high frequency spatial frequency component equal to or higher than a predetermined frequency component from the input high definition video by the high frequency spatial frequency component extraction unit. . Here, in high-definition video, the outline, characters, and fine patterns in the focused part (focused area) are higher in spatial frequency than the focused part (area other than the focused area). With ingredients. For this reason, the high frequency spatial frequency component extraction unit extracts a high frequency spatial frequency component equal to or higher than a predetermined frequency component including the spatial frequency component of the focused region from the high definition video.
また、ビューファインダ映像生成装置は、合焦領域抽出部が、前記高域空間周波数成分抽出部によって高域空間周波数成分が抽出された中間処理信号において、予め設定された閾値以下の信号レベルをゼロにする閾値処理と、前記信号レベルを調整するレベル調整処理とを行う。言い換えるなら、合焦領域抽出部は、閾値処理およびレベル調整処理を行って、合焦領域を強調する。 Further, the viewfinder video generation device may be configured such that the focus area extraction unit sets a signal level equal to or lower than a preset threshold to zero in the intermediate processing signal from which the high frequency spatial frequency component is extracted by the high frequency spatial frequency component extraction unit. Threshold processing for leveling and level adjustment processing for adjusting the signal level. In other words, the focus area extraction unit performs threshold processing and level adjustment processing to emphasize the focus area.
そして、ビューファインダ映像生成装置は、解像度変換部によって、前記合焦領域抽出部から入力された中間処理信号を前記ビューファインダの解像度に変換することで、前記フォーカス調整補助信号を生成する。これによって、ビューファインダ映像生成装置は、映像の一部拡大およびフリッカの変換や計算コストが大きい分散値の算出を行うことなく、フォーカス調整に有用な高域空間周波数成分が失われていないビューファインダ映像を生成できる。 The viewfinder video generation apparatus generates the focus adjustment auxiliary signal by converting the intermediate processing signal input from the in-focus area extraction unit into the resolution of the viewfinder by the resolution conversion unit. As a result, the viewfinder video generation device does not lose the high-frequency spatial frequency component useful for focus adjustment without performing partial enlargement of the video, flicker conversion, and calculation of a variance value with high calculation cost. Video can be generated.
また、前記した課題を解決するため、本願第2発明に係るビューファインダ映像生成装置は、ビューファインダを備える高精細撮影カメラで撮影された高精細映像が入力されると共に、前記高精細映像から、前記高精細撮影カメラの解像度より低い前記ビューファインダの解像度に対応した低解像度映像を生成する低解像度映像生成部と、前記高精細映像から、前記ビューファインダにおいて前記高精細撮影カメラの合焦領域を示すフォーカス調整補助信号を生成するフォーカス調整補助信号生成部と、前記低解像度映像と前記フォーカス調整補助信号とを合成してビューファインダ映像を生成する信号合成部と、を備えるビューファインダ映像生成装置であって、前記フォーカス調整補助信号生成部が、高域空間周波数成分抽出部と、解像度変換部と、合焦領域抽出部と、を備えることを特徴とする。 In order to solve the above-described problem, the viewfinder video generation device according to the second invention of the present application receives a high-definition video shot by a high-definition shooting camera including a viewfinder, and from the high-definition video, A low-resolution video generation unit that generates a low-resolution video corresponding to the resolution of the viewfinder that is lower than the resolution of the high-definition camera, and a focus area of the high-definition camera in the viewfinder from the high-definition video A viewfinder video generation device including a focus adjustment auxiliary signal generation unit that generates a focus adjustment auxiliary signal, and a signal synthesis unit that generates a viewfinder video by combining the low-resolution video and the focus adjustment auxiliary signal. The focus adjustment auxiliary signal generation unit includes a high frequency spatial frequency component extraction unit and a resolution. Characterized in that it comprises a conversion unit, a focus area extracting unit.
かかる構成によれば、ビューファインダ映像生成装置は、高域空間周波数成分抽出部によって、入力された前記高精細映像から、所定の周波数成分以上の高域空間周波数成分を、中間処理信号として抽出する。ここで、高精細映像において、フォーカスが合っている部分(合焦領域)にある輪郭、文字および細かな図柄は、フォーカスが合っていない部分(合焦領域以外の領域)と比べて高い空間周波数成分を有する。このため、高域空間周波数成分抽出部は、高精細映像から、合焦領域の空間周波数成分を含む高域空間周波数成分を抽出する。 According to such a configuration, the viewfinder video generation device extracts, as an intermediate processing signal, a high frequency spatial frequency component equal to or higher than a predetermined frequency component from the input high definition video by the high frequency spatial frequency component extraction unit. . Here, in high-definition video, the outline, characters, and fine patterns in the focused part (focused area) are higher in spatial frequency than the focused part (area other than the focused area). With ingredients. For this reason, the high frequency spatial frequency component extraction unit extracts a high frequency spatial frequency component including the spatial frequency component of the focused region from the high definition video.
また、ビューファインダ映像生成装置は、解像度変換部が、前記高域空間周波数成分抽出部によって高域空間周波数成分が抽出された中間処理信号を前記ビューファインダの解像度に変換する。つまり、ビューファインダ映像生成装置は、閾値処理およびレベル調整処理を行う前に、中間処理信号の解像度を低くしておく。 Further, in the viewfinder video generation device, the resolution conversion unit converts the intermediate processing signal from which the high frequency spatial frequency component is extracted by the high frequency spatial frequency component extraction unit into the resolution of the viewfinder. That is, the viewfinder video generation device lowers the resolution of the intermediate processing signal before performing the threshold processing and the level adjustment processing.
そして、ビューファインダ映像生成装置は、合焦領域抽出部によって、前記解像度変換部から入力された中間処理信号において、予め設定された閾値以下の信号レベルをゼロにする閾値処理と、前記信号レベルを調整するレベル調整処理とを行うことで、前記フォーカス調整補助信号を生成する。言い換えるなら、合焦領域抽出部は、閾値処理およびレベル調整処理を行って、合焦領域を強調する。これによって、ビューファインダ映像生成装置は、映像の一部拡大およびフリッカの変換や計算コストが大きい分散値の算出を行うことなく、フォーカス調整に有用な高域空間周波数成分が失われていないビューファインダ映像を生成できる。 Then, the viewfinder video generation device includes a threshold processing for setting a signal level equal to or lower than a preset threshold to zero in the intermediate processing signal input from the resolution conversion unit by the focusing area extraction unit, and the signal level. The focus adjustment auxiliary signal is generated by performing level adjustment processing for adjustment. In other words, the focus area extraction unit performs threshold processing and level adjustment processing to emphasize the focus area. As a result, the viewfinder video generation device does not lose the high-frequency spatial frequency component useful for focus adjustment without performing partial enlargement of the video, flicker conversion, and calculation of a variance value with high calculation cost. Video can be generated.
本願第1,2発明に係るビューファインダ映像生成装置において、前記高域空間周波数成分抽出部が、前記入力された高精細映像から、前記高域空間周波数成分を前記中間処理信号として抽出するFIRフィルタと、前記FIRフィルタから入力された中間処理信号において、信号値の絶対値を算出する絶対値算出手段と、を備えることが好ましい。 In viewfinder image generating apparatus according to the gun first and second invention, the high spatial frequency component extraction unit extracts from the high definition video that has been the input, the high spatial frequency components as said intermediate processing signal FIR It is preferable to include a filter and an absolute value calculation unit that calculates an absolute value of the signal value in the intermediate processing signal input from the FIR filter.
本願第1,2発明に係るビューファインダ映像生成装置において、前記合焦領域抽出部が、入力された前記中間処理信号に前記閾値処理を行う閾値処理手段と、前記閾値処理手段から入力された中間処理信号に前記レベル調整処理を行うレベル調整手段と、を備えることが好ましい。 In viewfinder image generating apparatus according to the gun first and second invention, the focusing area extracting unit, and a threshold processing means for performing the threshold processing to the inputted intermediate processing signals, inputted from the threshold processing unit Preferably, level adjustment means for performing the level adjustment processing on the intermediate processing signal is provided.
本願第1,2発明に係るビューファインダ映像生成装置において、前記解像度変換部が、入力された前記中間処理信号において、注目画素の周辺に位置する周辺画素の画素値を順位付けて、前記注目画素の画素値を、予め設定された順位における前記周辺画素の画素値で置き換えるランクオーダーフィルタと、前記ランクオーダーフィルタから入力された中間処理信号を前記ビューファインダの解像度に変換する解像度変換手段と、を備えることが好ましい。 In viewfinder image generating apparatus according to the gun first and second invention, the resolution conversion unit, in the inputted intermediate processing signals, and ranks the pixel values of the peripheral pixels located around the pixel of interest, the target A rank order filter that replaces pixel values of pixels with pixel values of the surrounding pixels in a preset order; resolution conversion means that converts an intermediate processing signal input from the rank order filter to the resolution of the viewfinder; It is preferable to provide.
本願第1,2発明に係るビューファインダ映像生成装置において、前記解像度変換部が、入力された前記中間処理信号を所定サイズの大ブロックに分割し、前記大ブロック毎に、前記大ブロック内の全画素の画素値を順位付けて、前記大ブロックより小さいサイズの小ブロック内の全画素の画素値を、予め設定された順位における前記大ブロックの画素値で置き換えることが好ましい。 In viewfinder image generating apparatus according to the gun first and second invention, the resolution conversion unit divides the input the intermediate processed signal to the large block of a predetermined size, said each large block, in said large block It is preferable to rank the pixel values of all the pixels and replace the pixel values of all the pixels in the small block having a size smaller than the large block with the pixel values of the large block in a preset order.
本願第1,2発明に係るビューファインダ映像生成装置において、前記解像度変換部が、入力された前記中間処理信号において、注目画素の周辺に位置する周辺画素のうちの最大画素値を抽出する最大画素値抽出手段と、入力された前記中間処理信号において、前記周辺画素のうちの画素値がゼロでない画素の数をカウントする画素数カウンタと、前記画素数カウンタがカウントした画素の数が予め設定された判定閾値以下であるか否かを判定し、入力された前記中間処理信号において、当該カウントした画素の数が当該判定閾値以下の場合、前記注目画素の画素値をゼロに置き換えて、当該カウントした画素の数が当該判定閾値以下でない場合、前記注目画素の画素値を前記最大画素値抽出手段が抽出した最大画素値に置き換えて出力する最大画素値置換手段と、前記最大画素値置換手段から入力された中間処理信号を前記ビューファインダの解像度に変換する解像度変換手段と、を備えることが好ましい。 Up in the viewfinder image generating apparatus according to the gun first and second invention, the resolution conversion unit, in the inputted intermediate processing signals, for extracting the maximum pixel value among the peripheral pixels located around the pixel of interest A pixel value extraction unit, a pixel number counter that counts the number of non-zero pixels among the peripheral pixels in the input intermediate processing signal, and the number of pixels counted by the pixel number counter are preset. In the input intermediate processing signal, when the number of counted pixels is equal to or less than the determination threshold, the pixel value of the target pixel is replaced with zero, If the counted number of pixels is not less than or equal to the determination threshold, the pixel value of the pixel of interest is replaced with the maximum pixel value extracted by the maximum pixel value extracting means and output. The large pixel value replacing means, and resolution converting means for converting the intermediate processing signal input from the maximum pixel value replacement means the resolution of the viewfinder, it is preferably provided with a.
本願第1,2発明に係るビューファインダ映像生成装置において、前記解像度変換部が、入力された中間処理信号を所定サイズの大ブロックに分割すると共に、前記大ブロック内の全画素の最大画素値を抽出する最大画素値抽出手段と、入力された前記中間処理信号において、前記大ブロック内で画素値がゼロでない画素の数をカウントする画素数カウンタと、前記画素数カウンタがカウントした画素の数が予め設定された判定閾値以下であるか否かを判定し、前記大ブロックに分割された前記中間処理信号から、当該カウントした画素の数が当該判定閾値以下の場合、前記大ブロックより小さいサイズで全画素の画素値をゼロとした小ブロックを生成し、当該カウントした画素の数が当該判定閾値以下でない場合、前記最大画素値抽出手段が抽出した最大画素値を全画素の画素値とした前記小ブロックを生成する最大画素値置換・解像度変換手段と、を備えることが好ましい。 In viewfinder image generating apparatus according to the gun first and second invention, the resolution conversion unit, as well as divide the inputted intermediate processed signal to the large block of a predetermined size, the maximum pixel value of all pixels in said large block A maximum pixel value extracting means for extracting a pixel number, a pixel number counter for counting the number of pixels whose pixel values are not zero in the large block in the input intermediate processing signal, and the number of pixels counted by the pixel number counter Is smaller than the large block when the number of counted pixels is equal to or smaller than the determination threshold from the intermediate processing signal divided into the large blocks. If the number of counted pixels is not less than or equal to the determination threshold value, the maximum pixel value extracting means And the maximum pixel value replacement-resolution conversion means the maximum pixel value extracted to generate the small blocks and the pixel values of all the pixels, it is preferably provided with a.
本願第1,2発明に係るビューファインダ映像生成装置は、前記画素数カウンタが、前記判定閾値以上の値で予め設定されたカウント上限値まで、前記画素値がゼロでない画素の数をカウントすることが好ましい。 Viewfinder image generating apparatus according to the gun first and second invention, the pixel number counter, until a preset count upper limit in the determination threshold value greater than or equal to count the number of pixels the pixel value is not zero It is preferable.
本願第1発明に係るビューファインダ映像生成装置は、映像の一部拡大およびフリッカの変換や計算コストが大きい分散値の算出を行うことなくビューファインダ映像を生成できるため、フォーカス調整領域選択操作を不要とし、ビューファインダの視認性および利便性を向上させると共に、計算コストを少なくすることができる。 The viewfinder image generation apparatus according to the first invention of the present application can generate a viewfinder image without performing partial enlargement of the image, conversion of flicker, and calculation of a variance value having a large calculation cost, so that a focus adjustment area selection operation is unnecessary. In addition, the visibility and convenience of the viewfinder can be improved and the calculation cost can be reduced.
本願第2発明に係るビューファインダ映像生成装置は、映像の一部拡大およびフリッカの変換や計算コストが大きい分散値の算出を行うことなくビューファインダ映像を生成できるため、フォーカス調整領域選択操作を不要とし、ビューファインダの視認性および利便性を向上させる。さらに、本願第2発明に係るビューファインダ映像生成装置は、閾値処理およびレベル調整処理を行う前に中間処理信号の解像度を低くするので、閾値処理およびレベル調整処理の演算量を大幅に低減でき、計算コストを非常に少なくすることができる。 The viewfinder video generation apparatus according to the second invention of the present application can generate a viewfinder video without performing partial enlargement of the video, conversion of flicker, and calculation of a variance value having a high calculation cost. And improving the visibility and convenience of the viewfinder. Furthermore, since the viewfinder video generation device according to the second invention of the present application lowers the resolution of the intermediate processing signal before performing the threshold processing and the level adjustment processing, the amount of calculation of the threshold processing and the level adjustment processing can be greatly reduced. The calculation cost can be greatly reduced.
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate. In each embodiment, means having the same function are denoted by the same reference numerals and description thereof is omitted.
(第1実施形態:最大値フィルタ)
[ビューファインダ映像生成装置の概略]
図1を参照して、本発明の第1実施形態に係るビューファインダ映像生成装置1の概略について説明する。
(First embodiment: maximum value filter)
[Outline of viewfinder video generation device]
With reference to FIG. 1, an outline of a viewfinder
ビューファインダ映像生成装置1は、超高精細撮影カメラCで撮影された超高精細映像(高精細映像)が入力されると共に、超高精細映像からビューファインダ映像を生成する。そして、ビューファインダ映像生成装置1は、このビューファインダ映像をビューファインダVFに出力する。
The viewfinder
超高精細撮影カメラCは、例えば、任意の被写体が撮影された超高精細映像(例えば、スーパーハイビジョン映像)をビューファインダ映像生成装置1に出力するスーパーハイビジョン撮影カメラである。
The ultra-high-definition photographing camera C is a super high-definition photographing camera that outputs an ultra-high-definition video (for example, a super high-definition video) in which an arbitrary subject is photographed to the viewfinder
また、超高精細撮影カメラCは、ビューファインダ映像生成装置1から入力されたビューファインダ映像を表示するビューファインダVFを備える。このビューファインダVFは、その解像度が、超高精細撮影カメラC本体より低くなっている。例えば、ビューファインダVFは、モノクロ表示の場合には解像度が500本〜700本であり、カラー表示の場合には解像度が300本〜500本である。
The ultra-high-definition camera C includes a viewfinder VF that displays the viewfinder video input from the viewfinder
[ビューファインダ映像生成装置の構成]
以下、ビューファインダ映像生成装置1の構成について説明する。
図1に示すように、ビューファインダ映像生成装置1は、補助信号生成部(フォーカス調整補助信号生成部)2と、低解像度映像生成部4と、信号合成部5とを備える。
[Configuration of viewfinder video generator]
Hereinafter, the configuration of the viewfinder
As shown in FIG. 1, the viewfinder
補助信号生成部2は、ビューファインダVFにおいて超高精細撮影カメラCの合焦領域を示し、カメラマンがフォーカス状態を確認するためのフォーカス補助信号を生成する。このため、補助信号生成部2は、高域空間周波数成分抽出部10と、合焦領域抽出部20と、解像度変換部30とを備える。 The auxiliary signal generation unit 2 indicates a focus area of the ultra-high-definition photographing camera C in the viewfinder VF, and generates a focus auxiliary signal for the cameraman to check the focus state. For this reason, the auxiliary signal generation unit 2 includes a high-frequency spatial frequency component extraction unit 10, a focused region extraction unit 20, and a resolution conversion unit 30.
高域空間周波数成分抽出部10は、超高精細撮影カメラCから超高精細映像が入力されると共に、超高精細映像から、所定の周波数成分以上の高域空間周波数成分を、中間処理信号として抽出する。このため、高域空間周波数成分抽出部10は、FIRフィルタ11と、絶対値算出手段13とを備える。
The high-frequency spatial frequency component extracting unit 10 receives an ultra-high-definition video from the ultra-high-definition photographing camera C, and uses a high-frequency spatial frequency component equal to or higher than a predetermined frequency component from the ultra-high-definition video as an intermediate processing signal. Extract. For this reason, the high frequency spatial frequency component extracting unit 10 includes an
FIRフィルタ11は、入力された超高精細映像から、合焦領域の空間周波数成分を含む高域空間周波数成分を、中間処理信号として抽出する。例えば、FIRフィルタ11としては、輪郭抽出に用いられる、高域通過フィルタ(HPF)または帯域通過フィルタ(BPF)としての特性を持つフィルタを用いることができる。ここで、FIRフィルタ11は、2次元的に処理する必要があるので、2次元FIRフィルタを用いるか、水平方向および垂直方向にそれぞれ1次元FIRフィルタを2回用いる必要がある。さらに、タップ数が多いフィルタの代わりに、FIRフィルタ11として、例えば、微分フィルタ(1次および2次)またはSobelフィルタ等のエッジ抽出フィルタを利用してもよい。これらエッジ抽出フィルタは、タップ数が少ないFIRフィルタとみなせるため、FIRフィルタとして利用できる。
The
ここで、FIRフィルタ11の種類によっては、高域空間周波数成分を抽出した中間処理信号の信号値が、負の値になる場合がある。このため、絶対値算出手段13は、FIRフィルタ11から入力された中間処理信号の絶対値を算出する絶対値処理を行い、この中間処理信号の信号値を全て正の値に変換する。そして、絶対値算出手段13は、絶対値処理を行った中間処理信号を合焦領域抽出部20に出力する。
Here, depending on the type of the
合焦領域抽出部20は、高域空間周波数成分抽出部10から中間処理信号が入力されると共に、この中間処理信号において、予め設定された閾値以下の信号レベルをゼロにする閾値処理と、信号レベルを調整するレベル調整処理とを行う。このため、合焦領域抽出部20は、閾値処理手段21と、レベル調整手段23とを備える。
The in-focus area extraction unit 20 receives the intermediate processing signal from the high-frequency spatial frequency component extraction unit 10, and in the intermediate processing signal, performs threshold processing for setting a signal level equal to or lower than a preset threshold to zero, Perform level adjustment processing to adjust the level. For this reason, the focus area extraction unit 20 includes a
閾値処理手段21は、入力された中間処理信号に閾値処理を行う。つまり、閾値処理手段21は、入力された超高精細映像において、この闇値処理により一定レベル以下の信号成分を切り捨てて、超高精細映像に含まれるノイズ成分および相対的に低い空間周波数成分の一部を抑圧(低減)することができる。そして、閾値処理手段21は、閾値処理を行った中間処理信号をレベル調整手段23に出力する。
なお、この閾値(後記する閾値xthreshold)は、超高精細撮影カメラCのS/N、および、超高精細映像の画像特徴によって最適値が異なるため、任意の値に手動で設定される。
The threshold processing means 21 performs threshold processing on the input intermediate processing signal. That is, the threshold processing means 21 cuts off signal components below a certain level by this dark value processing in the input ultra-high definition video, and generates noise components and relatively low spatial frequency components contained in the ultra-high definition video. A part can be suppressed (reduced). Then, the threshold processing means 21 outputs the intermediate processing signal subjected to the threshold processing to the level adjusting means 23.
The threshold value (threshold value x threshold described later) is manually set to an arbitrary value because the optimum value differs depending on the S / N of the ultra-high definition photographing camera C and the image characteristics of the ultra-high definition video.
レベル調整手段23は、閾値処理手段21から中間処理信号が入力されると共に、この中間処理信号にレベル調整処理を行う。その後、レベル調整手段23は、この中間処理信号を解像度変換部30に出力する。
The
以下、図2を参照し、レベル調整処理について説明する(適宜図1参照)。このレベル調整処理は、端的に言えばゲイン調整である。例えば、レベル調整手段23は、図2に示すように、入力された中間処理信号の信号レベルに応じて、その倍率を変更できるので、特定の信号レベルをブーストまたは減衰させる。このレベル調整処理は、例えば、中間の空間周波数成分を強調したい場合に有効である。
Hereinafter, the level adjustment process will be described with reference to FIG. 2 (see FIG. 1 as appropriate). This level adjustment processing is simply gain adjustment. For example, as shown in FIG. 2, the
ここで、前記したレベル調整処理および閾値処理は、下記の式(1)で表すことができる。 Here, the level adjustment process and the threshold process described above can be expressed by the following equation (1).
この式(1)では、xinが入力された信号レベルであり、xthresholdが閾値であり、xoutが出力する信号レベルであり、mがゲイン(利得)であり、m1,m2は倍率である。ここで、倍率m1,m2は、閾値xthresholdと同様、任意の値に手動で設定される。 In this equation (1), x in is the input signal level, x threshold is the threshold, x out is the output signal level, m is the gain, and m1 and m2 are the magnifications. is there. Here, the magnifications m1 and m2 are manually set to arbitrary values, similarly to the threshold value x threshold .
なお、倍率m1=倍率m2であれば固定倍率となる。また、倍率m1,倍率m2の大小関係は問わない。さらに、倍率m1,倍率m2は、0を超えて1未満の値としてもよい。 If the magnification m1 = the magnification m2, the fixed magnification is obtained. Further, the magnitude relationship between the magnification m1 and the magnification m2 does not matter. Further, the magnification m1 and the magnification m2 may be values exceeding 0 and less than 1.
以下、図1に戻り、ビューファインダ映像生成装置1の構成について説明を続ける。
解像度変換部30は、合焦領域抽出部20から中間処理信号が入力されると共に、この中間処理信号をビューファインダVFの解像度に変換することで、フォーカス調整補助信号を生成する。このため、解像度変換部30は、最大値フィルタ31と、サブサンプリング手段(解像度変換手段)33とを備える。
Hereinafter, returning to FIG. 1, the description of the configuration of the viewfinder
The resolution conversion unit 30 receives the intermediate processing signal from the focus area extraction unit 20, and converts the intermediate processing signal into the resolution of the viewfinder VF, thereby generating a focus adjustment auxiliary signal. Therefore, the resolution conversion unit 30 includes a
最大値フィルタ31は、入力された中間処理信号において、注目画素の画素値を、当該注目画素の周辺に位置する周辺画素のうちの最大画素値に置き換える。そして、最大値フィルタ31は、最大値フィルタ処理を行った中間処理信号をサブサンプリング手段33に出力する。
The
以下、図3を参照し、最大値フィルタ31の詳細について説明する。なお、図3では、各画素を、その画素値が高いほど淡く図示し、画素値が低いほど濃く図示した。図3に示すように、最大値フィルタ31は、中間処理信号において、注目画素αの画素値を、最大値フィルタ処理の対象となる、N×N画素(Nは2以上の整数、ここではN=8)の周辺領域のうち、最大画素値を有する画素β1の画素値に置き換える。そして、最大値フィルタ31が最大値フィルタ処理を中間処理信号の全体に行うことで、高域空間周波数成分の帯城が低域空間周波数成分の帯城に広がる。その結果、ビューファインダ映像生成装置1は、サブサンプリング等の単純な手法で解像度変換を行っても、解像度変換後に、フォーカス調整に有用な高域空間周波数成分が失われることを防止できる。
Hereinafter, the details of the
以下、図1に戻り、ビューファインダ映像生成装置1の構成について説明を続ける。
サブサンプリング手段33は、最大値フィルタ31から入力された中間処理信号をサブサンプリングしてビューファインダVFの解像度に変換し、フォーカス調整補助信号を生成する。そして、サブサンプリング手段33は、このフォーカス調整補助信号を信号合成部5に出力する。
Hereinafter, returning to FIG. 1, the description of the configuration of the viewfinder
The sub-sampling means 33 sub-samples the intermediate processing signal input from the
ここで、サブサンプリング手段33は、例えば、下記の式(2)で表される比率で、画像の水平方向および垂直方向にそれぞれA:1のサブサンプリングを行う。このとき、超高精細映像とビューファインダ映像とのアスペクト比が等しいものとする。また、式(2)では、Aはサンプリングの比率、Lsは超高精細映像の走査線数、Lvはビューファインダ映像の走査線数である。 Here, the sub-sampling means 33 performs A: 1 sub-sampling in the horizontal direction and the vertical direction of the image, respectively, at a ratio expressed by the following formula (2), for example. At this time, it is assumed that the ultra high definition video and the viewfinder video have the same aspect ratio. In Expression (2), A is the sampling ratio, Ls is the number of scanning lines of the ultra-high definition video, and Lv is the number of scanning lines of the viewfinder video.
A=Ls/Lv・・・式(2) A = Ls / Lv (2)
低解像度映像生成部4は、超高精細撮影カメラCから超高精細映像が入力されると共に、この超高精細映像から、ビューファインダVFの解像度に対応した低解像度映像を生成する。このため、低解像度映像生成部4は、ローパスフィルタ41と、サブサンプリング手段43とを備える。
The low-resolution video generation unit 4 receives the ultra-high-definition video from the ultra-high-definition photographing camera C, and generates a low-resolution video corresponding to the resolution of the viewfinder VF from the ultra-high-definition video. For this reason, the low-resolution video generation unit 4 includes a low-
ローパスフィルタ41は、折り返し防止のため、入力された超高精細映像に対してローパスフィルタ(LPF)処理を行って、超高精細映像をサブサンプリング手段43に出力する。
The low-
サブサンプリング手段43は、ローパスフィルタ41から超高精細映像が入力されると共に、この超高精細映像をサブサンプリングしてビューファインダVFの解像度に変換し、低解像度映像を生成する。そして、サブサンプリング手段43は、この低解像度映像を信号合成部5に出力する。
The sub-sampling means 43 receives the ultra-high definition video from the low-
信号合成部5は、サブサンプリング手段33からフォーカス調整補助信号が入力され、サブサンプリング手段43から低解像度映像が入力される。そして、信号合成部5は、入力された低解像度映像とフォーカス調整補助信号とを合成してビューファインダ映像を生成し、ビューファインダ映像をビューファインダVFに出力する。
The
以下、図4,5を参照し、信号合成部5の詳細を説明する(適宜図1参照)。図4は、3個の被写体Ob1〜Ob3が含まれる超高精細映像の一例であり、被写体Ob2にフォーカスが合っているとする。また、図5は、図4の超高精細映像から生成したビューファインダ映像の一例であり、ビューファインダ映像における合焦領域を太線で示した。
The details of the
ビューファインダVFがモノクロ表示を行う場合、信号合成部5は、例えば、低解像度映像とフォーカス調整補助信号とを単純に加算(合成)してもよい。
また、ビューファインダVFがカラー表示を行う場合、信号合成部5は、例えば、合焦領域をグリーン色として合成もよい。さらに、信号合成部5は、例えば、輝度を一定に保ちなから合焦領域のみをカラー表示し、合焦領域以外の領域はモノクロのまま表示するように合成してもよい。この結果、図5に示すように、ビューファインダ映像では、合焦領域が強調されてこれが視認しやすくなる。
なお、これら合成手法は、例えば、特開2007−86481号公報に詳細に記載されている。
When the viewfinder VF performs monochrome display, the
When the viewfinder VF performs color display, the
Note that these synthesis methods are described in detail in, for example, Japanese Patent Application Laid-Open No. 2007-86481.
[ビューファインダ映像生成装置の動作]
以下、図6を参照し、ビューファインダ映像生成装置1の動作について説明する(適宜図1参照)。まず、ビューファインダ映像生成装置1は、FIRフィルタ11によって、FIRフィルタ処理を行う(ステップS1)。また、ビューファインダ映像生成装置1は、絶対値算出手段13によって、中間処理信号において信号値の絶対値を算出する(ステップS2)。
[Operation of the viewfinder image generator]
Hereinafter, the operation of the viewfinder
また、ビューファインダ映像生成装置1は、閾値処理手段21によって、閾値処理を行う(ステップS3)。そして、ビューファインダ映像生成装置1は、レベル調整手段23によって、レベル調整処理を行う(ステップS4)。
Further, the viewfinder
また、ビューファインダ映像生成装置1は、最大値フィルタ31によって、最大値フィルタ処理を行う(ステップS5)。そして、ビューファインダ映像生成装置1は、サブサンプリング手段33によって、サブサンプリングを行ってフォーカス調整補助信号を生成する(ステップS6)。
Further, the viewfinder
ここで、ステップS1〜S6の処理と並行して、ビューファインダ映像生成装置1は、ローパスフィルタ41によって、ローパスフィルタ処理を行う(ステップS7)。また、ビューファインダ映像生成装置1は、サブサンプリング手段43によって、サブサンプリングを行って低解像度映像を生成する(ステップS8)。
Here, in parallel with the processing of steps S1 to S6, the viewfinder
そして、ビューファインダ映像生成装置1は、低解像度映像とフォーカス調整補助信号とを信号合成してビューファインダ映像を生成する(ステップS9)。
Then, the viewfinder
以上のように、本発明の第1実施形態に係るビューファインダ映像生成装置1は、映像の一部拡大およびフリッカの変換や計算コストが大きい分散値の算出を行うことなくビューファインダ映像を生成できるため、フォーカス調整領域選択操作を不要とし、ビューファインダVFの視認性および利便性を向上させると共に、計算コストを少なくすることができる。
As described above, the viewfinder
(変形例1)
図1のビューファインダ映像生成装置1は、合焦領域抽出部20と解像度変換部30との配置を入れ替えてもよい。以下、図7を参照し、合焦領域抽出部20と解像度変換部30との配置を入れ替えたビューファインダ映像生成装置1を、本発明の変形例1に係るビューファインダ映像生成装置1Bとして説明する(適宜図1参照)。
(Modification 1)
The viewfinder
図7に示すように、ビューファインダ映像生成装置1Bは、最大値フィルタ31およびサブサンプリング手段33を、閾値処理手段21およびレベル調整手段23の前段に配置している。従って、閾値処理手段21およびレベル調整手段23が解像度の低い中間処理信号を扱うことになるため、ビューファインダ映像生成装置1Bは、図1のビューファインダ映像生成装置1と同様の効果に加え、計算コストを非常に少なくすることができる。
As shown in FIG. 7, the viewfinder
つまり、図7のビューファインダ映像生成装置1Bは、演算負荷を抑えたい場合に有効な構成である。一方、レベル調整手段17によって信号値の大小関係が逆転する可能性がある場合には、図1のビューファインダ映像生成装置1の構成が、好ましい。
That is, the viewfinder video generation apparatus 1B of FIG. 7 is effective when it is desired to reduce the computation load. On the other hand, when there is a possibility that the magnitude relationship between the signal values is reversed by the level adjusting unit 17, the configuration of the viewfinder
(第2実施形態:ランクオーダーフィルタ)
[ビューファインダ映像生成装置の構成]
以下、図8,図9を参照し、本発明の第2実施形態に係るビューファインダ映像生成装置1Cの構成について、第1実施形態と異なる点を主に説明する。図8のビューファインダ映像生成装置1Cは、図1の最大値フィルタ31をランクオーダーフィルタ32に置き換えたものである。
(Second embodiment: rank order filter)
[Configuration of viewfinder video generator]
Hereinafter, with reference to FIGS. 8 and 9, the configuration of the viewfinder
図9に示すように、ランクオーダーフィルタ32は、周辺領域内の各画素の画素値を取得し、その画素値の順位付けを行う。そして、ランクオーダーフィルタ32は、注目画素αの画素値を、最大画素値ではなく、周辺領域のなかでK番目に高い画素値を有する画素β2の画素値で置き換える(Kは予め設定した2以上の整数)。
As shown in FIG. 9, the
超高精細撮影カメラCの撮像素子の構造上、固定パターンノイズや画素欠陥は、周辺画素と独立した単独の画素にのみ生じる場合が多い。このため、ランクオーダーフィルタ32が、例えば、上位2番目又は3番目の画素値で注目画素αの画素値を置き換えることで、ビューファインダ映像生成装置1Cは、孤立点除去効果と最大値フィルタ処理と同様の効果とを得ることができる。
Due to the structure of the image sensor of the ultra-high-definition camera C, fixed pattern noise and pixel defects often occur only in a single pixel independent of surrounding pixels. For this reason, the
ここで、ランクオーダーフィルタ32では、上位の画素値と置き換えることで(つまり、Kを小さな値に設定)するほど、最大値フィルタ処理の効果に近づけることができるが、スパイク状のノイズの除去能力が低くなる。このため、Kの値は、超高精細撮影カメラCの特性に合わせて、手動で適切に設定されることが好ましい。
Here, in the
また、ランクオーダーフィルタ32は、注目画素αの画素値を、周辺領域のなかでK番目に高い画素値を有する画素β2の画素値で置き換えるとしたが、これに限定されない。具体的には、ランクオーダーフィルタ32は、注目画素の画素値を、周辺領域のなかでK番目に低い画素値を有する画素の画素値で置き換えてもよい。
The
なお、図9のランクオーダーフィルタ32以外の手段は、図1の各手段と同様のものであるため、説明を省略する。
Note that means other than the
[ビューファインダ映像生成装置の動作]
以下、図10を参照し、ビューファインダ映像生成装置1Cの動作について説明する(適宜図8参照)。
[Operation of the viewfinder image generator]
Hereinafter, the operation of the viewfinder video generation apparatus 1C will be described with reference to FIG. 10 (see FIG. 8 as appropriate).
ビューファインダ映像生成装置1Cは、ランクオーダーフィルタ32によって、ランクオーダーフィルタ処理を行う(ステップS10)。
なお、図10のステップS10以外の処理は、図6の各ステップと同様の処理であるため、説明を省略する。
The viewfinder video generation device 1C performs rank order filter processing by the rank order filter 32 (step S10).
Note that the processes other than step S10 in FIG. 10 are the same processes as the respective steps in FIG.
以上のように、本発明の第2実施形態に係るビューファインダ映像生成装置1Cは、図1のビューファインダ映像生成装置1と同様の効果に加え、スパイク状ノイズの除去を行うことができる。
As described above, the viewfinder video generation apparatus 1C according to the second embodiment of the present invention can remove spike-like noise in addition to the same effects as the viewfinder
ここで、超高精細映像には、固定パターンノイズ、画素欠陥等のスパイク状のノイズが含まれる場合がある。このとき、最大値フィルタ処理を行うと、最終的なビューファインダ映像にスパイク状のノイズが残存する場合がある。このスパイク状のノイズを取り除くためには、メディアンフィルタを用いて孤立点除去を行う必要があるが、このメディアンフィルタの増設は、装置の大規模化を招くので好ましくない。しかし、ビューファインダ映像生成装置1Cは、ランクオーダーフィルタ32を用いているので、前記した弊害を防止することができる。
Here, the ultra-high-definition video may include spike-shaped noise such as fixed pattern noise and pixel defects. At this time, if maximum value filtering is performed, spike-like noise may remain in the final viewfinder image. In order to remove the spiked noise, it is necessary to remove isolated points using a median filter. However, the addition of the median filter is not preferable because the scale of the apparatus is increased. However, since the viewfinder video generation device 1C uses the
(変形例2)
図8のビューファインダ映像生成装置1Cは、合焦領域抽出部20と解像度変換部30Cとの配置を入れ替えてもよい。以下、図11を参照し、合焦領域抽出部20と解像度変換部30Cとの配置を入れ替えたビューファインダ映像生成装置1Dを、本発明の変形例2に係るビューファインダ映像生成装置1Dとして説明する(適宜図8参照)。
(Modification 2)
The viewfinder video generation device 1C in FIG. 8 may interchange the arrangement of the focus area extraction unit 20 and the resolution conversion unit 30C. Hereinafter, with reference to FIG. 11, a viewfinder video generation device 1D in which the arrangement of the focus area extraction unit 20 and the resolution conversion unit 30C is exchanged will be described as a viewfinder video generation device 1D according to Modification 2 of the present invention. (See FIG. 8 as appropriate).
図11に示すように、ビューファインダ映像生成装置1Dは、ランクオーダーフィルタ32およびサブサンプリング手段33を、閾値処理手段21およびレベル調整手段23の前段に配置している。従って、閾値処理手段21およびレベル調整手段23が解像度の低い中間処理信号を扱うことになるため、ビューファインダ映像生成装置1Dは、図8のビューファインダ映像生成装置1Cと同様の効果に加え、計算コストを非常に少なくすることができる。
As shown in FIG. 11, in the viewfinder
(第3実施形態:一括処理)
[ビューファインダ映像生成装置の構成]
以下、図12,図13を参照し、本発明の第3実施形態に係るビューファインダ映像生成装置1Eの構成について、第1実施形態と異なる点を主に説明する。ビューファインダ映像生成装置1Eは、解像度変換部30Eにおいて、最大値フィルタ処理又はランクオーダーフィルタ処理と、サブサンプリングとを一括処理する。
(Third embodiment: batch processing)
[Configuration of viewfinder video generator]
Hereinafter, with reference to FIGS. 12 and 13, the configuration of the viewfinder
<第1例:最大値フィルタ処理とサブサンプリングとの一括処理>
解像度変換部30Eは、N×N画素(図13ではN=8)をM×M画素(図13ではM=2)にサブサンプリングする場合、中間処理信号全体をN×N画素毎の大ブロックLBに分割し、大ブロックLB内の各画素の最大画素値を抽出して、その画素値でM×M画素の小ブロックSBを生成する。
<First Example: Batch Processing of Maximum Value Filtering and Subsampling>
When sub-sampling N × N pixels (N = 8 in FIG. 13) to M × M pixels (M = 2 in FIG. 13), the
<第2例:ランクオーダーフィルタ処理とサブサンプリングとの一括処理>
解像度変換部30Eは、第1例と同様に大ブロックLBに分割した後、大ブロックLB内での各画素の画素値を順位付けする。そして、解像度変換部30Eは、上位K番目又は下位K番目の画素値を抽出して、その画素値でM×M画素の小ブロックSBを生成する。
なお、ビューファインダ映像生成装置1Eは、前記した第1例又は第2例のどちらの手法を用いてもよく、何れの手法を用いるか手動で設定してもよい。
<Second Example: Batch Processing with Rank Order Filtering and Subsampling>
The
Note that the viewfinder video generation apparatus 1E may use any of the methods of the first example or the second example described above, and may manually set which method is used.
そして、解像度変換部30Eは、第1例又は第2例の手法で生成した小ブロックSBのそれぞれを大ブロックLBに対応する位置に配置して、フォーカス調整補助信号を生成する。例えば、解像度変換部30Eは、図13の大ブロックLBが右上に位置する場合、小ブロックSBを右上というように、小ブロックSBを大ブロックLBに対応させて配置する。また、例えば、解像度変換部30Eは、図13の大ブロックLBが左下に位置する場合、小ブロックSBを左下というように、小ブロックSBを大ブロックLBに対応させて配置する。
Then, the
なお、図12の解像度変換部30E以外の手段は、図1の各手段と同様のものであるため、説明を省略する。
Note that means other than the
なお、図13では、Mが2以上の場合、ビューファインダ映像のフォーマット上の解像度(走査線数)よりも、ビューファインダVFの解像度が低いことを示す。つまり、超高精細映像の走査線数がLsの場合、ビューファインダ映像の走査線数は(M/N)×Lsとなり、ビューファインダVFの解像度は(1/N)×Lsとなる。 In FIG. 13, when M is 2 or more, the resolution of the viewfinder VF is lower than the resolution (number of scanning lines) in the format of the viewfinder video. That is, when the number of scanning lines of the ultra high definition video is Ls, the number of scanning lines of the viewfinder video is (M / N) × Ls, and the resolution of the viewfinder VF is (1 / N) × Ls.
[ビューファインダ映像生成装置の動作]
以下、図14を参照し、ビューファインダ映像生成装置1Eの動作について説明する(適宜図12参照)。
[Operation of the viewfinder image generator]
Hereinafter, the operation of the viewfinder video generation apparatus 1E will be described with reference to FIG. 14 (see FIG. 12 as appropriate).
ビューファインダ映像生成装置1Eは、解像度変換部30Eによって、大ブロックLB毎に解像度変換を行う(ステップS11)。
なお、図14のステップS11以外の処理は、図6の各ステップと同様の処理であるため、説明を省略する。
The viewfinder video generation device 1E performs resolution conversion for each large block LB by the
The processes other than step S11 in FIG. 14 are the same processes as the steps in FIG.
以上のように、本発明の第3実施形態に係るビューファインダ映像生成装置1Eは、図1のビューファインダ映像生成装置1と同様の効果に加え、最大値フィルタ処理又はランクオーダーフィルタ処理と、サブサンプリングとを一括処理することから、計算コストを非常に少なくすることができる。従って、ビューファインダ映像生成装置1Eは、本発明をハードウェアで実装する場合に現実的な構成である。
As described above, the viewfinder video generation apparatus 1E according to the third embodiment of the present invention has the same effect as the viewfinder
(第4実施形態:不要信号の除去)
以下、図15を参照し、本発明の第4実施形態に係るビューファインダ映像生成装置1Fについて、第1実施形態と異なる点を主に説明する(適宜図1参照)。ビューファインダ映像生成装置1Fは、固定パターンノイズ、ランダムノイズなどの不要信号を除去するために、図1の解像度変換部30の代わりに、図15の解像度変換部30Fを備える。
なお、ビューファインダ映像生成装置1Fは、解像度変換部30F以外の各手段が、図1と同様のものであるため、説明を省略する。
(Fourth embodiment: elimination of unnecessary signals)
Hereinafter, with reference to FIG. 15, the viewfinder video generation apparatus 1F according to the fourth embodiment of the present invention will be described mainly with respect to differences from the first embodiment (see FIG. 1 as appropriate). The viewfinder video generation device 1F includes a
Note that the viewfinder video generation device 1F has the same components as those in FIG. 1 except for the
まず、解像度変換部30Fを説明する前に、不要信号について説明する。超高精細映像に固定パターンノイズなどの孤立点状のノイズが含まれる場合、最大値フィルタでは、この孤立点状のノイズを除去しきれず、ビューファインダ映像に残ってしまうことがある。また、ランクオーダーフィルタでは、孤立点状のノイズを除去できるが、コントラストが低下し、フォーカス調整補助信号としての効果が十分に得られない場合がある。さらに、ランクオーダーフィルタ処理では、超高精細映像のS/N比が低い場合、ランダムノイズを除去しきれず、ビューファインダ映像に残ってしまうこともある。
First, before describing the
ここで、解像度変換の対象となる領域(合焦領域)において、固定パターンノイズ、ランダムノイズなどの不要信号は、閾値処理手段21(図1参照)の閾値処理によって、孤立点状のノイズとなってしまう。一方、解像度変換の対象となる領域において、有用な信号成分は、エッジまたは細かなパターンに由来することから、閾値処理後も局所的にまとまって存在している。そこで、ビューファインダ映像生成装置1Fは、この性質に着目し、コントラストを維持しながら、不要信号の除去を実現している。 Here, in an area to be subjected to resolution conversion (focused area), unnecessary signals such as fixed pattern noise and random noise become isolated point noise by the threshold processing of the threshold processing means 21 (see FIG. 1). End up. On the other hand, since useful signal components are derived from edges or fine patterns in a region to be subjected to resolution conversion, they exist locally after threshold processing. Therefore, the viewfinder video generation device 1F pays attention to this property and realizes removal of unnecessary signals while maintaining contrast.
[解像度変換部の構成]
以下、解像度変換部30Fの構成について説明する
解像度変換部30Fは、入力された中間処理信号から不要信号を除去すると共に、この中間処理信号をビューファインダVFの解像度に変換することで、フォーカス調整補助信号を生成する。このため、解像度変換部30Fは、サブサンプリング手段(解像度変換手段)33と、最大画素値抽出手段34と、画素数カウンタ35と、最大画素値出力判定手段(最大画素値置換手段)36とを備える。
なお、サブサンプリング手段33は、図1と同様のものであるため、説明を省略する。
[Configuration of resolution converter]
Hereinafter, the configuration of the
The sub-sampling means 33 is the same as that shown in FIG.
最大画素値抽出手段34は、合焦領域抽出部20(図1参照)から中間処理信号が入力されると共に、入力された中間処理信号において、注目画素の周辺に位置する周辺画素のうちの最大画素値を抽出する。例えば、最大画素値抽出手段34は、注目画素の周辺に位置するN×N画素の周辺領域のうち、最大画素値を有する画素の画素値を抽出する。そして、最大画素値抽出手段34は、図示を省略した最大画素値用メモリに抽出した最大画素値を記憶する。また、最大画素値抽出手段34は、入力された中間処理信号を最大画素値出力判定手段36に出力する。
The maximum pixel
画素数カウンタ35は、合焦領域抽出部20(図1参照)から中間処理信号が入力されると共に、入力された中間処理信号において、周辺画素のうちの画素値がゼロでない画素の数をカウントする。例えば、画素数カウンタ35は、注目画素の周辺に位置するN×N画素の周辺領域のうち、画素値がゼロでない画素の数をカウントする。そして、画素数カウンタ35は、図示を省略したカウンタ用メモリに、画素値がゼロでない画素の数を記憶する。以下、「画素値がゼロでない画素の数」を「カウント数」と呼ぶことがある。
The
最大画素値出力判定手段36は、カウンタ用メモリに記憶したカウント数が、予め設定された判定閾値n以下であるか否かを判定する。そして、最大画素値出力判定手段36は、カウント数が判定閾値n以下の場合、最大画素値抽出手段34によって抽出された最大画素値が固定パターンノイズ、ランダムノイズなどの不要信号に起因するものとみなす。つまり、最大画素値出力判定手段36は、カウント数が判定閾値n以下の場合、入力された中間処理信号において、注目画素の画素値をゼロに置き換える。このようにして、最大画素値出力判定手段36は、不要信号を除去する。
The maximum pixel value output determination means 36 determines whether or not the count number stored in the counter memory is equal to or less than a preset determination threshold value n. The maximum pixel value
一方、最大画素値出力判定手段36は、カウント数が判定閾値n以下でない場合、最大画素値抽出手段34によって抽出された最大画素値が有効な信号成分に起因するものとみなす。つまり、最大画素値出力判定手段36は、カウント数が判定閾値n以下でない場合、入力された中間処理信号において、注目画素の画素値を、最大画素値用メモリに記憶した最大画素値に置き換える。その後、最大画素値出力判定手段36は、全ての注目画素の画素値を置き換えた中間処理信号をサブサンプリング手段33に出力する。
On the other hand, the maximum pixel value output determination means 36 considers that the maximum pixel value extracted by the maximum pixel value extraction means 34 is caused by an effective signal component when the count number is not equal to or less than the determination threshold value n. That is, when the count number is not less than or equal to the determination threshold n, the maximum pixel value
以上のように、本発明の第4実施形態に係るビューファインダ映像生成装置1Fは、図1のビューファインダ映像生成装置1と同様の効果に加え、コントラストを維持しながら、中間処理信号から不要信号を除去できるので、より品質の高いビューファインダ映像を生成することができる。
As described above, the viewfinder video generation apparatus 1F according to the fourth embodiment of the present invention has the same effects as the viewfinder
なお、第4実施形態では、図1の解像度変換部30の代わりに、解像度変換部30Fを備える例を説明したが、本発明は、これに限定されない。例えば、図7のビューファインダ映像生成装置1Bが、解像度変換部30の代わりに解像度変換部30Fを備えた場合でも、コントラストを維持しながら、不要信号を除去することができる。
In the fourth embodiment, the example in which the
なお、第4実施形態では、不要信号の除去とサブサンプリングとを別々に行う例を説明したが、本発明では、これらを一括処理してもよい。なお、不要信号の除去とサブサンプリングとを一括処理する構成は、第5実施形態として後記する。 In the fourth embodiment, an example in which unnecessary signal removal and subsampling are separately performed has been described. However, in the present invention, these may be collectively processed. Note that a configuration in which unnecessary signal removal and sub-sampling are collectively processed will be described later as a fifth embodiment.
(変形例3)
以下、図16,図17を参照し、図15のビューファインダ映像生成装置1Fの変形例について説明する(適宜図15参照)。
(Modification 3)
Hereinafter, with reference to FIGS. 16 and 17, a modified example of the viewfinder video generation apparatus 1F in FIG. 15 will be described (see FIG. 15 as appropriate).
ここで、画素数カウンタ35は、画素値がゼロでない画素の数をカウントするため、場合によっては、カウンタの値が周辺画素の最大個数(N×N個)に達することがあり、カウンタ用メモリの使用量が大きくなってしまう。一方、最大画素値出力判定手段36では、カウンタの値が判定閾値n以下であるか否かの判定しか行っておらず、判定閾値nを超えるカウント数が意味をなしていない。 Here, since the pixel number counter 35 counts the number of pixels whose pixel value is not zero, the counter value may reach the maximum number (N × N) of peripheral pixels depending on the case. The amount of use will increase. On the other hand, the maximum pixel value output determination means 36 only determines whether or not the counter value is equal to or less than the determination threshold value n, and the count number exceeding the determination threshold value n does not make sense.
そこで、画素数カウンタ35は、判定閾値n以上の値で予め設定されたカウント上限値まで、画素値がゼロでない画素の数をカウントする。言い換えるなら、画素数カウンタ35は、カウント数がカウント上限値に達したらカウントを停止する。これによって、画素数カウンタ35は、カウンタ用メモリのビット数(桁数)を低減でき、カウンタ用メモリの使用量を抑えることができる。また、カウンタ用メモリのビット数(桁数)の上限も決まるため、最大画素値用メモリとカウンタ用メモリを一体で管理することができる(図16参照)。例えば、カウント上限値を7に設定した場合、判定閾値nの最大値が7(4ビット分)となる。この場合、16ビットのメモリ空間のうち、上位12ビットを最大画素値用メモリに割り当てると共に、下位4ビットをカウンタ用メモリに割り当てることができる。
Therefore, the pixel number counter 35 counts the number of pixels whose pixel values are not zero up to a preset count upper limit value that is equal to or greater than the determination threshold value n. In other words, the
<メモリの使用例>
以下、解像度変換部30Fの各手段による、最大画素値用メモリとカウンタ用メモリとの使用例を説明する。
図16に示すように、最大画素値抽出手段34は、最大画素値用メモリから最大画素値を読み出す。また、最大画素値抽出手段34は、ある注目画素の周辺に位置する1個の周辺画素の画素値を取得する。そして、最大画素値抽出手段34は、最大画素値用メモリから読み出した最大画素値と、取得した周辺画素の画素値とを比較する。周辺画素の画素値が最大画素値を超えた場合、最大画素値抽出手段34は、取得した周辺画素の画素値を最大画素値用メモリに書き込んで、最大画素値を更新する。一方、周辺画素の画素値が最大画素値以下の場合、何の処理も行わない。その後、最大画素値抽出手段34は、次の周辺画素についても同様の処理を行う。このように、最大画素値抽出手段34は、ある注目画素の周辺に位置する全ての周辺画素について、最大画素値の比較・更新を繰り返す。これによって、最大画素値用メモリには、ある注目画素についての最大画素値が記憶されることになる。
<Examples of memory usage>
Hereinafter, usage examples of the maximum pixel value memory and the counter memory by each unit of the
As shown in FIG. 16, the maximum pixel
画素数カウンタ35は、入力された中間処理信号において、カウント上限値に達するまで、ある注目画素の周辺に位置する全ての周辺画素のうち、画素値がゼロでない画素の数(カウント数)をカウントして、カウンタ用メモリに書き込む。これによって、カウンタ用メモリには、ある注目画素についてのカウント数が記憶されることになる。 The pixel number counter 35 counts the number of pixels whose pixel value is not zero (count number) among all peripheral pixels located around a certain target pixel until the count upper limit value is reached in the input intermediate processing signal. Then, write to the counter memory. As a result, the count number for a certain pixel of interest is stored in the counter memory.
図17に示すように、最大画素値出力判定手段36は、カウント数をカウンタ用メモリから読み出すと共に、最大画素値用メモリから最大画素値を読み出す。そして、最大画素値出力判定手段36は、カウント数が判定閾値n以下であるか否かを判定し、カウント数が判定閾値n以下の場合、ある注目画素の画素値をゼロに置き換える。一方、最大画素値出力判定手段36は、カウント数が判定閾値n以下でない場合、ある注目画素の画素値を最大画素値に置き換える。
As shown in FIG. 17, the maximum pixel value output determination means 36 reads the count number from the counter memory and reads the maximum pixel value from the maximum pixel value memory. Then, the maximum pixel value
その後、最大画素値抽出手段34、画素数カウンタ35および最大画素値出力判定手段36は、全ての注目画素について、最大画素値の比較・更新と、最大画素値に置き換えとを繰り返す。ここで、最大画素値抽出手段34および画素数カウンタ35は、ある注目画素で最大画素値の比較・更新と、最大画素値に置き換えとを終了したら、次の注目画素で最大画素値の比較・更新する前に、最大画素値用メモリとカウンタ用メモリとを初期化してもよい。
Thereafter, the maximum pixel
以上のように、このように、解像度変換部30Fは、最大画素値用メモリとカウンタ用メモリとを使用しながら、入力された中間処理信号の注目画素の画素値を置き換える。従って、本発明の変形例3に係るビューファインダ映像生成装置1Fは、カウンタ用メモリの使用量を抑え、最大画素値用メモリとカウンタ用メモリとを一体で管理することができる。
As described above, the
なお、最大画素値用メモリとカウンタ用メモリとの割り当ては、図16の例に限定されない。例えば、メモリ空間が16ビットの場合、カウント数の最大値を増やしたいときは、上位10ビットを最大画素値用メモリに割り当てると共に、下位6ビットをカウンタ用メモリに割り当ててもよい。 The allocation of the maximum pixel value memory and the counter memory is not limited to the example of FIG. For example, when the memory space is 16 bits, when it is desired to increase the maximum count value, the upper 10 bits may be allocated to the maximum pixel value memory and the lower 6 bits may be allocated to the counter memory.
(第5実施形態:不要信号の除去とサブサンプリングとの一括処理)
以下、図18を参照し、本発明の第5実施形態に係るビューファインダ映像生成装置1Gについて、第4実施形態と異なる点を主に説明する(適宜図13、図15参照)。ビューファインダ映像生成装置1Gは、不要信号の除去とサブサンプリングとを一括処理するために、図15の解像度変換部30Fの代わりに、図18の解像度変換部30Gを備える。
(Fifth Embodiment: Batch Processing of Unnecessary Signal Removal and Subsampling)
Hereinafter, with reference to FIG. 18, the viewfinder video generation device 1G according to the fifth exemplary embodiment of the present invention will be described mainly with respect to differences from the fourth exemplary embodiment (see FIGS. 13 and 15 as appropriate). The viewfinder video generation device 1G includes a
[解像度変換部の構成]
以下、解像度変換部30Gの構成について説明する
解像度変換部30Gは、入力された中間処理信号から不要信号を除去すると共に、この中間処理信号をビューファインダVFの解像度に変換することで、フォーカス調整補助信号を生成する。このため、解像度変換部30Gは、最大画素値抽出手段34Gと、画素数カウンタ35Gと、最大画素値出力判定手段(最大画素値置換・解像度変換手段)36Gとを備える。
ここで、解像度変換部30Gは、中間処理信号において、N×N画素の大ブロックをM×M画素の小ブロックにサブサンプリングすることとして説明する。
[Configuration of resolution converter]
Hereinafter, the configuration of the
Here, the
最大画素値抽出手段34Gは、合焦領域抽出部20(図1参照)から入力された中間処理信号を大ブロックに分割すると共に、大ブロック内の全画素の最大画素値を抽出する。例えば、最大画素値抽出手段34Gは、中間処理信号全体をN×N画素毎の大ブロックに分割する。そして、最大画素値抽出手段34Gは、分割した大ブロック内で最大画素値を有する画素の画素値を抽出し、図示を省略した最大画素値用メモリに抽出した最大画素値を記憶する。また、最大画素値抽出手段34Gは、大ブロックに分割した中間処理信号を最大画素値出力判定手段36に出力する。
The maximum pixel
画素数カウンタ35Gは、入力された中間処理信号において、大ブロック内で画素値がゼロでない画素の数をカウントする。例えば、最大画素値抽出手段34Gは、N×N画素毎の大ブロック内で画素値がゼロでない画素の数(カウント数)をカウントする。そして、画素数カウンタ35Gは、図示を省略したカウンタ用メモリに、このカウント数を記憶する。
The
最大画素値出力判定手段36Gは、カウンタ用メモリに記憶されたカウント数が、判定閾値n以下であるか否かを判定する。そして、最大画素値出力判定手段36Gは、カウント数が判定閾値n以下の場合、全画素の画素値をゼロとしたM×M画素の小ブロックを生成する。一方、最大画素値出力判定手段36Gは、カウント数が判定閾値n以下でない場合、全画素の画素値を最大画素値用メモリに記憶した最大画素値としたM×M画素の小ブロックを生成する。その後、最大画素値出力判定手段36Gは、生成した小ブロックのそれぞれを、入力された中間処理信号の大ブロックに対応する位置に配置して、フォーカス調整補助信号を生成する。
The maximum pixel value
以上のように、本発明の第5実施形態に係るビューファインダ映像生成装置1Gは、図15のビューファインダ映像生成装置1Fと同様の効果に加え、不要信号の除去とサブサンプリングとを一括処理することから、計算コストを非常に少なくすることができる。 As described above, the viewfinder video generation apparatus 1G according to the fifth embodiment of the present invention performs batch processing of unnecessary signal removal and subsampling in addition to the same effects as the viewfinder video generation apparatus 1F of FIG. Therefore, the calculation cost can be greatly reduced.
なお、ビューファインダ映像生成装置1Gは、画素数カウンタ35が、本発明の変形例3と同様、カウント上限値まで画素値がゼロでない画素の数をカウントしてもよい。この場合、ビューファインダ映像生成装置1Gは、本発明の変形例3と同様、カウンタ用メモリの使用量を抑え、最大画素値用メモリとカウンタ用メモリとを一体で管理することができる。
In the viewfinder video generation device 1G, the
1,1B,1C,1D,1E,1F,1G ビューファインダ映像生成装置
2 補助信号生成部(フォーカス調整補助信号生成部)
10 高域空間周波数成分抽出部
11 FIRフィルタ
13 絶対値算出手段
20 合焦領域抽出部
21 閾値処理手段
23 レベル調整手段
30,30C,30E,30F,30G 解像度変換部
31 最大値フィルタ
32 ランクオーダーフィルタ
33 サブサンプリング手段(解像度変換手段)
34,34G 最大画素値抽出手段
35,35G 画素数カウンタ
36 最大画素値出力判定手段(最大画素値置換手段)
36G 最大画素値出力判定手段(最大画素値置換・解像度変換手段)
4 低解像度映像生成部
41 ローパスフィルタ
43 サブサンプリング手段
5 信号合成部
C 超高精細撮影カメラ(高精細撮影カメラ)
VF ビューファインダ
1, 1B, 1C, 1D, 1E, 1F, 1G Viewfinder image generation device 2 Auxiliary signal generator (focus adjustment auxiliary signal generator)
DESCRIPTION OF SYMBOLS 10 High frequency spatial frequency
34, 34G Maximum pixel value extraction means 35, 35G Pixel number counter 36 Maximum pixel value output determination means (maximum pixel value replacement means)
36G Maximum pixel value output determination means (maximum pixel value replacement / resolution conversion means)
4 Low-resolution
VF viewfinder
Claims (11)
前記フォーカス調整補助信号生成部は、
入力された前記高精細映像から、所定の周波数成分以上の高域空間周波数成分を、中間処理信号として抽出する高域空間周波数成分抽出部と、
前記高域空間周波数成分抽出部によって高域空間周波数成分が抽出された中間処理信号において、予め設定された閾値以下の信号レベルをゼロにする閾値処理と、前記信号レベルを調整するレベル調整処理とを行う合焦領域抽出部と、
前記合焦領域抽出部から入力された中間処理信号を前記ビューファインダの解像度に変換することで、前記フォーカス調整補助信号を生成する解像度変換部と、
を備え、
前記解像度変換部は、
入力された前記中間処理信号において、注目画素の周辺に位置する周辺画素の画素値を順位付けて、前記注目画素の画素値を、予め設定された順位における前記周辺画素の画素値で置き換えるランクオーダーフィルタと、
前記ランクオーダーフィルタから入力された中間処理信号を前記ビューファインダの解像度に変換する解像度変換手段と、
を備えることを特徴とするビューファインダ映像生成装置。 A high-definition video shot by a high-definition camera equipped with a viewfinder is input, and a low-resolution video corresponding to the resolution of the viewfinder lower than the resolution of the high-definition camera is generated from the high-definition video. A low-resolution video generation unit; a focus adjustment auxiliary signal generation unit that generates a focus adjustment auxiliary signal indicating an in-focus region of the high-definition shooting camera in the viewfinder from the high-definition video; the low-resolution video and the focus A viewfinder video generation device comprising: a signal synthesis unit that synthesizes an adjustment auxiliary signal to generate a viewfinder video;
The focus adjustment auxiliary signal generator is
A high-frequency spatial frequency component extraction unit that extracts a high-frequency spatial frequency component equal to or higher than a predetermined frequency component as an intermediate processing signal from the input high-definition video;
In the intermediate processing signal from which the high frequency spatial frequency component is extracted by the high frequency spatial frequency component extracting unit, threshold processing for zeroing a signal level equal to or lower than a preset threshold, and level adjustment processing for adjusting the signal level; An in-focus area extraction unit that performs
A resolution conversion unit that generates the focus adjustment auxiliary signal by converting the intermediate processing signal input from the focus area extraction unit to the resolution of the viewfinder;
Equipped with a,
The resolution converter
Rank order that ranks pixel values of peripheral pixels located around the pixel of interest in the input intermediate processing signal, and replaces the pixel values of the pixel of interest with pixel values of the peripheral pixels in a preset order Filters,
Resolution conversion means for converting the intermediate processing signal input from the rank order filter into the resolution of the viewfinder;
Viewfinder image generating apparatus according to claim Rukoto equipped with.
前記フォーカス調整補助信号生成部は、
入力された前記高精細映像から、所定の周波数成分以上の高域空間周波数成分を、中間処理信号として抽出する高域空間周波数成分抽出部と、
前記高域空間周波数成分抽出部によって高域空間周波数成分が抽出された中間処理信号を前記ビューファインダの解像度に変換する解像度変換部と、
前記解像度変換部から入力された中間処理信号において、予め設定された閾値以下の信号レベルをゼロにする閾値処理と、前記信号レベルを調整するレベル調整処理とを行うことで、前記フォーカス調整補助信号を生成する合焦領域抽出部と、
を備え、
前記解像度変換部は、
入力された前記中間処理信号において、注目画素の周辺に位置する周辺画素の画素値を順位付けて、前記注目画素の画素値を、予め設定された順位における前記周辺画素の画素値で置き換えるランクオーダーフィルタと、
前記ランクオーダーフィルタから入力された中間処理信号を前記ビューファインダの解像度に変換する解像度変換手段と、
を備えることを特徴とするビューファインダ映像生成装置。 A high-definition video shot by a high-definition camera equipped with a viewfinder is input, and a low-resolution video corresponding to the resolution of the viewfinder lower than the resolution of the high-definition camera is generated from the high-definition video. A low-resolution video generation unit; a focus adjustment auxiliary signal generation unit that generates a focus adjustment auxiliary signal indicating an in-focus region of the high-definition shooting camera in the viewfinder from the high-definition video; the low-resolution video and the focus A viewfinder video generation device comprising: a signal synthesis unit that synthesizes an adjustment auxiliary signal to generate a viewfinder video;
The focus adjustment auxiliary signal generator is
A high-frequency spatial frequency component extraction unit that extracts a high-frequency spatial frequency component equal to or higher than a predetermined frequency component as an intermediate processing signal from the input high-definition video;
A resolution conversion unit that converts the intermediate processing signal from which the high frequency spatial frequency component has been extracted by the high frequency spatial frequency component extraction unit into the resolution of the viewfinder;
In the intermediate processing signal input from the resolution conversion unit, the focus adjustment auxiliary signal is performed by performing threshold processing for zeroing a signal level equal to or lower than a preset threshold and level adjustment processing for adjusting the signal level. An in-focus area extracting unit for generating
Equipped with a,
The resolution converter
Rank order that ranks pixel values of peripheral pixels located around the pixel of interest in the input intermediate processing signal, and replaces the pixel values of the pixel of interest with pixel values of the peripheral pixels in a preset order Filters,
Resolution conversion means for converting the intermediate processing signal input from the rank order filter into the resolution of the viewfinder;
Viewfinder image generating apparatus according to claim Rukoto equipped with.
前記フォーカス調整補助信号生成部は、The focus adjustment auxiliary signal generator is
入力された前記高精細映像から、所定の周波数成分以上の高域空間周波数成分を、中間処理信号として抽出する高域空間周波数成分抽出部と、A high-frequency spatial frequency component extraction unit that extracts a high-frequency spatial frequency component equal to or higher than a predetermined frequency component as an intermediate processing signal from the input high-definition video;
前記高域空間周波数成分抽出部によって高域空間周波数成分が抽出された中間処理信号において、予め設定された閾値以下の信号レベルをゼロにする閾値処理と、前記信号レベルを調整するレベル調整処理とを行う合焦領域抽出部と、In the intermediate processing signal from which the high frequency spatial frequency component is extracted by the high frequency spatial frequency component extracting unit, threshold processing for zeroing a signal level equal to or lower than a preset threshold, and level adjustment processing for adjusting the signal level; An in-focus area extraction unit that performs
前記合焦領域抽出部から入力された中間処理信号を前記ビューファインダの解像度に変換することで、前記フォーカス調整補助信号を生成する解像度変換部と、A resolution conversion unit that generates the focus adjustment auxiliary signal by converting the intermediate processing signal input from the focus area extraction unit to the resolution of the viewfinder;
を備え、With
前記解像度変換部は、入力された前記中間処理信号を所定サイズの大ブロックに分割し、前記大ブロック毎に、前記大ブロック内の全画素の画素値を順位付けて、前記大ブロックより小さいサイズの小ブロック内の全画素の画素値を、予め設定された順位における前記大ブロックの画素値で置き換えることを特徴とするビューファインダ映像生成装置。The resolution converter divides the inputted intermediate processing signal into large blocks of a predetermined size, ranks pixel values of all pixels in the large block for each large block, and has a size smaller than the large block. A viewfinder video generation apparatus, wherein pixel values of all pixels in the small block are replaced with pixel values of the large block in a preset order.
前記フォーカス調整補助信号生成部は、The focus adjustment auxiliary signal generator is
入力された前記高精細映像から、所定の周波数成分以上の高域空間周波数成分を、中間処理信号として抽出する高域空間周波数成分抽出部と、A high-frequency spatial frequency component extraction unit that extracts a high-frequency spatial frequency component equal to or higher than a predetermined frequency component as an intermediate processing signal from the input high-definition video;
前記高域空間周波数成分抽出部によって高域空間周波数成分が抽出された中間処理信号を前記ビューファインダの解像度に変換する解像度変換部と、A resolution conversion unit that converts the intermediate processing signal from which the high frequency spatial frequency component has been extracted by the high frequency spatial frequency component extraction unit into the resolution of the viewfinder;
前記解像度変換部から入力された中間処理信号において、予め設定された閾値以下の信号レベルをゼロにする閾値処理と、前記信号レベルを調整するレベル調整処理とを行うことで、前記フォーカス調整補助信号を生成する合焦領域抽出部と、In the intermediate processing signal input from the resolution conversion unit, the focus adjustment auxiliary signal is performed by performing threshold processing for zeroing a signal level equal to or lower than a preset threshold and level adjustment processing for adjusting the signal level. An in-focus area extracting unit for generating
を備え、With
前記解像度変換部は、入力された前記中間処理信号を所定サイズの大ブロックに分割し、前記大ブロック毎に、前記大ブロック内の全画素の画素値を順位付けて、前記大ブロックより小さいサイズの小ブロック内の全画素の画素値を、予め設定された順位における前記大ブロックの画素値で置き換えることを特徴とするビューファインダ映像生成装置。The resolution converter divides the inputted intermediate processing signal into large blocks of a predetermined size, ranks pixel values of all pixels in the large block for each large block, and has a size smaller than the large block. A viewfinder video generation apparatus, wherein pixel values of all pixels in the small block are replaced with pixel values of the large block in a preset order.
前記フォーカス調整補助信号生成部は、The focus adjustment auxiliary signal generator is
入力された前記高精細映像から、所定の周波数成分以上の高域空間周波数成分を、中間処理信号として抽出する高域空間周波数成分抽出部と、A high-frequency spatial frequency component extraction unit that extracts a high-frequency spatial frequency component equal to or higher than a predetermined frequency component as an intermediate processing signal from the input high-definition video;
前記高域空間周波数成分抽出部によって高域空間周波数成分が抽出された中間処理信号において、予め設定された閾値以下の信号レベルをゼロにする閾値処理と、前記信号レベルを調整するレベル調整処理とを行う合焦領域抽出部と、In the intermediate processing signal from which the high frequency spatial frequency component is extracted by the high frequency spatial frequency component extracting unit, threshold processing for zeroing a signal level equal to or lower than a preset threshold, and level adjustment processing for adjusting the signal level; An in-focus area extraction unit that performs
前記合焦領域抽出部から入力された中間処理信号を前記ビューファインダの解像度に変換することで、前記フォーカス調整補助信号を生成する解像度変換部と、A resolution conversion unit that generates the focus adjustment auxiliary signal by converting the intermediate processing signal input from the focus area extraction unit to the resolution of the viewfinder;
を備え、With
前記解像度変換部は、The resolution converter
入力された前記中間処理信号において、注目画素の周辺に位置する周辺画素のうちの最大画素値を抽出する最大画素値抽出手段と、In the input intermediate processing signal, maximum pixel value extraction means for extracting the maximum pixel value of the peripheral pixels located around the pixel of interest;
入力された前記中間処理信号において、前記周辺画素のうちの画素値がゼロでない画素の数をカウントする画素数カウンタと、In the input intermediate processing signal, a pixel number counter that counts the number of pixels whose pixel values are not zero among the peripheral pixels;
前記画素数カウンタがカウントした画素の数が予め設定された判定閾値以下であるか否かを判定し、入力された前記中間処理信号において、当該カウントした画素の数が当該判定閾値以下の場合、前記注目画素の画素値をゼロに置き換えて、当該カウントした画素の数が当該判定閾値以下でない場合、前記注目画素の画素値を前記最大画素値抽出手段が抽出した最大画素値に置き換えて出力する最大画素値置換手段と、It is determined whether or not the number of pixels counted by the pixel number counter is equal to or less than a predetermined determination threshold, and when the number of counted pixels is equal to or less than the determination threshold in the input intermediate processing signal, When the pixel value of the target pixel is replaced with zero and the number of counted pixels is not less than or equal to the determination threshold, the pixel value of the target pixel is replaced with the maximum pixel value extracted by the maximum pixel value extracting means and output. Maximum pixel value replacement means;
前記最大画素値置換手段から入力された中間処理信号を前記ビューファインダの解像度に変換する解像度変換手段と、Resolution conversion means for converting the intermediate processing signal input from the maximum pixel value replacement means to the resolution of the viewfinder;
を備えることを特徴とするビューファインダ映像生成装置。A viewfinder video generation apparatus comprising:
前記フォーカス調整補助信号生成部は、The focus adjustment auxiliary signal generator is
入力された前記高精細映像から、所定の周波数成分以上の高域空間周波数成分を、中間処理信号として抽出する高域空間周波数成分抽出部と、A high-frequency spatial frequency component extraction unit that extracts a high-frequency spatial frequency component equal to or higher than a predetermined frequency component as an intermediate processing signal from the input high-definition video;
前記高域空間周波数成分抽出部によって高域空間周波数成分が抽出された中間処理信号を前記ビューファインダの解像度に変換する解像度変換部と、A resolution conversion unit that converts the intermediate processing signal from which the high frequency spatial frequency component has been extracted by the high frequency spatial frequency component extraction unit into the resolution of the viewfinder;
前記解像度変換部から入力された中間処理信号において、予め設定された閾値以下の信号レベルをゼロにする閾値処理と、前記信号レベルを調整するレベル調整処理とを行うことで、前記フォーカス調整補助信号を生成する合焦領域抽出部と、In the intermediate processing signal input from the resolution conversion unit, the focus adjustment auxiliary signal is performed by performing threshold processing for zeroing a signal level equal to or lower than a preset threshold and level adjustment processing for adjusting the signal level. An in-focus area extracting unit for generating
を備え、With
前記解像度変換部は、The resolution converter
入力された前記中間処理信号において、注目画素の周辺に位置する周辺画素のうちの最大画素値を抽出する最大画素値抽出手段と、In the input intermediate processing signal, maximum pixel value extraction means for extracting the maximum pixel value of the peripheral pixels located around the pixel of interest;
入力された前記中間処理信号において、前記周辺画素のうちの画素値がゼロでない画素の数をカウントする画素数カウンタと、In the input intermediate processing signal, a pixel number counter that counts the number of pixels whose pixel values are not zero among the peripheral pixels;
前記画素数カウンタがカウントした画素の数が予め設定された判定閾値以下であるか否かを判定し、入力された前記中間処理信号において、当該カウントした画素の数が当該判定閾値以下の場合、前記注目画素の画素値をゼロに置き換えて、当該カウントした画素の数が当該判定閾値以下でない場合、前記注目画素の画素値を前記最大画素値抽出手段が抽出した最大画素値に置き換えて出力する最大画素値置換手段と、It is determined whether or not the number of pixels counted by the pixel number counter is equal to or less than a predetermined determination threshold, and when the number of counted pixels is equal to or less than the determination threshold in the input intermediate processing signal, When the pixel value of the target pixel is replaced with zero and the number of counted pixels is not less than or equal to the determination threshold, the pixel value of the target pixel is replaced with the maximum pixel value extracted by the maximum pixel value extracting means and output. Maximum pixel value replacement means;
前記最大画素値置換手段から入力された中間処理信号を前記ビューファインダの解像度に変換する解像度変換手段と、Resolution conversion means for converting the intermediate processing signal input from the maximum pixel value replacement means to the resolution of the viewfinder;
を備えることを特徴とするビューファインダ映像生成装置。A viewfinder video generation apparatus comprising:
前記フォーカス調整補助信号生成部は、The focus adjustment auxiliary signal generator is
入力された前記高精細映像から、所定の周波数成分以上の高域空間周波数成分を、中間処理信号として抽出する高域空間周波数成分抽出部と、A high-frequency spatial frequency component extraction unit that extracts a high-frequency spatial frequency component equal to or higher than a predetermined frequency component as an intermediate processing signal from the input high-definition video;
前記高域空間周波数成分抽出部によって高域空間周波数成分が抽出された中間処理信号において、予め設定された閾値以下の信号レベルをゼロにする閾値処理と、前記信号レベルを調整するレベル調整処理とを行う合焦領域抽出部と、In the intermediate processing signal from which the high frequency spatial frequency component is extracted by the high frequency spatial frequency component extracting unit, threshold processing for zeroing a signal level equal to or lower than a preset threshold, and level adjustment processing for adjusting the signal level; An in-focus area extraction unit that performs
前記合焦領域抽出部から入力された中間処理信号を前記ビューファインダの解像度に変換することで、前記フォーカス調整補助信号を生成する解像度変換部と、A resolution conversion unit that generates the focus adjustment auxiliary signal by converting the intermediate processing signal input from the focus area extraction unit to the resolution of the viewfinder;
を備え、With
前記解像度変換部は、The resolution converter
入力された前記中間処理信号を所定サイズの大ブロックに分割すると共に、前記大ブロック内の全画素の最大画素値を抽出する最大画素値抽出手段と、A maximum pixel value extracting means for dividing the input intermediate processing signal into large blocks of a predetermined size and extracting the maximum pixel values of all pixels in the large block;
入力された前記中間処理信号において、前記大ブロック内で画素値がゼロでない画素の数をカウントする画素数カウンタと、A pixel number counter that counts the number of pixels that have non-zero pixel values in the large block in the input intermediate processing signal;
前記画素数カウンタがカウントした画素の数が予め設定された判定閾値以下であるか否かを判定し、前記大ブロックに分割された前記中間処理信号から、当該カウントした画素の数が当該判定閾値以下の場合、前記大ブロックより小さいサイズで全画素の画素値をゼロとした小ブロックを生成し、当該カウントした画素の数が当該判定閾値以下でない場合、前記最大画素値抽出手段が抽出した最大画素値を全画素の画素値とした前記小ブロックを生成する最大画素値置換・解像度変換手段と、It is determined whether or not the number of pixels counted by the pixel number counter is equal to or less than a predetermined determination threshold, and the number of counted pixels is determined from the intermediate processing signal divided into the large blocks. In the following case, a small block having a size smaller than the large block and a pixel value of all pixels being zero is generated, and if the number of counted pixels is not less than or equal to the determination threshold, the maximum pixel value extracting unit extracts Maximum pixel value replacement / resolution conversion means for generating the small block with pixel values of all pixels as pixel values;
を備えることを特徴とするビューファインダ映像生成装置。A viewfinder video generation apparatus comprising:
前記フォーカス調整補助信号生成部は、The focus adjustment auxiliary signal generator is
入力された前記高精細映像から、所定の周波数成分以上の高域空間周波数成分を、中間処理信号として抽出する高域空間周波数成分抽出部と、A high-frequency spatial frequency component extraction unit that extracts a high-frequency spatial frequency component equal to or higher than a predetermined frequency component as an intermediate processing signal from the input high-definition video;
前記高域空間周波数成分抽出部によって高域空間周波数成分が抽出された中間処理信号を前記ビューファインダの解像度に変換する解像度変換部と、A resolution conversion unit that converts the intermediate processing signal from which the high frequency spatial frequency component has been extracted by the high frequency spatial frequency component extraction unit into the resolution of the viewfinder;
前記解像度変換部から入力された中間処理信号において、予め設定された閾値以下の信号レベルをゼロにする閾値処理と、前記信号レベルを調整するレベル調整処理とを行うことで、前記フォーカス調整補助信号を生成する合焦領域抽出部と、In the intermediate processing signal input from the resolution conversion unit, the focus adjustment auxiliary signal is performed by performing threshold processing for zeroing a signal level equal to or lower than a preset threshold and level adjustment processing for adjusting the signal level. An in-focus area extracting unit for generating
を備え、With
前記解像度変換部は、The resolution converter
入力された前記中間処理信号を所定サイズの大ブロックに分割すると共に、前記大ブロック内の全画素の最大画素値を抽出する最大画素値抽出手段と、A maximum pixel value extracting means for dividing the input intermediate processing signal into large blocks of a predetermined size and extracting the maximum pixel values of all pixels in the large block;
入力された前記中間処理信号において、前記大ブロック内で画素値がゼロでない画素の数をカウントする画素数カウンタと、A pixel number counter that counts the number of pixels that have non-zero pixel values in the large block in the input intermediate processing signal;
前記画素数カウンタがカウントした画素の数が予め設定された判定閾値以下であるか否かを判定し、前記大ブロックに分割された前記中間処理信号から、当該カウントした画素の数が当該判定閾値以下の場合、前記大ブロックより小さいサイズで全画素の画素値をゼロとした小ブロックを生成し、当該カウントした画素の数が当該判定閾値以下でない場合、前記最大画素値抽出手段が抽出した最大画素値を全画素の画素値とした前記小ブロックを生成する最大画素値置換・解像度変換手段と、It is determined whether or not the number of pixels counted by the pixel number counter is equal to or less than a predetermined determination threshold, and the number of counted pixels is determined from the intermediate processing signal divided into the large blocks. In the following case, a small block having a size smaller than the large block and a pixel value of all pixels being zero is generated, and if the number of counted pixels is not less than or equal to the determination threshold, the maximum pixel value extracting unit extracts Maximum pixel value replacement / resolution conversion means for generating the small block with pixel values of all pixels as pixel values;
を備えることを特徴とするビューファインダ映像生成装置。A viewfinder video generation apparatus comprising:
前記入力された高精細映像から、前記高域空間周波数成分を前記中間処理信号として抽出するFIRフィルタと、
前記FIRフィルタから入力された中間処理信号において、信号値の絶対値を算出する絶対値算出手段と、
を備えることを特徴とする請求項1から請求項8の何れか一項に記載のビューファインダ映像生成装置。 The high frequency spatial frequency component extraction unit is
An FIR filter that extracts the high-frequency spatial frequency component as the intermediate processing signal from the input high-definition video;
An absolute value calculation means for calculating an absolute value of a signal value in the intermediate processing signal input from the FIR filter;
Viewfinder image generating apparatus according to any one of claims 1 to 8, characterized in that it comprises a.
入力された前記中間処理信号に前記閾値処理を行う閾値処理手段と、
前記閾値処理手段から入力された中間処理信号に前記レベル調整処理を行うレベル調整手段と、
を備えることを特徴とする請求項1から請求項9の何れか一項に記載のビューファインダ映像生成装置。 The focused area extraction unit
Threshold processing means for performing the threshold processing on the input intermediate processing signal;
Level adjustment means for performing the level adjustment processing on the intermediate processing signal input from the threshold processing means;
The viewfinder video generation apparatus according to any one of claims 1 to 9 , further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010127389A JP5469537B2 (en) | 2010-01-26 | 2010-06-03 | Viewfinder video generator |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010013815 | 2010-01-26 | ||
JP2010013815 | 2010-01-26 | ||
JP2010127389A JP5469537B2 (en) | 2010-01-26 | 2010-06-03 | Viewfinder video generator |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011176788A JP2011176788A (en) | 2011-09-08 |
JP5469537B2 true JP5469537B2 (en) | 2014-04-16 |
Family
ID=44689191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010127389A Active JP5469537B2 (en) | 2010-01-26 | 2010-06-03 | Viewfinder video generator |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5469537B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6032912B2 (en) * | 2012-03-26 | 2016-11-30 | キヤノン株式会社 | Imaging apparatus, control method thereof, and program |
JP6103503B2 (en) * | 2013-07-31 | 2017-03-29 | パナソニックIpマネジメント株式会社 | Imaging device |
TW201624421A (en) * | 2014-12-17 | 2016-07-01 | 由田新技股份有限公司 | Method and apparatus for generating image data |
CN111183630B (en) * | 2017-08-02 | 2021-08-10 | 深圳传音通讯有限公司 | Photo processing method and processing device of intelligent terminal |
JP7420141B2 (en) | 2019-07-17 | 2024-01-23 | ソニーグループ株式会社 | Image processing device, imaging device, image processing method, program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0787539B2 (en) * | 1986-06-04 | 1995-09-20 | 日本放送協会 | Video processor for visual finder |
JP2000350056A (en) * | 1999-06-09 | 2000-12-15 | Matsushita Electric Ind Co Ltd | Contour correcting circuit and camera using the same |
JP2001136419A (en) * | 1999-11-08 | 2001-05-18 | Matsushita Electric Ind Co Ltd | Image pickup device |
JP4459789B2 (en) * | 2004-11-18 | 2010-04-28 | 日本放送協会 | Signal processing apparatus, imaging apparatus, and signal processing program |
JP5014277B2 (en) * | 2008-07-15 | 2012-08-29 | 日本放送協会 | Focus auxiliary signal processing device |
-
2010
- 2010-06-03 JP JP2010127389A patent/JP5469537B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011176788A (en) | 2011-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9066034B2 (en) | Image processing apparatus, method and program with different pixel aperture characteristics | |
JP5451782B2 (en) | Image processing apparatus and image processing method | |
JP5469537B2 (en) | Viewfinder video generator | |
JP6020950B1 (en) | Endoscope system, operation method of endoscope system, and program | |
JP2009194896A (en) | Image processing device and method, and imaging apparatus | |
KR20110035981A (en) | Image processing apparatus, image processing method, and storage medium | |
EP2569948B1 (en) | Image processing apparatus and control method for image processing apparatus | |
JP2017017445A (en) | Imaging apparatus, image processing system, imaging method by imaging apparatus, image processing method thereby and program | |
JP6714078B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2012205619A (en) | Image processor, control device, endoscope apparatus, image processing method, and image processing program | |
JP2015115733A (en) | Image processing method, image processor, imaging device, and image processing program | |
JP2008288947A (en) | Image processing apparatus and program thereof | |
JP5203824B2 (en) | Image processing apparatus and imaging system | |
JP2010239513A (en) | Image processing device and method, program, and imaging system | |
JP5919086B2 (en) | Image processing apparatus, control method therefor, and program | |
CN107979715B (en) | Image pickup apparatus | |
JP2017045273A (en) | Image processing apparatus, image processing method, and program | |
JP5893426B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM | |
JP2006108973A (en) | Image pickup device | |
WO2014077024A1 (en) | Image processing device, image processing method and image processing program | |
JP2005182232A (en) | Luminance correcting device and method | |
JP2014147047A (en) | Image processing device, method, and program, and image pickup device | |
JP5014277B2 (en) | Focus auxiliary signal processing device | |
JP2012244252A (en) | Image processing apparatus, image processing method, and image processing program | |
JP2011082614A (en) | Image processing device, and imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140131 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5469537 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |