JP5662739B2 - Video system - Google Patents

Video system Download PDF

Info

Publication number
JP5662739B2
JP5662739B2 JP2010188646A JP2010188646A JP5662739B2 JP 5662739 B2 JP5662739 B2 JP 5662739B2 JP 2010188646 A JP2010188646 A JP 2010188646A JP 2010188646 A JP2010188646 A JP 2010188646A JP 5662739 B2 JP5662739 B2 JP 5662739B2
Authority
JP
Japan
Prior art keywords
image
pixel
color
colors
video system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010188646A
Other languages
Japanese (ja)
Other versions
JP2011205608A (en
Inventor
英巨 三輪
英巨 三輪
和寿 白崎
和寿 白崎
圭一 武藤
圭一 武藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Information and Telecommunication Engineering Ltd
Original Assignee
Hitachi Information and Telecommunication Engineering Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Information and Telecommunication Engineering Ltd filed Critical Hitachi Information and Telecommunication Engineering Ltd
Priority to JP2010188646A priority Critical patent/JP5662739B2/en
Publication of JP2011205608A publication Critical patent/JP2011205608A/en
Application granted granted Critical
Publication of JP5662739B2 publication Critical patent/JP5662739B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、映像システムに係り、特に、R(赤)、G(緑)、B(青)及びV(violet:紫)の4色の画像信号を用いる映像システムに関する。   The present invention relates to a video system, and more particularly to a video system using four color image signals of R (red), G (green), B (blue), and V (violet).

一般に、カラー表示を行う映像システムとしては、R(赤)、G(緑)、B(青)の各色の独立した映像を混合合成することにより全ての色を表現するRGB映像システムが採用されている。その理由は、大部分の人が赤、緑、青の3種類の錐体細胞を持ち、これらの細胞が吸収することができる光が主に赤、緑、青の3色であり、人が感じる色も赤、緑、青であって人の色覚が3色型色覚であるという前提により映像システムを構成することとしたためである。   In general, as an image system that performs color display, an RGB image system that expresses all colors by mixing and synthesizing independent images of R (red), G (green), and B (blue) colors is employed. Yes. The reason is that most people have three types of pyramidal cells, red, green, and blue, and the light that these cells can absorb is mainly three colors, red, green, and blue. This is because the video system is configured on the premise that the colors to be sensed are red, green, and blue, and the human color vision is a three-color color vision.

そして、紫(V)色は、人が持つ赤の錐体、青の錐体を刺激することにより、人に紫と感じさせるようになっており、RGB映像システムにおいても、RとBとの信号を混ぜ合わせて表現することとしている。   The purple (V) color makes the person feel purple by stimulating the red cone and the blue cone of the person. In the RGB video system, R and B The signal is mixed and expressed.

しかし、多くの人の中には、一部の人ではあるが、紫(V)色の光を感知することができる錐体を持つ4色型色覚の人が存在することが知られている。前述したR、G、Bの各色の独立した映像を混合合成することにより全ての色を表現するRGBシステムは、大部分の3色型色覚を持つ人々に対して、違和感のない映像を提供することができるものであるが、前述の4色型色覚を持つ人々に対しては、色表現が不充分であり違和感を感じさせるものである。   However, it is known that among many people, there are some people who have four-color type color vision with cones that can sense purple (V) light. . The RGB system that expresses all colors by mixing and synthesizing independent images of R, G, and B colors as described above provides an uncomfortable image to most people with three-color color vision. However, people with the above-mentioned four-color type color vision are not satisfied with color expression and feel uncomfortable.

前述したような映像システムの色の表現精度を向上させることを可能とした従来技術として、例えば、特許文献1等に記載された技術が知られている。この従来技術は、白色成分、赤色成分、緑色成分、青色成分、黄色成分、水色成分及び紫色成分の補正用テーブルを用いて色補正を行い、色の表現精度を向上させることができるようにしたものである。   As a conventional technique capable of improving the color expression accuracy of the video system as described above, for example, a technique described in Patent Document 1 is known. In this conventional technique, color correction is performed using correction tables for white, red, green, blue, yellow, light blue, and purple components, and the color expression accuracy can be improved. Is.

しかし、この従来技術を用いた映像システムも、前述した4色型色覚を持つ人々に対しては、色表現が不充分であり違和感を感じさせるものである。   However, the video system using this prior art also makes the above-mentioned four-color type color sense unsatisfactory and uncomfortable.

また、一般にカラー映像システムは、その光学系、特に、レンズ系による色収差、歪曲収差により画質の劣化を招くことがあり、このような画質の劣化を防止することができる従来技術として、特許文献2等に記載された技術が知られている。この従来技術は、光学レンズを何枚も重ね合わせることにより、レンズで生じる色収差を少なくし、短波長側での色収差が画質に与える影響を少なくして、可視光を用いて撮像したときに良好な画質の画像を得ることができるようにした撮像装置に関するものである。   In general, a color video system may cause deterioration in image quality due to chromatic aberration and distortion caused by its optical system, in particular, a lens system. Patent Document 2 discloses a conventional technique that can prevent such image quality deterioration. Etc. are known. This prior art is good when imaging using visible light, by superposing multiple optical lenses to reduce the chromatic aberration caused by the lens and reduce the effect of chromatic aberration on the short wavelength side on the image quality. The present invention relates to an imaging device that can obtain an image with a high quality.

特開2008−235981号公報JP 2008-235981 A 特開2007−193194号公報JP 2007-193194 A

前述したRGB映像システム及び特許文献1に記載された補正用テーブルを用いて色補正を行い色の表現精度を向上させた映像システムは、何れも、装置への入力がRGBの3色であり紫が持つ波長をデジタル変換して使用していないため、また、細かな色補正をしても、紫色が4色型色覚者には原色と異なる紫で表示され、色表現が不充分であり違和感を感じさせるという問題点を有している。   Any of the above-described RGB video system and the video system in which the color correction is performed by using the correction table described in Patent Document 1 to improve the color expression accuracy, the input to the apparatus is three colors of RGB, and purple. Is not used after digital conversion, and even if fine color correction is performed, purple is displayed in a purple color different from the primary color for color-sensitive viewers, and the color expression is insufficient and uncomfortable. Have the problem of making you feel.

また、特許文献2に記載の従来技術は、光学レンズを何枚も重ね合わせることにより色収差の少なくする処理を行っているものの、重ねるレンズの個数を増やすと装置が大型となってしまい高コストとなるという問題点を有している。   The prior art described in Patent Document 2 performs processing for reducing chromatic aberration by overlapping a number of optical lenses, but increasing the number of lenses to be stacked increases the size of the device and increases the cost. It has the problem of becoming.

本発明の目的は、前述した従来技術の問題点を解決し、RGBに加え、光の中の紫色の波長を抽出し、RGBVのそれぞれの映像信号をRGBVのデジタル信号に変換して処理を施し、RGBVの各映像を混合合成することにより全ての色を表現することにより、4色型色覚者に対しても違和感を感じさせることのない、かつ、収差の少ない映像を表示することができる映像システムを提供することにある。   The object of the present invention is to solve the above-mentioned problems of the prior art, extract the purple wavelength in the light in addition to RGB, and convert each RGBV video signal to an RGBV digital signal for processing. By displaying all colors by mixing and synthesizing each image of RGBV, an image that does not give a sense of incongruity to a four-color type color sense person and can display an image with little aberration To provide a system.

本発明によれば前記目的は、R(赤)、G(緑)、B(青)及びV(紫)の4色の画像信号を用いる映像システムにおいて、レンズにより結像された光をR、G、B、Vの4色のスペクトルの画像に分解する4色分解プリズムと、分解されたR、G、B、Vの4色の画像情報のそれぞれを電気信号として出力するR、G、B、Vの4色のそれぞれに対応するイメージセンサと、これらのイメージセンサからの出力信号のそれぞれについて、光学系により生じる収差を補正する処理を行って、R、G、B、Vの4色のそれぞれに対応する処理を行う画像処理部と、該画像処理部から出力されたR、G、B、Vの4色のそれぞれの画像データを混合合成して表示する表示部と、を備え、前記画像処理部から前記表示部への画像データは、R、G、B、独立した色成分のV、の4色の出力であって、4色型色覚者に対する全ての色を表現して前記表示部で表示することにより達成される。 According to the present invention, the object is to use R, R (red), G (green), B (blue), and V (purple) image signals using four color image signals, R, A four-color separation prism that decomposes into an image of a spectrum of four colors of G, B, and V, and R, G, and B that outputs each of the decomposed four-color image information of R, G, B, and V as electric signals For each of the image sensors corresponding to the four colors V and V and the output signals from these image sensors, a process for correcting aberrations caused by the optical system is performed , and the four colors R, G, B, and V are processed. comprising an image processing unit that performs processing corresponding to the respective, R outputted from the image processing unit, G, B, and a display unit that displays by mixing the synthesis of each of the image data of four colors of V, and the Image data from the image processing unit to the display unit is R, G, B, an output of four colors of independent color components V, which is achieved by expressing all colors for a four-color type color sense person and displaying them on the display unit .

本発明によれば、V(紫)のスペクトルをデジタル変換してRGBVの4種類のデジタル信号を用いることとしているので、表示することができる色の範囲が広がり4色型色覚者に、より臨場感のある映像を提供することができる。   According to the present invention, since the V (purple) spectrum is digitally converted and four types of RGBV digital signals are used, the range of colors that can be displayed is widened and more realistic for a four-color type color sense person. A video with a feeling can be provided.

分光プリズムによる色分解について説明する図である。It is a figure explaining the color separation by a spectral prism. 3色分解プリズムの構成例を示す図である。It is a figure which shows the structural example of a 3 color separation prism. 4色分解プリズムの構成例を示す図である。It is a figure which shows the structural example of a 4 color separation prism. 本発明の一実施形態によるRGBVの4色の画像信号を用いる映像システムの全体構成例を示すブロック図である。1 is a block diagram illustrating an example of the overall configuration of a video system using four RGBV image signals according to an embodiment of the present invention. 軸上色収差について説明する図である。It is a figure explaining axial chromatic aberration. 倍率色収差について説明する図である。It is a figure explaining lateral chromatic aberration. 単色色収差について説明する図である。It is a figure explaining a monochromatic chromatic aberration. 歪曲収差について説明する図である。It is a figure explaining a distortion aberration. Gを基準としたR、B、Vの補正について説明する図である。It is a figure explaining the correction | amendment of R, B, and V on the basis of G. 収差を補正すべき値の理論値を格納したテーブルの構成例を説明する図である。It is a figure explaining the structural example of the table which stored the theoretical value of the value which should correct | amend an aberration. Gの画像を基準にRの画像について画像のパターンを比較する例を具体的な例で説明する図である。It is a figure explaining the example which compares the image pattern about the image of R on the basis of the image of G by a specific example. 画像処理部に含まれるR、B、Vの各画像の画素のシフト量を計算するシフト量算出処理部の構成を示すブロック図である。It is a block diagram which shows the structure of the shift amount calculation process part which calculates the shift amount of the pixel of each image of R, B, and V contained in an image process part.

以下、本発明による映像システムの実施形態を図面により詳細に説明する。   Hereinafter, embodiments of a video system according to the present invention will be described in detail with reference to the drawings.

本発明の実施形態を説明する前に、まず、分光プリズムによる色分解について、及び、3色分解プリズムの構成例、本発明の実施形態で使用する4色分解プリズムの構成例について図1〜図3により説明する。   Before describing an embodiment of the present invention, first, color separation by a spectral prism, a configuration example of a three-color separation prism, and a configuration example of a four-color separation prism used in an embodiment of the present invention will be described with reference to FIGS. 3 will be described.

図1は分光プリズムによる色分解について説明する図、図2は3色分解プリズムの構成例を示す図、図3は4色分解プリズムの構成例を示す図である。   FIG. 1 is a diagram illustrating color separation by a spectral prism, FIG. 2 is a diagram illustrating a configuration example of a three-color separation prism, and FIG. 3 is a diagram illustrating a configuration example of a four-color separation prism.

図1に示すように、断面形状が三角形のガラス等の透明部材による分光プリズム101に入射した光102は、プリズムの持つ屈折率によって入射された光が分解されて、多数の波長の光に分解される。一般に、プリズムの屈折率は、光の波長が短くなる程大きくなるため、入射された光は、長い波長から短い波長の順に、すなわち、R103、G104、B105、V106の順に大きな屈折角度を持つ方向に色分解されてプリズムから射出される。   As shown in FIG. 1, the light 102 incident on the spectral prism 101 made of a transparent member such as a glass having a triangular cross-sectional shape is decomposed into light having a plurality of wavelengths by the incident light being decomposed by the refractive index of the prism. Is done. In general, since the refractive index of the prism increases as the wavelength of light becomes shorter, the incident light has a direction of larger refraction angle in the order of longer wavelength to shorter wavelength, that is, R103, G104, B105, and V106. The color is separated and emitted from the prism.

前述のように分解された光のスペクトルを電気信号に変換するためには、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)によるイメージセンサが使用される。   In order to convert the spectrum of the decomposed light as described above into an electric signal, an image sensor using a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) is used.

一般に、3つのCCD等によりRGBの3色のそれぞれの色の画像の電気信号を得るためには、入射光を図2に示しているような断面形状を有する3色分解プリズムによりR201、G202、B203に分解した後、R、G、Bそれぞれに独立したCCD等のイメージセンサを配置して、光の明暗を電気信号へ変換するようにすればよい。図2には、R、G、Bの分解された光の明暗を電気信号へ変換するイメージセンサを示していないが、各イメージセンサは、分解されたR201、G202、B203の射出面のそれぞれに設けられればよい。   In general, in order to obtain an electrical signal of an image of each of the three colors RGB by using three CCDs or the like, R201, G202, After disassembling into B203, image sensors such as independent CCDs may be arranged for each of R, G, and B so as to convert light intensity into an electrical signal. Although FIG. 2 does not show an image sensor that converts the light and darkness of the decomposed light of R, G, and B into an electrical signal, each image sensor is provided on each of the exit surfaces of the decomposed R201, G202, and B203. What is necessary is just to be provided.

R、G、B、Vの各色の独立した映像を混合合成することにより全ての色を表現するようにした本発明の実施形態のRGBV映像システムに使用するための4色分解プリズムは、図3に示すような断面形状を有して構成されている。そして、このプリズムへの入射光は、4色分解プリズムにより、R301、G302、B303、V304に分解される。そして、4つのイメージセンサによりRGBVの4色のそれぞれの色の画像の電気信号を得るためには、図2により説明した場合と同様に、分解されたR、G、B、Vの射出面のそれぞれに独立したイメージセンサを配置して、光の明暗を電気信号に変換するようにすればよい。   A four-color separation prism for use in the RGBV video system according to the embodiment of the present invention that expresses all colors by mixing and synthesizing independent images of R, G, B, and V is shown in FIG. It has a cross-sectional shape as shown in FIG. The incident light on this prism is decomposed into R301, G302, B303, and V304 by the four-color separation prism. Then, in order to obtain an electrical signal of each of the four RGBV images by using the four image sensors, as in the case described with reference to FIG. An independent image sensor may be arranged for each so as to convert light intensity into an electrical signal.

図4は本発明の一実施形態によるRGBVの4色の画像信号を用いる映像システムの全体構成例を示すブロック図であり、図4(a)はハードウェア構成を示し、図4(b)は本発明の実施形態の各構成要素の出力である画像情報を示している。   FIG. 4 is a block diagram showing an example of the overall configuration of a video system using RGBV four-color image signals according to an embodiment of the present invention. FIG. 4A shows a hardware configuration, and FIG. The image information which is the output of each component of embodiment of this invention is shown.

本発明の実施形態による映像システムは、図4(a)に示すように、RGBV映像出力装置401と、該RGBV映像出力装置401が使用するRGBVの各色対応のフレームメモリ405と、RGBV映像出力装置401からの画像信号を混合、合成してカラー映像として表示するRGBV対応ディスプレイ装置とにより構成される。   As shown in FIG. 4A, the video system according to the embodiment of the present invention includes an RGBV video output device 401, a frame memory 405 corresponding to each color of RGBV used by the RGBV video output device 401, and an RGBV video output device. An RGBV compatible display device that displays a color image by mixing and synthesizing the image signals from 401.

RGBV映像出力装置401は、例えば、デジタルテレビカメラ、デジタルビデオカメラ等であってよく、撮像用のレンズ、図3により説明したような4色分解プリズム402、該4色分解プリズム402の各色の射出面のそれぞれに設けられた複数のCCDイメージセンサ403、該CCDイメージセンサ403からの各色のアナログ電気信号を受け、それぞれをデジタル信号に変換して対応する複数のフレームメモリ405にバッファリングする複数のA/Dコンバータ404、及び、フレームメモリ405にバッファリングされた各色のデジタル信号を取り出し、本発明での画像処理を行い、レンズによる各種歪み等を補正して、RGBV対応ディスプレイ装置に出力する複数の画像処理部406を備えて構成されている。   The RGBV video output device 401 may be, for example, a digital television camera, a digital video camera, or the like. The imaging lens, the four-color separation prism 402 as described with reference to FIG. A plurality of CCD image sensors 403 provided on each of the surfaces, a plurality of color analog electric signals from the CCD image sensor 403, each of which is converted into a digital signal and buffered in a corresponding plurality of frame memories 405 A plurality of digital signals buffered in the A / D converter 404 and the frame memory 405 are taken out, subjected to image processing according to the present invention, various distortions due to the lens are corrected, and the like, and output to an RGBV compatible display device. The image processing unit 406 is configured.

前述の複数の画像処理部406は、CPU、主メモリ等の記憶装置及び論理回路を備えて構成される情報処理手段の中に構築されるものであり、収差補正のための各種の機能部が、情報処理手段内の主記憶装置の中にプログラムにより構成され、CPUと論理回路により制御されて本発明の実施形態での収差の補正動作が行われることになる。   The plurality of image processing units 406 described above are constructed in an information processing unit including a CPU, a storage device such as a main memory, and a logic circuit, and various functional units for correcting aberrations. The main memory device in the information processing means is constituted by a program, and is controlled by the CPU and logic circuit to perform the aberration correction operation in the embodiment of the present invention.

前述において、図4(b)に示すように、レンズに入力される光による映像407は、レンズにより結像されて4色分解プリズム402に入力され、4色分解プリズム402により、R、G、B、Vの各色毎にスペクトル分解された画像とされる。このスペクトル分解された各色の画像は、CCDイメージセンサ403により各色のアナログ電気信号による画像信号に変換される。このアナログ電気信号による画像信号は、A/Dコンバータ404で各色毎のデジタル信号に変換されて、R、G、B、Vの各色のフレーム画像408とされ、フレームメモリ405へバッファリングされる。   In the above, as shown in FIG. 4B, the image 407 by the light input to the lens is imaged by the lens and input to the four-color separation prism 402, and R, G, The image is spectrally decomposed for each color of B and V. The spectrally decomposed image of each color is converted into an image signal by an analog electrical signal of each color by the CCD image sensor 403. The image signal based on the analog electric signal is converted into a digital signal for each color by the A / D converter 404 to form a frame image 408 of each color of R, G, B, V, and buffered in the frame memory 405.

そして、前述で説明したように、画像処理部406は、フレームメモリ405にバッファリングされた各色のデジタル信号を取り出し、レンズによる各種歪み等を補正する画像処理を行い、各色毎に補正したフレーム画像409を生成して、RGBV対応ディスプレイ装置に出力する。   Then, as described above, the image processing unit 406 takes out the digital signal of each color buffered in the frame memory 405, performs image processing for correcting various distortions by the lens, and the frame image corrected for each color. 409 is generated and output to an RGBV compatible display device.

本発明の実施形態は、画像処理部406がレンズによる各種歪み等を補正する処理を行うこととしているが、ここで、レンズによる各種歪みとしてどのようなものかあるかを図5〜図8を参照して説明する。   In the embodiment of the present invention, the image processing unit 406 performs a process of correcting various distortions caused by the lens. Here, various distortions caused by the lens are shown in FIGS. The description will be given with reference.

図5は軸上色収差について説明する図、図6は倍率色収差について説明する図、図7は単色色収差について説明する図、図8は歪曲収差について説明する図である。   5 is a diagram for explaining axial chromatic aberration, FIG. 6 is a diagram for explaining chromatic aberration of magnification, FIG. 7 is a diagram for explaining monochromatic chromatic aberration, and FIG. 8 is a diagram for explaining distortion aberration.

一般に、レンズに光が入射し、その像が結像されると、結像された像に、色のにじみが生じたり、ぼやけたりそして歪んでしまう収差が発生する。   In general, when light is incident on a lens and the image is formed, an aberration is generated in the image that causes color blurring, blurring, and distortion.

収差の1つである軸上色収差の例を図5に示している。図5において、レンズ501を通る赤い光の焦点は、紫の光の焦点に比べて、レンズから遠いところに結ばれる。すなわち、赤い光の焦点は、紫の色の焦点よりもレンズに近いところに結ばれる。このため、色によって焦点の距離がずれた結果、結像された像も色によって異なる位置に結像することになり、レンズ501によって結像された物がぼやけて見えることになる。   An example of axial chromatic aberration, which is one of aberrations, is shown in FIG. In FIG. 5, the focal point of red light passing through the lens 501 is farther from the lens than the focal point of purple light. That is, the focus of red light is closer to the lens than the focus of purple color. For this reason, as a result of the shift of the focal distance depending on the color, the image formed is also formed at a different position depending on the color, and the object formed by the lens 501 appears blurred.

また、レンズの収差の1つである倍率色収差の例を図6に示している。一般に、図6に示しているように、レンズ601には、A、Bとして示しているように異なった角度から光が入射される。そして、レンズ601は、色によって屈折率が異なり焦点までの距離が同じであっても、色の波長によって焦点位置がずれてしまうため、異なった角度から光が入射された場合、結像した色がにじんだり、ぼやけたりしてしまう。   FIG. 6 shows an example of lateral chromatic aberration, which is one of lens aberrations. In general, as shown in FIG. 6, light is incident on the lens 601 from different angles as indicated by A and B. Even if the lens 601 has a different refractive index depending on the color and the distance to the focal point is the same, the focal position is shifted depending on the wavelength of the color. Blurs or blurs.

また、単色のスペクトル波長の光に着目した場合にも生じる単色色収差の例を図7に示している。図7にAとして示しているようにレンズ701に入射する光の位置がレンズ701の端の方である場合、その光は、入射角度が急であるために、レンズ701に近い位置に焦点を結び、図7にBとして示しているようにレンズ701に入射する光の位置がレンズ701の中心に近い場合、その光は、入射角度が小さいために、レンズ701から遠い位置に焦点を結ぶことになる。これにより、結像した像の色がにじんだり、ぼやけたりしてしまう。   FIG. 7 shows an example of monochromatic aberration that occurs even when attention is paid to light having a monochromatic spectral wavelength. When the position of the light incident on the lens 701 is toward the end of the lens 701 as indicated by A in FIG. 7, the light is focused at a position close to the lens 701 because the incident angle is steep. When the position of the light incident on the lens 701 is close to the center of the lens 701 as indicated by B in FIG. 7, the light is focused at a position far from the lens 701 because the incident angle is small. become. As a result, the color of the formed image is blurred or blurred.

また、レンズにより結像した映像が歪んで見えてしまう歪曲収差の例を図8に示している。歪曲収差には、樽型の歪曲収差と糸巻き型の歪曲収差とがあり、図8(a)に示すように、画面周辺ほど像がちぢむように歪みを発生させる現象を樽型の歪曲収差といい、一方、図8(b)に示すように、画面周辺ほど像が伸びるように歪みを発生させる場合を糸巻き型の歪曲収差という。   FIG. 8 shows an example of distortion that causes the image formed by the lens to appear distorted. The distortion includes barrel-shaped distortion and pincushion-type distortion, and as shown in FIG. 8 (a), the phenomenon of generating distortion so that the image is stiffened toward the periphery of the screen is referred to as barrel-shaped distortion. On the other hand, as shown in FIG. 8B, a case where distortion is generated such that an image extends toward the periphery of the screen is called a pincushion type distortion aberration.

結像用のレンズは、前述で説明したような各種の収差を発生させるので、図4に示す本発明の実施形態による映像システムのA/Dコンバータ404から出力されてフレームメモリ405へ入力される画像は、前述で説明したような収差を含む画像408としてフレームメモリ405にバッファリングされる。本発明の実施形態では、このような収差を補正するために、画像処理部406が設けられており、複数の画像処理部406は、R、G、B、Vの各色毎に前述の収差を補正してフレーム画像409を出力する。   Since the imaging lens generates various aberrations as described above, it is output from the A / D converter 404 of the video system according to the embodiment of the present invention shown in FIG. 4 and input to the frame memory 405. The image is buffered in the frame memory 405 as an image 408 including aberration as described above. In the embodiment of the present invention, in order to correct such aberration, an image processing unit 406 is provided, and the plurality of image processing units 406 reduce the aberration described above for each of R, G, B, and V colors. The frame image 409 is output after correction.

画像処理部406における前述した各種の収差の補正は、可視光の波長が真ん中でプリズムでの屈折率も真ん中であり、かつ、前述した各種の収差を受けにくいG(緑)を基準にして、他のR(赤)、B(青)、V(紫)の画像を、G(緑)の画像に近づけて重ねるような補正をするものである。そして、この補正は、画像処理部406がフレームメモリ405から画像を読み出し、GとRとの画像のパターン比較、GとBとの画像のパターン比較、GとVとの画像のパターン比較を行い、Gの画像の中心からのR、B、Vのシフト量を各画素毎に、あるいは、画面を複数のゾーンに分けてゾーン単位毎に算出して、R、B、Vのデータを算出したシフト量だけシフトさせるような処理を行うことにより実行される。   The correction of the above-described various aberrations in the image processing unit 406 is based on G (green), which has the visible light wavelength in the middle and the refractive index at the prism in the middle, and is difficult to receive the various aberrations described above. The other R (red), B (blue), and V (purple) images are corrected so as to overlap with the G (green) image. In this correction, the image processing unit 406 reads an image from the frame memory 405, performs a pattern comparison between the G and R images, a pattern comparison between the G and B images, and a pattern comparison between the G and V images. The R, B, and V shift amounts from the center of the G and G images are calculated for each pixel, or the screen is divided into a plurality of zones for each zone unit to calculate R, B, and V data. It is executed by performing a process for shifting by the shift amount.

図9はGを基準としたR、B、Vの補正について説明する図である。図9に示す例は、基準とするGの中心画素の座標が(X,Y)であり、前述したパターン比較の結果、Gの中心画素に重ねるべきRの中心画素の座標が(X+1,Y−1)、Bの中心画素の座標が(X−1,Y+1)、Vの中心画素の座標が(X−3,Y+1)であったとして、各色の中心画素の位置座標を示している。本発明の実施形態では、R、B、Vの各画素をGの画素位置に重なるように、X方向、Y方向にシフトすることになる。   FIG. 9 is a diagram for explaining correction of R, B, and V with G as a reference. In the example shown in FIG. 9, the coordinates of the center pixel of G as a reference are (X, Y), and the coordinates of the center pixel of R to be superimposed on the center pixel of G are (X + 1, Y) as a result of the pattern comparison described above. -1), the coordinates of the center pixel of B are (X-1, Y + 1), and the coordinates of the center pixel of V are (X-3, Y + 1). In the embodiment of the present invention, the R, B, and V pixels are shifted in the X direction and the Y direction so as to overlap the G pixel position.

図11はGの画像を基準にRの画像について画像のパターンを比較する例を具体的な例で説明する図であり、図11(a)はGの画像とRの画像との具体例を示す図であり、図11(b)は画像内の画素の比較と画素の合わせ込みを説明する図である。   FIG. 11 is a diagram illustrating a specific example of comparing image patterns for the R image with reference to the G image. FIG. 11A illustrates a specific example of the G image and the R image. FIG. 11B is a diagram for explaining pixel comparison and pixel alignment in an image.

本発明の実施形態では、画像のパターンの比較を、画像を形成する画素毎の輝度、画素の合わせ込みのためのシフト量、各画素の輝度差の3つのパラメータを用意して行うこととしている。各画素は、最小の明るさを示す最小輝度から最大の明るさを示す最大輝度までの0〜255の範囲で輝度値を持っている。本発明の実施形態では、この輝度値を輝度パラメータとして、Rの画像に閾値を設定して、Gの画像と比較するRの画像の画素を絞り込んでいる。また、シフト量パラメータは、Gの画像の1画素に対するRの画像の比較すべき画素の範囲を設定するパラメータである。このシフト量パラメータの設定値により比較後の画像の精度が変化することになる。さらに、輝度差パラメータは、輝度値によって切り分けられた画素に対して、「比較してよい画素」と「比較してはいけない画素」との切り分けを行うパラメータである。この輝度差パラメータは、Gの画像の画素とRの画像の画素との輝度値の差の値を輝度差パラメータの閾値として設定したもので、輝度差パラメータの閾値より小さい輝度差を有する画素を比較対象とするため用いられる。   In the embodiment of the present invention, comparison of image patterns is performed by preparing three parameters: luminance for each pixel forming an image, shift amount for pixel alignment, and luminance difference of each pixel. . Each pixel has a luminance value in the range of 0 to 255 from the minimum luminance indicating the minimum brightness to the maximum luminance indicating the maximum brightness. In the embodiment of the present invention, this luminance value is used as a luminance parameter, a threshold is set for the R image, and the pixels of the R image to be compared with the G image are narrowed down. The shift amount parameter is a parameter for setting a pixel range to be compared in the R image with respect to one pixel in the G image. The accuracy of the image after comparison changes depending on the set value of the shift amount parameter. Further, the luminance difference parameter is a parameter for performing separation between “a pixel that can be compared” and “a pixel that should not be compared” with respect to a pixel that is separated according to a luminance value. This luminance difference parameter is a value in which the luminance value difference between the pixel of the G image and the pixel of the R image is set as the threshold value of the luminance difference parameter. Used for comparison purposes.

図11(a)に示すような標準画像1001(図4(b)におけるに画像407に相当)は、レンズ、プリズムを介してGとRとに分光されて、Gの画像1002とRの画像1003として示すような画像とされる。前述で説明したように、本発明の実施形態は、これらのGの画像1002とRの画像1003とに対して輝度パラメータを用いる。そして、ここでは、輝度パラメータを「輝度200以上を表示」と設定するものとし、Rの画像1003の輝度値が200以上ある画素を抽出するものとする。この結果、Rの画像1003’内に例示している文字の濃い灰色で示している文字の部分にある画素が、画素の輝度値が200以上ある画素であって、基準とするGの画像の対応する部分と比較する文字の部分として抽出される。ここでは、比較対象となるRの画像1003’内に1010として示している部分が画素の輝度値が200以上あり比較対象になる画素であるとして示している。一方、比較対象となるRの画像1003’内に1011として示している部分は、この部分の画素の輝度値が200以下であり比較対象外になった画素であるとして示している。そして、Rの画像とGの画像との中で比較対象として残った画像の部分が、Rの画像1004とGの画像1002’とである。   A standard image 1001 (corresponding to the image 407 in FIG. 4B) as shown in FIG. 11A is split into G and R via a lens and a prism, and the G image 1002 and the R image. The image is shown as 1003. As described above, the embodiment of the present invention uses the luminance parameter for the G image 1002 and the R image 1003. In this example, the luminance parameter is set to “display luminance 200 or higher”, and pixels having a luminance value of 200 or higher in the R image 1003 are extracted. As a result, the pixels in the character portion shown in dark gray of the character illustrated in the R image 1003 ′ are pixels having a pixel luminance value of 200 or more, and the reference G image Extracted as a character part to be compared with the corresponding part. Here, a portion indicated as 1010 in the R image 1003 ′ to be compared is shown as a pixel to be compared because the pixel has a luminance value of 200 or more. On the other hand, a portion indicated as 1011 in the R image 1003 ′ to be compared is indicated as a pixel that has a luminance value of 200 or less and is not compared. The portions of the image remaining as comparison targets between the R image and the G image are the R image 1004 and the G image 1002 ′.

次に、図11(b)を参照して、基準とするGの画像内の各画素と、Rの画像内の各画素との比較の処理について説明する。   Next, with reference to FIG. 11B, a process of comparing each pixel in the reference G image with each pixel in the R image will be described.

いま、基準とするGの画像内の任意の画素を基準画素Aとし、Gの画像内の画素Aと同一の位置にあるRの画像内の画素A’を比較対象画素A’として、これらを比較するものとする。この場合、Gの画像の基準画素Aを中心にX軸方向及びY軸方向1006に5画素×5画素のブロック1005を作成する。一方、Rの画像に対しては、比較対象画素A’の周辺3×3画素のブロック1015を作成する。なお、ブロック1015として示すブロックは、この3×3画素のブロックの中心にある画素を画像Rの比較対象画素としたときに作成される3×3画素のブロックである。従って、Rの画像内の画素Aと同一の位置にある画素A’を比較対象画素A’とした場合の3×3画素のブロックは、ブロック1015をX軸方向に1画素分、Y軸方向に1画素分シフトしたブロックとなる。   Now, an arbitrary pixel in the reference G image is set as the reference pixel A, and a pixel A ′ in the R image at the same position as the pixel A in the G image is set as the comparison target pixel A ′. Compare. In this case, a block 1005 of 5 pixels × 5 pixels is created in the X-axis direction and the Y-axis direction 1006 around the reference pixel A of the G image. On the other hand, for the R image, a block 1015 of 3 × 3 pixels around the comparison target pixel A ′ is created. Note that a block shown as a block 1015 is a 3 × 3 pixel block created when the pixel at the center of the 3 × 3 pixel block is the comparison target pixel of the image R. Therefore, a block of 3 × 3 pixels when the pixel A ′ at the same position as the pixel A in the R image is set as the comparison target pixel A ′ is the block 1015 corresponding to one pixel in the X-axis direction and the Y-axis direction. Is a block shifted by one pixel.

そして、前述したように比較対象画素を中心とした3×3画素の9つの画素の輝度値を平均した輝度値を算出し、その平均輝度値を比較対象画素の平均輝度値とする演算を、Rの画像の全ての画素について行い、その結果を比較対象画素の位置に格納する。このようにして作成されたGの画像の5画素×5画素のブロック1005に対応するRの画像の結果が、ブロック1012として示しているようなものとなる。   Then, as described above, a luminance value obtained by averaging the luminance values of nine pixels of 3 × 3 pixels centered on the comparison target pixel is calculated, and the average luminance value is calculated as an average luminance value of the comparison target pixel. The process is performed for all the pixels of the R image, and the result is stored in the position of the comparison target pixel. The result of the R image corresponding to the 5 × 5 pixel block 1005 of the G image created in this way is as shown as a block 1012.

その後、Gの画像の基準画素Aと同じ位置にあるRの画像の比較対象画素A’を中心に持つブロック1012から、基準画素Aの輝度値に最も近い平均値を持つ画素B1007を探す。このとき、輝度差パラメータの閾値として設定された閾値の値を使用して比較してはならない画素を排除する。ここでは、輝度差パラメータで設定される閾値は、基準画素Aの輝度±10とし、この輝度差以内輝度差を有する画素を比較対象とする。図11(b)に示す例では、輝度±10以内に当てはまる画素を1013(○を表示している画素)、当てはまらない画素を1009(×を表示している画素)として示している。探し当てた画素B1007の輝度値を比較対象画素A’に移そうとしたときのシフト量が、シフト量パラメータで設定した閾値以内であれば、比較対象画素A’の位置に画素B1007の輝度値をシフトさせ、1014として示しているようなブロックを作成する。もし、ブロック内にシフト量パラメータで設定した閾値以内という条件を満足する画素が存在しなければ、画素値をシフトする処理は行わない。このような処理を1画像分の全ての画素に対して行うことにより、Rの画像をGの画像に合わせ込むことができる。Rの画像をGの画像に合わせ込んだ後の、比較対象画素A’を中心に持つ5×5のブロックは、図11(b)に1008として示すようなものとなる。   Thereafter, a pixel B1007 having an average value closest to the luminance value of the reference pixel A is searched for from the block 1012 having the comparison target pixel A ′ of the R image at the same position as the reference pixel A of the G image. At this time, pixels that should not be compared are excluded using the threshold value set as the threshold value of the luminance difference parameter. Here, the threshold set by the luminance difference parameter is the luminance of the reference pixel A ± 10, and pixels having a luminance difference within this luminance difference are set as comparison targets. In the example shown in FIG. 11 (b), pixels that fall within luminance ± 10 are shown as 1013 (pixels that display ◯), and pixels that do not apply are shown as 1009 (pixels that display ×). If the shift amount when trying to move the luminance value of the found pixel B1007 to the comparison target pixel A ′ is within the threshold set by the shift amount parameter, the luminance value of the pixel B1007 is set at the position of the comparison target pixel A ′. Shift to create a block as shown as 1014. If there is no pixel that satisfies the condition within the threshold set by the shift amount parameter in the block, the process of shifting the pixel value is not performed. By performing such processing for all pixels for one image, the R image can be matched with the G image. The 5 × 5 block having the comparison target pixel A ′ as the center after the R image is combined with the G image is as shown as 1008 in FIG.

前述では、Rの画像をGの画像に合わせ込む例を説明したが、Bの画像、Vの画像をGの画像に合わせ込む場合も同様であり、それらの処理は、図4(a)に示す画像処理部406により実行される。そして、前述した処理により、画像を形成する全画素のシフト量が求められることになる。   In the above description, the example in which the R image is combined with the G image has been described. However, the same applies to the case where the B image and the V image are combined with the G image. The image processing unit 406 shown in FIG. Then, the shift amount of all the pixels forming the image is obtained by the above-described processing.

なお、比較対象画素A’を中心画素(画素位置(x,y) )とした3×3画素の9つの画素の輝度値を平均した輝度値を算出して比較対象画素A’の平均画素値を求める演算は、各画素位置の輝度値を画素位置で示した場合、
比較対象画素A’の平均画素値={(x-1,y-1)+(x,y-1)+(x+1,y-1)+(x-1,y)+(x,y)
+(x+1,y)+(x-1,y+1)+(x,y+1)+(x+1,y+1)}/9
の演算式により行うことができる。
Note that the average pixel value of the comparison target pixel A ′ is calculated by calculating a luminance value by averaging the luminance values of nine pixels of 3 × 3 pixels with the comparison target pixel A ′ as the central pixel (pixel position (x, y)). When the luminance value at each pixel position is indicated by the pixel position,
Average pixel value of comparison target pixel A ′ = {(x−1, y−1) + (x, y−1) + (x + 1, y−1) + (x−1, y) + (x, y)
+ (x + 1, y) + (x-1, y + 1) + (x, y + 1) + (x + 1, y + 1)} / 9
It can be performed by the following equation.

図12は画像処理部に含まれるR、B、Vの各画像の画素のシフト量を計算するシフト量算出処理部の構成を示すブロック図であり、次に、図12を参照して、シフト量の保存、読み込み、書き換えの処理を説明する。   FIG. 12 is a block diagram illustrating a configuration of a shift amount calculation processing unit that calculates the shift amount of pixels of each of the R, B, and V images included in the image processing unit. Next, referring to FIG. The process of saving, reading and rewriting the quantity will be described.

R、B、Vの各画像の画素のシフト量を計算するシフト量算出処理部は、演算部1101とシフト量保存メモリ1100とにより、図12に示すように構成される。そして、シフト量保存メモリ1100は、演算部1101により算出されたR、B、Vの各画像の各画素のシフト量C’の1画面分のシフト量C’を保持するメモリであり、保持されるシフト量C’の初期値が0とされる。また、演算部1101は、図11に示して説明したようにして求められた各画素のシフト量Cと、1回前に演算部1101により算出されシフト量保存メモリ1100に保存された各画素のシフト量C’とを入力とし、また、同一位置の画素に対する演算回数をnとして、
C’=C×(1/n)+C’×(n−1)/n
の演算式により、シフト量C’を求め、シフト量保存メモリ1100のR、B、Vの各画像に対するメモリの各画素のシフト量C’を更新する。
A shift amount calculation processing unit that calculates the shift amount of the pixel of each of the R, B, and V images is configured by the arithmetic unit 1101 and the shift amount storage memory 1100 as shown in FIG. The shift amount storage memory 1100 is a memory that holds the shift amount C ′ for one screen of the shift amount C ′ of each pixel of the R, B, and V images calculated by the calculation unit 1101. The initial value of the shift amount C ′ is 0. Further, the calculation unit 1101 calculates the shift amount C of each pixel obtained as described with reference to FIG. 11 and each pixel stored in the shift amount storage memory 1100 calculated by the calculation unit 1101 one time before. The shift amount C ′ is input, and the number of operations for the pixel at the same position is n.
C ′ = C × (1 / n) + C ′ × (n−1) / n
The shift amount C ′ is obtained by the following equation, and the shift amount C ′ of each pixel in the memory for each of the R, B, and V images in the shift amount storage memory 1100 is updated.

前述したような処理を行うことにより、シフト量保存メモリ1100への書き込み回数が多くなるほど、すなわち、画像比較回数が多くなるに従い1画素のシフト量が一定の値に収束していくことになる。そして、シフト量保存メモリ1100に保存されたR、B、Vの各画像に対する各画素のシフト量C’は、シフトパラメータとして出力されて、R、B、Vの各画像のGの画像への合わせ込みのために使用される。なお、図11に示して説明した処理によりシフト量Cの値を算出することができなかった場合、演算部1101は、その時点で、シフト量保存メモリ1100に保存されているシフト量C’の値をシフト量Cに代わって利用する。   By performing the processing as described above, the shift amount of one pixel converges to a constant value as the number of writes to the shift amount storage memory 1100 increases, that is, as the number of image comparisons increases. The shift amount C ′ of each pixel with respect to each of the R, B, and V images stored in the shift amount storage memory 1100 is output as a shift parameter, and the R, B, and V images are transferred to the G image. Used for tailoring. If the shift amount C cannot be calculated by the processing described with reference to FIG. 11, the calculation unit 1101 determines the shift amount C ′ stored in the shift amount storage memory 1100 at that time. The value is used instead of the shift amount C.

前述した説明では、Gを基準にして、他のR、B、Vの画像の補正をするとして説明したので、図4(b)に示す画像処理部406から出力される補正した出力画像409は、Gの出力画像がA/Dコンバータ404から出力されたものと同一の図示で画像Gとして示しているものとなる。また、他のR、B、Vの画像は、補正された図示でR’、B’、V’として示しているものとなる。   In the above description, since other R, B, and V images are corrected based on G, the corrected output image 409 output from the image processing unit 406 shown in FIG. , G output images are shown as images G in the same illustration as those output from the A / D converter 404. The other R, B, and V images are shown as R ′, B ′, and V ′ in the corrected illustration.

本発明の実施形態によれば、前述したような画像に対する補正を画像処理部406で実施することにより、レンズを含む光学系での歪みや色のにじみを補正することができ、画像処理部406からR、G、B、Vのそれぞれの補正された画像を出力することができ、RGBV対応のディスプレイに4色のデジタル信号を用いたカラー画像410を表示することができる。   According to the embodiment of the present invention, the image processing unit 406 performs the correction on the image as described above, thereby correcting distortion and color blur in the optical system including the lens. R, G, B, and V corrected images can be output, and a color image 410 using four color digital signals can be displayed on a RGBV compatible display.

前述での説明は、画像出力部406がフレームメモリにバッファリングされた収差を含む各色の画像について、Gを基準にして、他のR、B、Vの画像の補正をするとしたが、本発明は、画像処理部406において、収差を補正すべき値の理論値をR、G、B、Vのそれぞれに格納したテーブルを用意して、歪みや色のにじみが発生しているデータを格納しているフレームメモリ405から画像を読み出して、各画素に対してテーブルの値を用いて演算をすることにより歪みや色のにじみを補正したR、G、B、Vのそれぞれの画像を画像処理部406から出力させるようにすることができる。   In the above description, the image output unit 406 corrects other R, B, and V images on the basis of G for each color image including aberrations buffered in the frame memory. The image processing unit 406 prepares a table storing theoretical values of values to be corrected for aberrations in R, G, B, and V, respectively, and stores data in which distortion or color bleeding occurs. An image processing unit reads each image of R, G, B, and V, in which an image is read out from the frame memory 405 and the distortion and color blur are corrected by performing calculation using the table values for each pixel. It can be made to output from 406.

図10は収差を補正すべき値の理論値を格納したテーブルの構成例を説明する図である。ここに示すテーブルは、RGBV対応ディスプレイ装置の表示画面が、水平方向1920画素、垂直方向1080画素を持つものとして、各画素毎のR、G、B、Vのそれぞれ補正量をテーブル化したものである。   FIG. 10 is a diagram for explaining a configuration example of a table storing theoretical values of values to be corrected for aberration. The table shown here is a table in which correction amounts of R, G, B, and V for each pixel are tabulated on the assumption that the display screen of the RGBV-compatible display device has 1920 pixels in the horizontal direction and 1080 pixels in the vertical direction. is there.

図10に示すテーブルは、画面座標、各色の画素の補正量を示す画素Gの収差補正座標、画素Bの収差補正座標、画素Rの収差補正座標、画素Vの収差補正座標のデータにより構成される。そして、図示テーブル内の各画面座標は、垂直方向座標と水平方向座標とにより構成され、表示すべき画素位置を示す図示しない画面アドレスカウンタにより指定される整数値である。   The table shown in FIG. 10 includes data of screen coordinates, aberration correction coordinates of the pixel G indicating the correction amount of each color pixel, aberration correction coordinates of the pixel B, aberration correction coordinates of the pixel R, and aberration correction coordinates of the pixel V. The Each screen coordinate in the illustrated table is composed of a vertical coordinate and a horizontal coordinate, and is an integer value designated by a screen address counter (not illustrated) indicating a pixel position to be displayed.

画素(G、B、R、V)の収差補正座標は、画面座標に示されるピクセル単位に設定された少数点を含む補正量の数値となるが、処理における論理演算を簡単にするため、2進数で示す整数部と、2進数で示す小数部とにより表現されている。この収差補正座標は、必ずしも画素単位に設定する必要はなく、画面を複数のゾーンに分けてゾーン単位毎に補正値を設定するように構成することもできる。   The aberration correction coordinates of the pixels (G, B, R, V) are numerical values of correction amounts including a decimal point set in pixel units indicated by the screen coordinates. It is expressed by an integer part represented by a decimal number and a decimal part represented by a binary number. The aberration correction coordinates do not necessarily have to be set in pixel units, and the screen can be divided into a plurality of zones and correction values can be set for each zone unit.

前述したようなテーブルは、図4に示すRGBV映像出力装置401を構成するレンズ及びプリズムの構成が決まると、本発明とは別の方法により測定して各色、各画素毎の補正量を決定することができるので、その値を用いて予め作成しておけばよい。   The table as described above determines the correction amount for each color and each pixel by measuring by a method different from the present invention when the configuration of the lenses and prisms constituting the RGBV video output device 401 shown in FIG. 4 is determined. Therefore, it is sufficient to create in advance using the value.

前述で説明したテーブルを用いる例では、Gについても、収差補正を行うことができるので、Gを基準として他のR、B、Vの画像の補正演算をする例に比較して、より歪みのない映像をRGBV対応ディスプレイ装置に表示することができる。   In the example using the table described above, aberration correction can be performed for G as well, so that distortion can be further reduced as compared with an example in which correction calculation of other R, B, and V images is performed on the basis of G. Can be displayed on an RGBV compatible display device.

そして、前述のようなテーブルを用いる場合にも、Gを基準として他のR、B、Vの画像の補正を行うようにすることができ、この場合には、図10に示すテーブルの画素Gの収差補正座標のデータが不要となり、テーブルの構成をより小さくすることができる。   Even when the table as described above is used, other R, B, and V images can be corrected using G as a reference. In this case, the pixel G of the table shown in FIG. The aberration correction coordinate data becomes unnecessary, and the table configuration can be made smaller.

前述した本発明の実施形態によれば、入力される光学画像のV(紫)色成分を、R(赤)、G(緑)、B(青)とは独立した色成分として抽出し、それらの4色の画像を混合合成することにより全ての色を表現することとしているので、4色型色覚者に対しても違和感を感じさせることのない映像を表示することができ、また、各色の画像の光学系による収差を、デジタル処理により補正することとしているので、短波長の色収差の補正のために何枚も重ね合わせていたレンズが不要となり、比較的簡易な小型で安価な光学系を使用した場合にも、光学系により生じる収差のない映像を表示することができる。   According to the embodiment of the present invention described above, the V (purple) color component of the input optical image is extracted as color components independent of R (red), G (green), and B (blue), Since all the colors are expressed by mixing and synthesizing the four color images, it is possible to display an image that does not give a sense of discomfort to the four-color type color sense person. Since aberrations due to the optical system of the image are corrected by digital processing, it is not necessary to use multiple overlapping lenses to correct short wavelength chromatic aberration, and a relatively simple, compact and inexpensive optical system can be used. Even when used, it is possible to display an image free from aberrations caused by the optical system.

本発明は、テレビカメラ、小型化、軽量化を目指す携帯用のビデオカメラ、スチールカメラを含むカメラの分野や、4色型色覚者向けの医療機器、研究用途のカメラ等に利用可能することができる。   INDUSTRIAL APPLICABILITY The present invention can be used in the field of television cameras, portable video cameras aiming for miniaturization and weight reduction, cameras including still cameras, medical devices for four-color color vision persons, cameras for research use, and the like. it can.

101 分光プリズム
401 RGBV映像出力装置
402 4色分解プリズム
403 CCDイメージセンサ
404 A/Dコンバータ
405 フレームメモリ
406 画像処理部
1100 シフト量保存メモリ
1101 演算部
DESCRIPTION OF SYMBOLS 101 Spectral prism 401 RGBV video output device 402 Four color separation prism 403 CCD image sensor 404 A / D converter 405 Frame memory 406 Image processing unit 1100 Shift amount storage memory 1101 Calculation unit

Claims (9)

R(赤)、G(緑)、B(青)及びV(紫)の4色の画像信号を用いる映像システムにおいて、
レンズにより結像された光をR、G、B、Vの4色のスペクトルの画像に分解する4色分解プリズムと、
分解されたR、G、B、Vの4色の画像情報のそれぞれを電気信号として出力するR、G、B、Vの4色のそれぞれに対応するイメージセンサと、
これらのイメージセンサからの出力信号のそれぞれについて、光学系により生じる収差を補正する処理を行って、R、G、B、Vの4色のそれぞれに対応する処理を行う画像処理部と、
該画像処理部から出力されたR、G、B、Vの4色のそれぞれの画像データを混合合成して表示する表示部と、を備え、
前記画像処理部から前記表示部への画像データは、R、G、B、独立した色成分のV、の4色の出力であって、4色型色覚者に対する全ての色を表現して前記表示部で表示する
ことを特徴とする映像システム。
In a video system using four color image signals of R (red), G (green), B (blue) and V (purple),
A four-color separation prism for separating the light imaged by the lens into an image of a spectrum of four colors of R, G, B, and V;
An image sensor corresponding to each of the four colors R, G, B, and V that outputs each of the decomposed image information of the four colors R, G, B, and V as an electrical signal;
For each of the output signals from these image sensor, an image processing unit for performing performs processing for correcting the aberrations caused by the optical system, R, G, B, a process corresponding to each of the four colors and V,
And a display unit for displaying R outputted from the image processing unit, G, B, each image data of four colors of V mixed synthesized and,
The image data from the image processing unit to the display unit is an output of four colors of R, G, B, and independent color component V, and expresses all colors for a four-color type color sense person. A video system characterized by being displayed on a display unit .
R、G、B、Vの4色のそれぞれに対応するA/Dコンバータ、及び、R、G、B、Vの4色のそれぞれに対応するフレームメモリをさらに備え、
前記A/Dコンバータは、前記イメージセンサからのR、G、B、Vの4色の画像情報のそれぞれの電気信号をデジタルデータに変換して前記R、G、B、Vの4色のそれぞれに対応するフレームメモリに格納し、
前記画像処理部は、前記R、G、B、Vの4色のそれぞれの画像データを前記フレームメモリから取得して処理する
ことを特徴とする請求項1記載の映像システム。
An A / D converter corresponding to each of the four colors R, G, B, and V, and a frame memory corresponding to each of the four colors R, G, B, and V;
The A / D converter converts each electrical signal of image information of four colors R, G, B, and V from the image sensor into digital data, and converts each of the four colors R, G, B, and V. Stored in the frame memory corresponding to
The video system according to claim 1, wherein the image processing unit acquires and processes image data of each of the four colors R, G, B, and V from the frame memory.
前記画像処理部は、歪みや色のにじみが発生している画像データを格納している前記フレームメモリから読み出した画像データに対して、収差を受けにくいGの画像を基準にして、他のR、B、Vの画像を、Gの画像に重ねるように補正の処理を行う
ことを特徴とする請求項2記載の映像システム。
For the image data read from the frame memory storing the image data in which distortion or color bleeding has occurred, the image processing unit uses another G image that is less susceptible to aberrations as a reference. The video system according to claim 2, wherein correction processing is performed so that the B, V, and V images are superimposed on the G image.
前記画像処理部は、歪みや色のにじみが発生している画像データを格納している前記フレームメモリから読み出した画像データのGとRとの画像のパターン比較、GとBとの画像のパターン比較、GとVとの画像のパターン比較を行い、Gの画像の各画素からのR、B、Vの対応する各画素のシフト量を各画素毎に、あるいは、画面を複数のゾーンに分けたゾーン単位毎に算出して、R、B、Vのデータを算出したシフト量だけシフトさせるような処理を行う
ことを特徴とする請求項2記載の映像システム。
The image processing unit compares image patterns of G and R of image data read from the frame memory storing image data in which distortion or color bleeding occurs, and image patterns of G and B Comparison, G and V image pattern comparison, shift amount of each corresponding pixel of R, B, V from each pixel of G image is divided for each pixel or screen is divided into a plurality of zones The video system according to claim 2, wherein processing is performed for each zone unit, and R, B, and V data are shifted by the calculated shift amount.
前記画像データのGとRとの画像のパターン比較、GとBとの画像のパターン比較、GとVとの画像のパターン比較を行い、Gの画像の各画素からのR、B、Vの対応する各画素のシフト量を各画素毎に算出する処理は、Gの画像と比較するR、B、Vの画像に輝度の閾値を設定し、この輝度閾値の設定値により画像の比較すべき画素の範囲を設定して行う
ことを特徴とする請求項4記載の映像システム。
Image pattern comparison between G and R of the image data, image pattern comparison between G and B, image pattern comparison between G and V are performed, and R, B, and V from each pixel of the G image are performed. In the process of calculating the shift amount of each corresponding pixel for each pixel, a luminance threshold value is set for the R, B, and V images to be compared with the G image, and the images should be compared with the set value of the luminance threshold value. The video system according to claim 4, wherein the video range is set.
前記画像データのGとRとの画像のパターン比較、GとBとの画像のパターン比較、GとVとの画像のパターン比較を行い、Gの画像の各画素からのR、B、Vの対応する各画素のシフト量を各画素毎に算出する処理は、R、B、Vの画像毎に行われ、求められた各画素のシフト量Cと、1回前の画像の各画素に対して算出されて保存されていた各画素のシフト量C’とにより、また、同一位置の画素に対する演算回数をnとして、
C’=C×(1/n)+C’×(n−1)/n
の演算式により行われる
ことを特徴とする請求項5記載の映像システム。
Image pattern comparison between G and R of the image data, image pattern comparison between G and B, image pattern comparison between G and V are performed, and R, B, and V from each pixel of the G image are performed. The processing for calculating the shift amount of each corresponding pixel for each pixel is performed for each of the R, B, and V images, and the shift amount C of each obtained pixel and each pixel of the previous image are calculated. And the number of operations for the pixel at the same position as n, according to the shift amount C ′ of each pixel calculated and stored in
C ′ = C × (1 / n) + C ′ × (n−1) / n
The video system according to claim 5, wherein the video system is performed by:
収差を補正すべき値の理論値を画素単位に、あるいは、画面を複数のゾーンに分けたゾーン単位に、R、G、B、Vのそれぞれについて格納したテーブルをさらに備え、
前記画像処理部は、歪みや色のにじみが発生しているデータを格納しているフレームメモリから画像データを読み出し、各画素に対してテーブルの値を用いて演算をすることにより歪みや色のにじみを補正したR、G、B、Vのそれぞれの画像データを出力する
ことを特徴とする請求項2記載の映像システム。
A table further storing a theoretical value of a value to be corrected for aberration for each of R, G, B, and V in units of pixels or in units of zones in which the screen is divided into a plurality of zones;
The image processing unit reads image data from a frame memory that stores data in which distortion or color bleeding has occurred, and calculates the distortion or color by calculating each pixel using a table value. The video system according to claim 2, wherein the image data of each of R, G, B, and V corrected for blurring is output.
前記テーブルに格納された収差を補正すべき値の理論値は、表示すべき画素位置に対するR、G、B、Vのそれぞれの画像の画素位置の補正量である
ことを特徴とする請求項記載の映像システム。
7. theoretical value to be corrected the stored aberration on the table, which is a correction amount of the pixel positions of the respective images of R with respect to the pixel position to be displayed, G, B, V The video system described.
収差を補正すべき値の理論値を画素単位に、あるいは、画面を複数のゾーンに分けたゾーン単位に、R、B、Vのそれぞれについて格納したテーブルをさらに備え、
該テーブルに格納された収差を補正すべき値の理論値は、Gの画像データの画素位置に対するR、B、Vのそれぞれの画像の画素位置の補正量であり、
前記画像処理部は、歪みや色のにじみが発生しているデータを格納しているフレームメモリから画像データを読み出し、各画素に対してテーブルの値を用いて演算をすることにより歪みや色のにじみを補正したR、B、Vのそれぞれの画像データと、補正をしていないGの画像データとを出力する
ことを特徴とする請求項2記載の映像システム。
A table further storing a theoretical value of a value to be corrected for aberration in units of pixels or in units of zones obtained by dividing the screen into a plurality of zones;
The theoretical value of the value to be corrected for the aberration stored in the table is the correction amount of the pixel position of each of the R, B, and V images with respect to the pixel position of the G image data,
The image processing unit reads image data from a frame memory that stores data in which distortion or color bleeding has occurred, and calculates the distortion or color by calculating each pixel using a table value. The video system according to claim 2, wherein the image data of each of R, B, and V in which blur is corrected and the image data of G that is not corrected are output.
JP2010188646A 2010-03-05 2010-08-25 Video system Expired - Fee Related JP5662739B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010188646A JP5662739B2 (en) 2010-03-05 2010-08-25 Video system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010049340 2010-03-05
JP2010049340 2010-03-05
JP2010188646A JP5662739B2 (en) 2010-03-05 2010-08-25 Video system

Publications (2)

Publication Number Publication Date
JP2011205608A JP2011205608A (en) 2011-10-13
JP5662739B2 true JP5662739B2 (en) 2015-02-04

Family

ID=44881711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010188646A Expired - Fee Related JP5662739B2 (en) 2010-03-05 2010-08-25 Video system

Country Status (1)

Country Link
JP (1) JP5662739B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102410124B1 (en) * 2020-06-29 2022-06-17 한국광기술원 Apparatus and method for Vegetation index detection using multispectral image

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002199410A (en) * 2000-12-25 2002-07-12 Canon Inc Imaging device, compensating processing method for deteriorated image and storage medium
JP2002271804A (en) * 2001-03-09 2002-09-20 Fuji Photo Film Co Ltd Color image pickup device
JP4165361B2 (en) * 2003-10-07 2008-10-15 ソニー株式会社 Image photographing apparatus, image processing apparatus, and lens chromatic aberration correction method
JP4724887B2 (en) * 2006-03-31 2011-07-13 独立行政法人産業技術総合研究所 Color correction program for universal design of visual information
JP5036524B2 (en) * 2007-06-25 2012-09-26 シリコン ヒフェ ベー.フェー. Image processing apparatus, image processing method, program, and imaging apparatus
US8593476B2 (en) * 2008-02-13 2013-11-26 Gary Demos System for accurately and precisely representing image color information
JP2009290694A (en) * 2008-05-30 2009-12-10 Fujifilm Corp Imaging device

Also Published As

Publication number Publication date
JP2011205608A (en) 2011-10-13

Similar Documents

Publication Publication Date Title
US8379976B2 (en) Image processing apparatus and method and a computer-readable recording medium on which an image processing program is stored
US8373619B2 (en) Image processing system, image processing apparatus, aberration correction method, and computer-readable storage medium
JP5451782B2 (en) Image processing apparatus and image processing method
US20100091031A1 (en) Image processing apparatus and method, head mounted display, program, and recording medium
US20230324297A1 (en) System and method for focusing color schlieren diagnostics
US8494260B2 (en) Image processing device, image processing method, program, and imaging device
CN101335900A (en) Image processing device, image processing method, program, and imaging device
CN102638639A (en) Image processing apparatus, imaging apparatus, and image processing method
US20160351164A1 (en) Transparent display apparatus and image adjustment method thereof
CN113994387A (en) Color reference of overlapping images
US8934713B2 (en) Image processing device, image processing method, program, and imaging device
JP2004120487A (en) Imaging device
JP5662739B2 (en) Video system
US10819882B2 (en) Image processing device and imaging apparatus
US10602112B2 (en) Image processing apparatus
JP5036524B2 (en) Image processing apparatus, image processing method, program, and imaging apparatus
US11647298B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US10778948B2 (en) Imaging apparatus and endoscope apparatus
KR20180036820A (en) Image processing device, display device, and head mounted display device
US9626740B2 (en) Image processing apparatus and image processing method
US9215354B2 (en) Image processing method and solid-state imaging device having a noise reduction filter
JP7121538B2 (en) Imaging device and imaging method
CN112764706A (en) Image processing method, apparatus, system, device and medium
JP2012134736A (en) Photographing apparatus
CN107591142B (en) Method and device for regulating and controlling picture display quality and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141205

R150 Certificate of patent or registration of utility model

Ref document number: 5662739

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees