JP4677799B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP4677799B2 JP4677799B2 JP2005058698A JP2005058698A JP4677799B2 JP 4677799 B2 JP4677799 B2 JP 4677799B2 JP 2005058698 A JP2005058698 A JP 2005058698A JP 2005058698 A JP2005058698 A JP 2005058698A JP 4677799 B2 JP4677799 B2 JP 4677799B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- address
- camera image
- input
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本発明は、例えば車両周囲を撮像して、当該画像を変換し、車両周囲の状況を運転者等に提示する画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for imaging, for example, a vehicle periphery, converting the image, and presenting a situation around the vehicle to a driver or the like.
従来より、カメラ画像に対して画像処理を行うことにより、例えば車両周囲の状況を運転者等に提示する技術としては、下記の特許文献１に記載された画像処理装置が知られている。 2. Description of the Related Art Conventionally, an image processing apparatus described in Patent Document 1 described below is known as a technique for presenting a situation around a vehicle to a driver or the like by performing image processing on a camera image.
この画像処理装置は、カメラ画像と合成画像との対応関係を用いて、フレーム単位でカメラ画像を変換して合成画像を作成する処理と、フィールド単位でカメラ画像を変換して合成画像を作成する処理との双方が行えるようになっている。また、この画像処理装置では、フィールド単位で合成画像を作成する時に使用する、カメラ画像と合成画像との対応関係を記したアドレス変換テーブルと、フレーム単位で合成画像を作成する時に使用する、カメラ画像と合成画像との対応関係を記したアドレス変換テーブルとの２枚のアドレス変換テーブルを用意している。 This image processing apparatus uses a correspondence relationship between a camera image and a composite image to convert a camera image in frame units to create a composite image, and convert a camera image in field units to create a composite image Both processing and processing can be performed. Also, in this image processing apparatus, an address conversion table that describes the correspondence between camera images and composite images, which is used when creating a composite image in field units, and a camera that is used when creating composite images in frame units. Two address conversion tables are prepared: an address conversion table describing the correspondence between images and composite images.
そして、この画像処理装置では、自車両の車速を検出し、当該現在の車速に応じて、フレーム単位で合成画像を作成する処理とフィールド単位で合成画像を作成する処理とを切り替えている。すなわち、フレーム単位で作成した合成画像では解像度が高いが動画像としての滑らかさがなく、フィールド単位で作成した合成画像では動画像としての滑らかさがあるが解像度が低いことに対して、車速が高い場合にはフィールド単位で合成画像を作成する一方で、車速が低い場合にはフレーム単位で合成画像を作成している。 In this image processing apparatus, the vehicle speed of the host vehicle is detected, and a process of creating a composite image in units of frames and a process of creating a composite image in units of fields are switched according to the current vehicle speed. That is, the composite image created in units of frames has high resolution but is not smooth as a moving image, and the composite image created in units of fields has smoothness as a moving image but low resolution, whereas the vehicle speed is low. When the vehicle speed is low, a composite image is generated in units of frames.
更に詳しくは、合成画像を作成する画像変換を行わずに、インターレースディスプレイにカメラ画像を表示させた場合には１フレーム単位でカメラ画像の表示を行っても違和感が生じないが、フレーム単位で画像変換を行って合成画像を表示させた場合には、フィールド単位で前後する２つの画像を用いて作成した合成画像を表示させることになってしまう。これにより、カメラの撮像対象が動いている場合、又は、自車両が動いていてカメラと撮像対象との相対位置に動きがあった場合には、撮像対象の撮像タイミングと変換処理後の表示タイミングとがずれるために、実際に運転者に視認される撮像対象位置と表示画面内に現れる撮像対象位置とがずれる、画面のちらつきが発生することによって違和感を与えるという問題があった。 More specifically, when a camera image is displayed on an interlaced display without performing image conversion for creating a composite image, even if the camera image is displayed in units of one frame, there is no sense of incongruity. When a composite image is displayed after conversion, a composite image created using two images that precede and follow in field units is displayed. Thereby, when the imaging target of the camera is moving, or when the host vehicle is moving and the relative position between the camera and the imaging target is moved, the imaging timing of the imaging target and the display timing after the conversion process Therefore, there is a problem in that the imaging target position that is actually visually recognized by the driver is shifted from the imaging target position that appears in the display screen, and the screen flickers.
一方、変換処理後の合成画像を１フィールドごとに表示させる場合には、撮像タイミングと表示タイミングとのずれは発生せずに滑らかな映像の表示が可能となるが、各フィールド画像には奇数ライン又は偶数ラインの一方の画像が存在しないために、合成画像が粗くなるという問題があった。 On the other hand, when the composite image after the conversion process is displayed for each field, a smooth video can be displayed without causing a shift between the imaging timing and the display timing, but each field image has an odd line. Alternatively, there is a problem that the composite image becomes rough because one image of even lines does not exist.
これに対し、特許文献１に係る技術を採用すれば、車両走行時における動画像としての不自然さを低減すると共に、車両停止時における解像度の低下を防止できるとしていた。
しかしながら、上述の特許文献１に記載された画像処理装置では、フィールド単位で合成画像を作成する時のアドレス変換テーブルと、フレーム単位で合成画像を作成する時のアドレス変換テーブルとの２枚のアドレス変換テーブルを用意しているために、２枚分のアドレス変換テーブルを記憶するメモリ容量を備える必要があり、メモリ容量に係わるコストアップ要因となっていた。 However, in the image processing apparatus described in Patent Document 1 described above, two addresses, that is, an address conversion table when a composite image is created in units of fields and an address conversion table when a composite image is created in units of frames. Since the conversion table is prepared, it is necessary to provide a memory capacity for storing the address conversion tables for two sheets, which causes a cost increase related to the memory capacity.
また、特許文献１に記載の画像処理装置では、フィールド単位で合成画像を作成する時のアドレス変換テーブルによって偶数ラインの画素を合成画像に変換することが規定されていて、奇数フィールド画像が処理対象となっている時には合成画像に使用する画素が存在せず、逆に、奇数ラインの画素を合成画像に変換することが規定されていて、偶数フィールド画像が処理対象となっている時には、合成画像に使用するカメラ画像が存在しないという問題がある。このように、合成画像を作成するために使用するカメラ画像が存在しない場合、一般的には、アドレス変換テーブルで規定されている画素の近傍の画素を代用して、合成画像を作成する必要があった。 Further, in the image processing apparatus described in Patent Document 1, it is defined that pixels in even lines are converted into composite images by an address conversion table when a composite image is created in field units, and odd field images are processed. When there is no pixel to be used for the composite image, it is stipulated that the odd-line pixels are converted to the composite image, and when the even field image is the processing target, There is a problem that there is no camera image to use. As described above, when there is no camera image used to create a composite image, it is generally necessary to create a composite image by substituting pixels in the vicinity of the pixels specified in the address conversion table. there were.
したがって、従来では、フィールド単位で変換処理を行うと、フレーム単位で変換処理を行うときに使用するカメラ画像データと比較して、解像度が１／２となることと同義であり、カメラと撮像対象との相対位置が停止している場合には特に、変換画像の解像度が低下してしまうという問題点があった。 Therefore, conventionally, when the conversion process is performed in the field unit, the resolution is halved compared to the camera image data used when the conversion process is performed in the frame unit. In particular, there is a problem in that the resolution of the converted image is reduced when the relative position of the converted image is stopped.
そこで、本発明は、上述した実情に鑑みて提案されたものであり、変換画像の滑らかさ及び解像度の低下を抑制しつつ、低コストで変換画像を作成して表示させることができる画像処理装置及び画像処理方法を提供することを目的とする。 Therefore, the present invention has been proposed in view of the above-described circumstances, and an image processing apparatus capable of creating and displaying a converted image at a low cost while suppressing a decrease in smoothness and resolution of the converted image. And an image processing method.
本発明は、カメラ画像データを生成するカメラモジュールと接続され、当該カメラ画像データを変換して、変換画像を表示手段に表示させるために、カメラモジュールで撮像されたカメラ画像データを格納する入力バッファを備える入力手段と、入力バッファから取り出されたカメラ画像データが変換された変換画像を格納する出力バッファを備え、当該変換画像を表示手段に出力する出力手段と、変換画像を作成するためのカメラ画像データを入力バッファの指定された入力アドレスから取り出させ、当該取り出されたカメラ画像データを出力バッファに格納させて、変換画像を出力バッファの指定された出力アドレスに格納させるアドレス変換テーブルを記憶する記憶手段とを備える。 The present invention is an input buffer connected to a camera module that generates camera image data, and stores camera image data captured by the camera module in order to convert the camera image data and display the converted image on a display means. An output means for storing a converted image obtained by converting camera image data extracted from the input buffer, an output means for outputting the converted image to the display means, and a camera for creating the converted image Stores an address conversion table for retrieving image data from a designated input address of an input buffer, storing the retrieved camera image data in an output buffer, and storing a converted image at a designated output address of the output buffer. Storage means.
このような本発明は、入力バッファに格納されたカメラ画像データを変換して出力バッファに格納させる時に、入力バッファに格納されているカメラ画像データと、アドレス変換テーブルで指定された入力アドレスと出力アドレスとの対応関係に基づいて、当該出力アドレスに対応するカメラ画素データが入力バッファには格納されていないと判定した場合に、当該入力アドレス付近の複数のカメラ画像データを用いて生成した中間色の画像データを作成して、出力アドレスに格納させるか否かを判定する。そして、中間色の画像データを出力アドレスに格納させないと判定された場合には、画像処理手段により、アドレス変換テーブルで指定された入力アドレスのカメラ画像データを対応する出力アドレスに格納する。
In the present invention, when the camera image data stored in the input buffer is converted and stored in the output buffer, the camera image data stored in the input buffer, the input address specified in the address conversion table, and the output are output. Based on the correspondence with the address, when it is determined that the camera pixel data corresponding to the output address is not stored in the input buffer, the intermediate color generated using a plurality of camera image data near the input address It is determined whether image data is created and stored at the output address. If it is determined that the intermediate color image data is not stored in the output address, the image processing means stores the camera image data of the input address specified in the address conversion table in the corresponding output address.
一方、中間色の画像データを出力アドレスに格納させると判定された場合には、画像処理手段により、アドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データを用いて中間色の画像データを生成して、当該中間色の画像データを対応する出力アドレスに格納して、変換画像を作成することにより、上述の課題を解決する。 On the other hand, if it is determined that the intermediate color image data is to be stored in the output address, the image processing means generates intermediate color image data using a plurality of camera image data near the input address specified in the address conversion table. Then, the above-mentioned problem is solved by storing the intermediate color image data at a corresponding output address and creating a converted image.
本発明によれば、入力バッファに格納されているカメラ画像データと、アドレス変換テーブルで指定された入力アドレスと出力アドレスとの対応関係とに基づいて、当該入力アドレス付近の複数のカメラ画像データを用いて生成した中間色の画像データを作成して出力アドレスに格納させるか否かを判定し、中間色の画像データを出力アドレスに格納させると判定した場合には、アドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データを用いて中間色の画像データを生成して、当該中間色の画像データを対応する出力アドレスに格納して変換画像を作成するので、読み出す入力アドレスにカメラ画像データが存在しない場合であっても、出力アドレスにカメラ画像データを格納することができる。したがって、本発明によれば、カメラモジュールが動いている場合や変換画像内に動きがある撮像対象を含む場合であっても、変換画像としての滑らかさの低下を抑制できると共に、カメラモジュール及び撮像対象が停止している場合であっても、変換画像の解像度の低下を抑制することができる。 According to the present invention, based on the camera image data stored in the input buffer and the correspondence relationship between the input address and the output address specified in the address conversion table, a plurality of camera image data near the input address is obtained. It is determined whether or not the intermediate color image data generated by using this is created and stored in the output address. If it is determined that the intermediate color image data is stored in the output address, the input address specified in the address conversion table is used. By generating intermediate color image data using a plurality of nearby camera image data and storing the intermediate color image data in the corresponding output address to create a converted image, there is no camera image data at the input address to be read Even in this case, the camera image data can be stored in the output address. Therefore, according to the present invention, even when the camera module is moving or when the converted image includes an imaging target that moves, the reduction in smoothness as the converted image can be suppressed, and the camera module and the imaging Even when the target is stopped, it is possible to suppress a decrease in resolution of the converted image.
以下、本発明の実施の形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
本発明は、例えば図１に示すように構成され、例えば、車両周囲の映像を取得して、当該取得した映像を変換して表示させる画像処理装置１に適用される。この画像処理装置１は、カメラモジュール２で撮像した車両周囲のカメラ画像データを、カメラモジュール２に接続された入力バッファ１２で入力し、ＣＰＵ１３及び画像変換部１４によって、テーブル記憶部１５に記憶されたアドレス変換テーブルを使用して変換処理を行って車両周囲の変換画像を作成し、出力バッファ１６に変換画像データを記憶させてモニタ３に出力するものである。ここで、変換画像とは、例えばカメラモジュール２で撮像したカメラ画像データがサイズ変換された縮小又は拡大画像や、カメラ画像データが視点変換された視点変換画像などが挙げられる。そして、この画像処理装置１では、当該変換画像を作成するための情報として、テーブル記憶部１５に、入力バッファ１２と出力バッファ１６との対応関係を記述したアドレス変換テーブルを格納している。 The present invention is configured, for example, as shown in FIG. 1, and is applied to, for example, an image processing apparatus 1 that acquires a video around a vehicle and converts and displays the acquired video. The image processing apparatus 1 inputs camera image data around the vehicle imaged by the camera module 2 through an input buffer 12 connected to the camera module 2, and is stored in the table storage unit 15 by the CPU 13 and the image conversion unit 14. The conversion processing using the address conversion table is performed to create a converted image around the vehicle, and the converted image data is stored in the output buffer 16 and output to the monitor 3. Here, examples of the converted image include a reduced or enlarged image obtained by converting the size of the camera image data captured by the camera module 2 and a viewpoint converted image obtained by converting the viewpoint of the camera image data. In the image processing apparatus 1, an address conversion table describing the correspondence between the input buffer 12 and the output buffer 16 is stored in the table storage unit 15 as information for creating the converted image.
この画像処理装置１では、アドレス変換テーブルを参照して、カメラ画像データの入力アドレスと出力バッファ１６に格納する出力アドレスとの対応関係から、入力アドレスから取り出すカメラ画像データ（画素）付近の画素データを使用して、入力アドレスの画素データに近似した中間色を作成するか否かを判定して、作成する必要がある場合には中間色を使用して変換画像を作成することを特徴とするものである。 In this image processing apparatus 1, by referring to the address conversion table, pixel data in the vicinity of camera image data (pixels) extracted from the input address based on the correspondence between the input address of the camera image data and the output address stored in the output buffer 16 Is used to determine whether or not to create an intermediate color that approximates the pixel data of the input address, and when it is necessary to create an intermediate color, a converted image is created using the intermediate color. is there.
このように、カメラ画像データから、変換画像データを作成するための第１実施形態に係る画像処理装置１について、以下に説明する。 The image processing apparatus 1 according to the first embodiment for creating converted image data from camera image data will be described below.
［第１実施形態の画像処理装置１］
この画像処理装置１は、カメラモジュール２で撮像したカメラ画像データを入力とし、カメラ画像データを変換して、変換画像を作成するものである。本例では、車体の前方を撮像方向としたカメラモジュール２が設けられているおり、自車両の前方に存在する人物や他車両を撮像対象として変換画像を作成する場合について説明する。
[Image Processing Apparatus 1 of First Embodiment]
The image processing apparatus 1 receives camera image data captured by the camera module 2 and converts the camera image data to create a converted image. In this example, a camera module 2 having an imaging direction in front of the vehicle body is provided, and a case where a converted image is created with a person or other vehicle existing in front of the host vehicle as an imaging target will be described.
カメラモジュール２は、車体に固定された撮像方向となっている。カメラモジュール２は、撮像用レンズ２１及びＣＣＤ（電荷結合素子）２２から構成される。このカメラモジュール２は、例えばＮＴＳＣ（National Television System Committee）カメラからなり、それぞれ、ＮＴＳＣ方式に従ってフィールド単位のカメラ画像データを画像処理装置１に出力する。すなわち、カメラモジュール２は、１フレームの期間（１／３０秒）内に、フィールド期間（１／６０秒）ごとに奇数フィールドのカメラ画像データ、偶数フィールドのカメラ画像データの順で画像処理装置１に出力する。 The camera module 2 has an imaging direction fixed to the vehicle body. The camera module 2 includes an imaging lens 21 and a CCD (charge coupled device) 22. The camera module 2 includes, for example, an NTSC (National Television System Committee) camera, and outputs camera image data in field units to the image processing apparatus 1 in accordance with the NTSC system. That is, the camera module 2 includes the image processing device 1 in the order of odd-numbered field camera image data and even-numbered field camera image data for each field period (1/60 seconds) within one frame period (1/30 seconds). Output to.
画像処理装置１は、内部バス１１に、カメラモジュール２に接続された入力バッファ１２と、ＣＰＵ（Central Processing Unit）１３と、画像変換部１４と、テーブル記憶部１５と、及びモニタ３と接続された出力バッファ１６とが接続されて構成されている。 The image processing apparatus 1 is connected to an internal bus 11 with an input buffer 12 connected to the camera module 2, a CPU (Central Processing Unit) 13, an image conversion unit 14, a table storage unit 15, and a monitor 3. The output buffer 16 is connected.
入力バッファ１２は、ＮＴＳＣ方式のカメラ画像データを一旦格納し、ＣＰＵ１３の制御に従って、画像変換部１４による画像変換タイミングでカメラ画像データが読み出される。この入力バッファ１２は、１フレーム分のメモリ容量を有し、奇数フィールドバッファ１２ａと偶数フィールドバッファ１２ｂとを有している。そして、カメラモジュール２から奇数フィールドのカメラ画像データが出力されると、奇数フィールドバッファ１２ａに格納し、偶数フィールドのカメラ画像データのカメラ画像データが出力されると偶数フィールドバッファ１２ｂに格納する。 The input buffer 12 temporarily stores camera image data of the NTSC system, and the camera image data is read at the image conversion timing by the image conversion unit 14 under the control of the CPU 13. The input buffer 12 has a memory capacity for one frame, and has an odd field buffer 12a and an even field buffer 12b. When the camera image data of the odd field is output from the camera module 2, it is stored in the odd field buffer 12a, and when the camera image data of the camera image data of the even field is output, it is stored in the even field buffer 12b.
なお、この説明では、奇数フィールドバッファ１２ａと偶数フィールドバッファ１２ｂとを区分して図示しているが、実際には１フレーム分の単一のメモリ領域である。すなわち、奇数ラインデータから構成される奇数フィールドのカメラ画像データと、偶数ラインデータから構成される偶数フィールドのカメラ画像データが同じメモリ領域に記憶されることになる。 In this description, the odd field buffer 12a and the even field buffer 12b are illustrated separately, but in actuality, it is a single memory area for one frame. That is, the odd field camera image data composed of odd line data and the even field camera image data composed of even line data are stored in the same memory area.
テーブル記憶部１５は、ドライバーに提示する画像レイアウトごとのアドレス変換テーブル１５ａ、１５ｂ、１５ｃ、・・・を記憶している。すなわち、例えば、カメラ画像データの一部を取り出して表示させる場合には、当該取り出す入力バッファ１２の入力アドレスと、当該入力アドレスから取り出したカメラ画像データを格納する出力バッファ１６の出力アドレスとの対応関係がテーブルとして記憶されている。 The table storage unit 15 stores address conversion tables 15a, 15b, 15c,... For each image layout presented to the driver. That is, for example, when a part of the camera image data is extracted and displayed, the correspondence between the input address of the input buffer 12 to be extracted and the output address of the output buffer 16 that stores the camera image data extracted from the input address. The relationship is stored as a table.
このテーブル記憶部１５に記憶されるアドレス変換テーブルは、入力バッファ１２のメモリアドレス（入力アドレス情報）、及び、モニタ３の解像度分の表示用の変換画像データの出力バッファ１６のメモリアドレス（出力アドレス情報）とを記述したテーブルである。すなわち、アドレス変換テーブルは、出力バッファ１６のメモリアドレス、すなわちモニタ３の表示座標と、入力バッファ１２の座標（入力アドレス）との対応関係を記述している。このようなアドレス変換テーブルは、カメラモジュール２のスペック、取付位置及び撮像方向の向き（光軸）等に基づいて予め作成されている。 The address conversion table stored in the table storage unit 15 includes a memory address (input address information) of the input buffer 12 and a memory address (output address) of the output buffer 16 of converted image data for display corresponding to the resolution of the monitor 3. Information). That is, the address conversion table describes the correspondence between the memory address of the output buffer 16, that is, the display coordinates of the monitor 3, and the coordinates (input address) of the input buffer 12. Such an address conversion table is created in advance based on the specifications of the camera module 2, the mounting position, the direction (optical axis) in the imaging direction, and the like.
画像変換部１４は、ＣＰＵ１３の制御に従って画像変換処理を行うＡＳＩＣ（Application Specific Integrated Circuit）、ＬＳＩ（Large Scale Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）等のデバイスなどからなる。この画像変換部１４は、テーブル記憶部１５からアドレス変換テーブルを読み出し、当該アドレス変換テーブルを参照して、アドレス変換テーブルで指定された入力アドレスから読み出したカメラ画像データを、アドレス変換テーブルで指定された出力アドレスに記憶させる。ここで、アドレス変換テーブルは、画像レイアウトに従って出力バッファ１６のメモリアドレスを記述しているので、画像変換部１４によって出力バッファ１６に置き換えられた変換画像データは、使用したアドレス変換テーブルと同じ画像に画像変換されている。 The image conversion unit 14 includes an ASIC (Application Specific Integrated Circuit), an LSI (Large Scale Integrated Circuit), an FPGA (Field Programmable Gate Array), a DSP (Digital Signal Processor), or the like that performs image conversion processing according to the control of the CPU 13. Become. The image conversion unit 14 reads the address conversion table from the table storage unit 15, refers to the address conversion table, and reads the camera image data read from the input address specified by the address conversion table, as specified by the address conversion table. Stored in the output address. Here, since the address conversion table describes the memory address of the output buffer 16 according to the image layout, the converted image data replaced by the output buffer 16 by the image conversion unit 14 is the same image as the used address conversion table. The image has been converted.
また、画像変換部１４は、図２に示すように、アドレス変換テーブルを参照して、入力バッファ１２の入力アドレスと出力バッファ１６の出力アドレスとの対応関係から、中間色を生成して、入力バッファ１２の出力アドレスに画素データを記憶させるか否かを判定する判定部３１と、当該判定部３１の判定によって中間色を生成すると判定した場合には、入力バッファ１２に記憶させる中間色の画素データを作成する中間色作成部３２とを備える。なお、この判定部３１及び中間色作成部３２の動作については後述する。 Further, as shown in FIG. 2, the image conversion unit 14 generates an intermediate color from the correspondence between the input address of the input buffer 12 and the output address of the output buffer 16 with reference to the address conversion table, and A determination unit 31 that determines whether or not to store pixel data at 12 output addresses, and creates intermediate color pixel data to be stored in the input buffer 12 when the determination unit 31 determines to generate an intermediate color. And an intermediate color creating unit 32. The operations of the determination unit 31 and the intermediate color creation unit 32 will be described later.
出力バッファ１６は、画像変換部１４によって変換された変換画像データを格納し、当該変換画像データをＣＰＵ１３の制御に従ってモニタ３に出力する。 The output buffer 16 stores the converted image data converted by the image conversion unit 14 and outputs the converted image data to the monitor 3 under the control of the CPU 13.
ＣＰＵ１３は、図示しない操作入力部がドライバーに操作されて決定された画像レイアウト指示や画像切り換え指示を認識して画像変換部１４での画像変換処理に使用するアドレス変換テーブルを決定する。また、ＣＰＵ１３は、画像変換部１４の画像変換タイミング及び出力バッファ１６のモニタ３へのデータ出力タイミングを制御することによって、連続的に変換画像を出力バッファ１６に格納させると共に、連続的にモニタ３に表示させる変換画像を切り換える。 The CPU 13 recognizes an image layout instruction or an image switching instruction determined by operating an operation input unit (not shown) by the driver, and determines an address conversion table used for image conversion processing in the image conversion unit 14. Further, the CPU 13 controls the image conversion timing of the image conversion unit 14 and the data output timing of the output buffer 16 to the monitor 3 to continuously store the converted image in the output buffer 16 and continuously monitor the monitor 3. Switch the converted image to be displayed.
このＣＰＵ１３は、カメラモジュール２から入力バッファ１２にフィールド単位でカメラ画像データが格納されると、当該フィールド単位のカメラ画像データを読み出して、画像変換部１４でアドレス変換テーブルを参照した画像変換を開始させる。すなわち、ＣＰＵ１３は、画像変換部１４の画像変換の対象となるカメラ画像データとして、奇数フィールドのカメラ画像データ又は偶数フィールドのカメラ画像データを画像変換部１４に供給する。そして、ＣＰＵ１３は、画像変換部１４によって、一枚のフィールド単位のカメラ画像データを使用した画像変換が完了すると、入力バッファ１２に記憶された変換画像データをモニタ３に出力させる。 When the camera image data is stored in the input buffer 12 from the camera module 2 in the field unit, the CPU 13 reads out the camera image data in the field unit and starts image conversion with the image conversion unit 14 referring to the address conversion table. Let That is, the CPU 13 supplies the camera image data of the odd field or the camera image data of the even field to the image conversion unit 14 as the camera image data to be converted by the image conversion unit 14. Then, when the image conversion unit 14 completes the image conversion using one field-unit camera image data, the CPU 13 causes the monitor 3 to output the converted image data stored in the input buffer 12.
すなわち、ＣＰＵ１３は、フィールド単位でカメラ画像データが入力バッファ１２に供給され、フィールド単位で画像変換部１４による画像変換を行わせ、フィールド単位で入力バッファ１２に記憶された変換画像データをモニタ３に出力させる。これにより、時刻ｎでフィールド単位のカメラ画像データが入力バッファ１２に格納開始されると、当該時刻ｎから１フィールド期間後に画像変換を開始させ、時刻ｎから２フィールド期間後に変換画像データをモニタ３に表示させる。 That is, the CPU 13 supplies camera image data to the input buffer 12 in field units, causes the image conversion unit 14 to perform image conversion in field units, and converts the converted image data stored in the input buffer 12 in field units to the monitor 3. Output. As a result, when camera image data in units of fields is started to be stored in the input buffer 12 at time n, image conversion is started after one field period from the time n, and the converted image data is monitored 3 after two field periods from time n. To display.
［画像変換処理］
つぎに、上述したように構成された画像処理装置１による画像変換処理について説明する。なお、以下の説明では、主として画像変換部１４により画像変換処理を行う場合について説明するが、これに限らずＣＰＵ１３で行っても良い。
[Image conversion processing]
Next, an image conversion process performed by the image processing apparatus 1 configured as described above will be described. In the following description, a case where image conversion processing is performed mainly by the image conversion unit 14 will be described. However, the present invention is not limited to this and may be performed by the CPU 13.
画像処理装置１の入力バッファ１２にフィールド単位のカメラ画像データが格納されると、画像変換部１４は、アドレス変換対象として当該カメラ画像データが供給される。そして、画像変換部１４は、テーブル記憶部１５からアドレス変換テーブルを読み出して、アドレス変換処理を開始する。 When the field-by-field camera image data is stored in the input buffer 12 of the image processing apparatus 1, the image conversion unit 14 is supplied with the camera image data as an address conversion target. Then, the image conversion unit 14 reads the address conversion table from the table storage unit 15 and starts an address conversion process.
ここで、画像変換部１４には、図３に示すように、時刻Ｔ１で奇数フィールドのカメラ画像データＯｄｄ１ａが供給され、次いで、時刻Ｔ２で偶数フィールドのカメラ画像データＥｖｅｎ１ｂが供給される。この奇数フィールドのカメラ画像データＯｄｄ１ａは、入力アドレスＯ＿００、入力アドレスＯ＿０１、入力アドレスＯ＿０２、入力アドレスＯ＿０３にそれぞれ画素データが格納された奇数ラインデータと、入力アドレスＯ＿１０、入力アドレスＯ＿１１、入力アドレスＯ＿１２、入力アドレスＯ＿１３にそれぞれ画素データが格納された奇数ラインデータとからなる。また、偶数フィールドのカメラ画像データＥｖｅｎ１ｂは、入力アドレスＥ＿００、入力アドレスＥ＿０１、入力アドレスＥ＿０２、入力アドレスＥ＿０３にそれぞれ画素データが格納された偶数ラインデータと、入力アドレスＥ＿１０、入力アドレスＥ＿１１、入力アドレスＥ＿１２、入力アドレスＥ＿１３にそれぞれ画素データが格納された偶数ラインデータとからなる。 Here, as shown in FIG. 3, the camera image data Odd1a of the odd field is supplied to the image conversion unit 14 at time T1, and then the camera image data Even1b of the even field is supplied at time T2. The odd field camera image data Odd1a includes an input address O_00, an input address O_01, an input address O_02, an odd line data in which pixel data is stored in the input address O_03, an input address O_10, an input address O_11, an input address O_12, It consists of odd line data in which pixel data is stored in the input address O_13. The even-field camera image data Even1b includes an input line E_00, an input address E_01, an input address E_02, and an even line data in which pixel data is stored in the input address E_03, an input address E_10, an input address E_11, and an input address E_12. , And even line data in which pixel data is stored in the input address E_13, respectively.
これに対し、出力バッファ１６の出力アドレスＯ＿１２に、入力アドレスＥ＿０１の画素データを格納することを指定する入力アドレスと出力アドレスとの対応関係がアドレス変換テーブルに記述されていた場合、画像変換部１４は、判定部３１によって、現在入力バッファ１２の入力アドレスＥ＿０１に画素データが格納されているか否かを判定する。そして、奇数フィールドのカメラ画像データが変換対象となっている場合には、入力バッファ１２には奇数ラインデータＯｄｄ１ａしか格納されていないために、出力アドレスＯ＿１２に格納する画素データが入力バッファ１２には格納されていないと判定する。この場合、判定部３１は、アドレス変換テーブルに規定されている入力アドレスＥ＿０１付近の画素データを使用して、出力アドレスＯ＿１２に格納する中間色の画素データを作成すると判定する。 On the other hand, when the output address O_12 of the output buffer 16 has a correspondence relationship between the input address and the output address designating that the pixel data of the input address E_01 is stored in the address conversion table, the image conversion unit 14 The determination unit 31 determines whether or not pixel data is currently stored at the input address E_01 of the input buffer 12. When the camera image data in the odd field is to be converted, only the odd line data Odd1a is stored in the input buffer 12, so that the pixel data stored in the output address O_12 is stored in the input buffer 12. It is determined that it is not stored. In this case, the determination unit 31 determines that intermediate pixel data to be stored at the output address O_12 is created using pixel data near the input address E_01 defined in the address conversion table.
これに応じ、中間色作成部３２は、中間色を作成するために必要な入力アドレスＥ＿０１付近の画素データであって、現在入力バッファ１２に格納されている奇数ラインデータＯｄｄ１ａの画素データを取得する。例えば、中間色作成部３２は、入力アドレスＥ＿０１の１ライン上の入力アドレスＯ＿０１、入力アドレスＥ＿０１の１ライン下の入力アドレスＯ＿１１の画素データを取得する。そして、中間色作成部３２は、２つの画素データＩ（Ｏ＿０１）、画素データＩ（Ｏ＿１１）を使用して、
｛Ｉ（Ｏ＿０１）＋Ｉ（Ｏ＿１１）｝／２ （式１）
という画素値の平均を求める演算を行って、中間色である、出力アドレスＯ＿１２に格納する画素データＩ（Ｏ＿１２）を作成する。
In response to this, the intermediate color creating unit 32 obtains pixel data of the odd line data Odd1a currently stored in the input buffer 12, which is pixel data near the input address E_01 necessary for creating the intermediate color. For example, the intermediate color creating unit 32 acquires the pixel data of the input address O_01 on one line of the input address E_01 and the input address O_11 on the one line of the input address E_01. The intermediate color creating unit 32 uses the two pixel data I (O_01) and pixel data I (O_11),
{I (O — 01) + I (O — 11)} / 2 (Formula 1)
The pixel data I (O_12) to be stored in the output address O_12, which is an intermediate color, is generated by performing an operation for obtaining the average of the pixel values.
また、中間色作成部３２は、入力アドレスＥ＿０１の上下に位置する入力アドレスＯ＿０１，Ｏ＿１１のみならず、入力アドレスＯ＿００，Ｏ＿０１，Ｏ＿０２，Ｏ＿１０，Ｏ＿１１，Ｏ＿１２の画素データＩ（Ｏ＿００），Ｉ（Ｏ＿０１），Ｉ（Ｏ＿０２），Ｉ（Ｏ＿１０），Ｉ（Ｏ＿１１），Ｉ（Ｏ＿１２）の平均値を求めて、出力アドレスＯ＿１２に格納する画素データＩ（Ｏ＿１２）を作成しても良い。すなわち、中間色作成部３２は、
｛Ｉ（Ｏ＿００）＋Ｉ（Ｏ＿０１）＋Ｉ（Ｏ＿０２）＋Ｉ（Ｏ＿１０）＋Ｉ（Ｏ＿１１）＋Ｉ（Ｏ＿１２）｝／６ （式２）
という演算を行って出力アドレスＯ＿１２に格納する中間色の画素を作成する。
Further, the intermediate color creating unit 32 not only includes the input addresses O_01 and O_11 positioned above and below the input address E_01, but also the pixel data I (O_00) and I (O_01) of the input addresses O_00, O_01, O_02, O_10, O_11, and O_12. , I (O_02), I (O_10), I (O_11), I (O_12) may be obtained to create pixel data I (O_12) to be stored at the output address O_12. That is, the intermediate color creating unit 32
{I (O_00) + I (O_01) + I (O_02) + I (O_10) + I (O_11) + I (O_12)} / 6 (Formula 2)
An intermediate color pixel to be stored at the output address O_12 is created by performing the above calculation.
なお、一般の自然画像を変換する場合には、カメラ画像の隣接する画素同士で輝度や色味等の画素情報が大きく変化することがないので、中間色作成部３２で平均値をとって中間色を作成するための処理対象を取り出す範囲は、注目画素（上記例では入力アドレスＯ＿０１）の１画素レベルで隣接する画素データを使用するのみでよい。逆に、中間色を作成する処理対象を取り出す範囲を大きくすると、変換画像がぼやけてエッジ等が消失する可能性もある。 Note that when converting a general natural image, pixel information such as luminance and color does not change greatly between adjacent pixels of the camera image, so the intermediate color creating unit 32 takes an average value to obtain an intermediate color. The range for extracting the processing target to be created only needs to use adjacent pixel data at the one-pixel level of the pixel of interest (input address O_01 in the above example). On the other hand, if the range for extracting the processing target for creating the intermediate color is enlarged, the converted image may be blurred and edges may be lost.
このように構成された画像処理装置１は、その処理手順を図４に示すように、先ずカメラモジュール２から奇数フィールドのカメラ画像データが入力されると、当該奇数フィールドのカメラ画像データをアドレス変換処理理の対象として、ステップＳ１以降の処理を進める。 As shown in FIG. 4, the image processing apparatus 1 configured as described above first converts camera image data in the odd field when the camera image data in the odd field is input from the camera module 2. As processing targets, the processing after step S1 is advanced.
ステップＳ１において、画像変換部１４は、アドレス変換テーブルを参照して、現在読み出し対象となっている入力バッファ１２の入力アドレスが、カメラ画像データの偶数フィールドの画素データを指しているか否かを判定する。そして、アドレス変換テーブルに従って偶数フィールドの画素データを取り出す場合にはステップＳ２に処理を進める。一方、現在読み出し対象となっている入力アドレスが、偶数フィールドではなく奇数フィールドのカメラ画像データを指している場合には、該当する入力アドレスから画素データを取り出して、ステップＳ３に処理を進める。 In step S <b> 1, the image conversion unit 14 refers to the address conversion table and determines whether or not the input address of the input buffer 12 currently being read out points to pixel data in an even field of camera image data. To do. If the even-field pixel data is extracted according to the address conversion table, the process proceeds to step S2. On the other hand, if the input address currently being read out points to the camera image data in the odd field instead of the even field, the pixel data is extracted from the corresponding input address, and the process proceeds to step S3.
ステップＳ２において、画像変換部１４は、現在アドレス変換処理の対象となっているのが、入力バッファ１２に記憶されている奇数フィールドのカメラ画像データであり、入力バッファ１２から取り出す画素データが存在しないので、現在読み出し対象となっている偶数フィールドの入力アドレスに１画素単位で隣接する画素データを複数個読み出して、中間色の画像データを作成する。このとき、式１に従って中間色の画像データを作成することが設定されている場合には、現在読み出し対象となっている入力アドレスに隣接する上下２個の画素データを読み出して、中間色の画像データを作成する。一方、式２に従って中間色の画像データを作成することが設定されている場合には、現在読み出し対象となっている入力アドレスに隣接する上下６個の画素データを読み出して、中間色の画像データを作成する。 In step S <b> 2, the image conversion unit 14 is currently subject to address conversion processing for the odd-numbered field camera image data stored in the input buffer 12, and there is no pixel data to be extracted from the input buffer 12. Therefore, a plurality of pieces of pixel data adjacent to the input address of the even-numbered field that is currently read out are read out in units of one pixel, and intermediate-color image data is created. At this time, if it is set to create intermediate color image data according to Equation 1, the upper and lower two pixel data adjacent to the input address currently being read out are read, and the intermediate color image data is obtained. create. On the other hand, if it is set to create intermediate color image data according to Equation 2, the upper and lower 6 pixel data adjacent to the input address that is currently being read are read to create intermediate color image data. To do.
ステップＳ３において、画像変換部１４は、ステップＳ１で取り出した奇数フィールドのカメラ画像データ、又は、ステップＳ２で作成した中間色の画像データを、現在読み出し対象となっている入力アドレスに対応した出力アドレスに格納する。 In step S3, the image conversion unit 14 sets the odd field camera image data extracted in step S1 or the intermediate color image data created in step S2 to an output address corresponding to the input address currently being read. Store.
次のステップＳ４において、画像変換部１４は、奇数フィールドのカメラ画像データ（例えば６４０画素×２４０画素）についてのアドレス変換処理が完了したか否かを判定する。このとき、画像変換部１４は、アドレス変換テーブルが指している全ての入力アドレスに応じて画素データ又は中間色の画像データを取得して、出力アドレスに格納したか否かを判定する。そして、完了していないと判定した場合には、ステップＳ１に処理を戻して次の入力アドレスについてステップＳ１〜ステップＳ３の処理を繰り返し、完了したと判定した場合は、次のフィールドのカメラ画像データについてのアドレス変換処理に移行するためにステップＳ５に処理を進める。 In the next step S4, the image conversion unit 14 determines whether or not the address conversion process for the camera image data (eg, 640 pixels × 240 pixels) in the odd field has been completed. At this time, the image conversion unit 14 obtains pixel data or intermediate color image data according to all the input addresses indicated by the address conversion table, and determines whether or not the acquired image data is stored in the output address. If it is determined that the process has not been completed, the process returns to step S1 to repeat the processes in steps S1 to S3 for the next input address. If it is determined that the process has been completed, the camera image data in the next field is determined. The process proceeds to step S5 to shift to the address conversion process for.
次に、画像変換部１４は、ステップＳ４からステップＳ５に移行すると、ステップＳ１〜ステップＳ４で行っていたカメラ画像データよりも１フィールドだけ次のカメラ画像データ、すなわち偶数フィールドのカメラ画像データをアドレス変換処理理の対象とする。 Next, when the process proceeds from step S4 to step S5, the image conversion unit 14 addresses the next camera image data, that is, the camera image data in the even field, by one field from the camera image data performed in steps S1 to S4. Subject to conversion processing.
ステップＳ５において、画像変換部１４は、アドレス変換テーブルを参照して、現在読み出し対象となっている入力バッファ１２の入力アドレスが、カメラ画像データの奇数フィールドの画素データを指しているか否かを判定する。そして、アドレス変換テーブルに従って奇数フィールドの画素データを取り出す場合にはステップＳ６に処理を進める。一方、現在読み出し対象となっている入力アドレスが、奇数フィールドではなく偶数フィールドのカメラ画像データを指している場合には、該当する入力アドレスから画素データを取り出して、ステップＳ７に処理を進める。 In step S <b> 5, the image conversion unit 14 refers to the address conversion table and determines whether or not the input address of the input buffer 12 currently being read out points to pixel data in an odd field of the camera image data. To do. When the pixel data of the odd field is extracted according to the address conversion table, the process proceeds to step S6. On the other hand, if the input address currently being read out points to camera image data in an even field instead of an odd field, pixel data is extracted from the corresponding input address, and the process proceeds to step S7.
ステップＳ６において、画像変換部１４は、現在アドレス変換処理の対象となっているのが、入力バッファ１２に記憶されている偶数フィールドのカメラ画像データであり、入力バッファ１２から取り出す画素データが存在しないので、現在読み出し対象となっている偶数フィールドの入力アドレスに１画素単位で隣接する画素データを複数個読み出して、中間色の画像データを作成する。このとき、式１に従って中間色の画像データを作成することが設定されている場合には、現在読み出し対象となっている入力アドレスに隣接する上下２個の画素データを読み出して、中間色の画像データを作成する。一方、式２に従って中間色の画像データを作成することが設定されている場合には、現在読み出し対象となっている入力アドレスに隣接する上下６個の画素データを読み出して、中間色の画像データを作成する。 In step S <b> 6, the image conversion unit 14 is currently subject to address conversion processing for even-field camera image data stored in the input buffer 12, and there is no pixel data to be extracted from the input buffer 12. Therefore, a plurality of pieces of pixel data adjacent to the input address of the even-numbered field that is currently read out are read out in units of one pixel, and intermediate-color image data is created. At this time, if it is set to create intermediate color image data according to Equation 1, the upper and lower two pixel data adjacent to the input address currently being read out are read, and the intermediate color image data is obtained. create. On the other hand, if it is set to create intermediate color image data according to Equation 2, the upper and lower 6 pixel data adjacent to the input address that is currently being read are read to create intermediate color image data. To do.
ステップＳ７において、画像変換部１４は、ステップＳ５で取り出した偶数フィールドのカメラ画像データ、又は、ステップＳ６で作成した中間色の画像データを、現在読み出し対象となっている入力アドレスに対応した出力アドレスに格納する。 In step S7, the image conversion unit 14 sets the even-field camera image data extracted in step S5 or the intermediate-color image data created in step S6 to an output address corresponding to the input address currently being read. Store.
次のステップＳ８において、画像変換部１４は、偶数フィールドのカメラ画像データ（例えば６４０画素×２４０画素）についてのアドレス変換処理が完了したか否かを判定する。このとき、画像変換部１４は、アドレス変換テーブルが指している全ての入力アドレスから画素データ又は中間色の画像データを取得して出力アドレスに格納したか否かを判定する。そして、完了していないと判定した場合には、ステップＳ５に処理を戻して次の入力アドレスについてステップＳ５〜ステップＳ７の処理を繰り返し、完了したと判定した場合には処理を終了して、次フレームのカメラ画像データについてのアドレス変換処理に移行するために待機状態となる。 In the next step S8, the image conversion unit 14 determines whether or not the address conversion process for the camera image data (eg, 640 pixels × 240 pixels) in the even field has been completed. At this time, the image conversion unit 14 determines whether pixel data or intermediate color image data is acquired from all input addresses indicated by the address conversion table and stored in the output address. If it is determined that the process has not been completed, the process returns to step S5 to repeat the processes in steps S5 to S7 for the next input address. If it is determined that the process has been completed, the process is terminated. In order to shift to the address conversion process for the camera image data of the frame, a standby state is entered.
このように、アドレス変換テーブルで指定されている入力アドレスと、現在アドレス変換処理の対象となっていて入力バッファ１２に記憶されているフィールド単位のカメラ画像データとを比較して、読み出すべき画素データが存在しない場合には、隣接する画素データを使用して中間色の画像データを出力アドレスに格納することができる。 Thus, the pixel data to be read out by comparing the input address specified in the address conversion table with the field-by-field camera image data that is the target of the current address conversion process and stored in the input buffer 12. In the case where the image data does not exist, the intermediate color image data can be stored in the output address using the adjacent pixel data.
具体例として、図５（ａ），７（ａ）のような絵柄のカメラ画像データ（６画素×６画素；入力アドレス「１」〜「３６」）に対し、縮小する画像変換を行って、変換画像（４画素×４画素；入力アドレス「１」〜「１６」）を作成するアドレス変換処理について説明する。 As a specific example, image conversion for reduction is performed on camera image data (6 pixels × 6 pixels; input addresses “1” to “36”) having a pattern as shown in FIGS. Address conversion processing for creating a converted image (4 pixels × 4 pixels; input addresses “1” to “16”) will be described.
図５（ａ）に示すように、奇数ラインと偶数ラインとからなる入力アドレス「１」〜「３６」が設定されていて、図６に示すようなアドレス変換テーブルがテーブル記憶部１５に記憶されていた場合に、現在読み出し対象となっているカメラ画像データが偶数フィールドのカメラ画像データである時には、出力アドレス「５」、「６」、「７」、「８」に格納するための入力アドレス「１３」、「１５」、「１６」、「１８」に画素データが格納されていない状態である。したがって、画像変換部１４では、入力アドレス「１３」、「１５」、「１６」、「１８」に隣接する入力アドレスに格納されている偶数フィールドのカメラ画像データを使用して中間色の画像データを作成して、入力アドレス「１３」、「１５」、「１６」、「１８」に対応する出力アドレス「５」、「６」、「７」、「８」に格納する。これにより、図５（ｂ）に示すように、入力アドレス「１３」に隣接する入力アドレス「７」と「１９」に格納された画素データの中間色を出力アドレス「５」に格納でき、入力アドレス「１５」に隣接する入力アドレス「９」と「２１」に格納された画素データの中間色を出力アドレス「６」に格納でき、入力アドレス「１６」に隣接する入力アドレス「１０」と「２２」に格納された画素データの中間色を出力アドレス「７」に格納でき、入力アドレス「１８」に隣接する入力アドレス「１２」と「２４」に格納された画素データの中間色を出力アドレス「８」に格納できる。 As shown in FIG. 5A, input addresses “1” to “36” composed of odd lines and even lines are set, and an address conversion table as shown in FIG. If the camera image data currently being read out is camera image data of an even field, the input address for storing in the output addresses “5”, “6”, “7”, “8” In this state, pixel data is not stored in “13”, “15”, “16”, and “18”. Therefore, the image conversion unit 14 converts the intermediate color image data using the camera image data in the even field stored in the input addresses adjacent to the input addresses “13”, “15”, “16”, and “18”. Created and stored in the output addresses “5”, “6”, “7”, “8” corresponding to the input addresses “13”, “15”, “16”, “18”. As a result, as shown in FIG. 5B, the intermediate color of the pixel data stored in the input addresses “7” and “19” adjacent to the input address “13” can be stored in the output address “5”. The intermediate color of the pixel data stored in the input addresses “9” and “21” adjacent to “15” can be stored in the output address “6”, and the input addresses “10” and “22” adjacent to the input address “16”. The intermediate color of the pixel data stored in the output address “7” can be stored in the output address “7”, and the intermediate color of the pixel data stored in the input addresses “12” and “24” adjacent to the input address “18” is set in the output address “8”. Can be stored.
なお、図５（ｂ）では、出力アドレスに格納済の画素データの入力アドレスを示しており、出力アドレスは左上画素から右下画素まで順次出力アドレス「１」〜「１６」が設定されているものとする。 FIG. 5B shows the input address of the stored pixel data in the output address, and output addresses “1” to “16” are sequentially set from the upper left pixel to the lower right pixel. Shall.
これに対し、図７に示すように、現在入力バッファ１２に格納されていない奇数ラインの入力アドレス「１３」、「１５」、「１６」、「１８」の画素データを使用する設定とした場合には、出力アドレス「５」、「６」、「７」、「８」に格納できる画素データが無く、図７（ｂ）のような絵柄となってしまう。このように、図７（ｂ）の絵柄は、中間色の画像データを格納した結果の図５（ｂ）の絵柄と比較して、図５，７（ａ）に示す絵柄を縮小した絵柄を縮小した結果としての再現性が良好では無くなってしまう。 On the other hand, as shown in FIG. 7, when the pixel data of the input addresses “13”, “15”, “16”, “18” of the odd lines not currently stored in the input buffer 12 is used. Has no pixel data that can be stored in the output addresses “5”, “6”, “7”, and “8”, resulting in a pattern as shown in FIG. In this way, the pattern shown in FIG. 7B is a reduced version of the pattern shown in FIGS. 5 and 7A compared to the pattern shown in FIG. 5B as a result of storing the intermediate color image data. As a result, the reproducibility is not good.
また、一律に入力アドレス「１３」、「１５」、「１６」、「１８」よりも１画素上の画素データを使用するとした場合、出力アドレス「５」、「６」、「７」、「８」に格納される画素データは、入力アドレス「７」、「９」、「１０」、「１２」に格納されていた画素データとなる。この結果、絵柄は、図７（ｃ）に示すようになる。この場合であっても、中間色の画像データを格納した結果の図５（ｂ）の絵柄と比較して、図５（ａ），７（ａ）に示す絵柄を縮小した絵柄を縮小した結果としての再現性が良好では無くなってしまう。 Further, when the pixel data one pixel higher than the input addresses “13”, “15”, “16”, “18” is used, the output addresses “5”, “6”, “7”, “ The pixel data stored in “8” is the pixel data stored in the input addresses “7”, “9”, “10”, and “12”. As a result, the pattern is as shown in FIG. Even in this case, as a result of reducing the picture obtained by reducing the picture shown in FIGS. 5 (a) and 7 (a) as compared with the picture shown in FIG. 5 (b) as a result of storing the intermediate color image data. The reproducibility is lost.
［第１実施形態の効果］
以上詳細に説明したように、本発明を適用した第１実施形態に係る画像処理装置１によれば、入力バッファ１２に格納されているカメラ画像データと、アドレス変換テーブルで指定された入力アドレスと出力アドレスとの対応関係とに基づいて、当該入力アドレス付近の複数のカメラ画像データを用いて生成した中間色の画像データを作成して、出力アドレスに格納させるか否かを判定して、中間色の画像データを出力アドレスに格納させると判定した場合には、アドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データを用いて中間色の画像データを生成して、当該中間色の画像データを対応する出力アドレスに格納して、変換画像を作成するので、読み出す入力アドレスにカメラ画像データが存在しない場合であっても、出力アドレスにカメラ画像データを格納することができる。したがって、この画像処理装置１によれば、カメラモジュール２が動いている場合や変換画像内に動きがある撮像対象を含む場合であっても、変換画像としての滑らかさの低下を抑制できると共に、カメラモジュール２及び撮像対象が停止している場合であっても、変換画像の解像度の低下を抑制することができる。すなわち図８に示すように、フィールド単位でアドレス変換処理を行って変換画像を表示させる場合であっても、変換画像の解像度の低下を抑制して、車両の挙動に係わらず滑らか且つ高解像度な映像を表示させることができる。
[Effect of the first embodiment]
As described above in detail, according to the image processing apparatus 1 according to the first embodiment to which the present invention is applied, the camera image data stored in the input buffer 12, the input address specified in the address conversion table, and Based on the correspondence relationship with the output address, intermediate color image data generated using a plurality of camera image data in the vicinity of the input address is created, and whether or not to store in the output address is determined. If it is determined that the image data is to be stored in the output address, intermediate color image data is generated using a plurality of camera image data near the input address specified in the address conversion table, and the intermediate color image data is supported. This is the case when there is no camera image data at the input address to be read. Also, it is possible to store the camera image data to the output address. Therefore, according to the image processing apparatus 1, even when the camera module 2 is moving or when the converted image includes an imaging target with movement, a decrease in smoothness as the converted image can be suppressed, Even when the camera module 2 and the imaging target are stopped, a decrease in the resolution of the converted image can be suppressed. That is, as shown in FIG. 8, even when the address conversion process is performed on a field basis and the converted image is displayed, a decrease in the resolution of the converted image is suppressed and smooth and high resolution is achieved regardless of the behavior of the vehicle. Video can be displayed.
したがって、この画像処理装置１によれば、例えばカメラモジュール２を搭載した車両の車速に応じて、アドレス変換テーブルを切り替える必要なく、テーブル記憶部１５のメモリ容量を少なくして低コストで変換画像を作成して表示させることができる。 Therefore, according to this image processing apparatus 1, for example, it is not necessary to switch the address conversion table according to the vehicle speed of the vehicle on which the camera module 2 is mounted, and the memory capacity of the table storage unit 15 is reduced and the converted image can be displayed at low cost. Can be created and displayed.
また、この画像処理装置１によれば、入力バッファ１２に格納されたカメラ画像データが奇数フィールドのカメラ画像データである場合であって、アドレス変換テーブルで指定された入力アドレスが偶数フィールドのカメラ画像データである場合には、当該偶数フィールドのカメラ画像データ付近の奇数フィールドのカメラ画像データを用いて中間色の画像データを作成することができ、入力バッファ１２に格納されたカメラ画像データが偶数フィールドのカメラ画像データである場合であって、アドレス変換テーブルで指定された入力アドレスが奇数フィールドのカメラ画像データである場合には、当該奇数フィールドのカメラ画像データ付近の偶数フィールドのカメラ画像データを用いて中間色の画像データを作成することができる。これにより、カメラモジュール２の動きに係わらず、確実に解像度の低下を抑制した変換画像の表示を実現できる。 Further, according to the image processing apparatus 1, when the camera image data stored in the input buffer 12 is odd-numbered field camera image data, the input address specified in the address conversion table is an even-numbered field camera image data. In the case of data, intermediate-color image data can be created using odd-numbered field camera image data near the even-numbered field camera image data, and the camera image data stored in the input buffer 12 is even-field data. In the case of camera image data, when the input address specified in the address conversion table is camera image data in an odd field, camera image data in an even field near the camera image data in the odd field is used. Intermediate color image data can be created. Thereby, irrespective of the movement of the camera module 2, the display of the converted image which suppressed the fall of the resolution reliably is realizable.
更に、この画像処理装置１によれば、中間色の画像データを生成する時に、アドレス変換テーブルで指定された入力アドレスに上下方向で隣接する画像ラインの複数の画像データを用いるので、自然画のように１画素単位では急激な輝度や色の変化がないことを利用して中間色の画像データを作成することができ、確実に解像度の低下を抑制した変換画像の表示を実現できる。 Furthermore, according to the image processing apparatus 1, when generating intermediate color image data, a plurality of image data of image lines adjacent in the vertical direction to the input address specified in the address conversion table is used. In addition, it is possible to create intermediate color image data by utilizing the fact that there is no sudden change in luminance or color in one pixel unit, and it is possible to realize display of a converted image that reliably suppresses a decrease in resolution.
［第２実施形態］
つぎに、第２実施形態に係る画像処理装置１について説明する。なお、上述の第１実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
[Second Embodiment]
Next, an image processing apparatus 1 according to the second embodiment will be described. In addition, about the part similar to the above-mentioned 1st Embodiment, the detailed description is abbreviate | omitted by attaching | subjecting the same code | symbol.
第２実施形態に係る画像処理装置１は、中間色の画像データを作成すると判定した場合に、現在アドレス変換処理の対象となっているフィールド単位のカメラ画像データよりも１フィールド前のカメラ画像データを用いて、中間色の画像データを作成することを特徴とするものである。このような画像処理装置１は、上述の第１実施形態と比較して、１フィールド分多い入力バッファ１２のメモリ容量を有する点のみで異なる。 When the image processing apparatus 1 according to the second embodiment determines that intermediate color image data is to be created, the camera image data of one field before the field-unit camera image data that is currently subject to address conversion processing is obtained. And image data of intermediate colors is created. Such an image processing apparatus 1 is different from the first embodiment only in that the memory capacity of the input buffer 12 is increased by one field.
すなわち、この第２実施形態に係る画像処理装置１は、図９に示すように、時刻Ｔ１，Ｔ２，Ｔ３，Ｔ４において、奇数フィールドのカメラ画像データＯｄｄ１ａ、偶数フィールドのカメラ画像データＥｖｅｎ１ｂ、奇数フィールドのカメラ画像データＯｄｄ１ｃ、偶数フィールドのカメラ画像データＥｖｅｎ１ｄを入力バッファ１２で入力した場合に、奇数フィールドのカメラ画像データＯｄｄ１ａから奇数フィールドの変換画像データ（出力画像データ）ＤａｔａＯａを作成し、偶数フィールドのカメラ画像データＥｖｅｎ１ｂから偶数フィールドの変換画像データＤａｔａＥｂを作成するが、例えば変換画像データＤａｔａＯｃを作成する時には、時刻Ｔ３で入力した奇数フィールドのカメラ画像データＯｄｄ１ｃのみならず、時刻Ｔ２で入力して保存しておいた偶数フィールドのカメラ画像データＥｖｅｎ１ｂも使用することができる。 That is, the image processing apparatus 1 according to the second embodiment, as shown in FIG. 9, at time T1, T2, T3, T4, the odd field camera image data Odd1a, the even field camera image data Even1b, the odd field. Camera image data Odd1c and even-field camera image data Even1d are input to the input buffer 12, odd-numbered field converted image data (output image data) DataOa is created from the odd-field camera image data Odd1a. The even-field converted image data DataEb is created from the camera image data Even1b. For example, when creating the converted image data DataOc, not only the odd-field camera image data Odd1c input at time T3 but also the time T In camera image data Even1b even field that has been saved by entering may be used.
このような画像処理装置１において、図１０に示すように、現在アドレス変換処理の対象となっているカメラ画像データが、図１０（ｂ）に示す奇数フィールドのカメラ画像データである場合、図１０（ｃ）に示す出力バッファ１６の出力アドレスＯ＿１２に、入力アドレスＥ＿０１の画素データを格納することを指定する入力アドレスと出力アドレスとの対応関係がアドレス変換テーブルに記述されていたとする。 In such an image processing apparatus 1, as shown in FIG. 10, when the camera image data currently being subjected to the address conversion process is the camera image data of the odd field shown in FIG. Assume that the output address O_12 of the output buffer 16 shown in (c) describes the correspondence between the input address and the output address designating the storage of the pixel data of the input address E_01 in the address conversion table.
このとき、画像変換部１４は、第１実施形態と同様に、判定部３１によって、現在入力バッファ１２の入力アドレスＥ＿０１に画素データが格納されているか否かを判定する。そして、奇数フィールドのカメラ画像データが変換対象となっているので、入力バッファ１２には奇数ラインの画素データＯｄｄ１ａしか格納されていないために、出力アドレスＯ＿１２に格納する画素データが入力バッファ１２には格納されていないと判定する。この場合、判定部３１は、アドレス変換テーブルに規定されている入力アドレスＥ＿０１付近の画素データのみならず、図１０（ａ）に示す１フィールド前の偶数フィールドのカメラ画像データＥ’＿０１を使用して、出力アドレスＯ＿１２に格納する中間色の画素データを作成すると判定する。 At this time, the image conversion unit 14 determines whether or not pixel data is currently stored in the input address E_01 of the input buffer 12 by the determination unit 31 as in the first embodiment. Since the camera image data in the odd field is to be converted, only the odd line pixel data Odd1a is stored in the input buffer 12, so that the pixel data stored in the output address O_12 is stored in the input buffer 12. It is determined that it is not stored. In this case, the determination unit 31 uses not only the pixel data near the input address E_01 defined in the address conversion table but also the camera image data E′_01 in the even field one field before shown in FIG. Thus, it is determined that pixel data of intermediate color to be stored at the output address O_12 is created.
すなわち、中間色作成部３２は、中間色を作成するために必要な入力アドレスＥ＿０１付近の画素データであって、現在入力バッファ１２に格納されている奇数ラインデータＯｄｄ１ａの画素データと、１フィールド前の偶数フィールドの入力アドレスＥ’＿０１の画素データとを取得する。例えば、中間色作成部３２は、入力アドレスＥ＿０１の１ライン隣接した上下の入力アドレスＯ＿０１、Ｏ＿１１と、入力アドレスＥ’＿０１の画素データを取得する。また、そして、中間色作成部３２は、画素データＩ（Ｅ’＿０１）、Ｉ（Ｏ＿０１）、Ｉ（Ｏ＿１１）を使用して、
｛Ｉ（Ｏ＿０１）＋Ｉ（Ｏ＿１１）＋Ｉ（Ｅ’＿０１）｝／３
という画素値の平均を求める演算を行って、中間色である、出力アドレスＯ＿１２に格納する画素データＩ（Ｏ＿１２）を作成する。
That is, the intermediate color creating unit 32 is pixel data in the vicinity of the input address E_01 necessary for creating the intermediate color, and the pixel data of the odd line data Odd1a currently stored in the input buffer 12 and the even number of one field before The pixel data of the field input address E′_01 is acquired. For example, the intermediate color creation unit 32 acquires the upper and lower input addresses O_01 and O_11 adjacent to the input address E_01 by one line and the pixel data of the input address E′_01. Further, the intermediate color creating unit 32 uses the pixel data I (E′_01), I (O_01), and I (O_11),
{I (O_01) + I (O_11) + I (E'_01)} / 3
The pixel data I (O_12) to be stored in the output address O_12, which is an intermediate color, is generated by performing an operation for obtaining the average of the pixel values.
また、中間色作成部３２は、１フィールド前の偶数フィールドの入力アドレスＥ’＿０１、入力アドレスＯ＿０１，Ｏ＿１１のみならず、入力アドレスＯ＿００，Ｏ＿０１，Ｏ＿０２，Ｏ＿１０，Ｏ＿１１，Ｏ＿１２の画素データＩ（Ｏ＿００），Ｉ（Ｏ＿０１），Ｉ（Ｏ＿０２），Ｉ（Ｏ＿１０），Ｉ（Ｏ＿１１），Ｉ（Ｏ＿１２）の平均値を求めて、出力アドレスＯ＿１２に格納する画素データＩ（Ｏ＿１２）を作成しても良い。すなわち、中間色作成部３２は、
｛Ｉ（Ｏ＿００）＋Ｉ（Ｏ＿０１）＋Ｉ（Ｏ＿０２）＋Ｉ（Ｏ＿１０）＋Ｉ（Ｏ＿１１）＋Ｉ（Ｏ＿１２）＋Ｉ（Ｅ’＿０１）｝／７
という演算を行って出力アドレスＯ＿１２に格納する中間色の画素を作成する。
Further, the intermediate color creating unit 32 not only inputs the input address E′_01 and the input addresses O_01 and O_11 of the even field one field before, but also the pixel data I (O_00) of the input addresses O_00, O_01, O_02, O_10, O_11, and O_12. , I (O_01), I (O_02), I (O_10), I (O_11), I (O_12) may be obtained to create pixel data I (O_12) to be stored at the output address O_12. . That is, the intermediate color creating unit 32
{I (O_00) + I (O_01) + I (O_02) + I (O_10) + I (O_11) + I (O_12) + I (E'_01)} / 7
An intermediate color pixel to be stored at the output address O_12 is created by performing the above calculation.
更に、中間色作成部３２は、１フィールド前の偶数フィールドの入力アドレスＥ’＿０１の横方向に隣接する入力アドレスＥ’＿００，Ｅ’＿０２の画素データＩ（Ｅ’＿００）、Ｉ（Ｅ’＿０２）も使用して、
｛Ｉ（Ｏ＿００）＋Ｉ（Ｏ＿０１）＋Ｉ（Ｏ＿０２）＋Ｉ（Ｏ＿１０）＋Ｉ（Ｏ＿１１）＋Ｉ（Ｏ＿１２）＋Ｉ（Ｅ’＿００）＋Ｉ（Ｅ’＿０１）＋Ｉ（Ｅ’＿０２）｝／９
という演算を行って、出力アドレスＯ＿１２に格納する中間色の画素を作成しても良い。
Further, the intermediate color creating unit 32 outputs the pixel data I (E′_00) and I (E′_02) of the input addresses E′_00 and E′_02 that are adjacent in the horizontal direction to the input address E′_01 of the even field one field before. ) Also use
{I (O_00) + I (O_01) + I (O_02) + I (O_10) + I (O_11) + I (O_12) + I (E'_00) + I (E'_01) + I (E'_02)} / 9
An intermediate color pixel to be stored at the output address O_12 may be created by performing the above calculation.
逆に、現在処理対象となっているカメラ画像データが偶数フィールドのカメラ画像データであって、入力バッファ１２の奇数フィールドのカメラ画像データを出力アドレスに格納することがアドレス変換テーブルで規定されている場合には、１フィールド前のカメラ画像データである奇数フィールドのカメラ画像データを用いて中間色の画像データを作成することになる。 On the other hand, it is defined in the address conversion table that the camera image data currently being processed is camera image data of an even field, and the camera image data of the odd field of the input buffer 12 is stored in the output address. In this case, intermediate-color image data is created by using camera image data in an odd field, which is camera image data one field before.
［第２実施形態の効果］
以上詳細に説明したように、本発明を適用した第２実施形態に係る画像処理装置１によれば、入力バッファ１２に時間的に隣接する複数のフィールド単位のカメラ画像データを格納しておき、中間色の画像データを出力アドレスに格納させると判定した場合に、現在処理対象となっているフィールド単位のカメラ画像データのアドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データと、１フィールド前のカメラ画像データのうちアドレス変換テーブルで指定された入力アドレスのカメラ画像データとを用いて、中間色の画像データを作成するので、１フィールド前のカメラ画像データであっても、入力アドレスに該当する画素データを使用して、出力アドレスに格納する画素データで変換画像を作成することができ、変換画像の解像度を高くすることができる。
[Effects of Second Embodiment]
As described above in detail, according to the image processing apparatus 1 according to the second embodiment to which the present invention is applied, a plurality of field unit camera image data that are temporally adjacent to the input buffer 12 are stored. When it is determined that intermediate color image data is to be stored in the output address, a plurality of camera image data near the input address specified in the address conversion table of the camera image data in the field unit currently being processed, and one field Intermediate color image data is created using the camera image data of the input address specified in the address conversion table among the previous camera image data, so even the camera image data of one field before corresponds to the input address Can be used to create a converted image with the pixel data stored at the output address, It is possible to increase the resolution of the conversion image.
ここで、カメラモジュール２の撮像対象が動いた場合や、カメラモジュール２自体が動いた場合には、撮像タイミングと表示タイミングの不一致が起きてしまうが、１フィールド前のカメラ画像データのみならず、現在処理対象となっているカメラ画像データも使用して中間色の画素データを作成することができるので、より実際に近い画素データを作成して、出力アドレスに格納することができる。 Here, when the imaging target of the camera module 2 moves, or when the camera module 2 itself moves, the imaging timing does not match the display timing, but not only the camera image data of the previous field, Since it is possible to create pixel data of intermediate colors using the camera image data that is currently processed, it is possible to create pixel data that is closer to the actual and store it at the output address.
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。 The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.
すなわち、上述した実施形態では、単一のカメラモジュール２からのカメラ画像データを変換して変換画像をモニタ３に表示させる場合について説明したが、これに限らず、複数のカメラモジュール２を使用しても、上述した効果を発揮できる。 That is, in the above-described embodiment, the case where the camera image data from the single camera module 2 is converted and the converted image is displayed on the monitor 3 is described. However, the present invention is not limited to this, and a plurality of camera modules 2 are used. However, the above-described effects can be exhibited.
具体的には、カメラモジュール２が複数台画像処理装置１に接続されており、複数のカメラ画像データを合成した変換画像を作成する画像処理装置１である場合には、カメラモジュール２の個数に対応して入力バッファ１２が設けられることになる。そして、カメラモジュール２及び入力バッファ１２が複数からなり、例えば右側方画像と左側方画像とをモニタ３に一画面で表示させる場合には、当該画像レイアウトに従ったアドレス変換テーブルが使用され、右側方画像と左側方画像と下方画像とを一画面で表示させる場合には、当該画像レイアウトに従ったアドレス変換テーブルが使用される。このような複数のアドレス変換テーブルは、ユーザの操作によって選択された画像レイアウトに応じて、ＣＰＵ１３で選択される。更に、アドレス変換テーブルは、カメラモジュール２（任意のカメラ番号）ごとに入力バッファ１２の入力アドレスと出力バッファ１６の出力アドレスとの対応関係を記述していて、カメラモジュール２の台数と同じ数が用意されているものとする。 Specifically, when the camera module 2 is connected to a plurality of image processing apparatuses 1 and is an image processing apparatus 1 that creates a converted image by combining a plurality of camera image data, the number of camera modules 2 Correspondingly, an input buffer 12 is provided. When the camera module 2 and the input buffer 12 are composed of a plurality of images, for example, when the right side image and the left side image are displayed on the monitor 3 on one screen, an address conversion table according to the image layout is used. When the one-side image, the left-side image, and the lower image are displayed on one screen, an address conversion table according to the image layout is used. Such a plurality of address conversion tables are selected by the CPU 13 in accordance with the image layout selected by the user's operation. Furthermore, the address conversion table describes the correspondence between the input address of the input buffer 12 and the output address of the output buffer 16 for each camera module 2 (arbitrary camera number), and the same number as the number of the camera modules 2 exists. It shall be prepared.
１ 画像処理装置
２ カメラモジュール
３ モニタ
１２ 入力バッファ
１２ａ 奇数フィールドバッファ
１２ｂ 偶数フィールドバッファ
１３ ＣＰＵ
１４ 画像変換部
１５ テーブル記憶部
１６ 出力バッファ
３１ 判定部
３２ 中間色作成部
DESCRIPTION OF SYMBOLS 1 Image processing apparatus 2 Camera module 3 Monitor 12 Input buffer 12a Odd field buffer 12b Even field buffer 13 CPU
14 Image conversion unit 15 Table storage unit 16 Output buffer 31 Determination unit 32 Intermediate color creation unit
Claims (8)
前記カメラモジュールで撮像されたカメラ画像データを格納する入力バッファを備える入力手段と、
前記入力バッファから取り出されたカメラ画像データが変換された変換画像を格納する出力バッファを備え、当該変換画像を前記表示手段に出力する出力手段と、
前記変換画像を作成するためのカメラ画像データを前記入力バッファの指定された入力アドレスから取り出させ、当該取り出されたカメラ画像データを前記出力バッファに格納させて、前記変換画像を前記出力バッファの指定された出力アドレスに格納させるアドレス変換テーブルを記憶する記憶手段と、
前記入力バッファに格納されているカメラ画像データと、前記アドレス変換テーブルで指定された入力アドレスと出力アドレスとの対応関係に基づいて、当該出力アドレスに対応するカメラ画素データが入力バッファには格納されていないと判定した場合に、当該入力アドレス付近の複数のカメラ画像データを用いて生成した中間色の画像データを作成して、出力アドレスに格納させると判定する判定手段と、
前記入力バッファに格納されたカメラ画像データを変換して前記出力バッファに格納させる時に、前記中間色の画像データを出力アドレスに格納させないと前記判定手段により判定された場合には、前記アドレス変換テーブルで指定された入力アドレスのカメラ画像データを対応する出力アドレスに格納し、前記中間色の画像データを出力アドレスに格納させると前記判定手段により判定された場合には、前記アドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データを用いて中間色の画像データを生成して、当該中間色の画像データを対応する出力アドレスに格納して、前記変換画像を作成する画像処理手段と
を備えることを特徴とする画像処理装置。 An image processing apparatus that is connected to a camera module that generates camera image data, converts the camera image data, and displays the converted image on a display unit,
Input means comprising an input buffer for storing camera image data imaged by the camera module;
An output buffer for storing a converted image obtained by converting camera image data extracted from the input buffer, and an output unit for outputting the converted image to the display unit;
Camera image data for creating the converted image is extracted from the specified input address of the input buffer, the extracted camera image data is stored in the output buffer, and the converted image is specified in the output buffer. Storage means for storing an address conversion table to be stored at the output address,
Based on the correspondence between the camera image data stored in the input buffer and the input address and output address specified in the address conversion table, camera pixel data corresponding to the output address is stored in the input buffer. when it is determined that not, creates the image data of the intermediate color generated using a plurality of camera image data in the vicinity of the input address, a determination unit and is stored in the output address,
When the camera image data stored in the input buffer is converted and stored in the output buffer, if it is determined by the determination means that the intermediate color image data is not stored in the output address, the address conversion table If the determination means determines that the camera image data of the specified input address is stored in the corresponding output address and the intermediate color image data is stored in the output address, the input specified in the address conversion table is used. Image processing means for generating intermediate color image data using a plurality of camera image data in the vicinity of the address, storing the intermediate color image data in a corresponding output address, and creating the converted image. An image processing apparatus.
前記画像処理手段は、前記入力バッファにフィールド単位のカメラ画像データが格納される度に、前記アドレス変換テーブルを参照して変換画像を作成する処理を開始し、
前記判定手段は、前記入力バッファに格納されたカメラ画像データが奇数フィールドのカメラ画像データである場合であって、前記アドレス変換テーブルで指定された入力アドレスが偶数フィールドのカメラ画像データである場合には、当該偶数フィールドのカメラ画像データ付近の奇数フィールドのカメラ画像データを用いて中間色の画像データを作成すると判定し、前記入力バッファに格納されたカメラ画像データが偶数フィールドのカメラ画像データである場合であって、前記アドレス変換テーブルで指定された入力アドレスが奇数フィールドのカメラ画像データである場合には、当該奇数フィールドのカメラ画像データ付近の偶数フィールドのカメラ画像データを用いて中間色の画像データを作成すると判定すること
を特徴とする請求項１に記載の画像処理装置。 The input buffer of the input means stores field-by-field camera image data from the camera module,
The image processing means starts a process of creating a converted image with reference to the address conversion table every time camera image data in units of fields is stored in the input buffer,
In the case where the camera image data stored in the input buffer is camera image data in an odd field, and the input address specified in the address conversion table is camera image data in an even field. Is determined to create intermediate color image data using odd field camera image data near the even field camera image data, and the camera image data stored in the input buffer is even field camera image data If the input address specified in the address conversion table is odd field camera image data, the intermediate color image data is converted using even field camera image data near the odd field camera image data. A feature characterized by the decision to create The image processing apparatus according to claim 1.
前記画像処理手段は、前記中間色の画像データを出力アドレスに格納させると前記判定手段により判定された場合に、現在処理対象となっているフィールド単位のカメラ画像データの前記アドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データと、１フィールド前のカメラ画像データのうち前記アドレス変換テーブルで指定された入力アドレスのカメラ画像データとを用いて、中間色の画像データを作成すること
を特徴とする請求項１に記載の画像処理装置。 The input buffer of the input means stores a plurality of field-unit camera image data that are temporally adjacent,
The image processing means is designated in the address conversion table of the field-by-field camera image data that is currently processed when it is determined by the determination means that the intermediate color image data is stored in an output address. Using the plurality of camera image data near the input address and the camera image data of the input address specified in the address conversion table among the camera image data of the previous field, intermediate color image data is created. The image processing apparatus according to claim 1.
前記変換画像を作成するためのカメラ画像データを入力バッファの指定された入力アドレスから取り出させ、当該取り出されたカメラ画像データを出力バッファに格納させて、前記変換画像を前記出力バッファの指定された出力アドレスに格納させるアドレス変換テーブルを記憶手段に記憶させるステップと、
前記カメラモジュールで撮像されたカメラ画像データを、前記入力バッファに格納するステップと、
前記入力バッファに格納されているカメラ画像データと、前記アドレス変換テーブルで指定された入力アドレスと出力アドレスとの対応関係に基づいて、当該出力アドレスに対応するカメラ画素データが入力バッファには格納されていないと判定した場合に、当該入力アドレス付近の複数のカメラ画像データを用いて生成した中間色の画像データを作成して、出力アドレスに格納させるか否かを判定するステップと、
前記入力バッファに格納されたカメラ画像データを変換して前記出力バッファに格納させる時に、前記中間色の画像データを出力アドレスに格納させないと判定した場合には、前記アドレス変換テーブルで指定された入力アドレスのカメラ画像データを対応する出力アドレスに格納し、前記中間色の画像データを出力アドレスに格納させると判定した場合には、前記アドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データを用いて中間色の画像データを生成して、当該中間色の画像データを対応する出力アドレスに格納して、前記変換画像を作成するステップと を有することを特徴とする画像処理方法。 An image processing method connected to a camera module for generating camera image data, converting the camera image data, and displaying the converted image on a display means,
The camera image data for creating the converted image is extracted from the specified input address of the input buffer, the extracted camera image data is stored in the output buffer, and the converted image is specified in the output buffer. Storing the address conversion table to be stored in the output address in the storage means;
Storing camera image data captured by the camera module in the input buffer;
Based on the correspondence between the camera image data stored in the input buffer and the input address and output address specified in the address conversion table, camera pixel data corresponding to the output address is stored in the input buffer. Determining whether or not to create intermediate color image data generated using a plurality of camera image data near the input address and store it in the output address,
When the camera image data stored in the input buffer is converted and stored in the output buffer, if it is determined that the intermediate color image data is not stored in the output address, the input address specified in the address conversion table If the camera image data is stored in the corresponding output address and the intermediate color image data is determined to be stored in the output address, a plurality of camera image data near the input address specified in the address conversion table is used. Generating intermediate color image data, storing the intermediate color image data in a corresponding output address, and creating the converted image.
前記変換画像を作成するステップは、前記入力バッファにフィールド単位のカメラ画像データが格納される度に、前記アドレス変換テーブルを参照して変換画像を作成する処理を開始し、
前記判定するステップは、前記入力バッファに格納されたカメラ画像データが奇数フィールドのカメラ画像データである場合であって、前記アドレス変換テーブルで指定された入力アドレスが偶数フィールドのカメラ画像データである場合には、当該偶数フィールドのカメラ画像データ付近の奇数フィールドのカメラ画像データを用いて中間色の画像データを作成すると判定し、前記入力バッファに格納されたカメラ画像データが偶数フィールドのカメラ画像データである場合であって、前記アドレス変換テーブルで指定された入力アドレスが奇数フィールドのカメラ画像データである場合には、当該奇数フィールドのカメラ画像データ付近の偶数フィールドのカメラ画像データを用いて中間色の画像データを作成すると判定すること
を特徴とする請求項５に記載の画像処理方法。 The step of storing camera image data in the input buffer stores field-by-field camera image data from the camera module;
The step of creating the converted image starts a process of creating a converted image with reference to the address conversion table every time camera image data in a unit of field is stored in the input buffer,
The determining step is when the camera image data stored in the input buffer is camera image data in an odd field, and the input address specified in the address conversion table is camera image data in an even field. Is determined to create intermediate color image data using odd-numbered field camera image data near the even-numbered field camera image data, and the camera image data stored in the input buffer is even-numbered field camera image data. If the input address specified in the address conversion table is odd-numbered camera image data, the intermediate-color image data using the even-numbered camera image data near the odd-numbered camera image data. It is determined to create The image processing method according to claim 5.
前記変換画像を作成するステップは、前記中間色の画像データを出力アドレスに格納させると判定した場合に、現在処理対象となっているフィールド単位のカメラ画像データの前記アドレス変換テーブルで指定された入力アドレス付近の複数のカメラ画像データと、１フィールド前のカメラ画像データのうち前記アドレス変換テーブルで指定された入力アドレスのカメラ画像データとを用いて、中間色の画像データを作成すること
を特徴とする請求項５に記載の画像処理方法。
The step of storing camera image data in the input buffer stores camera image data of a plurality of temporally adjacent fields,
In the step of creating the converted image, when it is determined that the intermediate color image data is to be stored in an output address, the input address specified in the address conversion table of the field-unit camera image data currently being processed The intermediate color image data is created using a plurality of nearby camera image data and the camera image data of the input address specified in the address conversion table among the camera image data of one field before. Item 6. The image processing method according to Item 5.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005058698A JP4677799B2 (en) | 2005-03-03 | 2005-03-03 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005058698A JP4677799B2 (en) | 2005-03-03 | 2005-03-03 | Image processing apparatus and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006245998A JP2006245998A (en) | 2006-09-14 |
| JP4677799B2 true JP4677799B2 (en) | 2011-04-27 |
Family
ID=37051930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005058698A Expired - Fee Related JP4677799B2 (en) | 2005-03-03 | 2005-03-03 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4677799B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001309234A (en) * | 2000-04-20 | 2001-11-02 | Canon Inc | Imaging apparatus, movement correction method for imaging apparatus, imaging system and storage medium |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3395195B2 (en) * | 1991-12-24 | 2003-04-07 | 松下電工株式会社 | Image distortion correction method |
-
2005
- 2005-03-03 JP JP2005058698A patent/JP4677799B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001309234A (en) * | 2000-04-20 | 2001-11-02 | Canon Inc | Imaging apparatus, movement correction method for imaging apparatus, imaging system and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006245998A (en) | 2006-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20120050309A1 (en) | Display control apparatus and display control method | |
| JP2006180340A (en) | Video signal processor, its method and on-vehicle camera system | |
| TW200839734A (en) | Video compositing device and video output device | |
| JP3596520B2 (en) | Image signal processing apparatus and method | |
| EP1455338A1 (en) | Image processor with frame-rate conversion | |
| JP4951487B2 (en) | Video processing apparatus and video display apparatus using the same | |
| JP2003189256A (en) | Image signal processing apparatus and method | |
| JP2004336608A (en) | Method and circuit for converting image data, and electronic camera | |
| JP4677799B2 (en) | Image processing apparatus and image processing method | |
| JP2009065519A (en) | Image processing apparatus | |
| JP2004304390A (en) | Signal processor | |
| JP2004260265A (en) | Pixel extracting circuit having pixel turning over function, and image pickup apparatus | |
| JP4697094B2 (en) | Image signal output apparatus and control method thereof | |
| JP4492100B2 (en) | Image signal processing apparatus and processing method | |
| JP5409245B2 (en) | Image processing apparatus and control method thereof | |
| JP5645343B2 (en) | Imaging device | |
| JP2011066498A (en) | Image processor and in-vehicle imaging system | |
| JP2005026885A (en) | Television receiver and its control method | |
| JP2020074503A (en) | Image processing device, image processing method and on-vehicle device | |
| JP5965173B2 (en) | Moving image processing system, image processing apparatus, and moving image processing system operating method | |
| JP4687748B2 (en) | Video processing apparatus, video processing method, program and recording medium, and video processing system | |
| JP5316199B2 (en) | Display control apparatus, display control method, and program | |
| JP2868891B2 (en) | Image display method | |
| JP2007180920A (en) | Image processor, electronic equipment, program, information storage medium and image processing method | |
| JP2001067042A (en) | Scan converter for interlace driving panel |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080125 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100921 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101027 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110104 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110117 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |