JP4907470B2 - Image signal processing apparatus, an image coding apparatus and image decoding apparatus, as well as the method, an image processor for the processor and video conference system - Google Patents

Image signal processing apparatus, an image coding apparatus and image decoding apparatus, as well as the method, an image processor for the processor and video conference system Download PDF

Info

Publication number
JP4907470B2
JP4907470B2 JP2007224111A JP2007224111A JP4907470B2 JP 4907470 B2 JP4907470 B2 JP 4907470B2 JP 2007224111 A JP2007224111 A JP 2007224111A JP 2007224111 A JP2007224111 A JP 2007224111A JP 4907470 B2 JP4907470 B2 JP 4907470B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
image
distortion
picture
correction
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007224111A
Other languages
Japanese (ja)
Other versions
JP2008086007A (en )
Inventor
眞也 角野
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、主としてTV会議・TV電話システムにおいて、カメラの設置位置・方向に基づき撮影した画像に発生する歪みを補正し、違和感の少ない画像に変形するための画像信号処理方法に関する。 The present invention is primarily in TV conference-TV telephone system, a distortion generated in the captured image based on the installation position and direction of the camera is corrected, an image signal processing method for transforming the image with little discomfort.

ディジタル放送や次世代光ディスクがHDTVに対応したことにより、HDTV対応のPDPディスプレイや液晶ディスプレイ等の大画面表示装置の普及が急速に進んでいる。 By digital broadcasting and next-generation optical disc corresponding to the HDTV, the spread of large-screen display device such as the HDTV PDP display or a liquid crystal display is progressing rapidly. 更に、ネットワークは光ファイバを用いた高速ネットワーク環境が普及し、一般家庭でも数Mbit/sを越えるビットレートで送受信が可能となっている。 Furthermore, the network high-speed network environment spread using an optical fiber, and can transmit and receive at a bit rate exceeding several Mbit / s even at home. 今後数年で、数十Mbit/sの送受信が可能になる見込であり、前述の画像符号化技術を用いることで、専用回線を用いた企業だけでなく、一般家庭でも高画質のTV電話・TV会議システムの導入が進むと予想される。 In the next few years, is expected to become capable of transmitting and receiving tens of Mbit / s, by using the image encoding techniques described above, as well as companies using a dedicated line, high-quality TV phone-in homes the introduction of the TV conference system is expected to advance.

さて、TV会議・TV電話においては、話者の正面画像を撮影して相手に送ることが好ましい。 Well, in the TV conference · TV phone, it is preferable to send to the other party by photographing a front image of the speaker. これは、対話において、相手に視線を向けて話すことで良い印象を与え、会話がスムーズに行えることから容易に類推できる。 This is, in dialogue, giving a good impression by speaking toward the line of sight to the other party, the conversation can be easily inferred from the fact that can be done smoothly. しかしながら、現実のTV会議・TV電話では、表示装置の表示面に正対することの多い話者の正面から画像を撮影することは容易ではない。 However, in the reality of TV conference · TV phone, it is not easy to capture an image from a positive against a large speaker on the front of it on the display surface of the display device.

図23はTV会議システムの表示装置とカメラの設置例を示す図である。 Figure 23 is a diagram showing an installation example of the display device and the camera of the TV conference system. カメラ101は表示装置102の上に設置される。 The camera 101 is installed on the display device 102. 正面画像を撮影することを考えると、カメラ101を表示装置102の中央に設置することが望ましいが、表示装置102の中央にカメラ101を設置するとカメラ101が目障りで表示装置102に表示される対話者の画像が見えにくくなる。 Considering that to shoot a front image, it is desirable to place the camera 101 at the center of the display device 102, when installing the camera 101 on the center of the display unit 102 the camera 101 is displayed on the unsightly display device 102 interact 's image becomes difficult to see of. 従って、図23のように設置するのが一般的である。 Therefore, it is general to install as shown in Figure 23.

さて、近年は表示装置102が大型化し、家庭でも40インチを超える大型ディスプレイが設置されることが多くなった。 Now, in recent years, a display device 102 is large, large display exceeding 40 inches at home is increasingly being installed. 大型の表示装置102を使用することで、対話者の画像が見やすくなるが、その反面、表示装置102の上部に設置されるカメラ101の位置は話者の正面から大きくずれることになってしまう。 By using a large display device 102, an image of the interlocutor it is easy to see, on the other hand, the position of the camera 101 installed in the upper portion of the display device 102 becomes to largely deviated from the front of the speaker.

図24は垂直であるべきものが歪んで撮影される画像の例を示す図である。 Figure 24 is a diagram showing an example of an image to be photographed is distorted should be perpendicular. 話者は床に垂直な壁104とそれを支える柱103の前に正立している。 Speaker is erected in front of the pillar 103 to support it with the vertical wall 104 on the floor. カメラ101は表示装置102の上部に設置され、話者を撮影するためにカメラ101はやや下の方を向いている。 The camera 101 is installed at the top of the display device 102, a camera 101 for photographing the speaker is slightly facing the bottom. 図24(a)は設置されている状態を話者の横から見た図、図24(b)は話者の正面から見た図、図24(c)は話者の上部から見た図である。 Figure 24 (a) saw state of being installed from the side of the speaker figures, FIG. 24 (b) is a view as seen from the front of the speaker, FIGS Figure 24 (c) is viewed from the top of the speaker it is.

さて、カメラ101が表示装置102の上部に設置されることから、カメラ101から話者や、壁104および柱103までの距離が位置によって大きく異なることになる。 Now, since the camera 101 is placed on top of the display device 102, the camera 101 and the speaker, the distance to the wall 104 and posts 103 is very different depending on the position. すなわち、カメラ101から柱103の上部までの距離Ltと比べて、カメラ101から柱103の下部までの距離Lbの長さがかなり長くなる。 That is, compared to the distance Lt from the camera 101 to the top of the pillars 103, the length of the distance Lb from the camera 101 to the bottom of the column 103 is considerably longer. カメラで撮影した画像は、被写体までの距離が遠いほど小さく撮影されることは良く知られている。 Image taken by the camera, the distance to the object is smaller captured farther are well known. 従って、このように設置されたカメラ101で撮影した画像は、図24(d)のようになる。 Accordingly, images captured by the camera 101 installed in this way is as shown in FIG. 24 (d). 図24(b)と図24(d)を比較すれば、図24(d)は画像の下部(つまり、カメラ101からの距離が遠い部分)は小さく撮影されるため、本来は垂直になるべき柱103が斜めに撮影され、見た目の違和感が大きいことがわかる。 In comparison Figure 24 (b) and FIG. 24 (d), the lower part of FIG. 24 (d) is an image (i.e., partial distances from the camera 101 is far) because is photographed smaller, originally it should be perpendicular pillar 103 is photographed at an angle, it can be seen that a large sense of incongruity in appearance.

このカメラ101の設置位置が話者の正面でないことに起因する歪みは、カメラ101と被写体(この場合は話者や、壁104、柱103)までの距離がわかれば、計算によって補正することが可能である。 Strain installation position of the camera 101 is caused by not a front of the speaker, a camera 101 and the object (in this case, and speaker, walls 104, pillars 103) Knowing the distance to, be corrected by calculation possible it is. 例えば、カメラ101と被写体の位置および向きが固定であれば、予め距離を測定して補正のための方法を計算することができる(特許文献1参照。)。 For example, if the camera 101 and the position and orientation of the object is fixed in advance the distance can be calculated a method for measuring and correcting the (see Patent Document 1.). 特許文献1で開示されているカメラは書画カメラであり、カメラ101と被写体(書画台)の距離やカメラ101の向きをセンサで測定し、測定した距離や向きに基づいて撮影した画像を画像信号処理で補正している。 Camera disclosed in Patent Document 1 is a document camera, the camera 101 and the object to measure the orientation of the distance and the camera 101 (document stage) by the sensor, the image signal an image photographed on the basis of the measured distance and orientation It is corrected in the process.
特許第3109580号公報 Patent No. 3109580 Publication

しかしながら、TV会議・TV電話においては、会議開始前に設置場所を移動したり、会議の参加人数や撮影範囲が頻繁に変わったり等のことがあり、カメラ101と被写体の距離やカメラ101の向きを測定することが困難である。 However, TV in the conference · TV phone, or to move the site before the conference started, there are things such as may change frequently is the number of participants and the shooting range of the meeting, the orientation of the camera 101 and the distance of the subject and the camera 101 it is difficult to measure. よって、上記の従来の手法を用いた画像の補正が簡単に行えないという課題がある。 Therefore, there is a problem that correction of the image using the conventional techniques described above are not easy.

また、カメラ101と被写体との距離やカメラ101の向きを測定し、測定した距離や向きに基づいて画像を補正するのではなく、撮影された画像そのものを解析して画像の歪みを検出し、検出された歪みを補正する方法も考えられている。 Furthermore, the orientation of the camera 101 and the distance between the object and the camera 101 is measured, instead of correcting the image based on the measured distance and the direction, to detect the distortion of the image by analyzing the captured image itself, method of correcting the detected strain is also considered. この方法によれば、カメラ101の設置場所や撮影角度などが頻繁に変更された場合でも、その影響を受けることなく画像の補正を行うことができるというメリットがある。 According to this method, even if for example the location and the shooting angle of the camera 101 is changed frequently, there is a merit that it is possible to correct the image without being affected.

しかし、この場合でも、撮影された画像を解析して画像の歪みを検出するために、少なくとも1ピクチャの遅延を生じる。 However, even in this case, in order to detect the distortion of the image by analyzing the captured image, resulting in delay of at least one picture. このため、少なくとも1ピクチャ分の画像データを保持しておくためのメモリが必要になるという問題がある。 Therefore, there is a problem that becomes necessary memory for holding the image data of at least one picture.

上記課題を解決するために、本発明は、撮影された画像から歪みを検出して補正する場合であっても、画像データを保持しておくためのメモリを節約することができる画像信号処理装置及び画像信号処理方法を提供することを目的とする。 In order to solve the above problems, the present invention, even when detecting and correcting distortion from the captured image, the image signal processing apparatus capable of saving the memory for holding the image data Another object of the invention is to provide an image signal processing method.

上記課題を解決するために、本発明の画像信号処理装置は、順次入力される複数のピクチャで構成される動画像の画像の歪みを補正する画像信号処理装置であって、歪み検出の対象となる歪み検出ピクチャ内で画像の垂直方向の線の歪みを検出する歪み検出手段と、前記歪み検出手段によって検出された垂直方向の線の歪みに相当する画像の水平方向へのずれを打ち消すように、前記歪み検出ピクチャより後に入力される補正対象ピクチャの画像を補正する補正手段とを備え、 前記歪み検出手段は、前記歪み検出ピクチャの少なくとも2つの水平方向のライン上に位置する画素同士であって、水平方向に同じずれ量を持つ相対的位置関係にある画素同士の画素値の相関を複数のずれ量に対して計算する垂直相関計算部を備え、前記補正手段は In order to solve the above problems, the image signal processing apparatus of the present invention, there is provided an image signal processing apparatus for correcting image distortion of a moving image composed of a plurality of pictures sequentially inputted, and the target distortion detection and strain detection means for detecting the distortion of vertical lines of the image distortion in the detection picture to be, so as to cancel the displacement in the horizontal direction of the image corresponding to the distortion of the detected vertical lines by said strain detecting means , and a correcting means for correcting the image of the correction target picture to be inputted later than the strain detecting picture, the distortion detection unit is a pixel each other located in at least two horizontal on line of the distortion detection picture Te, with a vertical correlation calculation unit for calculating a correlation of pixel values between pixels in the relative positional relationship with the same shift amount in the horizontal direction with respect to a plurality of shift amounts, the correction means 前記歪み検出ピクチャにおいて計算された前記相関で表される相関の度合いが最大となる水平方向への前記ずれ量だけ逆方向にずらすように補正対象ピクチャを補正することを特徴とする。 Wherein the degree of correlation represented by the calculated the correlation in the distortion detection picture correcting the correction target picture to shift only in the opposite direction the shift amount in the horizontal direction becomes maximum.

自然界、特に人工的な建造物では、完全な垂直および水平のものが多く垂直方向や水平方向の相関は大きいが、斜め方向の相関はそれほど多くない。 In nature, in particular artificial structures, complete although vertical and horizontal ones correlation many vertical and horizontal large, the correlation in the oblique direction is not so large. また、撮影した映像で最も歪みが目立つのは、垂直方向や水平方向の歪みである。 Also, most distortion is conspicuous in captured video, a distortion in the vertical direction and the horizontal direction. 従って、撮影した画像から相関の強さを計算し、その相関がほぼ垂直方向で大きくなっている場合は、本来それは完全な垂直方向で相関が最も大きくなっているべきと見なし、垂直方向の相関が大きくなるように水平方向に拡大縮小の画像変形を行う。 Therefore, to calculate the strength of the correlation from the captured image, if the correlation is larger in substantially vertical direction, originally regarded it as should correlation with perfect vertical direction is the largest, the vertical correlation performing image deformation scaling in the horizontal direction so increases. このようにすることで、実際のカメラ101と被写体の間の距離や、カメラ101の向きを用いずに画像変形を行い、見た目の違和感の少ない垂直方向に相関が強い画像を再構成できる。 By doing so, and the distance between the actual camera 101 and the object, subjected to image deformation without the orientation of the camera 101, can be reconstructed strong image correlation in fewer vertical discomfort in appearance.

更に、TV会議・TV電話においては、会議を開始した直後はカメラの設置位置や向きを変えることはほとんどない。 Furthermore, in the TV conference · TV phone, it is that there is little to change the installation position and orientation of the camera immediately after the start of the conference. そこで、歪みを補正する補正対象ピクチャで歪みを検出するのではなく、補正対象ピクチャより前に入力されたピクチャで予め歪みを検出しても、補正対象ピクチャとほぼ同じ歪みを検出することができる。 Therefore, instead of detecting the distortion correction target picture to correct the distortion, be detected in advance distortion input prior to the correction target picture picture, it is possible to detect the strain substantially the same as the correction target picture . そこで、計算量が多く、実時間計算が困難な歪み検出と、それを補正するための補正方法を予め計算しておき、補正対象ピクチャでは計算量が少ない画像変形処理のみ実時間で実施することで、短時間で遅延時間の少ない画像信号処理を行うことができる。 Therefore, the calculation amount is large, the real-time calculation is difficult strain detection, it is calculated in advance a correction method for correcting, the correction target picture is performed only calculation amount is small image deformation processing in real time in can be carried out with little image signal processing in a short time delay.

本来は垂直となっていると思われる部分が垂直となるように画像信号を変形することで、被写体正面から撮影できない場合でも撮影した画像の歪みを大きく低減し、TV会議・TV電話での違和感を小さくすることができる。 Originally by a portion that appears to be a vertical deformation of the image signal so as to be perpendicular, greatly reduce distortion of images taken even if no pictures can be taken from the subject front discomfort in TV conference · TV Telephone it can be reduced.

本発明では、撮影した画像の情報のみを用いて画像信号を変形するので、カメラと被写体の距離やカメラの向きを、予め測定したりセンサで取得したりする必要が無く、安価且つ容易に実現することができる。 In the present invention, since the deformation of the image signal by using only the information of the captured image, the camera and the distance and direction of the camera of the subject, there is no need or acquired by the sensor or measured in advance, inexpensive and easily implemented can do.

以下、本発明の実施の形態について、図1から図22を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to FIG. 22 from FIG.

(実施の形態1) (Embodiment 1)
図1は実施の形態1の画像信号処理装置3000の構成を示すブロック図である。 Figure 1 is a block diagram showing a configuration of an image signal processing apparatus 3000 according to the first embodiment. 本実施の形態の画像信号処理装置は、入力画像信号Vinで表されるピクチャの垂直方向の相関を計算し、計算された相関が最も高くなるようピクチャを変形して出力画像を生成する画像信号処理装置である。 Image signal processing apparatus of this embodiment, the input image signal a correlation in the vertical direction of the picture by calculation represented by Vin, the image signal calculated correlation to produce an output image by deforming the highest so as picture it is a processing apparatus. ただし、垂直方向の相関を計算した最初のピクチャは変形せず、そのまま出力し、次以降のピクチャを変形して出力画像を生成する。 However, the first picture of calculating correlation in the vertical direction without deformation, as it is output, and generates an output image by deforming the picture in the subsequent or later.

この画像信号処理装置3000は、歪検出部306と補正処理部300とを備える。 The image signal processing apparatus 3000 includes a a strain detection unit 306 and the correction processing unit 300.
歪検出部306は、順次入力される複数のピクチャで構成される動画像のうち、所定の画像信号(歪検出ピクチャ)を入力し、該ピクチャ(〔i〕番目のピクチャ)内の垂直方向の線の歪み信号D〔i〕(または垂直方向の歪みに相当する信号)を出力する。 Distortion detection section 306, of the moving image composed of a plurality of pictures which are sequentially inputted, and inputs a predetermined image signal (distortion detection picture), the picture ([i] th picture) in the vertical and it outputs the distortion signal D line [i] (or signal corresponding to the distortion in the vertical direction).

補正処理部300は、該i番目のピクチャの垂直方向の歪み信号を入力し、該ピクチャより後に入力される画像(補正対象ピクチャ:〔i+1〕番目以降のピクチャ)の水平方向のずれを打ち消すように補正する。 Correction processing unit 300 receives the distortion signal in the vertical direction of the i-th picture, image input after the said picture (corrected picture: [i + 1] -th picture) like to cancel the horizontal deviation It is corrected to.

図2は、図1に示した歪検出部306の構成を示すブロック図である。 Figure 2 is a block diagram showing the configuration of the distortion detection unit 306 shown in FIG. 図2に示すように、実施の形態1における歪検出部306は、分割部401及び相関計算部402を備える。 As shown in FIG. 2, the distortion detection unit 306 in the first embodiment includes a dividing unit 401 and a correlation calculator 402. 分割部401は、入力画像信号Vinで表される1画面(歪検出ピクチャ)のピクチャを分割し、画面をどのように分割したかを示す情報を出力する。 Dividing section 401 divides the picture of one screen represented by the input image signal Vin (distortion detection picture), and outputs the information indicating whether the split screen how the. 相関計算部402は、分割された画面ごとに垂直方向の画素値の相関関係を所定の単位毎(ライン毎、分割単位毎)に算出し、垂直方向の線の歪みを検出し出力する。 Correlation calculation section 402, divided every predetermined unit a correlation in the vertical direction of the pixel value for each screen (for each line, dividing each unit) was calculated, to detect distortion of vertical lines output.

図3は、図1に示した補正処理部300の構成を示すブロック部である。 Figure 3 is a block part showing a configuration of the correction processing unit 300 shown in FIG. 図3に示すように、実施の形態1における補正処理部300は、パラメータ検出部5303、パラメータ・メモリ5304、及び画像補正部5305を含み構成される。 As shown in FIG. 3, the correction processing unit 300 in the first embodiment is configured including a parameter detector 5303, parameter memory 5304, and an image correction unit 5305.

パラメータ検出部5303は、歪検出ピクチャ(i番目のピクチャ)に対して導出された歪検出部306の出力を入力し後述する画像単位(あるいは分割単位)の補正パラメータを導出する。 Parameter detection unit 5303 derives a correction parameter input will be described later image unit output of strain detection picture (i-th picture) distortion detection unit 306 derived for (or division unit). パラメータ・メモリ5304は導出された補正パラメータや初期値として有するパラメータ(以下これらを補正パラメータと呼ぶ)をピクチャ単位に保持する。 Parameter memory 5304 holds the parameters with the correction parameter and the initial value derived (hereinafter referred to these as correction parameters) in units of pictures. 画像補正部5305は、補正対象ピクチャ(〔i+1〕番目以降のピクチャ)について、前述の補正パラメータを用いて画像(あるいは分割単位)を補正する。 Image correction unit 5305, the correction target picture ([i + 1] -th picture), corrects the image (or division unit) using the correction parameters described above.

図4は図3に示した補正処理部300の詳細な構成を示すブロック図である。 Figure 4 is a block diagram showing the detailed structure of the correction processing unit 300 shown in FIG. 同図に示すように、補正処理部300は、パラメータ検出部5303、パラメータ・メモリ5304、画像補正部5305、スイッチ310及びスイッチ311を備える。 As shown in the figure, the correction processing unit 300 includes parameter detection section 5303, parameter memory 5304, the image correction unit 5305, the switch 310 and the switch 311. パラメータ検出部5303は、図2に示した相関計算部402で算出された歪みを補正するためのパラメータを検出する。 Parameter detection unit 5303 detects a parameter for correcting the distortion which is calculated by the correlation calculating unit 402 shown in FIG. パラメータ検出部5303は、検出したパラメータをスイッチ311で接続された方のパラメータ・メモリ5304に格納する。 Parameter detection unit 5303 stores the detected parameter to the parameter memory 5304 of those who are connected by the switch 311. パラメータ・メモリ5304は、格納されたパラメータを保持する。 Parameter memory 5304 holds the stored parameters. パラメータ・メモリ5304は、スイッチ310により画像補正部5305に接続されたとき、格納していたパラメータを画像補正部5305に出力する。 Parameter memory 5304, when connected to the image correction unit 5305 by the switch 310, and outputs a parameter that has been stored in the image correction unit 5305. 画像補正部5305は、パラメータ・メモリ5304から入力されたパラメータを入力画像に適用して垂直方向の線の歪みを補正する。 Image correction unit 5305 corrects the distortion of the vertical lines by applying the parameter input from the parameter memory 5304 to the input image.

なお、パラメータ・メモリ5304は、パラメータ・メモリ1とパラメータ・メモリ2からなる2つのパラメータ・メモリで構成され、パラメータ・メモリ1とパラメータ・メモリ2とは、それぞれスイッチ311及びスイッチ310を介して切り替えられる。 The parameter memory 5304 is composed of two parameter memory consisting parameter memory 1 and parameter memory 2, the parameter memory 1 and parameter memory 2, respectively, via the switch 311 and the switch 310 switch It is. スイッチ310及びスイッチ311は、パラメータ検出部5303からの制御信号に従って切り替えられる。 Switch 310 and the switch 311 are switched in accordance with control signals from the parameter detector 5303. 例えば、最初の入力画像(ピクチャ)についてパラメータ検出部5303によってパラメータが検出される場合、スイッチ311はパラメータ検出部5303とパラメータ・メモリ1とを接続する。 For example, if the parameter by the parameter detecting unit 5303 for the first input image (picture) is detected, the switch 311 connects the and parameter memory 1 parameter detection section 5303. これによりパラメータ検出部5303により検出されたパラメータは、パラメータ・メモリ1に蓄積される。 This parameter detected by the parameter detecting unit 5303 by is stored in the parameter memory 1. この間、パラメータ・メモリ5304と画像補正部5305とを接続するスイッチ310は、制御信号によりパラメータ・メモリ2と画像補正部5305とを接続するよう制御される。 During this time, switch 310 for connecting the parameter memory 5304 and the image correction unit 5305 is controlled so as to connect the parameter memory 2 and the image correcting unit 5305 by the control signal. パラメータ・メモリ2には、画像を変形しないパラメータが格納されている。 The parameter memory 2, the parameter that does not deform the image is stored. この結果、パラメータの検出が行われる最初の入力画像は、パラメータ・メモリ1内に蓄積されたパラメータが適用されることなく、画像補正部5305からそのまま出力画像として出力される。 As a result, the first input image parameters of the detection is performed without the parameters stored in the parameter memory 1 is applied, is output as is as an output image from the image correction unit 5305.

また、次のパラメータ検出処理が開始されると、スイッチ310はパラメータ・メモリ1と画像補正部5305とを接続するよう切り替えられる。 Also, the next parameter detection process is started, the switch 310 is switched to connect the parameter memory 1 and the image correcting section 5305. これにより、パラメータ・メモリ1に蓄積されているパラメータが画像補正部5305に読み出され、画像補正部5305に入力されている現在の入力画像に適用される。 Thus, the parameters stored in the parameter memory 1 is read to the image correction unit 5305 is applied to the current input image is input to the image correction unit 5305. これにより、画像補正部5305において、入力画像に含まれる垂直方向の線の歪が補正され、出力される。 Thus, in the image correction unit 5305, a distortion of the vertical lines in the input image is corrected and output. 一方、スイッチ311は、パラメータ検出部5303とパラメータ・メモリ2とを接続するように切り替えられる。 On the other hand, the switch 311 is switched to connect the the parameter memory 2 parameter detection section 5303. これにより、現在パラメータ検出部5303に入力されている歪信号から検出されたパラメータがパラメータ・メモリ2に蓄積される。 Thus, parameter detected from the distortion signal which is input to the current parameter detection unit 5303 is stored in the parameter memory 2.

さらに、次のパラメータ検出処理が行われるときにスイッチ310を切り替えて、パラメータ・メモリ2と画像補正部5305とを接続し、パラメータ・メモリ2に蓄積されているパラメータを適用して歪の補正を行う。 Furthermore, by switching the switch 310 when the next parameter detection process is performed to connect the parameter memory 2 and the image correction unit 5305, the correction of distortion by applying the parameters stored in the parameter memory 2 do.

なお、パラメータの検出が実時間で行える場合は、検出されたパラメータを次のピクチャに適用して、ピクチャごとに順次、直前のピクチャで得られたパラメータで補正を行なうことが好ましいが、本発明はこれに限定されず、パラメータの検出の計算量が多い場合には入力されたピクチャから検出されたパラメータを適用して、それ以後の全ての入力画像(ピクチャ)の補正を行うとしてもよい。 Note that if the parameters of the detection can be performed in real time, by applying the detected parameters to the next picture, successively for each picture, it is preferable to perform the correction with the parameters obtained in the immediately preceding picture, the present invention is not limited to this, if the calculated amount of the detection parameter is large, applying the detected from the input picture parameter may be do it subsequent correction of all the input images (pictures). また、最初に入力されたピクチャから検出されたパラメータを最後まで使い続ける必要もなく、あらかじめ定めた枚数のピクチャごとにパラメータを検出し、パラメータが検出されたピクチャから後のピクチャに対し、検出されたパラメータを適用して垂直方向の線の歪みを補正するようにしてもよい。 Moreover, there is no need to continue to use the parameters detected from the first input picture to the end, with respect to the picture after the detection of the parameters for each picture number of sheets predetermined parameter is detected picture is detected it may be corrected distortion of vertical lines of the parameters applied.

図5は本実施の形態においてパラメータを検出する対象となる画面と、検出されたパラメータを用いて変形の対象となる画面との関係を説明する図である。 Figure 5 is a diagram illustrating the screen to be subjected to detection of parameters in the present embodiment, the relationship between the subject to the screen of the deformation using the detected parameters. 動画像信号は複数の時間的に連続する画像で構成されており、連続する画像の相関は非常に大きい。 Moving image signal is composed of a plurality of temporally successive images, the correlation of the image is very large continuous. TV会議・TV電話でカメラ101の位置や向き、被写体の位置が連続する画像の中で変わることは殆ど無い。 Position and orientation of the camera 101 at the TV conference · TV phone, it is almost no change in the image the position of the subject is continuous. そこで、現在カメラ101で撮影した画像である“変形対象画像”でなく、より早い時刻の画像を“パラメータ検出対象画像”として使用して画像変形パラメータを検出し、検出した画像変形パラメータを、“変形対象画像”に適用するのが、実施の形態1の考え方である。 Therefore, a is not "modified target image" image taken with the current camera 101, used as an image of the earlier time "parameter detection target image" detects an image transformation parameter, the image deformation sensed parameter, " to apply to the modified target image "is a concept of the first embodiment.

図2に示した歪検出部306において、分割部401は入力画像(ピクチャ)を分割単位に分割し、相関計算部402で相関値を計算する。 In the distortion detection unit 306 shown in FIG. 2, the dividing unit 401 divides the input image (picture) in the division unit, to calculate a correlation value in the correlation calculation unit 402. パラメータ検出部5303は、相関計算部402で計算した相関値から、垂直相関が大きくなるような画像変形パラメータを検出し、パラメータ・メモリ5304に一時的に格納する。 Parameter detection unit 5303, from the correlation values ​​calculated by the correlation calculation unit 402, detects an image deformation parameters such as the vertical correlation is large, temporarily stored in the parameter memory 5304. 画像補正部5305は、パラメータ・メモリ5304から読み出した画像変形パラメータに基づいて、入力画像信号Vinに画像変形を施し、垂直相関が大きい出力画像信号Voutとして出力する。 Image correction unit 5305 based on the image transformation parameters read from the parameter memory 5304, subjected to image deformation in the input image signal Vin, and outputs it as the output image signal Vout vertical correlation is large.

尚、図4において、パラメータ検出部5303は、歪検出部306の相関計算部402からの出力信号を入力するとして説明したが、パラメータ検出部が直接入力画像信号Vinを入力し相関計算部と同様の処理をすることとしてもよい。 In FIG. 4, the parameter detector 5303 has been described as inputs the output signal from the correlation calculation unit 402 of the distortion detection unit 306, similar to the correlation calculating unit parameter detection unit inputs the direct input image signal Vin it may be the process.

この場合、パラメータ検出部5303は、「歪み検出の対象となる歪み検出ピクチャ内で画像の垂直方向の線の歪みを検出する歪み検出手段」及び「特定のピクチャにおいて歪みを検出する前記歪み検出手段」に相当し、画像補正部5305は、「前記歪み検出手段によって検出された垂直方向の線の歪みに相当する画像の水平方向へのずれを打ち消すように、前記ピクチャより後に入力される補正対象ピクチャの画像を補正する補正手段」及び「前記歪み検出手段で検出しないピクチャに対して、当該ピクチャより前に検出した垂直方向の線の歪みに基づいて前記補正対象ピクチャを補正する前記補正手段」に相当することとなり、この場合分割部401は必須の構成ではない。 In this case, the parameter detection unit 5303, the strain detection means for detecting the distortion in and "specified picture" distortion detection means for detecting the distortion of vertical lines of the image distortion in the detection picture to be distortion detection " corresponds to ", the image correction unit 5305, so as to cancel the" shift in the horizontal direction of the image corresponding to the distortion of the distortion detecting means is detected by the vertical lines, corrected input later than the picture for the picture that is not detected by the correction means "and" the skew detecting means for correcting the image of the picture, the correcting means for correcting the correction target picture based on the distortion of the detected vertical lines before the picture " It will be equivalent to, in this case splitting unit 401 is not an essential component.

図6は、実施の形態1の画像信号処理装置の歪み補正処理における動作の一例を示すフローチャートである。 Figure 6 is a flowchart showing an example of the operation in the distortion correction processing of an image signal processing apparatus of the first embodiment. まず、画像信号処理装置は、カメラ101で撮影された入力画像信号Vinを取得する(S601)。 First, the image signal processing apparatus acquires an input image signal Vin by the camera 101 (S601). 次いで、画像信号処理装置は、処理すべき入力画像信号Vinがあるか否か、すなわち処理対象画像で未処理のものがあるかどうかを判断し(S602)、なければ終了する。 Then, the image signal processing apparatus, whether or not there is the input image signal Vin to be processed, that is, whether there is any unprocessed in the processing target image (S602), and ends if no. 処理すべき入力画像信号Vinがあれば、さらに、入力された画像が最初のピクチャ又は補正しないピクチャか否かを判断する(S603)。 If the input image signal Vin to be processed further to determine the picture whether or not the input image is not the first picture or correction (S603). ステップ603での判断の結果、入力された画像が最初のピクチャ又は補正しないピクチャであれば、入力された入力画像信号Vinをそのまま出力する(S604)。 If it is determined in step 603, the inputted image is if the first picture or corrected without pictures, it outputs the input image signal Vin input (S604). ステップ603での判断の結果、入力された画像が最初のピクチャ又は補正しないピクチャのいずれでもなければ、画像補正部5305は、パラメータ検出部5303によってすでに検出され、パラメータ・メモリ5304に保持されているパラメータに基づいて入力画像を補正し、出力する。 If it is determined in step 603, if either the input image is the first picture or corrected no-picture, the image correction unit 5305 has already been detected by the parameter detecting unit 5303, stored in the parameter memory 5304 correcting the input image based on the parameter, and outputs. 次いで、パラメータ検出部5303は入力画像の垂直方向の線の歪みを検出し(S606)、歪み補正のためのパラメータを検出してパラメータ・メモリ5304に格納する(S607)。 Then, the parameter detection unit 5303 detects the distortion of vertical lines of the input image (S606), and detects a parameter for distortion correction stored in the parameter memory 5304 (S607). この後、画像信号処理装置は、ステップ601の処理に戻り、処理すべき入力画像がなくなるまで、ステップ601からステップ607の処理を繰り返す。 Thereafter, the image signal processing apparatus, the process returns to step 601, to the input image to be processed is eliminated and repeats the processing of step 607 from step 601.

図7は、図3に示した補正処理部300の他の例である補正処理部700の詳細な構成を示すブロック図である。 Figure 7 is a block diagram showing the detailed structure of the correction processing unit 700 is another example of the correction processing unit 300 shown in FIG. 実施の形態1の画像処理信号装置では、何枚ものピクチャを同じパラメータを用いて補正した場合、背景画像はほぼ静止しているものの、入力画像信号Vinが動画像であるために、補正が実際の画面の歪みより過度に行われたり、補正の度合いが足りなかったりする可能性がある。 In the image processing signal apparatus of the first embodiment, when corrected by using the same parameters pictures for many sheets, although the background image is substantially stationary, in order input image signal Vin is a moving image, the correction is actually or is excessively done than the distortion of the screen, the degree of correction is likely to be or not enough. そのため、実施の形態1の他の例である画像処理信号装置は、補正処理部700を備える。 Therefore, the image processing signal device which is another example of the first embodiment includes a correction processing unit 700. 補正処理部700は、何枚かのピクチャ(例えば、ピクチャ1、2、3)の補正パラメータを検出して、それぞれパラメータ・メモリに蓄積しておき、何枚目か後のピクチャ(例えば、ピクチャ4)に対して補正を行なうときには、それまでに蓄積したパラメータの平均値(すなわち、ピクチャ1、2、3のそれぞれの補正パラメータの平均値)などの時間的に平滑化された補正値を用いて補正を行なう構成である。 Correction processing unit 700, several sheets of pictures (e.g., picture 1, 2, 3) by detecting a correction parameter of each previously accumulated in the parameter memory, picture after several sheet (e.g., picture when performing correction with respect to 4), the average value of the accumulated parameter so far (i.e., using the respective average values) temporally smoothed corrected values ​​such as correction parameters of the picture 1,2,3 a Te is corrected configuration. ここで、パラメータ検出部703は「複数の特定のピクチャにおいて歪みを検出する前記歪み検出手段」に相当し、画像補正部705は「前記歪み検出手段で歪が検出されないピクチャに対して、当該ピクチャより前に検出された前記ずれ量を平均することによって補正量を時間的に平滑化して前記補正対象ピクチャを補正する前記補正手段」に相当する。 Here, the parameter detection unit 703 corresponds to "the distortion detection means for detecting a distortion in a plurality of specified picture", for the picture distortion is not detected by the image correcting unit 705 "the distortion detection unit, the picture It corresponds to the correction means "to correct the correction target picture temporally smoothing the correction amount by averaging the deviation amount detected earlier.

補正処理部700は、パラメータ検出部703、パラメータ・メモリ704、画像補正部705、スイッチ710及びスイッチ711を備える。 Correction processing unit 700 includes parameter detection section 703, parameter memory 704, the image correction unit 705, a switch 710 and a switch 711. パラメータ・メモリ704は、例えば、N(Nは自然数)個のパラメータ・メモリ1、パラメータ・メモリ2、・・・、パラメータ・メモリNを備える。 Parameter memory 704 includes, for example, N (N is a natural number) number of parameter memory 1, parameter memory 2, ..., a parameter memory N. パラメータ検出部703は、入力画像のピクチャごとに画像変形パラメータを検出して、スイッチ711を切り替え、検出した画像変形パラメータをそれぞれパラメータ・メモリ1、パラメータ・メモリ2、・・・、パラメータ・メモリNに順次、格納する。 Parameter detection unit 703 detects an image transformation parameter for each picture of the input image, switching the switch 711, respectively parameter memory 1 detected image transformation parameters, the parameter memory 2, ..., parameter memory N sequentially, and stores it in. この場合、パラメータ検出部703はピクチャ1枚ずつにつき画像変形パラメータを検出する必要はなく、ピクチャの所定枚数ごとであってもよい。 In this case, the parameter detection unit 703 is not necessary to detect the image transformation parameter per one by one picture, or may be every predetermined number of pictures. 例えば、最初のピクチャのパラメータをパラメータ・メモリ1に格納し、2番目のピクチャをパラメータ・メモリ1に格納されているパラメータを用いて補正したとする。 For example, to store the parameters of the first picture in the parameter memory 1, and was corrected by using the second parameters stored picture in the parameter memory 1. その後、2番目のピクチャで検出したパラメータをパラメータ・メモリ2に格納し、順次、N個のパラメータ・メモリに格納する。 Then, store the parameters detected by the second picture in the parameter memory 2, sequentially, and stored in the N parameter memory. 例えば、それまで、最初のピクチャで検出したパラメータを用いて補正を行なっていたとすると、(N+1)番目のピクチャを補正するときには、パラメータ検出部703は切り替え信号により、スイッチ710を順次、画像補正部705に接続して、パラメータ・メモリ1〜パラメータ・メモリNに格納されているパラメータを画像補正部705に読み出させる。 For example, so far, when to have been subjected to correction using the parameter detected by the first picture, when correcting the (N + 1) th picture, the parameter detecting unit 703 by the switching signal, the switch 710 sequentially, the image correction unit connect to 705 to read out the parameters stored in the parameter memory 1 parameter memory N to the image correction unit 705. 画像補正部705では、パラメータ・メモリ1〜パラメータ・メモリNから読み出したN個のパラメータの平均値などを算出し、算出したパラメータを用いて(N+1)番目のピクチャの垂直方向の線の歪みを補正する。 The image correction unit 705 calculates the average value of the N parameters read from the parameter memory 1 parameter memory N, using the calculated parameters the distortion of vertical lines of the (N + 1) th picture to correct. これにより、少しずつ変化していた画像に対して、補正の度合いが急に大きく変化することなく、画面の動きに応じてより適切な量だけ歪みの補正が行なえるという効果がある。 Thus, the image which has been changed little by little, without the degree of correction changes abruptly increases, more appropriate amount only distortion correction in accordance with the movement of the screen there is an effect that performed.

本実施の形態では、最初のピクチャでは画像変形パラメータを検出するだけで画像変形処理を行わない。 In this embodiment, in the first picture no image deformation processing by simply detecting the image deformation parameters. 従って、画像変形パラメータは古い時刻の画像で計算されるため、入力画像信号Vinを一時的にメモリ等に保持しておく必要がなく画像変形処理が行える。 Thus, since image transformation parameters calculated by the image of the old time, it performs temporarily the image deformation processing without the need to retain in memory such as the input image signal Vin. 従って、最初のピクチャについて、入力画像信号Vinが入力されてから出力画像信号Voutが出力されるまでが短時間になり、低遅延を実現できる長所がある。 Thus, for the first picture, it in a short time from input of the input image signal Vin to the output image signal Vout is output, there is an advantage that can realize low delay. 更に、本実施の形態1では、最初のピクチャを保持しておく必要がないので、画像変形処理のために画面メモリを備える必要がない。 Furthermore, in the first embodiment, since there is no need to hold the first picture, it is not necessary to provide a screen memory for image transformation processing. 従って、たとえ画像変形パラメータを格納するためのパラメータ・メモリ5304を備える必要があるとしてもパラメータ・メモリ5304の容量は、画像(1フレーム又は1フィールドのピクチャ)を格納する画面メモリの容量よりも少ないので、メモリ容量を節約できるという長所がある。 Therefore, even if the capacity of even the parameter memory 5304 as it is necessary to provide a parameter memory 5304 for storing the image deformation parameter less than the capacity of the screen memory for storing an image (one frame or one field of the picture) since, there is an advantage that it can save memory capacity.

図8は、入力画像信号Vinの垂直方向の相関を計算するための分割部401による画面の分割例を示す図である。 Figure 8 is a diagram showing an example of division of the screen by dividing section 401 for calculating the correlation in the vertical direction of the input image signal Vin. 図8(a)は、相関を計算する画面の例を示している。 FIG. 8 (a) shows an example of a screen for calculating the correlation. 図8(b)は、図8(a)に示した画面を分割単位に分割する例を示している。 FIG. 8 (b) shows an example of dividing a screen shown in FIG. 8 (a) to the division unit. 同図では画面を水平方向に2分割し、垂直方向に8分割しているが、同図は一例であり、水平方向に2分割以上にしたり、垂直分割数を8分割以上にしたりすることも可能である。 Divided into two screens in the figure in the horizontal direction, although 8 divided in the vertical direction, the figure is an example, or in two or more divisions in the horizontal direction, also or the vertical division number 8 divided over possible it is. 理想的には、垂直方向はライン毎に分割することが望ましい。 Ideally, the vertical it is desirable to divide each line. ここでは、分割した単位を、L0〜L7、R0〜R7とする。 In this case, the divided unit, L0~L7, and R0~R7.

相関計算部402は分割した単位ごとに、水平方向のライン上の画素値を水平方向に1画素ずつずらしつつ、それぞれのずれ量に対する垂直方向の画素値の相関値を計算する。 The correlation calculation unit 402 for each unit divided, while shifting by one pixel the pixel values ​​on a horizontal line in the horizontal direction, calculating the correlation value in the vertical direction of the pixel values ​​for each of the shift amounts. 相関値を計算する水平方向の幅は、数画素とする。 The horizontal width of calculating the correlation value, the number of pixels. 具体的には、分割した単位であるL0〜L7、R0〜R7のそれぞれについて、上下方向に隣接するライン間で、ライン上に配置される画素の値の垂直方向の相関値を計算する。 Specifically, a divided unit L0 to L7, for each of R0 to R7, among lines adjacent in the vertical direction, calculating the correlation value in the vertical direction of the values ​​of pixels arranged on a line.

図9は画面分割単位L0〜L7、R0〜R7のそれぞれについて、上下方向に隣接するライン間で、ライン上に配置される画素の値の垂直方向の相関値を計算した場合の相関の例を示すグラフである。 Figure 9 is a screen division unit L0 to L7, for each of R0 to R7, among lines adjacent in the vertical direction, an example of a correlation in the case of calculating the correlation value in the vertical direction of the values ​​of pixels arranged on a line it is a graph showing. 相関値CorDは、対象となるラインを水平方向に移動し、真上のライン上の画素との相関を計算した値である。 Correlation value CorD moves the targeted line in the horizontal direction, it is calculated values ​​of correlation between the pixels on the right above the line. 相関値CorA〜CorCは対象となるラインの画素をそれぞれ左方向に3〜1画素、相関値CorE〜CorGはそれぞれ右方向に1〜3画素ずらし、垂直方向の相関を計算したものである。 Correlation value CorA~CorC the shifting 1-3 pixels pixels of the target line 3-1 pixels in the left direction, respectively, each correlation value CorE~CorG right, is obtained by calculating the correlation in the vertical direction. ここでは、例えば、分割単位L0〜L7、R0〜R7のそれぞれについて、隣接する2ラインの組の垂直相関を上から順に計算する。 Here, for example, division unit L0 to L7, for each R0 to R7, calculated from the top of a set of vertical correlation of the two adjacent lines in order. そして、この2ラインの組を1行ずつ下にずらしながら、分割単位内のすべての2ラインの組の垂直相関を計算する。 Then, while shifting the set of two lines in the lower row by row, to calculate a set of vertical correlation of all two lines in the division unit. さらに、例えば、分割単位内のすべての隣接2ラインの組について垂直相関値を計算し、それらの和を当該分割単位の垂直相関とする。 Furthermore, for example, to calculate the vertical correlation values ​​for all the adjacent two lines set in the divided units, and their sum and vertical correlation of the division unit. この例では、分割単位L0〜L7は左に1画素ずらした相関値CorCが最も大きく、分割単位R0〜R7は右に1画素ずらした相関値CorEが最も大きい。 In this example, the division unit L0~L7 is the largest correlation value CorC shifted 1 pixel to the left, the division unit R0~R7 is the largest correlation value CorE shifted 1 pixel to the right. これは、分割単位L0〜L7が垂直な状態から右にずれており、分割単位R0〜R7が垂直な状態から左にずれていることを示す。 This is offset from the division unit L0~L7 vertical state to the right, indicating that the division unit R0~R7 is shifted to the left from the vertical state.

さて、右方向を正の値、左方向を負の値として、分割単位L0〜L7を右にXL画素、分割単位R0〜R7を右にXR画素だけずらした位置の相関が最も大きくなるとする。 Now, a positive value for rightward, leftward as a negative value, XL pixel division unit L0~L7 right, a correlation position shifted by XR pixel is most increased the division unit R0~R7 right. また、分割単位L0〜L7および分割単位R0〜R7の水平画素数をWとすれば、当該行の画素位置X(行の左端の画素位置を0とすると、Xは0以上2W未満となる)の画素を (XR−XL)(X−W/2)/W+XL Further, if the number of horizontal pixels of the division unit L0~L7 and division unit R0~R7 is W, the pixel position X in the row (if the leftmost pixel position in row and 0, X is less than 0 or more 2W) the pixel (XR-XL) (X-W / 2) / W + XL
だけ右にずらすような画像補正を行うことで、垂直方向に相関が強い画像に修正することができる。 By performing the image correction that shifts to the right by, it can be correlated in the vertical direction is corrected to a strong image. すなわち、上記の式により、分割単位L0〜L7ではX=W/2の位置でXL画素、分割単位R0〜R7ではX=3W/2の位置でXR画素ずらす補正を行い、それ以外の位置ではX=W/2からのX方向の距離に応じて、ずれ量を比例配分して補正を行う。 That is, by the above formula, XL pixel at the position of the division unit L0~L7 the X = W / 2, shifts XR pixel at the position of the division unit R0~R7 the X = 3W / 2 corrects, with the other positions depending on the X-direction distance from X = W / 2, the correction is performed by prorating the amount of deviation.

一例を挙げると、上記の例のように、分割単位L0〜L7は左に1画素(つまり、XLが−1)、分割単位R0〜R7は右に1画素(つまり、XRが1)とすれば、 By way of example, as in the above example, division unit L0~L7 one pixel to the left (i.e., XL -1), the division unit R0~R7 one pixel to the right (i.e., XR 1) and if,
(1−(−1))(X−W/2)/W−(1)=2X/W−2 (1 - (- 1)) (X-W / 2) / W- (1) = 2X / W-2
だけの画素数分、右にずらすことで、垂直方向のずれがなくなることになる。 The number of pixels minutes, by shifting to the right, so that the vertical displacement is eliminated. なお、XLは分割単位L0〜L7のそれぞれで垂直相関が大きくなる位置の平均値、XRは分割単位R0〜R7のそれぞれで垂直相関が大きくなる位置の平均値、とするのが簡単であるが、必ずしも平均値を計算する必要は無く、最頻値(モード)や中央値(メディアン)などを用いてもよい。 Incidentally, XL is an average of the position where the vertical correlation is large in each of the divided units L0 to L7, XR is an average of the position where the vertical correlation is large in each of the divided units R0 to R7, and although it is easy to , you need not necessarily calculate the average value, or the like may be used a mode (mode) or median (median). また、画素位置Xの画素を計算されたずれ量だけ移動する補正は、整数画素数分だけ画素位置をずらすだけでなく、動き検出や動き補償の場合と同様に画素間フィルタなどを用いて画素補間を行うことによって小数画素分のずれ量だけ移動することもできる。 The correction is not only shifted by the pixel position number of integer pixel, the pixel by using a inter pixel filter as in the case of motion detection and motion compensation to move shifted amount calculated pixel of the pixel position X by performing the interpolation can also be moved by the offset amount of decimal pixels.

パラメータ検出部5303は相関計算部402によって計算された垂直相関値CorA〜CorGから、このように各画素を補正するための移動量(パラメータ)であるずれ量XR、XLを計算する。 Parameter detection unit 5303 from the calculated vertical correlation value CorA~CorG by the correlation calculating section 402, thus deviation amount XR is the movement amount for correcting each pixel (parameter), to calculate the XL. 画像補正部5305ではパラメータ検出部5303で計算した移動量(パラメータ) XR、XLに基づいて、画像補正を行い、出力画像信号Voutを出力する。 Movement amount calculated by the image correction unit 5305 the parameter detection section 5303 (parameter) XR, based on XL, performs image correction, and outputs an output image signal Vout.

ここで、相関計算部402は、「歪み検出ピクチャの少なくとも2つの水平方向のライン上に位置する画素同士であって、水平方向に同じずれ量を持つ相対的位置関係にある画素同士の画素値の相関を複数のずれ量に対して計算する垂直相関計算部」に相当し、画像補正部5305は、「前記歪み検出ピクチャにおいて計算された前記相関で表される相関の度合いが最大となる水平方向への前記ずれ量だけ逆方向にずらすように補正対象ピクチャを補正する前記補正手段」に相当する。 Here, the correlation calculation unit 402, "a pixel each other located on at least two horizontal distortion detection picture lines, pixel value between pixels on the relative positional relationship with the same shift amount in the horizontal direction a correlation corresponds to the vertical correlation calculation unit "calculated for a plurality of shift amounts, the image correction unit 5305, the horizontal as the" degree of correlation represented by the calculated the correlation in the distortion detection picture up It corresponds to the correction means "to correct the correction target picture to shift only in the opposite direction the displacement amount in the direction.

図10は、本発明の画像信号処理装置の補正によって得られる画像の一例を示す図である。 Figure 10 is a diagram showing one example of an image obtained by correction of the image signal processing apparatus of the present invention. 以上のようにして、図24のように垂直であるべきものが歪んで撮影されてしまった画像が、本発明の画像信号処理装置で変形されることによって図10の画像のように補正される。 As described above, the image had been captured which should be ones distorted vertically as in FIG. 24 is corrected as the image in FIG. 10 by being deformed by the image signal processing apparatus of the present invention . なお、この処理は補正された結果のラインを真上のラインとして逐次処理を行うことで、画面全体の補正が行える。 This process by performing the sequential processing line results corrected as just above the line, can be performed on the entire screen correction.

次に行単位でなく、画面単位で補正する方法について説明する。 Then instead of row, it describes a method of correcting in screen units. 図11は、XY座標を用いて画面単位で画像の歪みを補正する方法の一例を示す図である。 Figure 11 is a diagram showing an example of a method of correcting image distortion in screen units with XY coordinates. 図11(a)は補正の対象となる入力画像信号Vinを示し、図11(b)は補正後の補正画像を示している。 11 (a) shows an input image signal Vin to be corrected, FIG. 11 (b) shows the corrected image after the correction. 同図に示すように、1画面の幅を2Wとし、画面の左上隅を(X,Y)=(0,0)として、補正前の上下の隣接する行のずれXLが画面内で一定であるとすると、Y行目のXLであるXL(Y)は垂直座標に比例すると仮定できるので下記のように表現できる。 As shown in the figure, the width of one screen and 2W, the upper left corner of the screen (X, Y) = a (0, 0), displacement XL of the upper and lower adjacent rows before correction is constant in the screen When there is a XL of Y row XL (Y) can be expressed as follows since it can be assumed to be proportional to the vertical coordinate.

XL(Y) = a・Y+b XL (Y) = a · Y + b

よって、Y+1行目のXLであるXL(Y+1)を用いると下記のようにaとbを検出することができる。 Therefore, the use of Y + 1 line of an XL XL (Y + 1) can detect a and b as follows.

a = XL(Y+1)−XL(Y) a = XL (Y + 1) -XL (Y)
b = XL(Y)−Y{XL(Y+1)−XL(Y)} b = XL (Y) -Y {XL (Y + 1) -XL (Y)}

このaとbをYが偶数の行について計算し、画面単位でaとbの平均値a_ave、b_aveを計算すれば、 The a and b Y are calculated for the even row, the average value of a and b in screen units A_ave, by calculating the B_ave,
XL(Y) = a_ave・Y+b_ave XL (Y) = a_ave · Y + b_ave
によってY行目のXLが検出できる。 XL can be detected in the Y row by.

Y行目のXRについても同様である。 The same applies to the Y-th row of the XR.

c = XR(Y+1)−XR(Y) c = XR (Y + 1) -XR (Y)
d = XR(Y)−Y{XR(Y+1)−XR(Y)} d = XR (Y) -Y {XR (Y + 1) -XR (Y)}
XR(Y) = c_ave・Y+d_ave XR (Y) = c_ave · Y + d_ave

これを用いると、補正後の座標位置(x,y)に対応する補正前の画素位置X,Yは、下記の位置で取得できる。 With this, the coordinate position after correction (x, y) corresponding to pre-correction pixel position X, Y may be obtained at the following positions.

図12は、画面単位で画像を補正する場合の計算手順の一例を示すフローチャートである。 Figure 12 is a flowchart illustrating an example of a calculation procedure for correcting the image in screen units. 上記の計算方法では、相関計算部402は、例えば、偶数行を挟む上下3ラインで、上2つのライン同士と下2つのライン同士とで相関値CorA〜CorGを計算しておき(S102)、パラメータ検出部5303は上2つのライン同士のずれ量と、下2つのライン同士のずれ量とから垂直方向の相関が大きい位置を計算する(S103)。 In the above calculation method, the correlation calculation section 402, for example, in three vertical lines sandwiching the even-numbered rows, advance to calculate the correlation value CorA~CorG in the upper two lines between the lower two lines together (S102), parameter detection unit 5303 calculates the shift amount between the top two lines, the position correlation is larger in the vertical direction and a displacement amount of the lower two lines together (S103). 相関計算部402とパラメータ検出部5303とは、上記のステップS103とステップS102との処理を、偶数行単位で繰り返すことにより(S101)、画面の上から順次、各偶数行について偶数行を挟む上下3ラインで上2つと下2つのライン同士の相関値CorA〜CorGを計算する。 Vertically and the correlation calculation section 402 and the parameter detection section 5303, the processing of step S103 and step S102 described above, by repeating an even row (S101), sandwiching sequentially, the even rows of each even row from the top of the screen calculating the correlation values ​​CorA~CorG between the upper two and the lower two lines in three lines. そして、計算により得られた相関値CorA〜CorGから、垂直方向の直線の方程式XL(Y)=a・Y+bとXR(Y)=c・Y+dとを計算し、その直線の方程式の係数の平均値a_ave、b_ave、c_ave、d_aveを算出する(S104)。 Then, from the correlation value CorA~CorG obtained by calculation, to calculate a vertical direction of the linear equation XL (Y) = a · Y + b and XR (Y) = c · Y + d, the average of the coefficients of the equation of the line value a_ave, b_ave, c_ave, calculates the d_ave (S104). これによって、1画面における垂直方向の直線の方程式XL(Y)=a_ave・Y+b_aveおよびXR(Y)=c_ave・Y+d_aveを得ることができるので、得られた方程式から、画像補正部5305は、その直線の角度を垂直にするよう画面内の画像を補正する。 Thereby, it is possible to obtain a 1 equations vertical lines in the screen XL (Y) = a_ave · Y + b_ave and XR (Y) = c_ave · Y + d_ave, from the resulting equation, the image correction unit 5305, the straight line the angle of the corrected image in the screen to the vertical. 具体的には、画像補正部5305は、式Aを用いて補正前の画素位置(X,Y)から補正後の画素位置(x,y)の画素値を算出する(S107)。 Specifically, the image correction unit 5305 calculates the pixel values ​​of the pixel positions after the correction from the pixel position before correction using the equation A (X, Y) (x, y) (S107). 画像補正部5305は、ステップS107での処理を、補正後の各行につき(S105)、1画素ずつ(S106)繰り返して行うことによって、1画面の画像を補正する。 Image correction unit 5305, the processing in step S107, each line of the corrected per (S105), by performing by one pixel (S106) repeatedly, to correct the image of one screen.

図13は、図1に示した相関計算部402の構成の一例を示すブロック図である。 Figure 13 is a block diagram showing an example of the configuration of the correlation calculation unit 402 shown in FIG. 入力された画像信号は画素遅延器PelDelayB〜PelDelayGで1画素遅延され、行遅延器LineDelayでは1ラインと3画素遅延される。 Input image signal is delayed by one pixel in the pixel delay units PelDelayB~PelDelayG, is 3 pixel delay and line delay device LineDelay in one line. 従って、行遅延器LineDelayの出力と、画素遅延器PelDelayDの出力が1ライン分ずれていることになる。 Therefore, the output of the line delay unit LineDelay, the output of the pixel delay units PelDelayD is that shifted one line. 同様に、行遅延器LineDelayの出力と、画素遅延器PelDelayEの出力が1ライン−1画素、つまり1ラインと左に1画素分ずれていることになる。 Similarly, so that the output of the line delay unit LineDelay, the output of the pixel delay units PelDelayE are shifted one pixel one line -1 pixel, that is, 1 line and left. 行遅延器LineDelayの出力は、入力された画像信号および画素遅延器PelDelayB〜PelDelayGの出力と乗算器MulA〜MulGで乗算される。 Output line delayer LineDelay is multiplied by the output multiplier MulA~MulG image signal and pixel delay unit PelDelayB~PelDelayG entered. 乗算器MulA〜MulGで乗算された値は、それぞれ積算器SumA〜SumGで分割単位分の累積加算が行われ、相関値CorA〜CorGとなる。 Multipliers multiplying the values ​​in MulA~MulG the cumulative addition of the division unit of the respective integrators SumA~SumG is performed, the correlation value CorA~CorG. すなわち、相関値CorA〜CorGは、各分割単位内の1ライン目と2ライン目との相関値、2ライン目と3ライン目との相関値、3ライン目と4ライン目との相関値、・・・、(H−2)ライン目と(H−1)ライン目との相関値の和で表される。 That is, the correlation value CorA~CorG the correlation value between the first and second lines in each division unit, the second line and 3 the correlation value between the line, the third line and the correlation value with the fourth line, ..., it is expressed by the sum of the correlation value between the (H-2) th line and (H-1) th line.

ここで、相関計算部402は、「前記水平方向のライン間で、前記各ライン上に位置する画素同士の画素値の積和を、前記ずれ量ごとに計算する垂直相関計算部」に相当する。 Here, the correlation calculation unit 402, "between the horizontal line, the sum of products of pixel values ​​between pixels located on each line, vertical correlation calculation unit for calculating for each of the displacement amount" corresponds to .

なお、図13に示した相関計算部402のように、隣接する2ライン上の画素値を乗算器MulA〜MulGで乗算する代わりに、計算がより簡単な差分絶対値器AbsDifA〜AbsDifGで差分絶対値を計算するようにしてもよい。 As in the correlation calculation unit 402 shown in FIG. 13, instead of multiplying the pixel values ​​on two adjacent lines in the multiplier MulA~MulG, calculated absolute difference in simpler difference absolute value unit AbsDifA~AbsDifG it may be calculated values. 図14は、図13に示した乗算器MulA〜MulGの代わりに、差分絶対値器AbsDifA〜AbsDifGを用いた相関計算部402の構成例を示すブロック図である。 14, instead of the multiplier MulA~MulG shown in FIG. 13 is a block diagram showing a configuration example of a correlation calculation unit 402 using the difference absolute value unit AbsDifA~AbsDifG. 図13に示した構成と同様に、各画素遅延器PelDelayB〜PelDelayGは入力画像信号Vinを1画素遅延し、行遅延器LineDelayは入力画像信号Vinを1ラインと3画素遅延する。 Like the configuration shown in FIG. 13, the pixel delay units PelDelayB~PelDelayG is delayed by one pixel the input image signal Vin, the line delay unit LineDelay is 1 line and 3 pixels delays the input image signal Vin. 差分絶対値器AbsDifA〜AbsDifGは入力画像信号Vin及び画素遅延器PelDelayB〜PelDelayGの出力と、行遅延器LineDelayの出力との差分の絶対値を出力する。 Absolute difference unit AbsDifA~AbsDifG outputs the output of the input image signal Vin and the pixel delay units PelDelayB~PelDelayG, the absolute value of the difference between the output of the line delay unit LineDelay. 積算器SumA〜SumGは分割単位分の差分の絶対値を累積加算する。 Integrator SumA~SumG is accumulatively adds the absolute value of the difference between the division unit min. 但し、この場合には相関値CorA〜CorGが小さいほど相関が大きくなるので、相関値CorA〜CorGが大きいほど相関が大きくなる図13の場合と逆になる。 However, since the correlation smaller the correlation value CorA~CorG in this case becomes large, and when the reverse of Figure 13 as the correlation increases larger correlation value CorA~CorG. 本明細書では、以下、相関値CorA〜CorGが大きいほど相関が大きくなる図13の場合で説明するので、図14の本発明の相関計算のブロック図の場合は、相関の大小の解釈が逆になることを注意されたい。 In this specification, hereinafter, so a description will be given of a case of Figure 13 the correlation larger the correlation value CorA~CorG increase is block diagram of a correlation calculation of the present invention in FIG. 14, opposite the interpretation of correlation magnitude Note the made thing.

ここで、相関計算部402は、「前記水平方向のライン間で、前記各ライン上に位置する画素同士の画素値の差分の絶対値の和を、前記ずれ量ごとに計算する前記垂直相関計算部」に相当する。 Here, the correlation calculation unit 402, "between the horizontal line, the sum of the absolute values ​​of differences between pixel values ​​between the pixels located on each line, the vertical correlation calculation to calculate for each of the shift amount corresponding to the part (s) ".

図13および図14では、検出するずれの個数に比例して演算量が増加するが、ライン単位でのずれはわずかのため、検出するずれの個数はそれほど多く必要としない。 13 and 14, but the amount of computation in proportion to the number of shift to be detected increases, because only the shift of a line basis, the number of deviations to be detected is not so much required. 更に、カメラの設置位置の問題によって垂直相関がずれている場合には、垂直位置からのずれが極端に大きくないと考えられるため、相関計算部402で計算が必要とされる相関値の範囲(水平画素のずれ範囲)が小さいことも加味すると、検出するずれの個数を十分小さくして相関計算部402の計算量を削減しても、画像補正に必要な精度は十分と考えられる。 Further, if the offset is vertical correlation by the camera of the installation position problem, because the deviation from the vertical position is considered not extremely large, the range of correlation values ​​required to calculate the correlation calculation section 402 ( When consideration also shift the range of the horizontal pixels) is small, even by reducing the amount of calculation of the deviation of the number of sufficiently small to correlation calculation unit 402 which detects the accuracy required for image correction is considered sufficient.

図15は、画像に含まれる直線の各種のパターンの例を示す図である。 Figure 15 is a diagram showing an example of a linear various patterns included in the image. 図15(a)は完全に垂直なパターン、図15(b)〜図15(e)は垂直に近いパターンである。 FIG. 15 (a) perfectly vertical pattern, FIG. 15 (b) ~ Figure 15 (e) is a nearly vertical pattern. この、図15(a)〜図15(e)の範囲が、相関値Corで相関を計算可能なパターンである。 This range of FIG. 15 (a) ~ FIG 15 (e) is a computable pattern correlation by the correlation value Cor. 一方、図15(f)〜図15(j)の水平に近いパターンや、図15(k)〜図15(p)の垂直および水平のいずれとも異なるパターンの場合には、相関値Corで相関のピークを検出できない。 On the other hand, and the pattern close to horizontal in FIG. 15 (f) ~ Figure 15 (j), in the case of different from any pattern vertical and horizontal in FIG. 15 (k) ~ Figure 15 (p) is the correlation in the correlation value Cor of it can not be detected peak. このピークが検出できない場合には、最大となる相関値Corが小さくなる。 If this peak is not detected, the correlation value Cor having a maximum decreases. 従って、ピークとなる相関値Corが小さい場合には、その相関値Corを画像補正に使用しないようにすることで、本来垂直の相関が含まれないパターンを画像補正の計算から排除し、画像補正の精度を向上できる。 Therefore, when the correlation value Cor as the peak is small, that to avoid using the correlation value Cor to the image correction to eliminate a pattern originally contains no correlation in the vertical from the calculation of the image correction, image correction it is possible to improve the accuracy.

図16は本発明の画像信号処理装置における画像信号処理方法の手順を示すフローチャートである。 Figure 16 is a flow chart showing the procedure of an image signal processing method in the image signal processing apparatus of the present invention. 相関計算部402は、分割領域(所定範囲)内で相関値を計算し(S11)、計算した相関値にピーク値があるかどうかを判定する(S12)。 Correlation calculation section 402, divided areas to calculate the correlation value (predetermined range) in (S11), determines the calculated correlation values ​​whether a peak value (S12). ピーク値があれば、ピーク位置の中心位置からのずれを計算する(S13)。 If the peak value, calculating the deviation from the central position of the peak position (S13). この相関値計算と、ピーク位置の中心位置からのずれの計算を、画像内の全分割領域で実施する。 The correlation value calculation, the calculation of the deviation from the center position of the peak positions is performed in all of the divided regions in the image. 画像内の全分割領域で上記処理を実施した後、ピーク値を左右の分割領域の中心にするための画像変形パラメータを計算する(S14)。 After performing the above processing on all divided areas in the image, it calculates the image deformation parameters for the peak value at the center of the left and right divided area (S14). 計算した画像変形パラメータを用いて全画像に変形を行い(S15)、垂直の相関が強くなるように補正された変形画像が得られる。 Using the calculated image transformation parameters subjected to variations in all images (S15), is corrected deformed image as correlation in the vertical becomes stronger obtained.

なお、上記実施の形態では、相関計算部402が上下に隣接するライン間の垂直方向の相関値CorA〜CorGを計算し、計算された相関値CorA〜CorGのピークから補正すべき画像のずれ量を計算した。 In the above embodiment, the deviation amount of the image correlation values ​​CorA~CorG calculated in the vertical direction to be corrected from the peak of the computed correlation value CorA~CorG between lines the correlation calculating unit 402 vertically adjacent It was calculated. しかし、本発明はこれに限定されず、他の方法によって画像のずれを計算するとしてもよい。 However, the present invention is not limited thereto, it may be to calculate the deviation of the image in other ways. 例えば、従来のエッジ検出の手法を用いて垂直方向の線を検出し、その傾きを補正するとしてもよい。 For example, to detect the vertical lines using techniques conventional edge detection may be to correct the inclination. エッジ検出には、例えば、3行3列の画素値に、以下の係数を乗算して各列方向および各行方向に積和を算出するフィルタを用いる。 The edge detection, for example, the pixel values ​​of three rows and three columns, a filter by which to multiply the following coefficient product sum in each column and row directions. 図17は、垂直エッジ検出のための演算に用いられる画素フィルタの簡単な一例を示す図である。 Figure 17 is a diagram showing a simple example of a pixel filter used in the calculation for the vertical edge detection. 同図に示す○の中の数字は、対応する位置にある画素の画素値に乗算する係数を示している。 The numbers in ○ shown in the figure shows the coefficients to be multiplied by the pixel values ​​of the pixels at the corresponding positions. 具体的には、1列目の画素について、(1,1)の位置にある画素では画素値に(−1)を乗算する。 Specifically, the pixels of the first column is multiplied by (-1) to the pixel value in the pixel at position (1,1). (1,2)の位置にある画素では画素値に(+2)を乗算する。 In the pixel at the position (1, 2) multiplying the pixel value (+2). さらに、(1,3)の位置にある画素では画素値に(−1)を乗算する。 Furthermore, multiplied by (-1) to the pixel value in the pixel at position (1,3). これらの乗算結果を加算すると、それぞれの画素値が同じであれば、0になる。 When adding these multiplication results, if each pixel value is the same, it becomes zero. 2行目の画素、3行目の画素についても同様である。 Second row of pixels is the same for the pixels in the third row. 列方向については、どの行についても、すべての画素値が0でない限り、何らかの値を持つことになる。 The column direction, for any line, as long as all of the pixel value is not 0, would have some value. すなわち、垂直方向に同じ画素値(輝度)の線がある場合、このフィルタを用いると、列方向の積和は行ごとに異なる値を持つが、線に垂直な水平方向の積和は0になる。 That is, if there is a line of the same pixel value in the vertical direction (luminance), the use of this filter, although the column direction of the product-sum has a different value for each row, sum of products of perpendicular horizontal line 0 Become. この演算をピクチャ内のすべての画素に適用することにより、垂直方向の線を検出することができる。 By applying this operation to all pixels in a picture, it is possible to detect the vertical lines. また、このようなフィルタを、角度を変えて適用することによって、様々な角度の線を検出することができる。 Further, such a filter, by applying different angles, it is possible to detect the various angles of the line. これにより、垂直方向に対して一定範囲内の角度をなす線を検出して、その傾きを垂直に補正することにより、所望の画像を得ることができる。 Thus, by detecting a line forming an angle within a predetermined range with respect to the vertical direction, by correcting the inclination vertically, it is possible to obtain a desired image.

また、上記実施の形態では、ピクチャごとに相関値CorA〜CorGを計算し、画像を補正したが、本発明はこれに限定されず、一定間隔のピクチャごとに相関値CorA〜CorGを計算し、その計算結果に基づいて、それに続くピクチャの画像を補正するとしてもよい。 In the above embodiment, a correlation value CorA~CorG calculated for each picture has been corrected images, the present invention is not limited to this, the correlation value CorA~CorG calculated for each picture at regular intervals, based on the calculation result may be to correct the image of the picture that follows. 例えば、5分ないし10分おきに相関値CorA〜CorGを計算し、ずれ量を算出するとしてもよいし、本画像信号処理装置が起動される都度、ずれ量を算出するとしてもよい。 For example, 5 minutes to a correlation value CorA~CorG calculated every 10 minutes, it may be to calculate the shift amount, each time the image signal processing apparatus is started, may calculate the amount of deviation.

さらに、上記実施の形態では、1つのピクチャで検出されたパラメータを使って1つのピクチャの入力画像信号Vinに画像変形を施すとして説明したが、必ずしも一対一の関係でなくてもよい。 Furthermore, in the above embodiment has been described as performing image deformation in the input image signal Vin of one picture using the parameter detected in one picture, it is not necessarily one-to-one relationship. 例えば、過去の1つのピクチャで算出されたずれ量を、後に続く複数のピクチャに比例配分し、複数の画像を補正するとしてもよい。 For example, it may be the shift amounts calculated in the past one picture, proportionally allocated to a plurality of pictures that follow, to correct a plurality of images. 比例配分は、ずれ量が検出されたピクチャから変形対象となるピクチャまでの時間的距離に応じて、重み付けの係数を乗算することにより行う。 Proportioning is carried out by the shift amount in accordance with the temporal distance to the picture to be modified target from the detected picture is multiplied by a weight coefficient. このようにすることによって、パラメータが検出されたピクチャから徐々に変形が加えられ、ユーザに違和感を与えることなく、垂直であるべき直線が垂直に補正された画像が表示されるというメリットがある。 By this arrangement, parameter gradually deformed is applied from the detected picture, without discomfort to the user, there is a merit that the image is perpendicular to the straight line is corrected vertically is displayed. また、逆に、複数のピクチャでパラメータを検出しておき、それらの平均値を用いて、後のピクチャの垂直方向の線の歪みを補正するとしてもよい。 Conversely, leave detecting a parameter of a plurality of pictures, with their average value, the distortion of the vertical lines of the picture after may be corrected. このようにすることによって、カメラの前を人が横切ったりして起こる一時的な変化(ノイズ)の影響を低減して、より精度よく画像の歪みを補正することができるという効果がある。 By doing so, it becomes possible to reduce the effect of temporary changes that occur in front of the camera or across human (noise), there is an effect that it is possible to correct the distortion more accurately image.

また、上記実施の形態では、隣接するライン同士で相関値CorA〜CorGを計算したが、必ずしも隣接するライン同士で相関値CorA〜CorGを計算する必要はなく、例えば、1行おき、3行おきなどのように飛び飛びのライン同士で相関値CorA〜CorGを計算するとしてもよい。 Further, in the above embodiment, to calculate the correlation value CorA~CorG in adjacent lines to each other, it is not always necessary to calculate the correlation value CorA~CorG in adjacent lines to each other, for example, every other row, three rows every it may calculate the correlation value CorA~CorG in line with each other discrete, such as.

(実施の形態2) (Embodiment 2)
図18は本発明の実施の形態2の画像信号処理装置4000の構成を示すブロック図である。 Figure 18 is a block diagram showing a configuration of an image signal processing apparatus 4000 of Embodiment 2 of the present invention. 実施の形態2の画像信号処理装置4000は、入力画像信号Vinの垂直方向の相関を計算し、計算された相関が最も高くなるよう入力画像信号Vinを変形して出力画像を生成する点は実施の形態1の画像信号処理装置3000と同じである。 Image signal processing device 4000 of the second embodiment calculates the correlation in the vertical direction of the input image signal Vin, by modifying the calculated correlation is highest so as the input image signal Vin that generates an output image carried is the same as the image signal processing apparatus 3000 of embodiment 1. しかし、表示対象となるi番目の1画面分の入力画像信号Vin〔i〕を画像メモリ内に保持しておき、保持している入力画像信号Vin〔i〕から画像変形パラメータを計算するとともに、保持しているその入力画像信号Vin〔i〕に対しても画像変形パラメータを適用して垂直方向の線の歪みが補正された出力画像を出力する装置である。 However, may be held input image signal Vin of the i-th one screen to be displayed a [i] in the image memory, as well as calculating the image transformation parameters from the input image signal Vin held [i], is the held device distortion of vertical lines is applied to an output image corrected image deformation parameter also its the input image signal Vin [i]. この画像信号処理装置4000は、画面メモリ307、補正処理部300及び歪検出部306を備える。 The image signal processing device 4000 includes a screen memory 307, the correction processing unit 300 and the distortion detection unit 306. 画面メモリ307は、画像データを画面(ピクチャ)単位で保持するメモリで、例えば、i番目のピクチャである入力画像信号Vin〔i〕はそのピクチャの画像変形のための処理パラメータが検出される間、memに一時的に格納される。 During screen memory 307, the image data in memory that holds the screen (picture) units, for example, the input image signal Vin is the i-th picture [i] the process parameters for the image deformation of the picture is detected and temporarily stored in mem. i番目のピクチャである入力画像信号Vin〔i〕に対して、画像変形のための処理パラメータが検出されると、memに格納されていた入力画像信号Vin〔i〕が補正処理部300に入力される。 For i-th a picture input image signal Vin [i] input, the process parameters for the image deformation is detected, the input image signal Vin [i] correction processing section 300 that has been stored in mem It is. 補正処理部300では、検出された画像変形のための処理パラメータを適用して垂直方向の線の歪みを補正し、i番目のピクチャである入力画像信号Vin〔i〕の出力画像信号Vout〔i〕を出力する。 In the correction processing unit 300 corrects the distortion of the vertical lines by applying processing parameters for the detected image deformation, the output image signal Vout of the input image signal Vin is the i-th picture [i] [i ] to output.

(実施の形態3) (Embodiment 3)
図19は本発明の実施の形態3の画像信号処理装置の構成を示すブロック図である。 Figure 19 is a block diagram showing a configuration of an image signal processing device of Embodiment 3 of the present invention. 実施の形態3の画像信号処理装置は、外部装置として図示しない入力部を備え、ユーザが外部の入力部から入力するユーザ指定パラメータUserによって、相関値を計算する範囲、画像変形の度合いや画像変形の有無を切り替えられるようにしたことが、実施の形態1にない実施の形態3の特徴である。 Image signal processing apparatus of the third embodiment comprises an input unit (not shown) as an external device, the user specified parameters User that the user enters from the outside of the input unit, a range for calculating the correlation values, the degree of image deformation and image deformation it has to switch whether a is a feature of the third embodiment is not in the first embodiment. この画像信号処理装置は、歪検出部1910及び補正処理部1911及びスイッチ1903を備える。 The image signal processing apparatus is provided with a strain detection unit 1910 and the correction processing unit 1911 and a switch 1903. 歪検出部1910は、分割部401、相関計算部1901を備え、補正処理部1911は、パラメータ・メモリ5304、パラメータ検出部1902及び画像補正部1904を備える。 Distortion detection section 1910, the dividing unit 401 includes a correlation calculation unit 1901, the correction processing unit 1911 is provided with a parameter memory 5304, the parameter detection unit 1902 and the image correction unit 1904.

分割部401は入力画像信号Vinを分割単位に分割し、相関計算部1901で相関値を計算する。 Dividing unit 401 divides the input image signal Vin to the division unit, to calculate a correlation value in the correlation calculation unit 1901. 相関計算部1901にはユーザ指定パラメータUserが入力されている。 It is input by the user specified parameters User The correlation calculator 1901. このユーザ指定パラメータUserは、例えば、入力画像信号Vinに対し、相関値を計算する範囲を指定するためのパラメータのセットである。 The user-specified parameter User may, for example, the input image signal Vin, a set of parameters for specifying a range of calculating the correlation value. 例えば、TV会議・TV電話などで、背景に垂直の柱などがある場合に、ユーザがユーザ指定パラメータUserでこの部分を指示し、この柱を含む分割単位でのみ相関値を計算することで、計算処理が大幅に削減でき、更にこの柱の部分以外の影響を受けないので柱の部分の垂直相関を高め、柱を垂直とする精度が向上する。 For example, TV etc. conference · TV phone, if there is such pillars perpendicular to the background, the user instructs the part a user-specified parameter User, by calculating the correlation values ​​only in division units containing this column, calculation processing can be greatly reduced, further enhancing the vertical correlation of the portion of the pillar does not influenced by the other part of the pillar, thereby improving the accuracy of the pillars and vertical. ここで、相関計算部1901は、「ユーザインタフェースを介して、画像の垂直方向の線の歪みを検出すべきピクチャ内の領域の指定をユーザから受け付け、受け付けられた領域内で、前記垂直方向の線の歪みを検出する前記歪み検出手段」に相当する。 Here, the correlation calculation unit 1901, via the "user interface, receives designation of a region within a picture to be detected distortion of vertical lines of the image from the user, in the accepted area, the vertical corresponding to the distortion detector "for detecting the distortion of the line.

また、パラメータ検出部1902は、垂直相関が大きいと思われる領域が垂直となるような画像変形パラメータを検出し、パラメータ・メモリ5304に格納する。 The parameter detection unit 1902, a region where the vertical correlation seems high detects an image deformation parameter such that the vertical and stored in the parameter memory 5304. パラメータ検出部1902には外部からのユーザ指定パラメータUserが入力されている。 The parameter detection unit 1902 is input the user specifies parameters User from outside. 本来垂直であるものを元の通りの垂直に補正することは正しい補正であるが、垂直相関が大きい領域を完全に垂直に変形するのではなく、やや弱めの(すなわち、少し垂直に近い状態に近づける)変形を行った方が、画像変形による副作用を抑えることができる。 While it is correct correction for correcting vertically street based on inherently is vertical, rather than perfectly perpendicular deformed regions vertical correlation is large, somewhat weaker (i.e., a state close a little vertically close) those who carried out the deformation, it is possible to suppress the side effects of image deformation. 画像変形による副作用とは、本来は垂直でない領域を誤って垂直に変形する処理である。 The side effects image transformation is a process of deforming vertically incorrectly region originally not vertical. そこで、外部からのユーザ指定パラメータUserにより、画像変形の度合いを弱める指示を行う。 Therefore, the user specified parameters User from outside, an instruction to weaken the degree of image deformation. 又はユーザ指定パラメータUserにより指示されたピクチャもしくは期間では画像変形を行わないとするような指示を行なう。 Or an instruction such as not to perform the image deformation in picture or period indicated by the user-specified parameter User. これにより、パラメータ検出部1902は、ユーザ指定パラメータUserの指示により適合した画像変形パラメータを検出し、パラメータ・メモリ5304に格納したパラメータを修正できるようにしておけば効果的である。 Thus, the parameter detection unit 1902 detects the image deformation parameters adapted in accordance with a user instruction specifying parameter User, it is effective if allowed to be correct the parameters stored in the parameter memory 5304. なお、この処理は、パラメータ検出部1902で行う場合に限らず、パラメータ検出部1902は通常と同様のパラメータをパラメータ・メモリ5304に格納するだけでよく、その代わりスイッチ1903または画像補正部1904で行うこととしてもよい。 This process is not limited to the case performed by the parameter detecting unit 1902, the parameter detection unit 1902 need only store the usual same parameters as in the parameter memory 5304, carried out in its place the switch 1903 or the image correction unit 1904 it is also possible.

画像補正部1904は、パラメータ・メモリ5304から読み出した画像変形パラメータに基づいて、入力画像信号Vinに画像変形を施し、垂直相関が大きくなるように変形された出力画像信号Voutとして出力する。 Image correction unit 1904 based on the image transformation parameters read from the parameter memory 5304, subjected to image deformation in the input image signal Vin, and outputs a modified output image signal Vout as vertical correlation is large. ただし、画像補正部1904は、ユーザ指定パラメータUserによってユーザから指定される画像変形の度合いに応じて、画像変形パラメータXR、XLにあらかじめ定めた係数を乗算して変形の度合いを調整する。 However, the image correction unit 1904, according to the degree of image deformation is designated by the user by user-specified parameters User, it adjusts the image transformation parameter XR, the degree of deformation by multiplying a predetermined coefficient to XL. なお、この処理を上記のパラメータ検出部1902で行う場合には、画像補正部1904はユーザ指定パラメータUserを無視する。 In the case of performing the process in the parameter detection unit 1902 of the above, the image correction unit 1904 ignores the user-specified parameter User. ここで、画像補正部1904は、「ユーザインタフェースを介して、補正の度合いの指定をユーザから受け付け、受け付けられた前記補正の度合いに対応して、前記歪み検出手段によって検出された前記画像の水平方向へのずれ量を調整し、調整された前記ずれ量だけ逆方向にずらすように補正対象ピクチャを補正する前記補正手段」に相当する。 Here, the image correction unit 1904, via the "user interface, receiving a designation of degree of correction from the user, in response to the degree of the accepted the correction, horizontal said detected image by the distortion detecting means adjust the amount of deviation in the direction, which corresponds to the correction means "to correct the correction target picture to shift only in the reverse direction adjusted the amount of deviation.

スイッチ1903は、外部からのユーザ指定パラメータUserによって、画像を変形したくない場合は変形する前の画像(すなわち、入力画像信号Vin)をそのまま出力する。 Switch 1903, the user specifies parameters User from outside, if you do not want to transform the image the image prior to deformation (i.e., the input image signal Vin) is output as it is the. ここで、スイッチ1903は、「ユーザインタフェースを介して、補正しない期間の指定をユーザから受け付け、受け付けられた前記期間は、前記補正対象ピクチャに対応する入力ピクチャをそのまま出力する前記補正手段」に相当する。 Here, the switch 1903, "through the user interface, receiving the designation of the no compensation period from the user, the period has been accepted, the said correction means the input picture is output as the correction corresponding to the current picture" corresponds to to. 変形したくない場合とは、変形の有無による効果をユーザが確認する場合や、本来は垂直でない線が補正で垂直に補正されてしまう場合である。 And if you do not want to deformation, the effect of the presence or absence of deformation and when the user confirmation is when originally not perpendicular line from being corrected vertically corrected.

なお、ユーザ指定パラメータUserによって、相関値計算の範囲、画像変形の度合いや有無を切り替える例を示したが、これらの全てを切り替える必要は無く、一部のみをユーザが切り替えられるようにしても良い。 Note that the user specified parameters User, the range of the correlation value calculation, the example of switching the degree or presence of image deformation, it is not necessary to switch all of these may be a part only as the user is switched .

更に、相関値計算や画像変形パラメータの検出に必要な計算量を更に削減するために、動画像信号の必ずしも全ての画像に対し、相関値計算や画像変形パラメータの検出を実施しなくてもよい。 Furthermore, in order to further reduce the amount of computation required to detect the correlation value calculation and the image transformation parameters, to not all of the image of the moving image signal, it is not necessary to implement the detection of the correlation value calculation and image deformation parameters . 例えば、数画像毎に1回処理を実施するようにしたり、また外部からユーザが指示したタイミングで、相関値計算や画像変形パラメータの検出を実施したりするようにしても良い。 For example, so as to implement one process every several images, also at the timing designated by the user from the outside, may be or performing the detection of the correlation value calculation and the image transformation parameters.

(実施の形態4) (Embodiment 4)
図20は本実施の形態4の画像符号化装置の構成を示すブロック図である。 Figure 20 is a block diagram showing the configuration of an image encoding device of the fourth embodiment. 同図において、破線で囲まれた部分は、図1に示した本発明の画像信号処理装置3000の構成と同じである。 In the figure, a portion surrounded by a broken line is the same as the configuration of the image signal processing device 3000 of the present invention shown in FIG. 画像符号化部2001は画像補正部5305で変形した画像を符号化し、画像符号化ストリームStrとして出力する。 Image encoding unit 2001 encodes the image deformed by the image correction unit 5305, and outputs as an image encoded stream Str.

本実施の形態4のTV会議・TV電話システムでは、カメラ101で撮影した画像を符号化し、相手に送信する。 In this embodiment 4 of the TV conference · TV telephone system, an image photographed by the camera 101 and encoded and sent to the other party. 図1に構成を示した画像信号処理装置により、カメラ101で撮影した画像を、垂直の相関値が大きくなるように画像変形を実施してから画像符号化部2001で符号化する。 The image signal processing apparatus showing the configuration in FIG. 1, the image taken by the camera 101 is encoded by the image encoding section 2001 after carrying out the image transformation as a correlation value in the vertical increases. 従って、相手側(受信側)では、画像符号化ストリームStrを受信して復号化するだけで、本来垂直であるべき物体が傾きを持つことなく正しく垂直に補正された画像を表示できる。 Therefore, the other party (receiving side), only receiving and decoding the image coding stream Str, the object should originally vertical can be displayed correctly vertically corrected image without having an inclination. ここで、画像符号化部2001は「前記補正手段によって補正された補正後ピクチャを符号化して、符号列を出力する符号化手段」に相当する。 Here, the image coding unit 2001 corresponds to the "encodes the corrected corrected picture by said correcting means, encoding means for outputting a code string".

(実施の形態5) (Embodiment 5)
図21は実施の形態5の画像復号装置の構成を示すブロック図である。 Figure 21 is a block diagram showing a configuration of an image decoding apparatus of the fifth embodiment. 同図において、破線で囲まれた部分は、図1の構成と同じである。 In the figure, a portion surrounded by a broken line is the same as that of FIG. 画像復号部2111は画像符号化ストリームStrを復号し、図1の画像信号処理装置によりライン上の画素間の垂直の相関値が大きくなるように画像変形を実施してから、表示装置102の表示用に出力画像信号Voutを出力する。 The image decoding unit 2111 decodes the picture coded stream Str, after carrying out the image transformation as a correlation value in the vertical increases between the pixels on the line by the image signal processing apparatus of FIG. 1, the display of the display device 102 and it outputs an output image signal Vout to use.

TV会議・TV電話システムの送信側で、カメラ101で撮影した画像をそのまま符号化した画像符号化ストリームStrを送信された場合には、受信側で画像符号化ストリームStrを受信して復号化するだけでは、本来は垂直であるべき物体がそのように表示されない。 The transmission side of the TV conference · TV telephone system, when the images taken with the camera 101 is transmitted as it is encoded image coded stream Str is decoded by receiving image coded stream Str at the receiving side alone, originally an object to a vertical does not appear as such. そこで、画像復号部2111で復号した画像を、図1の画像信号処理装置の処理で画像変形パラメータを検出して、画像を変形する。 Therefore, an image decoded by the image decoding unit 2111 detects the image deformation parameters in the processing of the image signal processing apparatus of FIG. 1, for deforming the image. これにより、本来は垂直であるべき物体が正しく垂直になるように画像変形されるので、カメラ101で撮影した画像に対して画像変形を実施しないで符号化した画像符号化ストリームStrでも、正しく垂直に補正されて表示できるようになる。 Thus, the originally an object should be vertically are image deformation so as to correct the vertical, even the image coded stream Str obtained by coding without carrying out the image transformation for images captured with the camera 101, correctly vertical is corrected will be able to display in. ここで、画像復号部2111は、「入力される符号列を復号化する復号化手段」に相当し、相関計算部402およびパラメータ検出部5303は、「前記復号化手段で復号化されることによって得られた動画像について、歪み検出の対象となる歪み検出ピクチャ内で画像の垂直方向の線の歪みを検出する前記歪み検出手段」に相当し、画像補正部5305は、「前記歪み検出手段によって検出された垂直方向の線の歪みを、前記補正対象ピクチャを対象として補正する前記補正手段」に相当する。 Here, the image decoding unit 2111 is equivalent to "decoding means for decoding the code sequence input", the correlation calculating unit 402 and the parameter detection unit 5303, by being decrypted with "the decoding means the obtained moving image, and corresponds to the strain detector "for detecting the distortion of vertical lines in the image in the distortion detection picture to be distortion detection, the image correction unit 5305, by" the strain detecting means the distortion of the detected vertical lines, corresponding to the correction means "for correcting the target the correction target picture.

なお、上記実施の形態では、TV会議やTV電話のカメラを対象とし、動画像に含まれる垂直方向の線について傾きを補正すると説明したが、本発明はこれに限定されない。 In the above embodiment, directed to the TV conference and TV phone camera, have been described to correct the inclination in the vertical direction of the line contained in the moving image, the present invention is not limited thereto. 例えば、行と列との処理を入れ替えることによって、上記実施の形態と同じ方法を用いて、水平方向の線の傾きを補正することも可能である。 For example, by replacing the processing of rows and columns, using the same method as the above-described embodiment, it is possible to correct the inclination of the horizontal lines.

また、実施の形態2記載の本発明によれば、歪み検出の対象となるピクチャと補正対象となるピクチャとが同じ場合であっても上記の補正を施すことができる。 Further, according to the present invention of the second embodiment described, also a picture as a picture to be strain detection and correction target even if the same can be subjected to the above correction. 従って、動画像に限らず、静止画についても同様にして垂直方向の画像の歪みを補正することができる。 Therefore, not only the moving image, it is possible to correct the distortion in the vertical direction of the image in the same manner for a still image.

(実施の形態6) (Embodiment 6)
さらに、上記各実施の形態で示した画像信号処理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。 Furthermore, a program for realizing the image signal processing method shown in the above embodiments, by to record on a recording medium such as a flexible disk, the processing shown in the above embodiments, independent it is possible to easily implemented in a computer system.

図22は、上記各実施の形態の画像信号処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。 Figure 22 is an image signal processing method of the above embodiments, by using a program recorded in a recording medium such as a flexible disk, an explanatory diagram in the case of implementing by a computer system.

図22(b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図22(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。 22 (b) is the front view of a flexible disk, its structure at cross section and shows a flexible disk, FIG. 22 (a) shows an example of a physical format of the flexible disk as a recording medium body. フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。 A flexible disk FD is contained in a case F, on the surface of the disc, from the periphery concentrically toward the inner periphery is formed with a plurality of tracks Tr, each track is divided into 16 sectors Se in the angular direction ing. 従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムが記録されている。 Therefore, in the flexible disk storing the above program in an area assigned for it on the flexible disk FD, the program is recorded.

また、図22(c)は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。 Further, FIG. 22 (c) shows the structure for recording and reproducing the program on the flexible disk FD. 画像信号処理方法を実現する上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムを、フレキシブルディスクドライブFDDを介して書き込む。 When recording the program for realizing the image signal processing method on the flexible disk FD, the program from the computer system Cs, written via a flexible disk drive FDD. また、フレキシブルディスク内のプログラムにより画像信号処理方法を実現する上記画像信号処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブFDDによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。 Also, when building the image signal processing method for realizing the image signal processing method by the program on the flexible disk in the computer system, the program is read out from the flexible disk by the flexible disk drive FDD, transferred to the computer system.

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。 In the above description it has been described using a flexible disk as a recording medium, can be carried out in the same manner even when using an optical disk. また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。 The recording medium is not limited to this, IC card, ROM cassette or the like, can be used in the same manner if a program can be recorded on them.

なお、ブロック図(図1、図18、図19、図20、図21)の各機能ブロックは典型的には集積回路であるLSIとして実現される。 Incidentally, the block diagram (Fig. 1, 18, 19, 20, 21) each functional block is typically implemented as an LSI constituted by an integrated circuit. これらは個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。 These may be implemented individually as single chips, or may be integrated into one chip including some or all of them. 例えばメモリ以外の機能ブロックが1チップ化されていても良い。 For example, the functional blocks other than memory may be integrated into one chip. ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。 Here, although the LSI, depending on differences in integration, IC, system LSI, super LSI, referred to as ultra LSI.

また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。 Further, the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。 After LSI manufacture, capable FPGA (Field Programmable Gate Array) to be programmed or may be utilized reconfigurable reconfigurable processor where connections and settings of circuit cells in the LSI.

さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。 Furthermore, when a technology for the integrated circuit replacing LSI is developed to progressive or derivative semiconductor technology, of course, it may be carried out function block integration using this technology. バイオ技術の適応等が可能性としてありえる。 Application of biotechnology is a possibility.

また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ1チップ化せずに別構成としても良い。 Also, among the functional blocks may be separately configured without only one chip unit for storing data to be coded or decoded.

以上のように、本発明では、撮影した画像の情報のみを用いて画像信号を変形するので、カメラと被写体の距離やカメラの向きを、予め測定したりセンサで取得したりする必要が無く、安価且つ容易に本来は垂直線もしくは水平線となっていると思われる部分が垂直線もしくは水平線となるように画像信号を変形することができる。 As described above, in the present invention, since the deformation of the image signal by using only the information of the captured image, the camera and the distance and direction of the camera of the subject, there is no need or acquired by the sensor or measured in advance, can be inexpensively and easily portion originally appears to be a vertical line or horizontal line to deform the image signal so that the vertical line or horizontal line.

従って、被写体正面から撮影できない場合でも撮影した画像の歪みを大きく低減し、TV会議・TV電話での違和感を小さくすることができ、その産業上の利用価値は高い。 Therefore, the distortion of the image was taken, even if you can not shoot from the subject front greatly reduced, it is possible to reduce the discomfort of a TV conference · TV phone, the high utility value on the industry.

実施の形態1の画像信号処理装置の構成を示すブロック図である。 It is a block diagram showing a configuration of an image signal processing apparatus of the first embodiment. 図1に示した実施の形態1における歪検出部の構成を示すブロック図である。 Is a block diagram showing the configuration of the distortion detection unit of the first embodiment shown in FIG. 図1に示した補正処理部の構成を示すブロック図である。 It is a block diagram showing a configuration of the correction processing section illustrated in FIG. 図3に示した補正処理部の詳細な構成を示すブロック図である。 Is a block diagram showing the detailed structure of the correction processing section shown in FIG. 実施の形態1においてパラメータを検出する対象となる画面と、検出されたパラメータを用いて変形の対象となる画面との関係を説明する図である。 And the screen to be subjected to detection of parameters in the first embodiment, is a diagram for explaining a relationship between a subject to the screen of the deformation using the detected parameters. 実施の形態1の画像信号処理装置の歪み補正処理における動作の一例を示すフローチャートである。 Is a flowchart illustrating an example of the operation of the distortion correction processing of an image signal processing apparatus of the first embodiment. 図2に示した補正処理部の他の例である補正処理部の詳細な構成を示すブロック図である。 Is a block diagram showing the detailed structure of the correction processing unit which is another example of the correction processing section shown in FIG. 入力画像信号Vinの垂直方向の相関を計算するための画面の分割例を示す図である。 It is a diagram showing a division example of a screen for calculating the correlation in the vertical direction of the input image signal Vin. 画面分割単位L0〜L7、R0〜R7のそれぞれについて、上下方向に隣接するライン間で、ライン上に配置される画素の値の垂直方向の相関値を計算した場合の相関の例を示すグラフである。 Screen division unit L0 to L7, for each of R0 to R7, among lines adjacent in the vertical direction, a graph showing an example of a correlation in the case of calculating the correlation value in the vertical direction of the values ​​of pixels arranged on a line is there. 本発明の画像信号処理装置の補正によって得られる画像の一例を示す図である。 Is a diagram showing an example of an image obtained by correction of the image signal processing apparatus of the present invention. XY座標を用いて画面単位で画像の歪みを補正する方法の一例を示す図である。 It is a diagram illustrating an example of a method of correcting image distortion in screen units with XY coordinates. 画面単位で画像を補正する場合の計算手順の一例を示すフローチャートである。 Is a flowchart illustrating an example of a calculation procedure for correcting the image in screen units. 図1に示した相関計算部の構成の一例を示すブロック図である。 Is a block diagram showing an example of the configuration of the correlation calculation section illustrated in FIG. 図11に示した乗算器MulA〜MulGの代わりに、差分絶対値器AbsDifA〜AbsDifGを用いた相関計算部の構成例を示すブロック図である。 Instead of the multiplier MulA~MulG shown in FIG. 11 is a block diagram showing a configuration example of a correlation calculation portion using the difference absolute value unit AbsDifA~AbsDifG. 画像に含まれる直線の各種のパターンの例を示す図である。 Is a diagram illustrating an example of a linear various patterns included in the image. 本発明の画像信号処理装置における画像信号処理方法の手順を示すフローチャートである。 Is a flowchart showing the procedure of an image signal processing method in the image signal processing apparatus of the present invention. エッジ検出のための演算に用いられる画素フィルタの簡単な一例を示す図である。 It is a diagram showing a simple example of a pixel filter used in the calculation for edge detection. 実施の形態2の画像信号処理装置の構成を示すブロック図である。 It is a block diagram showing a configuration of an image signal processing apparatus according to the second embodiment. 実施の形態3の画像信号処理装置の構成を示すブロック図である。 It is a block diagram showing a configuration of an image signal processing apparatus according to a third embodiment. 実施の形態4の画像符号化装置の構成を示すブロック図である。 Is a block diagram showing the configuration of an image encoding apparatus according to the fourth embodiment. 実施の形態5の画像復号化装置の構成を示すブロック図である。 Is a block diagram showing the configuration of an image decoding apparatus of the fifth embodiment. 上記各実施の形態の画像信号処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。 The image signal processing method of the above embodiments, by using a program recorded in a recording medium such as a flexible disk, an explanatory diagram in the case of implementing by a computer system. TV会議システムの表示装置とカメラの設置例を示す図である。 Is a diagram illustrating an installation example of the display device and the camera of the TV conference system. 垂直であるべきものが歪んで撮影される画像の例を示す図である。 It is a diagram illustrating an example of an image captured distorted what should be vertical.

符号の説明 DESCRIPTION OF SYMBOLS

101 カメラ 102 表示装置 103 柱 104 壁 300、700、1911 補正処理部 306、1910 歪検出部 307 画面メモリ 310、311、710、711、1903 スイッチ 401 分割部 402、1901 相関計算部 1804 画面メモリ 2001 画像符号化部 2111 画像復号部 3000、4000 画像信号処理装置 5303、703、1803、1902 パラメータ検出部 5304、704 パラメータ・メモリ 5305、705、1805、1904 画像補正部 PelDelayA〜PelDelayF 画素遅延器 LineDelay 行遅延器 MulA〜MulG 乗算器 SumA〜SumG 積算器 CorA〜CorG 相関値 AbsDifA〜AbsDifG 差分絶対値器 Vin 入力画像信号 Vo 101 Camera 102 display device 103 poster 104 wall 300,700,1911 correction processing unit 306,1910 strain detecting section 307 screen memory 310,311,710,711,1903 switch 401 dividing unit 402,1901 correlation calculation unit 1804 screen memory 2001 image coding section 2111 the image decoding unit 3000 and 4000 the image signal processing apparatus 5303,703,1803,1902 parameter detection unit 5304,704 parameter memory 5305,705,1805,1904 image correcting unit PelDelayA~PelDelayF pixel delayer LineDelay line delayer MulA~MulG multiplier SumA~SumG accumulator CorA~CorG correlation value AbsDifA~AbsDifG difference absolute value unit Vin input image signal Vo t 出力画像信号 Str 画像符号化ストリーム User ユーザ指定パラメータ Cs コンピュータシステム FD フレキシブルディスク FDD フレキシブルディスクドライブ t output image signal Str coded image stream User user-specified parameters Cs computer system FD flexible disk FDD flexible disk drive

Claims (14)

  1. 順次入力される複数のピクチャで構成される動画像の画像の歪みを補正する画像信号処理装置であって、 An image signal processing apparatus for correcting image distortion of a moving image composed of a plurality of pictures sequentially input,
    歪み検出の対象となる歪み検出ピクチャ内で画像の垂直方向の線の歪みを検出する歪み検出手段と、 And strain detection means for detecting the distortion of vertical lines of the image distortion in the detection picture to be distortion detection,
    前記歪み検出手段によって検出された垂直方向の線の歪みに相当する画像の水平方向へのずれを打ち消すように、前記歪み検出ピクチャより後に入力される補正対象ピクチャの画像を補正する補正手段とを備え, So as to cancel the displacement in the horizontal direction of the image corresponding to the distortion of the detected vertical lines by said strain detecting means, and correcting means for correcting the image of correction target picture to be inputted later than the strain detecting picture provided,
    前記歪み検出手段は、前記歪み検出ピクチャの少なくとも2つの水平方向のライン上に位置する画素同士であって、水平方向に同じずれ量を持つ相対的位置関係にある画素同士の画素値の相関を複数のずれ量に対して計算する垂直相関計算部を備え、 Said distortion detection means is a pixel each other located in at least two horizontal on line of the distortion detection picture, the correlation of pixel values between pixels in the relative positional relationship with the same shift amount in the horizontal direction with a vertical correlation calculator for calculating for a plurality of shift amounts,
    前記補正手段は、前記歪み検出ピクチャにおいて計算された前記相関で表される相関の度合いが最大となる水平方向への前記ずれ量だけ逆方向にずらすように補正対象ピクチャを補正する It said correction means, the degree of correlation represented by the calculated the correlation in the distortion detection picture correcting the correction target picture to shift only in the opposite direction the shift amount in the horizontal direction becomes maximum
    ことを特徴とする画像信号処理装置。 Image signal processing apparatus characterized by.
  2. 前記垂直相関計算部は、前記水平方向のライン間で、前記各ライン上に位置する画素同士の画素値の積和を、前記ずれ量ごとに計算し、 The vertical correlation calculation unit between the horizontal line, the sum of products of pixel values ​​between pixels located on each line was calculated for each of the shift amount,
    前記補正手段は、前記垂直相関計算部によって計算された前記積和の値が大きいほど前記相関の度合いが大きいと判断する ことを特徴とする請求項記載の画像信号処理装置。 It said correction means, the image signal processing apparatus according to claim 1, wherein the determining the degree of the larger the calculated value of the product sum correlation by said vertical correlation calculation unit is larger.
  3. 前記垂直相関計算部は、前記水平方向のライン間で、前記各ライン上に位置する画素同士の画素値の差分の絶対値の和を、前記ずれ量ごとに計算し、 The vertical correlation calculation unit between the horizontal line, the sum of the absolute values ​​of differences between pixel values ​​between the pixels located on each line was calculated for each of the shift amount,
    前記補正手段は、前記垂直相関計算部によって計算された前記差分の絶対値の和の値が小さいほど前記相関の度合いが大きいと判断する ことを特徴とする請求項記載の画像信号処理装置。 It said correction means, the image signal processing apparatus according to claim 1, wherein the determining the absolute value the degree of the correlation smaller value of the sum of the difference calculated by said vertical correlation calculation unit is larger.
  4. 順次入力される複数のピクチャで構成される動画像の画像の歪みを補正する画像信号処理装置であって、 An image signal processing apparatus for correcting image distortion of a moving image composed of a plurality of pictures sequentially input,
    歪み検出の対象となる歪み検出ピクチャ内で画像の垂直方向の線の歪みを検出する歪み検出手段と、 And strain detection means for detecting the distortion of vertical lines of the image distortion in the detection picture to be distortion detection,
    前記歪み検出手段によって検出された垂直方向の線の歪みに相当する画像の水平方向へのずれを打ち消すように、前記ピクチャより後に入力される補正対象ピクチャの画像を補正する補正手段とを備え, So as to cancel the displacement in the horizontal direction of the image corresponding to the distortion of the detected vertical lines by said strain detecting means, and a correcting means for correcting the image of the correction target picture to be inputted later than the picture,
    前記補正手段は、さらに、ユーザインタフェースを介して、補正しない期間の指定をユーザから受け付け、受け付けられた前記期間は、前記補正対象ピクチャに対応する入力ピクチャをそのまま出力する Wherein the correction means further via the user interface, receiving the designation of the no compensation period from the user, the period has been accepted, and outputs the input picture corresponding to the correction target picture as
    ことを特徴とする画像信号処理装置。 Image signal processing apparatus characterized by.
  5. 前記歪み検出手段は、さらに、ユーザインタフェースを介して、画像の垂直方向の線の歪みを検出すべきピクチャ内の領域の指定をユーザから受け付け、受け付けられた領域内で、前記垂直方向の線の歪みを検出する ことを特徴とする請求項1 〜4のいずれか1項に記載の画像信号処理装置。 It said distortion detection means further via the user interface, receives designation of a region within a picture to be detected distortion of vertical lines of the image from the user, in the accepted area, the vertical lines the image signal processing apparatus according to any one of claims 1-4, characterized in that to detect the strain.
  6. 前記補正手段は、さらに、ユーザインタフェースを介して、補正の度合いの指定をユーザから受け付け、受け付けられた前記補正の度合いに対応して、前記歪み検出手段によって検出された前記画像の水平方向へのずれ量を調整し、調整された前記ずれ量だけ逆方向にずらすように補正対象ピクチャを補正する ことを特徴とする請求項1 〜4のいずれか1項に記載の画像信号処理装置。 Wherein the correction means further via the user interface, receiving a designation of degree of correction from the user, in response to the degree of the accepted the correction, in the horizontal direction of said detected image by the distortion detecting means adjust the amount of deviation, the image signal processing apparatus according to any one of claims 1-4, characterized in that for correcting the correction target picture to shift only in the reverse direction adjusted the amount of deviation.
  7. 前記補正手段は、さらに、ユーザインタフェースを介して、補正しない期間の指定をユーザから受け付け、受け付けられた前記期間は、前記補正対象ピクチャに対応する入力ピクチャをそのまま出力する ことを特徴とする請求項1 、請求項2、請求項3、請求項5、請求項6のいずれか1項に記載の画像信号処理装置。 Wherein the correction means further via the user interface, receiving the designation of the no compensation period from the user, the period has been accepted, claims, characterized in that directly outputs the input picture corresponding to the correction target picture 1, claim 2, claim 3, claim 5, the image signal processing apparatus according to any one of claims 6.
  8. 前記歪み検出手段は、特定のピクチャにおいて歪みを検出し、 It said distortion detection means detects a strain in the specified picture,
    前記補正手段は、前記歪み検出手段で検出しないピクチャに対して、当該ピクチャより前に検出した垂直方向の線の歪みに基づいて前記補正対象ピクチャを補正する ことを特徴とする請求項1 〜7のいずれか1項に記載の画像信号処理装置。 Said correction means, for the picture that is not detected by the distortion detecting means, according to claim 1-7, characterized by correcting the correction target picture based on the distortion of the detected vertical lines before the picture the image signal processing apparatus according to any one of.
  9. 前記歪み検出手段は複数の特定のピクチャにおいて歪みを検出し、 It said distortion detection means detects a strain in a plurality of particular picture,
    前記補正手段は、前記歪み検出手段で歪が検出されないピクチャに対して、当該ピクチャより前に検出された前記ずれ量を平均することによって補正量を時間的に平滑化して前記補正対象ピクチャを補正する ことを特徴とする請求項1 〜7のいずれか1項に記載の画像信号処理装置。 It said correction means, for the picture distortion is not detected by the distortion detecting means, correcting the correction target picture temporally smoothing the correction amount by averaging the deviation amount detected before the picture the image signal processing apparatus according to any one of claims 1-7, characterized by.
  10. 前記画像信号処理装置は、さらに、 The image signal processing apparatus further includes
    前記補正手段によって補正された補正後のピクチャを符号化して、符号列を出力する符号化手段 を備えることを特徴とする請求項1〜 のいずれか1項に記載の画像信号処理装置。 Said encoded picture after correction is corrected by the correction means, the image signal processing apparatus according to any one of claims 1 to 9, characterized in that it comprises coding means for outputting a code string.
  11. 前記画像信号処理装置は、さらに、 The image signal processing apparatus further includes
    入力される符号列を復号化する復号化手段を備え、 Comprising a decoding means for decoding the code sequence input,
    前記歪み検出手段は、前記復号化手段で復号化されることによって得られた動画像について、歪み検出の対象となる歪み検出ピクチャ内で画像の垂直方向の線の歪みを検出し、 Said distortion detection means, the moving image obtained by being decoded by said decoding means detects the distortion of vertical lines in the image in the distortion detection picture to be distortion detection,
    前記補正手段は、前記歪み検出手段によって検出された垂直方向の線の歪みを、前記補正対象ピクチャを対象として補正する ことを特徴とする請求項1〜 のいずれか1項に記載の画像信号処理装置。 Said correction means, the image signal according to any one of claims 1 to 9, the distortion of the detected vertical lines by said strain detecting means, and correcting the target the correction target picture processing apparatus.
  12. 順次入力される複数のピクチャで構成される動画像の画像の歪みを補正する画像信号処理方法であって、 An image signal processing method for correcting the distortion of the image of the moving image composed of a plurality of pictures sequentially input,
    歪み検出の対象となる歪み検出ピクチャ内で画像の垂直方向の線の歪みを検出する歪み検出ステップと、 A distortion detection step of detecting the distortion of vertical lines of the image distortion in the detection picture to be distortion detection,
    前記歪み検出ステップによって検出された垂直方向の線の歪みに相当する画像の水平方向へのずれを打ち消すように、前記ピクチャより後に入力される補正対象ピクチャの画像を補正する補正ステップとを含み、 So as to cancel the displacement in the horizontal direction of the image corresponding to the distortion of the distortion detection detected vertical lines by step, and a step of correcting the image of correction target picture to be inputted later than the picture,
    前記歪み検出ステップにおいては、前記歪み検出ピクチャの少なくとも2つの水平方向のライン上に位置する画素同士であって、水平方向に同じずれ量を持つ相対的位置関係にある画素同士の画素値の相関を複数のずれ量に対して計算し、 In the distortion detection step, a pixel between which is located at least two horizontal on line of the distortion detection picture, the correlation of pixel values between pixels in the relative positional relationship with the same shift amount in the horizontal direction calculate the relative multiple shift amounts,
    前記補正ステップにおいては、前記歪み検出ピクチャにおいて計算された前記相関で表される相関の度合いが最大となる水平方向への前記ずれ量だけ逆方向にずらすように補正対象ピクチャを補正する In the correction step, the degree of correlation represented by the calculated the correlation in the distortion detection picture correcting the correction target picture to shift only in the opposite direction the shift amount in the horizontal direction becomes maximum
    ことを特徴とする画像信号処理方法。 Image signal processing method, characterized in that.
  13. 請求項12に記載の画像信号処理方法をコンピュータに実行させる To execute image signal processing method according to the computer to claim 12
    プログラム。 program.
  14. 請求項1〜1 のいずれか1項に記載の前記画像信号処理装置が備える前記各手段 を備えることを特徴とする集積回路。 Integrated circuit characterized in that it comprises the respective means included in the image signal processing apparatus according to any one of claims 1 to 1 1.
JP2007224111A 2006-08-30 2007-08-30 Image signal processing apparatus, an image coding apparatus and image decoding apparatus, as well as the method, an image processor for the processor and video conference system Active JP4907470B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006234527 2006-08-30
JP2006234527 2006-08-30
JP2007224111A JP4907470B2 (en) 2006-08-30 2007-08-30 Image signal processing apparatus, an image coding apparatus and image decoding apparatus, as well as the method, an image processor for the processor and video conference system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007224111A JP4907470B2 (en) 2006-08-30 2007-08-30 Image signal processing apparatus, an image coding apparatus and image decoding apparatus, as well as the method, an image processor for the processor and video conference system

Publications (2)

Publication Number Publication Date
JP2008086007A true JP2008086007A (en) 2008-04-10
JP4907470B2 true JP4907470B2 (en) 2012-03-28

Family

ID=39356316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007224111A Active JP4907470B2 (en) 2006-08-30 2007-08-30 Image signal processing apparatus, an image coding apparatus and image decoding apparatus, as well as the method, an image processor for the processor and video conference system

Country Status (1)

Country Link
JP (1) JP4907470B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9536133B2 (en) 2013-01-09 2017-01-03 Samsung Electronics Co., Ltd. Display apparatus and control method for adjusting the eyes of a photographed user

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6156653B2 (en) * 2014-10-06 2017-07-05 コニカミノルタ株式会社 Image transformation apparatus

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0824366B2 (en) * 1991-07-23 1996-03-06 大日本スクリーン製造株式会社 Interpolation method of image
JPH06197261A (en) * 1992-12-24 1994-07-15 Canon Inc Image pickup device
JP2000101982A (en) * 1998-09-18 2000-04-07 Kokusai Electric Co Ltd Image communication device
JP3874985B2 (en) * 2000-02-18 2007-01-31 富士通株式会社 Image operations unit
JP2002325200A (en) * 2001-04-26 2002-11-08 Victor Co Of Japan Ltd Data presentation device
JP2003009108A (en) * 2001-06-26 2003-01-10 Minolta Co Ltd Picture communication system, picture communication equipment and picture communication method
JP4075418B2 (en) * 2002-03-15 2008-04-16 ソニー株式会社 Image processing apparatus and image processing method, a printed matter manufacturing apparatus and printed material manufacturing method, and printed material production system,
JP4431948B2 (en) * 2003-10-23 2010-03-17 ノーリツ鋼機株式会社 Tilt correction method, tilt correction program, and tilt correction function printing machine
JP2005303941A (en) * 2004-04-16 2005-10-27 Casio Comput Co Ltd Correction reference designation device and correction reference designation method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9536133B2 (en) 2013-01-09 2017-01-03 Samsung Electronics Co., Ltd. Display apparatus and control method for adjusting the eyes of a photographed user

Also Published As

Publication number Publication date Type
JP2008086007A (en) 2008-04-10 application

Similar Documents

Publication Publication Date Title
Chen et al. A fast edge-oriented algorithm for image interpolation
US6750903B1 (en) Super high resolution camera
US20130044230A1 (en) Rolling shutter reduction based on motion sensors
US7596280B2 (en) Video acquisition with integrated GPU processing
US20020145610A1 (en) Video processing engine overlay filter scaler
US20070071343A1 (en) Video acquisition with integrated GPU processing
US20070071344A1 (en) Video acquisition with integrated GPU processing
US6351545B1 (en) Motion picture enhancing system
US6816626B1 (en) Bandwidth conserving near-end picture-in-picture videotelephony
JP2013223209A (en) Image pickup processing device
JP2008067316A (en) Image distribution system, server, and client terminal
US5990965A (en) System and method for simultaneous flicker filtering and overscan compensation
EP1001353A1 (en) Interpolation apparatus and methods and image display apparatus
US20100040299A1 (en) Apparatus and method for decoding image data
JPH11275584A (en) Block distortion reduction circuit for image signal
US20090185760A1 (en) Image Processing Device and Method, and Image Sensing Apparatus
US20070076020A1 (en) Method and apparatus for nonlinear anamorphic scaling of video images
US20060203001A1 (en) Clipping of media data transmitted in a network
US8786716B2 (en) Rolling shutter reduction based on motion sensors
US20100265353A1 (en) Image Processing Device, Image Sensing Device And Image Reproduction Device
JP2002199392A (en) Method and device for encoding image
US20070040918A1 (en) Image processing apparatus, image processing method and program
JP3934151B2 (en) Image generating device and image generating method
US20130077887A1 (en) Methods and systems for up-scaling a standard definition (sd) video to high definition (hd) quality
WO1996008911A1 (en) Versatile multipoint video composition and bridging system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111220

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120111

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250