KR950005154B1

KR950005154B1 - Method and system for image transformation

Info

Publication number: KR950005154B1
Application number: KR1019860002490A
Authority: KR
Inventors: 마사아끼 오까; 요시다까 구라우찌
Original assignee: 소니가부시끼가이샤; 오오가 노리오
Priority date: 1985-04-03
Filing date: 1986-04-02
Publication date: 1995-05-18
Also published as: KR860008691A

Abstract

내용 없음.No content.

Description

Image conversion system and method

제1a도 및 1b도는 화상 변환을 설명하기 위한 도면.1A and 1B are diagrams for explaining image conversion.

제2도는 종래의 화상 변환 장치의 일예를 도시하는 블럭도.2 is a block diagram showing an example of a conventional image conversion apparatus.

제3a도 및 3b도는 그 화상 변환 처리의 설명을 하기 위한 도면.3A and 3B are diagrams for explaining the image conversion process.

제4도는 본 발명에 의한 화상 변환 장치의 일예를 도시하는 블럭도.4 is a block diagram showing an example of an image conversion apparatus according to the present invention.

제5도는 본 발명 장치에 있어서의 음영(shading)부가 처리의 순서를 도시하는 플오로 챠트.Fig. 5 is a flowchart of a shading addition process in the apparatus of the present invention.

제6도 내지 제9도는 음영 부가 처리의 순서를 설명하기 위한 도면.6 to 9 are diagrams for explaining the procedure of shadow addition processing.

제10a도 10b도 및 10c도는 극간 정보 메모리의 구성을 도시하는 개략도.10A and 10C are schematic diagrams showing the configuration of the information memory between the gaps.

제11도 내지 제13도는 각각 기록 플래그 메모리, 표리(front/back)플래그 메모리, 입력 화상 어드레스 메모리에 있어서, 극간 데이타의 발생 방법을 설명하기 위한 개략도.11 to 13 are schematic views for explaining a method of generating inter-interval data in a write flag memory, a front / back flag memory, and an input image address memory, respectively.

제14도는 극간 검출 보간회로의 데이타 처리 순서를 도시하는 플로우 챠트.Fig. 14 is a flowchart showing a data processing procedure of the interpolation detection interpolation circuit.

제15도 내지 제17도는 극간 검출 보간회로의 데이타 처리 동작의 설명을 하기 위한 개략도.15 to 17 are schematic diagrams for explaining the data processing operation of the interpolation detection interpolation circuit.

* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings

11 : 마이크로 컴퓨터 12 : 디스크 메모리11: microcomputer 12: disk memory

14 : 조이스틱 15 : CRT디스플레이14: Joystick 15: CRT Display

17 : 마이크로 프로세서 18 : 버퍼 메모리17: microprocessor 18: buffer memory

19 : 전용 하드웨어 21 : 쉐이딩 계수 메모리19: dedicated hardware 21: shading coefficient memory

22 : 극간 정보 메모리 31 : 아나로그/디지탈 변환기22: Interpolation Information Memory 31: Analog / Digital Converter

32 : 데이타 변경회로 33 : 디지탈 필터32: data change circuit 33: digital filter

35 : 삽입 처리회로 37 : 어드레스 제어회로35: insertion processing circuit 37: address control circuit

[발명 분야]Field of Invention

본 발명은 2차원적인 원 화상(original picture)을 3차원적인 곡면을 갖는 화상으로 변환하는 방법 및 장치에 관한 것으로, 특히 텔레비젼 신호에 특수효과를 주는 특수 효과장치에 적응하기에 가장 적합한 화상변환 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for converting a two-dimensional original picture into a three-dimensional curved image, and in particular, an image conversion method most suitable for adapting to a special effect device that gives a special effect to a television signal. And to an apparatus.

[종래 기술][Prior art]

제1a도에 도시하는 바와같이 사변형의 종이에 문자가 그려진 평면적인 원화를 제1b도에 도시하는 바와 같이, 그 종이가 원통으로 감겨진 것과 같은 입체적인 곡면을 갖는 3차원 화상으로 데이타 변환에 의해 화상 변환하는 장치가 알려져 있다(일본극 특허 공개소 58-219664호 공보 참조).As shown in Fig. 1a, a planar original drawing on which a letter is drawn on a quadrilateral paper is shown in Fig. 1b, and the image is converted into a three-dimensional image having a three-dimensional curved surface such that the paper is wound in a cylinder. A device for converting is known (see Japanese Unexamined Patent Application Publication No. 58-219664).

제2도는 이 화상 변환 장치의 일예로서, (1)은 마이크로 컴퓨터 등으로 구성되는 호스트 컴퓨터, (2)는 대용량 메모리, (3)은 입출력 장치이다.2 is an example of this image conversion apparatus, where (1) is a host computer composed of a microcomputer or the like, (2) is a large capacity memory, and (3) is an input / output device.

대용량 메모리(2)에는 예컨대 상기 평면화상에서 이들을 원통으로 감은 것과 같은 3차원 화상으로의 변환프로그램등이 이미 준비되어 기억되어 있다. 그래서 입출력 장치(3)에서 그 프로그램을 판독하는 선택을 행하면, 호스트 컴퓨터(1)로 대용량 메모리(2)로부터 프로그램을 판독하여 그 프로그램을 실행하고 다음에 기술하는 것과 같은 화상 변환을 위해 필요한 정보의 작성을 하고 그것을 버퍼 메모리(4)에 저장한다.In the large-capacity memory 2, for example, a program for converting a three-dimensional image such as those wound in a cylindrical shape in the planar image is already prepared and stored. Thus, when the input / output device 3 selects to read the program, the host computer 1 reads the program from the mass memory 2, executes the program, and executes the information necessary for image conversion as described later. The data is created and stored in the buffer memory 4.

화상 변환 처리는 화상이 복수의 블럭으로 분할되고 그 블럭 단위로 화상 변환되어서 구성되는 것으로 이 경우 원화상 IM₁은 64×96블럭으로 분할된다. 또한 각 블럭은 8×8개의 회소로 구성되어 있다. 한편 변환 화상 IM₂은 1블럭이 4×6개의 화소로 구성되고 128×128블럭으로 구성되어 있다. 그래서 원화상 IM₁의 각 블럭의 대표점마다 3차원 방향 즉 X,Y,Z(Z는 깊이)의 각 방향에 관한 변환 위치가 상기 프로그램에 따라서 연산되고 그 연산 결과가 버퍼 메모리(4)에 저장되어 있다. 이 경우 블럭수가 변환의 전후에서 다르므로 변환 후의 어느 블럭과 입력 화상의 블럭이 완전히 대응하는 것은 아니나, 제1도에 도시하는 바와 같이 원 화상 IM₁의 어느 블럭 B₁의 대표점이 변환 화상 IM₂의 어느 위치(제1도 예에서는 B₂)로 이동하는 가에 의해 그 변환후의 화상이 결정된다.The image conversion processing is constituted by dividing an image into a plurality of blocks and converting the image in units of blocks. In this case, the original image IM ₁ is divided into 64 x 96 blocks. Each block is made up of 8 x 8 elements. On the other hand, in the converted image IM ₂ , one block is composed of 4 × 6 pixels and is composed of 128 × 128 blocks. Thus, for each representative point of each block of the original image IM ₁ , the transformed positions of the three-dimensional directions, i.e., X, Y, and Z (depth Z) are calculated according to the program, and the result of the calculation is stored in the buffer memory 4. It is stored. In this case, so that the block number is different before and after the conversion, but are by no means the one block and the block of the input image after conversion is complete response, first a representative point of one block B ₁ of the original image IM ₁ conversion, as an image showing the IM ₂ The image after the conversion is determined by which position (B _{2 in} the first example) moves to.

그래서, 그 변환후의 화상 데이타가 어떻게 구해지느냐 하는 것은 다음과 같이 하여 구해진다.Thus, how the image data after the conversion is obtained is calculated as follows.

즉 제3도는 그 설명을 하기 위한 도면으로 제3a도에 도시하는 바와 같이 원화상의 4개 블럭의 대표점 a,b,c,d로 둘러싸인 중앙의 블럭의 변환후의 도형은 제3b도와 같이 대표점 P의 주변의 대표점에 의해 구해진다. 즉, 먼저 점 a,b,c,d의 변환후의 위치가 연상되어서 동일 제3b도에 도시하는 점 A,B,C,D로서 구해진다. 동일하게 점 P의 변환후의 위치도 점 P로서 구해진다.3 is a diagram for explaining the figure. As shown in FIG. 3A, the figure after conversion of the center block surrounded by the representative points a, b, c, and d of the four blocks of the original image is represented as in FIG. It is calculated | required by the representative point of the periphery of the point P. In other words, the positions after conversion of the points a, b, c, and d are first associated with each other, and are obtained as points A, B, C, and D shown in FIG. Similarly, the position after the point P conversion is also obtained as the point P.

이들 변환후의 점 A,B,C,D 및 P는 3차원적인 좌표를 갖는 것으로, 이것에 의해 어떠한 곡면이 형성지워지는 가가 결정되게 된다. 그래서, 이 경우 그 변환후의 곡면을 대표점의 근처에서 선형 근사하는 것으로, 이를 위해 다음과 같이 한다.The points A, B, C, D, and P after these transformations have three-dimensional coordinates, which determine which curved surfaces are formed. Therefore, in this case, the curved surface after the conversion is approximated linearly near the representative point.

즉, 점 P를 포함하는 근처의 면을 선형 근사하는 경우, 제3도에 도시하는 바와같이 이 면의 방향은 점 A,C를 연결하는 선분 벡터

와 점 D와 B를 연결하는 선분 벡터

에 평행한 면으로서 정의할 수 있다. 즉 제3b도에 도시하는 바와같이 벡터

에 평행한 단위 벡터

와 벡터

에 평행한 단위 벡터

에 의해 이 선형 근서된 점 (P)을 포함하는 평면이 정의 된다. 그래서 이와같은 방법으로 각 대표점의 근처의 면을 선형 근사하여 전체의 변환 곡면을 구하도록 한다. 따라서, PX, PY의 크기는That is, in the case of linear approximation of a plane containing a point P, as shown in Fig. 3, the direction of this plane is a line segment vector connecting the points A and C.

Segment vector connecting point D with point B

It can be defined as a plane parallel to. In other words, as shown in FIG.

Unit vector parallel to

Vector with

Unit vector parallel to

The plane containing this linear rooted point (P) is defined by. Thus, in this way, the surface near each representative point is linearly approximated to obtain the entire transformed surface. Therefore, the size of PX, PY

로서 구하도록 하고 있다.I am trying to get it as

버퍼 메모리(4)에는 이상과 같이 원화상 IM₁의 각 블럭의 대표점에 변환을 하여 그 변환 후의 위치를 구하는 연산 및 차분치(difference value)등의 변환에 필요한 정보가 기록되어 있는 것이다.A buffer memory (4) to which the conversion to representative point of each block of the original image IM ₁ as described above, information is recorded, such as that required for the conversion to obtain the position after the conversion operation and the difference value (difference value).

그래서 이 버퍼 메모리(4)로 부터의 정보가 화상 변환장치(5)에 공급되어서 단자(6)로부터의 입력 화상 데이타가 그 버퍼 메모리(4)로부터의 정보에 따라서 변환되어서 출력단자(7)로 도출된다.Thus, the information from this buffer memory 4 is supplied to the image converting apparatus 5 so that the input image data from the terminal 6 is converted in accordance with the information from the buffer memory 4 to the output terminal 7. Derived.

이 경우 화상 변환회로(5)에서 먼저 버퍼 메모리(4)로부터의 정보를 이용해서 변환처리할 영역을 저장한다. 즉 제1a도의 원화상 IM₁상의 어느 영역 B₁이 변환 화상 IM₂으로 변환 하는 가를 먼저 가리킨다. 그래서 그 영역에 대해서 원화상 데이타의 영역 B₁에서 출력 화상의 영역 B₂로의 변환이 이루어진다. 즉 이것은 그 처리영역 B₂내의 모든 화소에 대해서 화상 변환회로(5)에 설치되는 입력 버퍼 메모리내에 대응하는 원화상 데이타를 판독하기 위한 판독 어드레스를 계산하고, 입력 버퍼 메모리에 있어서 그것의 구해진 판독어드레스에 의거하여 판독되고 그 판독된 화소의 데이타가 출력 버퍼 메모리에 기록된다. 화상 데이타가 기록되는 출력 버퍼 메모리의 어드레스는 변환후의 위치에 불과하다.In this case, the image conversion circuit 5 first stores the area to be converted by using the information from the buffer memory 4. I.e. indicates whether any first area B ₁ on the first original image 1a degrees IM ₁ is to be converted to a converted image IM _2. So for that area in the area B ₁ of the original image data it is made to the conversion area B ₂ of the output image. Namely, this calculates a read address for reading the original image data in the input buffer memory provided in the image converting circuit 5 for all the pixels in the processing area B ₂ , and obtains the obtained read address in the input buffer memory. Is read based on the data of the read pixel in the output buffer memory. The address of the output buffer memory in which image data is written is only a position after conversion.

이 경우에 화상의 샘플링 점 위치에 없는 샘플을 보간에 의해 삽입하는 처리도 동시에 이루어진다. 그래서 그 삽입된 데이타도 출력 버퍼 메모리에 기록된다.In this case, a process of interpolating a sample not at the sampling point position of the image is also performed at the same time. Thus, the inserted data is also written to the output buffer memory.

이상의 것을 개략적으로 설명하면 변환후 화상 1블럭의 24개(4×6)의 각 화소의 완화상 IM₁상의 대응점을 화상 변환회로(5)에서 먼저 구하고, 이것을 입력 버퍼 메모리에서 판독하고, 이 판독한 샘플 데이타 혹은 복수의 샘플 데이타로 형성한 보간 데이타를 출력 버퍼 메모리의 그 변환후의 어드레스 위치에 기록한다.In general, the image converting circuit 5 _first obtains the corresponding point on the relaxation image IM ₁ of 24 pixels (4 × 6) of one block of converted image after the conversion, and reads it from the input buffer memory. Interpolation data formed of one sample data or a plurality of sample data is recorded in the address position after the conversion of the output buffer memory.

이경우 24개의 화상의 1개(대표점)에 관해서 원화상 상의 대응점(판독 어드레스)가 구해지므로, 나머지 화소에 대해서는 인접 블럭과의 차분치를 이용해서 화소간의 차분치를 구해서, 대표점에 대해서 이 차분치를 순차 가산함으로써 원화상의 대응점을 구할 수가 있다. 즉 이 처리는 변환후의 화상 IM₂의 변환 데이타에 대한 역변환을 하여 입력 화상 IM₁상의 각 화소의 점을 찾아서 그것이 샘플링 점과 일치하지 아니한 때에는 그 샘플링 점의 데이타를 입력 화상 데이타에서 보간에 의해 구하게 된다.In this case, since the corresponding point (reading address) of the original image is obtained for one of the 24 images (representative point), the difference value between the pixels is obtained using the difference with the adjacent block for the remaining pixels, and the difference value is obtained for the representative point. By sequential addition, the correspondence point of an original image can be calculated | required. In other words, this process performs inverse transformation on the converted data of the image IM ₂ after conversion to find a point of each pixel on the input image IM ₁ , and when it does not match the sampling point, the data of the sampling point is obtained by interpolation from the input image data. do.

이상과 같이하여 2차원적 평면 호상에서 입체적인 3차원 화상으로의 변환이 가능하다.As described above, conversion from a two-dimensional planar arc to a three-dimensional three-dimensional image is possible.

이상과 같은 화상 변환 장치는 방송용의 특수효과 장치로서 이용된다. 예컨대 책의 페이지를 넘길 때의 동작등의 특수효과에 사용된다.The image conversion apparatus as described above is used as a special effect apparatus for broadcasting. For example, it can be used for special effects such as the motion of turning pages of a book.

또한 컴퓨터의 출력장치에서도 출력 데이타를 3차원적인 곡면으로 표현하고 직감적인 이해를 돕도록 하는 것도 있다.In addition, the output device of a computer also allows the output data to be expressed in three-dimensional surfaces and to help intuitive understanding.

그런데, 이들의 장치에서는 입체감을 어떻게 표현하느냐가 중요하다. 그러나 원화의 화상내용이 자연화와 같은 불규칙한 것이거나 정지화(still picture)와 같이 움직임이 멈추어 버린 때등 입체감이 상실되어져 버리는 일이 허다하다.However, in these devices, how to express a three-dimensional effect is important. However, there are many cases where the three-dimensional effect is lost, such as when the contents of the original picture are irregular, such as naturalization, or when the movement stops, such as still pictures.

즉 그것은 평면적인 도형을 그대로 입체적으로 화상 변환한 것 뿐으로서 실제의 것은 음영이 입체검을 표현하는 중요한 요소로 되어 있기 때문이다.In other words, it is simply a three-dimensional image conversion of a planar figure as it is, and the actual thing is that shading is an important element for representing a three-dimensional sword.

또한 각 블럭의 연산을 실행하기 위한 하드웨어의 구성이 복잡하고 대형으로는 가능하지 않기 때문에 계산 정확도를 그만큼 높게 잡을 수 없게 되어 그 결과 각 블럭을 선형 근사변환한 후의 평행사변형 상호 간에 극간이 생기는 것을 피할 수 없게 된다. 여기에서 이 문제를 해결하는 방법으로서 첫째로 극간이 없어질 정도로 충분히 높은 계산 정확성을 갖는 전용하드웨어를 구성하는 것이 고려된다. 그러나 이 방법은 하드웨어의 구성량이 팽대해질 문제가 있고 또한 임의의 화상의 변환을 하는데 있어, 그 변환의 난이도에 의하여 적절한 비트 길이를 설정하는 것이 곤란하여, 특히 복잡한 3차원 곡면에 2차원 화면을 팹핑하지 않으면 아니되는 경우에는 극히 곤란해지는 문제가 있다. 그래서 이와 같은 곤란한 문제를 조금씩 해결할 수 있었다하여도 개선의 정도는 그리 크지않아 불편함이 있었다.In addition, since the hardware configuration for performing the operation of each block is complicated and not large, it is impossible to obtain the calculation accuracy as high as a result, so that the gap between the parallelograms after the linear approximation of each block is avoided. It becomes impossible. As a solution to this problem, first, it is considered to configure dedicated hardware having a calculation accuracy high enough to eliminate the gap. However, this method has a problem in that the amount of hardware configuration is expanded, and in converting arbitrary images, it is difficult to set an appropriate bit length according to the difficulty of the conversion. If it is necessary to do so, there is a problem that becomes extremely difficult. So, even if it was able to solve these difficult problems little by little, the degree of improvement was not so great that there was inconvenience.

또한 극간(갭)이 생기는 문제를 해결하는 제2의 방법으로서 변환 연산의 겨로가 얻어지는 출력을 저역통과 필터를 통과시켜 극간이 눈에 뜨이지 않게 하는 방법이 있다. 그러나 이 방법은 출력 화상 신호의 주파수대역이 제한되기 때문에, 애써서 소정의 계선 정확도로 연산하여 얻은 변환 화상 출력을 흐리게 하는 것은 원리로 하고 있기 때문에 본질적으로 화질의 열화를 야기시키는 문제가 있다.As a second method of solving the problem of gaps, there is a method of making the gaps inconspicuous by passing a low-pass filter through which the output of the conversion operation is obtained. However, since this method has a limited frequency band of the output image signal, it is in principle to blur the converted image output obtained by arithmetic with a predetermined mooring accuracy, which inherently causes a problem of deterioration of image quality.

[발명의 개요][Overview of invention]

본 발명은 목적은 3차원 곡면상으로 맵핑된 입력화상에 그 곡면 형상에 따라 음영(shading)을 갖게함으로써 화상내용에 관계없이 곡면의 입체감을 표현하는 것을 가능하게 하는 화상 변환 장치를 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to provide an image conversion apparatus that enables to express a three-dimensional effect of a curved surface regardless of the image content by giving a shading according to the curved shape on an input image mapped to a three-dimensional curved surface.

본 발명의 다른 목적은 맵핑 처리한 화상 출력에 생긴 극간을 검출하여 적절한 값을 보간하도록 함으로써 비교적 간단한 구성에 의해 짧은 연산 시간으로 실용상 충분한 정확도의 변환 화상을 얻을수가 있도록한 화상 변환 장치를 제공하는 것이다.Another object of the present invention is to provide an image conversion apparatus capable of detecting a gap generated in a mapped image output and interpolating an appropriate value so that a converted image with practically sufficient accuracy can be obtained with a short calculation time by a relatively simple configuration. will be.

상기 목적을 달성하기 위해서, 본 발명에 있어서는 호스트 컴퓨터에 있어서 대용량 메모리로부터 판독한 프로그램에 따라서 구해진 출력 화상에서 그 출력 화상에 대해서 특정한 위치에 가상광원을 설치 하였을 때에 그 화상에 나타나는 음열을 제공하기 위한 추정 계수를 구해서 그것을 쉐이딩 계수 메모리에 저장한다. 이 쉐이딩 계수 메모리에 저장된 쉐이딩 계수를 화상 변환회로에 공급하여 출력 화상 데이타는 그 가중된 음영이 제공된 데이타로서 얻도록 하는 것이다.In order to achieve the above object, in the present invention, in the output image obtained by the program read out from the large-capacity memory in the host computer, a sound string appearing in the image when the virtual light source is provided at a specific position with respect to the output image is provided. Obtain the estimated coefficient and store it in shading coefficient memory. The shading coefficients stored in this shading coefficient memory are supplied to the image conversion circuit so that the output image data is obtained as data provided with the weighted shading.

또한 이 화상 변환 연산을 실행할 때에 이 연산에 의해 생긴 극간에 관한 극간정보가 극간정보 메모리에 기록된다.Further, when performing this image conversion operation, interstitial information relating to the interstitials generated by this operation is recorded in the interstitial information memory.

이 극간정보 메모리에 기억된 극간정보는 변환 후의 출력화상을 기억하고 있는 출력 프레임 메모리에서 출력 화상 데이타가 판독될때 이것과 동기하여 극간 검출 보간회로에 공급된다.Interpolation information stored in the interpolation information memory is supplied to the interpolation detection interpolation circuit in synchronization with this when the output image data is read from the output frame memory storing the converted output image.

극간 검출 보간회로는 극간정보에서 극간이 어느 화소를 검출함과 동시에, 이 화소의 주위에 있는 화소에 의거하여 보간연산하여 그 보간연산 결과에 의해 상기 극간을 채운다.The interpolation detection interpolation circuit detects which pixel in the interpolation information and at the same time interpolates based on the pixels around the pixel, and fills the interpolation based on the interpolation operation result.

이같이 하여 출력 비디오 신호로서 극간이 없는 비디오 신호를 얻을 수가 있다.In this way, a video signal having no gap can be obtained as the output video signal.

이하, 본 발명에 의한 화상 변환장치를 도면을 사용해서 상세히 설명을 한다.EMBODIMENT OF THE INVENTION Hereinafter, the image conversion apparatus which concerns on this invention is demonstrated in detail using drawing.

제4도는 본 발명 장치의 일실시예를 도시하는 것이다.4 shows an embodiment of the device of the present invention.

동일 도면에 있어서 (11)은 마이크로 컴퓨터 등으로 이루어지는 제1의 마이크로 컴퓨터 등으로 이루어지는 제1의 마이크로 프로세서이다. 또한 (12)는 대용량 메모리로서의 디스크 메모리로, 상기한 바와같이 이것에는 평면도형에서 입체도형으로의 변환 프로그램이 기억되어져 있다.In the same figure, reference numeral 11 denotes a first microprocessor made of a first microcomputer made of a microcomputer or the like. Denoted at 12 is a disk memory serving as a large capacity memory, and as described above, a program for converting from a planar view to a three-dimensional shape is stored therein.

또한, 제1의 마이크로 프로세서(11)에 대해서는 입력장치로서의 키보드(13), 조이스틱(14) 및 출력장치로서의 CRT디스플레이(15)가 접속되어 있다.In addition, a keyboard 13 as an input device, a joystick 14 and a CRT display 15 as an output device are connected to the first microprocessor 11.

먼저 키보드(13)에 있어서 키조작에 의해 화상변환의 종류가 지정된다. 예컨대 원통면에 감은것과 같은 입체화상으로 평면 화상을 변환하는 것과 같은 화상 변환 처리가 지정된다.First, the type of image conversion is designated by the key operation in the keyboard 13. For example, image conversion processing such as converting a planar image into a stereoscopic image wound on a cylindrical surface is specified.

이 지정된 화상 변환 처리에 대응하는 컴퓨터 프로그램이 디스크 메모리(12)로부터 마이크로 프로세서(11)의 주 메모리(11M)에 대해서 판독출력되고 이것이 CRT디스플레이(15)에 표시된다.A computer program corresponding to this designated image conversion process is read out from the disk memory 12 to the main memory 11M of the microprocessor 11 and displayed on the CRT display 15.

다음에 조이스틱(14)의 레버의 위치에서 변환후의 화상위치 방향 등이 계산되고, 컴퓨터 프로그램중의 파라미터가 변경된다. 이 변경된 프로그램이 DMA제어기(!6)에 의해 제2의 마이크로 프로세서(17)의 프로그램 메모리(17M)에 전송된다. 마이크로 프로세서(17)는 전송된 프로그램을 실행한다. 그 프로그램의 실행에 의해 상기한 블럭 단위의 변환위치, 인접 블럭간의 선형근사에 의한 변환 후 블럭의 크기 ***등이 계산되고 이들의 정보가 버퍼 메모리(18)에 저장된다.Next, at the position of the lever of the joystick 14, the image position direction after conversion and the like are calculated, and the parameters in the computer program are changed. This changed program is transferred to the program memory 17M of the second microprocessor 17 by the DMA controller! 6. The microprocessor 17 executes the transmitted program. By the execution of the program, the above-described conversion position in units of blocks, block size *** after conversion by linear approximation between adjacent blocks, etc. are calculated, and their information is stored in the buffer memory 18.

즉 이예에 있어서도 원화상 IM₁의 블럭마다 대표점이 정해져 그 대표점의 변환 위치가 연산되고, 그 변환위치에서 선형근사에 의해 그 변환점 근처의 변형 데이타가 정해지고, 그 변형점 근처의 영역에 해당하는 원화상 데이타의 어드레스 위치가 구해져 그 어드레스의 화상 데이타를 변환점 근처의 영역에 기록함으로써 화상 변환을 하는 것이다.That is, in this example, a representative point is determined for each block of the original image IM ₁ , and a transformation position of the representative point is calculated, and deformation data near the transformation point is determined by linear approximation at the transformation position, and corresponds to an area near the transformation point. The address position of the original image data is obtained, and image conversion is performed by recording the image data of the address in an area near the conversion point.

또한 이 경우 3차원 화상을 표시하는 데에는 관찰점으로 부터 보이지 않는 부분을 표시하지 않도록 할 필요가 있기 때문에 블럭 단위의 변환 위치내에서 Z방향(깊이 방향)의 정보로부터 블럭마다의 처리 순서를 도시하는 포인터를 만들어 이것을 버퍼 메모리(18)의 테이블에 기록하여 두고, 이 포인터로부터 블럭 단위로 깊은 쪽(관찰점에서 먼쪽)에서 얕은 쪽으로의 처리순서로 데이타 변환을 하도록 하고 있다(이 방법에 대해서는 상기 일본 특허 공개소 58-219664호 공보참조).In this case, in order to display a three-dimensional image, it is necessary to make sure that the invisible part is not displayed from the observation point. A pointer is created and recorded in a table of the buffer memory 18, and data conversion is performed from this pointer in the processing order from the deep (far from the observation point) to the shallow side in block units (for the method described above, See Japanese Patent Application Laid-Open No. 58-219664).

이렇게 하여 버퍼 메모리(18)에 저장된 정보는 상기한 바와같은 포인터에 의해 깊이가 깊은 쪽부터 차례로 판독 출력되어 전용 하드웨어(19)에 공급된다. 블럭 단위의 변환위치와 차분치로부터 1인 전용 하드웨어(19)에서는 입력블럭의 변환 후의 ㅣ범위를 구한다. 그래서 이 범위를 커버하는 출력 블럭(4×6=25화소)를 찾아, 역차분치(reverse differences)를 사용해서 각각의 출력 블럭에 대해서 대표점의 원화상 IM₁상의 대응점을 구한다. 이렇게 하여 얻어진 정보는 화상 변환용 하드웨어(30)에 공급된다.In this way, the information stored in the buffer memory 18 is sequentially read out from the deepest one by the pointer as described above and supplied to the dedicated hardware 19. Dedicated hardware 19, which is one from the conversion position and the difference value in block units, obtains the range after conversion of the input block. So to find the output block (4 × 6 = 25 pixels), which covers the range, using the reverse differential values (differences reverse) to obtain the corresponding point on the original image IM ₁ of the representative point for each output block. The information thus obtained is supplied to the image converting hardware 30.

또한(21)은 쉐이딩 계수 메모리에 마이크로 프로세서(17)의 변환후의 화상 데이타의 정보로부터 미리 설정된 가상의 광원에 대해서 각 화상 데이타가 위치하는 면의 광반사의 정도를 표시하는 쉐이딩 계수, 즉 음영 정보의 가중 계수가 작성되어서 이 메모리(21)에 저장되어 있다.Further, 21 is a shading coefficient, that is, shading information indicating the degree of light reflection of the surface where each image data is located with respect to a preset virtual light source from the information of the image data after conversion of the microprocessor 17 in the shading coefficient memory. The weighting coefficient of is created and stored in this memory 21.

제5도는 상기 화상 변환 처리의 플로우 챠트로 이것을 사용해서 쉐이딩 계수의 작성 및 쉐이딩 계수를 사용한 입력 데이타의 추정에 대해서 상세히 설명을 한다.Fig. 5 explains in detail the creation of shading coefficients and the estimation of input data using shading coefficients using this as a flowchart of the image conversion processing.

즉 먼저 변환 출력 화상의 1블럭(4×6=24화소)의 평면을 생각한다(스텝[101[). 이 경우의 1블럭의 평면은 상기한 바와같이 포인터에 의해 깊이가 깊은 쪽으로 차례로 그 출력 블럭을 생각하는 것이다.That is, first, a plane of one block (4 x 6 = 24 pixels) of the converted output image is considered (step [101]). In this case, the plane of one block is to consider the output block in order of depth toward the depth as described above.

다음으로 그 블럭이 입력화상의 표면쪽에 대응하고 있으나 이면쪽에 대응하고 있는 플래그를 셋업한다(스텝[102]).Next, a flag corresponding to the front side of the input image but corresponding to the back side is set up (step [102]).

즉, 제6도에 도시하는 바와같이 원통상으로 지면을 감은 경우 그 표면측의 면과 이면측의 면이 보이는 상태로 된다. 그래서 이경우 음영을 생각하면 표면측의 면과 이면측의 면을 생각할 필요가 있으므로 그 플래그를 셋업한다. 그래서 표면측의 면의 블럭에 대해서는 플래그 "0"을 셋업한다(제6a도 참조).That is, as shown in FIG. 6, when the ground is wound in a cylindrical shape, the surface on the front side and the surface on the back side are visible. So, in this case, we need to think of the surface on the front side and the surface on the back side. Thus, the flag " 0 " is set for the block on the surface side (see also FIG. 6A).

다음에, 그 생각한 블럭 평면의 법선 벡터 i를 구한다(제7도 참조 스텝[103]).Next, the normal vector i of the considered block plane is obtained (see FIG. 7 step 103).

다음에 그 블럭은 표의 블럭이 이면측의 블럭인지 판별한다(스텝[104]). 그래서 그 블럭이 존재하는 것이 표면측인 때는 스텝[105]으로 진행하며, 표면측의 면에 대한 법선 벡터가 그 블럭 평면의 법선 벡터로서 선택된다. 또한 블럭이 이면측에 존재할때는 이면측의 법선 벡터가 그 블럭 평면의 법선 벡터***로서 선택된다(스텝 [106]). 즉 제6b도는 표면측의 법선방향을 표시하는 단위 벡터이나 이 벡터와 플래그를 곱해서 제6c도에 도시하는 바와같이 표면측 및 이면측의 법선 벡터로 한다.The block then determines whether the block in the table is a block on the back side (step 104). Therefore, when the block exists on the surface side, the flow advances to step 105, where the normal vector for the surface on the surface side is selected as the normal vector of the block plane. When the block is present on the back side, the normal vector on the back side is selected as the normal vector *** of the block plane (step [106]). That is, Fig. 6B is a unit vector indicating the normal direction on the front side, or multiplied by this vector and a flag to form a normal vector on the front and back sides as shown in Fig. 6C.

다음에 이 블럭에 대해서 설정된 위치에 있는 광선 방향의 벡터***를 구한다(제7도 참조 스텝[107]).Next, the vector *** of the light beam direction at the position set for this block is obtained (see FIG. 7 step [107]).

그래서 그 법선 벡어 ***와 방향 벡터 ***의 내적 ***를 구한다(스텝[108]). 그래서 이 내적 값에 의하여 쉐이딩 계술르 구해서 쉐이딩 계수 메모리(21)에 그 값을 저장한다(스텝[109]).Thus, the inner product *** of the normal vector *** and the direction vector *** is obtained (step [108]). Therefore, the shading calculation is performed based on this internal value, and the value is stored in the shading coefficient memory 21 (step [109]).

다음으로 그 출력 블럭에 포함되는 대응 입력 데이타 샘플이 A/D 변환기에서 얻어지나, 이예에 있어서는 입력 화상의 컬러 비디오 신호로서 광량도 신호 Y 및 색차 신호 U,V의 성분신호가 사용되어, 각각이 A/D변환기(31)에 의해 디지탈화 된 후 데이타 변경회로(32)에 공급된다.Next, corresponding input data samples included in the output block are obtained by the A / D converter, but in this example, the light intensity diagram signal Y and the component signals of the color difference signals U and V are used as the color video signals of the input image, respectively. It is digitalized by the A / D converter 31 and then supplied to the data change circuit 32.

다음에 마이크로 프로세서(17)의 의해 그 쉐이딩 계수가 이 메모리(21)에서 판독 출력되고, 그 값이 데이타 변경회로(32)에 공급되어서 쉐이딩 계수에 응답하여 휘도 신호의 경우에는 그 휘도 레벨이, 색 신호의 경우에는 그 색상이 바뀌어서 음영이 가해진 데이타로 된다(스텝[111]).Next, the shading coefficients are read out from this memory 21 by the microprocessor 17, and the values are supplied to the data changing circuit 32 so that in the case of luminance signals in response to the shading coefficients, In the case of a color signal, the color is changed to become shaded data (step [111]).

이렇게 하여 출력 화상의 각 블럭에 포함될 입력 데이타가 미리 음영 때문에 쉐이딩 계수에 의해 가중되고 그 가중된 데이타가 필터(33)를 거쳐서 화상 변환용 하드웨어(30)에서 데이타 변환되고 어드레스 변환 및 삽입처리 등이 이루어진다(스텝[112]).In this way, the input data to be included in each block of the output image is previously shaded and weighted by the shading coefficients, and the weighted data is converted by the image conversion hardware 30 through the filter 33, and address conversion and insertion processing are performed. (Step [112]).

또한, 이 경우 쉐이딩 계수는 표면측 및 이면츠고가 함께 그것의 가장 밝은 부분 보다도 더욱 밝은 혹은 더욱 음영이 가해진 어두운 부분 보다 더욱 어두어지도록 내적이 구해지는 일이 있으나 쉐이딩 계수는 내적에 대해 제8도에 도시하는 바와같이 그 최대치 및 최소치를 초과할때 그 쉐이딩 계수를 일정치로 하여, 말하자면 리미터를 곱하도록 하고 있다. 따라서 밝은 부분이 너무 반짝이거나 어두운 부분에서 깜깜해져 버려 화상이 어둠으로 커버되는 일이 없어진다.Also, in this case, the shading coefficient may be calculated such that the surface side and the back surface are both lighter than the brightest portion or darker than the darker shaded portion, but the shading coefficient is 8 degrees relative to the inner product. As shown in Fig. 2, when the maximum and minimum values are exceeded, the shading coefficients are made constant, that is, the limiters are multiplied. Therefore, the bright areas become too shiny or dark in the dark areas so that the image is not covered with darkness.

다음에 이 데이타 변경회로(32)를 통한 3개의 출력은 디지탈 필터(33)에 공급된다. 이 디지탈 필터(33)는 버퍼 메모리(18)의 출력에 의해 통과 대역이 제어된다. 즉, 화상 변환 처리가 축소된 경우에는 화상의 세밀한 곳이 이그러져 버리므로 잡음이 증가하지 않도록 신호 대역을 좁게하며, 또한, 원화상의 가운데 부분에서도 확대되는 영역과 축소되는 영역이 흔재하는 경우에는 그것에 의하여 이 필터의 통과대역이 전환되도록 제어되는 것이다.Three outputs through this data changing circuit 32 are then supplied to the digital filter 33. The digital filter 33 controls the pass band by the output of the buffer memory 18. In other words, when the image conversion process is reduced, the detail of the image is distorted, so that the signal band is narrowed so that noise does not increase. Also, when the enlarged region and the reduced region are common in the middle of the original image, It is thereby controlled to switch the passband of this filter.

이 디지탈 필터(33)의 출력은 화상 변환용 하드웨어(30)에 공급된다.The output of this digital filter 33 is supplied to the image conversion hardware 30.

이 화상 변환용 하드웨어(30)는 입력 프레임 메모리(34)와, 삽입 처리회로(35)와, 출력 프레임 메모리(36)와, 판독/기록(R/W)어드레스 제어회로(37)로 구성되어 있다. 그래서 전용 하드웨어(19)로부터의 변환 데이타가 어드레스 제어회로(37)에 공급되어서 입력 프레임 메모리(34)의 어드레스와 출력프레임 메모리(36)의 어드레스를 제어함과 동시에 삽입 처리회로(35)에 있어서 삽입처리할 샘플점의 위치 데이타에 대해서는 삽입하도록 제어된다.The image conversion hardware 30 is composed of an input frame memory 34, an insertion processing circuit 35, an output frame memory 36, and a read / write (R / W) address control circuit 37. have. Thus, the conversion data from the dedicated hardware 19 is supplied to the address control circuit 37 to control the address of the input frame memory 34 and the address of the output frame memory 36, and at the same time in the insertion processing circuit 35, The position data of the sample point to be inserted is controlled to be inserted.

즉 필터(33)를 통한 화상 데이타는 입력 프레임 메모리(34)에 일시 저장된다. 그래서 상기한 바와 같이 포인터에서 블럭 단위로 깊은 쪽에서 얇은 쪽으로의 처리가 순차 이루어질때, 출력의 블럭의 대표점에 대응하는 입력의 샘플점의 화상 데이타가 어드레스 제어회로(37)에 의해 판독되고, 삽입처리회로(35)에 공급되며, 출력 프레임 메모리에 기록된다. 또다시 출력 블럭내의 샘플점에 대응하는 위치가 입력 프레임 메모리내에서 샘플점과 샘플점의 사이에 오는 데이타의 경우에는 그 데이타가 입력 프레임 메모리내의 주변의 샘플점의 입력 화상 데이타로부터 보간되어 작성되고, 그것이 어드레스 제어회로(37)로부터의 출력 화상 위치로 되는 블럭의 어드레스에 기록된다. 이렇게 하여 출력 프레임 메모리(36)에는 블럭마다 변환된 입체 화상의 데이타가 기록되고, 이것이 순차 판독되어서 그 출력이 극간 검출 보간회로(38)를 거쳐서 D/A 변환기(39)에 공급되고 이것에 의해 휘도신호 Y, 색차신호 U 및 V가 끌어내어지고 이것이 도시되지 않은 CRT 디스플레이에 공급되어서, 변환화상이 그 화면에 디스플레이 된다(제9도 참조, 단 가상광원은 표시되지 않음).That is, image data through the filter 33 is temporarily stored in the input frame memory 34. Thus, as described above, when the processing from the pointer to the deep side to the thin side is sequentially performed, the image data of the input sample point corresponding to the representative point of the block of the output is read by the address control circuit 37 and inserted. It is supplied to the processing circuit 35 and written to the output frame memory. If the data corresponding to the sample point in the output block is between the sample point and the sample point in the input frame memory, the data is interpolated from the input image data of the surrounding sample point in the input frame memory. This is written to the address of the block which becomes the output image position from the address control circuit 37. In this way, data of a stereoscopic image converted for each block is recorded in the output frame memory 36, which is sequentially read out, and the output thereof is supplied to the D / A converter 39 via the interpolation detection interpolation circuit 38, thereby. The luminance signals Y, the color difference signals U and V are drawn out and supplied to a CRT display (not shown), so that the converted image is displayed on the screen (see Fig. 9, except the virtual light source is not displayed).

다음에 선형 근사 화상 변환에 의해 생긴 출력 화상상에서의 극간 보간에 대해서 설명을 한다.Next, interpolation interpolation on the output image generated by linear approximation image conversion will be described.

상기한 바와같이 출력 프레임 메모리(36)에 기록된 변환후의 화상 데이타는 순차 판독되어서 극간 검출보간회로938)에 공급되나 이것과 함께 버퍼 메모리(18)로부터의 맵핑정보는 극간정보 메모리(22)에 공급되고, 각 화소에 있어서의 극간정보가 극간 검출 보간회로(38)에 공급된다.As described above, the image data after conversion recorded in the output frame memory 36 is sequentially read and supplied to the interpolation detection interpolation circuit 938, while the mapping information from the buffer memory 18 is transferred to the interpolation information memory 22. The inter-pole information in each pixel is supplied to the inter-pole detection interpolation circuit 38.

극간 정보 메모리(22)는 제10도에서 도시하는 바와같이 기록 플래그 메모리(22A), 표리 플래그 메모리(22B) 입력 화상 어드레스 메모리(22C)를 갖는다. 이들의 메모리(22A),(22B),(22C)는 각각 출력 프레임 메모리(36)의 각 화소 데이타의 수직 및 수평 어드레스와 같은 수평 및 수직 어드레스를 갖는 메모리 에어리어를 가지며, 출력 프레임 메모리(36)의 각 화소가 순차 판독될때에 이것과 동기하여 대응하는 어드레스로부터 데이타를 판독된다.The interstitial information memory 22 has a write flag memory 22A and a front flag memory 22B input image address memory 22C, as shown in FIG. These memories 22A, 22B, and 22C each have a memory area having horizontal and vertical addresses, such as the vertical and horizontal addresses of the pixel data of the output frame memory 36, and the output frame memory 36 When each pixel of is sequentially read out, data is read from the corresponding address in synchronization with this.

기록 플래그 메모리(22A)는 출력 화면을 구성하는 각 화소에 대응하는 어드레스중 출력 프레임 메모리(36)에 변환화상 데이타가 기록되는지 여부를 표시하는 1비트의 기록 플래그 데이타를 기억하고 있다. 이 기록 플래그 그 데이타는 프로세서(11)에 미리 입력된 데이타에 의거하여 지정된 반경의 원통곡면상의 다각형 의사곡면에 입력 화상을 첨부할 경우에 다각형 의사곡면이 할당된 어드레스와 할당되지 않은 어드레스를 화소마다 논리 1 또는 0 레벨의 플래그 데이타에 의해 표시한다. 이 기록 플래그 그데이타는 실제상 프로세서(17)에 입력된 데이타에 의거해서 연산함으로써 기록 플래그 메모리(22A)에 저장된다.The write flag memory 22A stores one bit of write flag data indicating whether or not the converted image data is recorded in the output frame memory 36 among addresses corresponding to each pixel constituting the output screen. This recording flag is used for each pixel to assign an address and an unassigned address to which a polygonal pseudocurve is assigned when an input image is attached to a polygonal pseudocurve on a cylindrical curvature having a radius specified on the basis of the data previously input to the processor 11. Displayed by the logic 1 or 0 level flag data. The write flag g data is actually stored in the write flag memory 22A by performing calculation based on the data input to the processor 17.

제10도의 경우 기록 플래그 메모리(22A)중 어드레스 영역 X1은 원통 표면에는 속하지 않는 영역(배경으로 됨)이므로 다각형 의사곡면이 할당되지 않은 영역이며, 따라서 이 영역 X1의 각 화소에는 논리 0의 데이타가 기록되어 있다. 이것에 대해서 어드레스 영역 X2는 원통 곡선중 표면에 해당하는 영역이며, 따라서 입력 비디어 신호가 기록되어 있는 입력 프레임 메모리(34)의 화상을 표면측의 화상(뒤집어지지 않은 화상)으로서 원통곡면 상에 첨부하여 이것을 비스듬한 상방에서 본것과 같이 보이는 화상 변환이 이루어진 변환화상 부분을 나타내고 있다. 또한 어드레스 영역 X3은 원통곡면에 감겨진 입력 화상중 이면측에 감겨진 변환 화상(즉, 입력 화상이 뒤집혀져 이루어지는 화상으로 이루어짐)을 나타내고 있다.In the case of Fig. 10, since the address area X1 in the write flag memory 22A does not belong to the cylindrical surface (it becomes the background), the polygonal pseudo-curved surface is not allocated. Therefore, each pixel of this area X1 has logical 0 data. It is recorded. On the other hand, the address area X2 is an area corresponding to the surface of the cylindrical curve, so that the image of the input frame memory 34 in which the input video signal is recorded is placed on the cylindrical curved surface as an image on the surface side (not inverted). In addition, the conversion image part which the image conversion which looks like this seen from the oblique upper direction was performed is shown. In addition, the address area X3 represents a converted image (that is, an image formed by inverting the input image) of the input image wound on the cylindrical curved surface.

따라서, 어드레스 영역 X1은 애당초 입력 화상이 할당되지 아니한 영역이므로, 이 영역에 포함되는 화소에 대응하는 어드레스에는 논리 0 데이타가 기록되어 있다. 이것에 대해서 X2 및 X3에는 다각형 의사곡면이 첨부된 부분과 첨부되지 아니한 부분(이것이 극간을 나타냄)으로 이루어지고 다각형 의사곡면이 할당되어 있는 어드레스에는 논리 1 데이타가 기록되어 있는 것에 대해서 극간에는 논리 0의 데이타가 기록되어 있다.Therefore, since the address area X1 is an area to which no input image is initially assigned, logical 0 data is recorded in the address corresponding to the pixel included in this area. On the other hand, X2 and X3 consist of a part with and without a polygon pseudosurface (this represents the gap), and logical 1 data is recorded at an address to which the polygon pseudosurface is assigned. Data is recorded.

이렇게 하여 제11도에 도시하는 바와같이 주위에 논리 1의 데이타가 있는 가운데에, 논리 0의 데이타를 갖는 어드레스 영역 AR11이 남겨진 것과 같은 형태로 기록 플래그 메모리(22A)에 극간의 위치 및 크기가 저장하게 된다.In this way, as shown in FIG. 11, the position and size of the poles are stored in the write flag memory 22A in the same manner that the address area AR11 having the data of the logic 0 remains while the data of the logic 1 is around. Done.

또한 표리 플래그 메모리(22B)는 원통곡면상에 첨부된 입력 화상의 표리를 나타내는 데이타를 저장하는 것으로 입력 프레임 메모리(34)의 어드레스에 대응하는 각 어드레스 위치에 1비트의 표리 플래그 데이타를 기억한다.The front and back flag memory 22B stores data representing the front and back of the input image attached on the cylindrical curved surface, and stores one bit of front and back flag data at each address position corresponding to the address of the input frame memory 34.

제10도의 실시예의 경우, 표리 플래그 메모리(22B)의 어드레스 영역 Y1은, 출력 화상 메모리(5)중, 입력 화면 데이타가 기록되어 있지 아니한 어드레스 영역에 해당하고, 이 영역에는 표리 데이타를 저장하지 않고 무효를 나타내는 신호가 기록되어 있다. 이 무효를 나타내는 신호는, 실질상 기록 플래그 메모리(22A)에 저장되어 있는 기록 플래그를 근거로 하여 얻어진다.In the case of the embodiment of Fig. 10, the address area Y1 of the front and back flag memory 22B corresponds to an address area in which the input screen data is not recorded in the output image memory 5, and the front and back data are not stored in this area. A signal indicating invalidity is recorded. The signal indicating this invalidity is actually obtained based on the recording flag stored in the recording flag memory 22A.

또한, 어드레스 영역 Y2에는, 출력 프레임 메모리(36)에 기록된 변환 화상 데이타에 대해서, 원통표면에 감겨진 화상 데이타에 대해서, 원통표면에 감겨진 화상 부분에 포함되는 각 어드레스 중, 표면측 부분의 화상 데이타가 기억되어 있는 어드레스에 대해서 논리 1의 데이타가 기록되어 있다.In the address area Y2, for the converted image data recorded in the output frame memory 36, for the image data wound on the cylindrical surface, the surface-side portion of each address included in the image portion wound on the cylindrical surface. Logic 1 data is recorded for the address where the image data is stored.

또 다시 어드레스 영역 Y3에는, 출력 프레임 메모리(36)에 기록된 입력화상 데이타에 대해서, 원통 곡면의 배후에 감긴 부분을 나타내는 뒤집은 화상 데이타가 기억되어 있는 어드레스에 대해서 논리 0의 데이타가 기록되어 있다.In addition, in the address area Y3, logical 0 data is recorded with respect to the input image data recorded in the output frame memory 36 with respect to an address at which flipped image data indicating a portion wound behind the cylindrical curved surface is stored.

따라서, 뒤쪽의 화상 데이타가 기억되어 있는 어드레스 영역 Y3상에 표면측의 화상 데이타가 기억되어 있는 어드레스 영역 Y2가 겹쳐져 있는 부분에 대해서, 표면측의 영역 Y2에 극간이 있으면 표리 플래그 메모리(22B)의 데이타의 배열은 제12도에서 도시하는 바와같이, 주위의 메모리 에어리어에 논리 1의 데이타가 기록되어 있는 상태에 있어서, 극간에 해당하는 메모리 에어리어 AR21에만 논리 0의 데이타가 기록되어 있는 것과 같은 상태로 된다.Therefore, if there is a gap between the front side area Y2 and the portion where the address area Y2 on which the surface side image data is stored overlaps on the address area Y3 on which the rear side image data is stored, the front and back flag memory 22B As shown in FIG. 12, the data array is in a state in which logic 1 data is recorded in the surrounding memory area, such that logic 0 data is recorded only in the memory area AR21 corresponding to the gap. do.

이 상태는, 출력 프레임 메모리(36)에 저장되어 있는 화상 데이타에 대해서, 표면 영역에 극간이 있기 때문에, 뒤집은 화상이 보이는 상태로 되어 있는 것을 의미하고 있다. 실제상 이와같이 상태가 생기면, 예컨대 뒷쪽의 색과 앞쪽의 색이 극단으로 다른 경우에는 1화소분의 극간일지라도 보기흉한 화면으로 될 우려가 있으나, 이와같은 상태의 발생을 표리플래그 메모리(22B)에 기억할 수가 있다.This state means that there is a gap in the surface area with respect to the image data stored in the output frame memory 36, so that the reversed image is in a visible state. If such a state actually occurs, for example, if the color of the back and the front is extremely different, there may be an unsightly screen even in the interval of one pixel, but the occurrence of such a state can be stored in the front and back flag memory 22B. There is a number.

입력 화상 어드레스 메모리(22C)는 출력 프레임 메모리(36)의 각 어드레스에 대응하는 어드레스의 메모리 에어리어에, 변환전의 입력 화상을 기억하고 있는 입력 프레임 메모리(34)의 수평 방향 어드레스 및 수직 방향 어드레스를 기억한다. 여기에서 출력 프레임 메모리(36)에 기억되어 있는 각 어드레스의 화소 데이타의 어드레스 위치는, 입력 프레임 메모리(34)의 어드레스 위치에서 변환 연산에 의해 이동되는 것이며, 따라서 출력 프레임 메모리(36)의 각 화소에 인접하는 화소의 데이타의 입력 프레임 메모리(34)에 있어서 어드레스는 화면의 연속성면에서 고려하여 그만큼 동떨어진 값으로는 아니될 것이다. 그러나 제13도에서 도시하는 바와같이, 메모리 에어리어 AR31에 기억되어 있는 어드레스가 그 주위의 메모리 에어리어에 기억되어 있는 어드레스와 비교하여 극단적으로 상위하는 것과 같은 경우에는, 이 메모리 에어리어 AR31에 해당하는 어드레스 위치에 극간이 있다고 판단할 수 있다.The input image address memory 22C stores the horizontal direction address and the vertical direction address of the input frame memory 34 storing the input image before conversion in a memory area of an address corresponding to each address of the output frame memory 36. do. Here, the address position of the pixel data of each address stored in the output frame memory 36 is shifted by a conversion operation at the address position of the input frame memory 34, and therefore, each pixel of the output frame memory 36. In the input frame memory 34 of the data of pixels adjacent to the address, the address will not be so far apart in view of the continuity of the screen. However, as shown in FIG. 13, when the address stored in the memory area AR31 is extremely different from the address stored in the memory area around it, the address position corresponding to this memory area AR31 It can be judged that there is a gap between.

이와같이 하여, 극간은 2차원 평면을 다각형 의사곡면에 첨부할 때의 연산시에 공지된 것으로서 얻어져 극간 정보 메모리(22)를 구성하는 기록 플래그 메모리(22A), 표리 플래그 메모리(22B), 입력 화상 어드레스 메모리(22C)에 미리 기록되고, 그 후 출력 프레임 메모리(36)의 각 어드레스에 기억되어 있는 화소 데이타가 순차 판독될 때, 이것과 동기하여 극간정보로서 판독외어 극간 검출 보간회로(38)에 공급된다.In this way, the gap is obtained as known at the time of calculation when the two-dimensional plane is attached to the polygonal pseudocurved surface, and the recording flag memory 22A, front and back flag memory 22B, and the input image constituting the interpolation information memory 22 are provided. When the pixel data stored in advance in the address memory 22C and then stored in each address of the output frame memory 36 are sequentially read, the read-out interpolation interpolation circuit 38 is read as interpolation information in synchronism with this. Supplied.

여기에서 기록 플래그 메모리(22A), 표리 플래그 메모리(22B), 입력 화상 어드레스 메모리(22C)로부터의 데이타의 판독은, 수평방향(H방향) 및 수직방향(V방향)의 양방향에 대해서 실행되고, 이와같이 하여 수평방향 및 수직방향의 양방향에 대해서 각 화소의 데이타의 배열에 극단적인 불연속이 발생하였을 때, 이것을 극단이라고 판단한다.Here, reading of data from the write flag memory 22A, front and back flag memory 22B, and input image address memory 22C is performed in both the horizontal direction (H direction) and the vertical direction (V direction), In this way, when an extreme discontinuity occurs in the data arrangement of each pixel in both the horizontal and vertical directions, it is determined that this is the extreme.

또한 극간 정보 메모리(22)를 구성하는 기록 플래그 메모리(22A), 표리 플래그 메모리(22B), 입력 화상 어드레스 메모리(22C)의 데이타 기록은 시각상 안쪽 위치에 있는 듯이 보이는 화상에서 순차 앞의 화상을 겹쳐서 가도록 되고, 그 결과 복수의 화면 부분이 서로 겹쳐져 있는 경우에는 가장 앞의 화면부분에 대한 데이타가 메모리(22A), (22B),(22C)에 남게 된다.In addition, the data recording of the recording flag memory 22A, front and back flag memory 22B, and input image address memory 22C constituting the interpolation information memory 22 causes the image preceding the sequence to be displayed in the image that appears to be in the visually inner position. As a result, when a plurality of screen portions overlap each other, data for the earliest screen portion is left in the memories 22A, 22B, and 22C.

극간 검출 보간회로(38)는 극간으로 판단한 화소 데이타에 대해서는 이 화소 주위의 데이타를 사용해서 보간연산을 실행한다. 이 실시예의 ㅣ경우, 보간 연산은, 출력 프레임 메모리(36)에서 순차 이송되어서 오는 화소 데이타 중, 극간 화소의 전후의 화소 데이타의 중간치(가산 평균치)를 사용하도록 한다. 또한 보간 연산으로는 중간치 이외에 앞 이웃의 화소 데이타, 뒤 이웃의 화소 데이타, 1필드 전의 화소 데이타, 주위 8개의 화소 데이타의 평균치 등을 이 극간의 데이타로서 치환하는 등의 여러 종류의 보간 방법을 적용할 수 있다.The interpolation detection interpolation circuit 38 performs interpolation operation on the pixel data determined as the interval using data around the pixel. In the case of this embodiment, the interpolation operation uses the intermediate value (added average value) of pixel data before and after the interpolation pixel among the pixel data that is sequentially transferred from the output frame memory 36. In addition, the interpolation operation uses various interpolation methods such as replacing the pixel data of the front neighbor, the pixel data of the next neighbor, the pixel data of one field before the average, and the average value of the surrounding eight pixel data with the data between these poles. can do.

극간 검출 보간회로(38)에 있어서 극간 보간된 데이타는 디지탈-아나로그 그 변환회로(39)에 있어서 아나로그 신호로 변환된 후, 출력 비디오 신호로서 송출된다.The interpolated data in the interpolation detection interpolation circuit 38 is converted into an analog signal in the digital-analog conversion circuit 39 and then sent as an output video signal.

이상과 같은 구성에 있어서, 극간 검출 보간회로(38)는, 제14도에서 도시하는 바와같은 처리수단에 따라서 극간의 검출 및 보간 연산을 실행한다. 극간 검출 보간회로(38)는, 먼저 스텝 SP1에 있어서, 기록 플래그 메모리(22A)의 기록 플래그 데이타를 순차 수평방향 및 수직방향으로 판독하여 출력 프레임 메모리(36)에 기록되지 않은 화소(제11도)를 극간으로서 검출한 후, 이 검출 결과에 의거하여 다음의 스텝 SP2에 있어서 보간연산을 실행함으로써 이 극간에 보간 데이타를 채운다.In the above configuration, the inter-pole detection interpolation circuit 38 performs inter-pole detection and interpolation calculation in accordance with the processing means as shown in FIG. The interpolation detection interpolation circuit 38 first reads the write flag data of the write flag memory 22A in the horizontal and vertical directions sequentially in step SP1 to prevent the pixels from being written to the output frame memory 36 (Fig. 11). ) Is detected as the interval, and then interpolation data is filled in the interval by performing the interpolation operation in the next step SP2 based on the detection result.

이어서 극간 검출 보간회로(38)는 스텝 SP으로 이동하여, 표리 플래그 메모리(22B)의 데이타를 수평방향으로 판독한 후, 수직방향으로 판독함으로써, 표면 플래그 사이에 이면 플래그가 생긴 화소를 극간으로서 검출하고, 다음의 스텝 SP4에 있어서 이 극간을 보간 연산에 의하여 얻은 보간 데이타를 채운다.Then, the interpolation detection interpolation circuit 38 moves to step SP to read the data in the front and rear flag memory 22B in the horizontal direction, and then in the vertical direction, thereby detecting the pixel having the back flag between the surface flags as the interpolation. In the next step SP4, interpolation data obtained by the interpolation operation is filled in this gap.

또한, 스텝 SP1 및 SP3에 있어서 수평 방향에 대해서 극간을 검출할 뿐만 아니라 수직방향에 대해서도 극간 검출을 하는 것은, 예컨대 제15도에 도시하는 바와같이, 극간임을 표시하는 논리 0의 화소가 수평방향(또는 수직방향)으로 연속한 경우에, 이것을 극간이 아니라는 판단을 할 우려가 회피하기 위해서이다. 덧붙여서 극간인가 아닌가의 판단은, 순차 계속되는 플래그 데이타의 내용이 반전 하였을 때 이 반전한 화소를 극간으로 판정하는 수법이 사용되나, 이와같이 한 경우 제15도와 같은 패턴의 데이타가 얻어졌을 때, 수평방향 만에 대해서 판정을 하면, 극간이 없다고 판단할 우려가 있으나, 수직방향으로도 판단하는데 소요되는 오판정을 미연에 방지할 수 있다.In addition, in step SP1 and SP3, not only the gap is detected in the horizontal direction but also the gap is detected in the vertical direction, for example, as shown in FIG. Or in the vertical direction), to avoid the possibility of judging that this is not the gap. Incidentally, whether or not the interval is determined is a method of judging the inverted pixel as the interval when the contents of the successive flag data are reversed. If it is judged that there is a possibility that there is no gap, the misjudgment required to judge in the vertical direction can be prevented in advance.

극간 검출 보간회로(38)는, 다음의 스텝 SP5에 있어서 입력 화상 어드레스 메모리(22C)의 데이타를 수평방향으로 판독한 후, 수직방향으로 판독하여, 어드레스 데이타의 내용이 극단으로 변화하는 화소가 있으면 이것을 극간으로 판정하고, 다음의 스텝 SP6에 있어서 보간 연산을 실행하여 이 화소에 보간 데이타를 채운다.The interpolation detection interpolation circuit 38 reads the data of the input image address memory 22C in the horizontal direction and reads it in the vertical direction in the next step SP5, and if there is a pixel whose contents of the address data change to the extreme, This is determined as the gap, and the interpolation operation is performed in the next step SP6 to fill this pixel with interpolation data.

여기에서 화성 변화할 3차원 곡면으로서 제16도에 도시하는 바와같이, 평면을 나선형으로 감은 것과 같은 곡면을 선정한 경우, 입력 화상의 표면측 부분에서 이루어지는 2개의 표면 부분 K2 및 K4가 서로 겹치는 것과 같은 화상을 얻게 되나, 앞의 ㅣ표면측 화면 부분 K2을 기억하는 메모리 에어리어 AR41(제17도)에 극간이 있었다 하여도, 이 극간에는 안쪽의 표면화면부분 K4에 대한 앞 플래그 그 데이타 1이 기억되어 있으므로, 이 극간 AR41을 판정할 수 없는 우려가 있다. 그러나 이 극간 AR41에 대응하는 입력 화상 어드레스 메모리(22C)의 메모리 에어리어에 기억되어 있는 어드레스는 안쪽의 표면 화면 부분 K4에 대한 어드레스이므로, 그 주위의 어드레스, 즉 맨앞쪽의 앞면 화면 부분 K2의 어드레스와는 동떨어진 어드레스로 될 것이며, 이와같이 하여 극간 검출 보간회로(38)는 이 입력 화상 어드레스 메모리(22C)의 데이타에 의거하여 확실하게 극간을 검출할 수가 있다.Here, as shown in FIG. 16 as the three-dimensional curved surface to be transformed by Mars, when a curved surface such as a spiral wound around a plane is selected, two surface portions K2 and K4 made on the surface side portion of the input image overlap with each other. Although an image is obtained, even if there is a gap in the memory area AR41 (Fig. 17) that stores the surface screen portion K2, the data of the front flag for the inner surface screen portion K4 is stored. Therefore, there is a fear that this inter-array AR41 cannot be determined. However, since the address stored in the memory area of the input image address memory 22C corresponding to this gap AR41 is an address for the inner surface screen portion K4, the address of the surrounding, that is, the address of the front front screen portion K2 In this way, the inter-pole detection interpolation circuit 38 can reliably detect the gap based on the data in the input image address memory 22C.

이와같이 하여 극간 검출 보간회로(38)는 모든 극간의 판정 및 보간연산을 종료하고, 다음의 스텝 SP7에서 출력비디오 신호를 출력한다.In this way, the interpolation detection interpolation circuit 38 finishes the determination and interpolation between all the poles and outputs an output video signal in the next step SP7.

이상의 실시예에 의하면, 다각형 의사 곡면을 3차원 곡면상에 첨부하는 것과 같이 연산을 할 때에, 극간이 생겼을 때, 이 극간을 검출하여 이 극간만큼의 대해서 보간 연산을 실행하도록 함으로써 하드웨어적으로 구성을 대규모로 하는일 없이 극간에 데이타를 보간하여서 이루어지는 출력 비디오 신호를 확실하게 얻을 수가 있다. 따라서 2차원 평면을 다각형 3차원 곡면에 첨부하기 위한 연산으로서, 극간이 생기는 것을 피할 수 없을 정도로 작은 비트수로 연산을 실행시키는 것과 같은 전용 하드웨어를 채용하여도, 실용상 정밀도를 저하시키지 아니하며, 이와같이 하여 고속도의 연산에 의해 실시간 연산을 높은 정밀도로 실행할 수 있다.According to the above embodiment, when performing a calculation such as attaching a polygonal pseudo-curved surface on a three-dimensional curved surface, when the gap is generated, the gap is detected and the interpolation operation is executed for this gap. It is possible to reliably obtain an output video signal obtained by interpolating data between the poles without large scale. Therefore, even if a dedicated hardware such as an operation for attaching a two-dimensional plane to a polygonal three-dimensional curved surface, such as performing an operation with a small number of bits inevitably small, the accuracy is not impaired in practice. Therefore, real-time calculation can be performed with high precision by the high speed calculation.

이상과 같이 본 발명에 의하면, 3차원의 출력 화상에 대해서 가상 광원을 어떤 위치에 설치하여 생각하여, 그 가상 광원에 대해서 나타나는 음영으로 인한 가중치 계수를 샘플점이 포함되는 평면의 법선 벡터와 광원방향의 방향 벡터에 의거하고 구하고, 그것에 의해 출력 화상에 음영이 가해지도록 하였으므로, 2차원 평면 화상을 3차원적 화상으로 변환한 경우에, 그것이 자연화이거나, 또는 정지한 도형이거나, 입체감을 잃는일 없이 나타낸 수가 있다.As described above, according to the present invention, the virtual light source is installed at a certain position for the three-dimensional output image, and the weight coefficient due to the shadow appearing with respect to the virtual light source is determined by the normal line vector of the plane including the sample point and the light source direction. Since the image is obtained based on the direction vector, and the shadow is added to the output image, when the two-dimensional plane image is converted into a three-dimensional image, it is shown as a naturalized image, a stationary figure, or a three-dimensional image. There is a number.

또 다시 2차원 평면을 3차원 다각형 의사 곡면에 첨부할 때에 극간이 생겨도, 이것을 확실하게 검출하여 보간함으로써. 하드웨어의 크기를 그만큼 크게 하지 않고 실시간적으로 높은 정밀도로 화상변환을 실행할 수 있는 화상 변환 장치를 용이하게 실현할 수 있다.Further, even if a gap occurs when the two-dimensional plane is attached to the three-dimensional polygonal pseudo-curved surface, by reliably detecting and interpolating this. It is possible to easily realize an image conversion device capable of performing image conversion with high precision in real time without increasing the size of hardware.

Claims

A method of converting input video image data into output video image data having a three-dimensional curved surface, the method comprising: (A) defining a three-dimensional curved surface; (B) providing mapping data for converting the input video image data into the three-dimensional curved surface; (C) storing the input video image data in a first memory means; (D) converting said input video picture data stored in said first memory means in accordance with said mapping data to provide output video picture data; (E) calculating a first vector representing a direction taken with the micro area on the three-dimensional curved surface; (F) calculating a second vector representing a direction from the micro area toward the virtual light source disposed at a certain position; (G) calculating a dot product of the first and second vectors; (H) calculating a weighting coefficient representing a shading occurring in the micro area by the virtual light source according to the inner product of the first and second vectors; And (I) weighting the input video image data or the output video image data according to the weighting coefficients.

The method of claim 1, wherein the first vector is orthogonal to the micro area on the three-dimensional curved surface.

The method of claim 2, wherein the weighting coefficient is calculated according to the inner product of the first and second vectors.

The input video image data conversion method according to claim 1, further comprising the step of storing said weighting coefficients in a second memory means.

An apparatus for converting input video image data into output video image data having a three-dimensional curved surface, comprising: (A) means for defining the three-dimensional curved surface, and (B) mapping data for converting the input video image data into the curved surface. Means for providing; (C) first memory means for storing the input video image data; (D) means for converting the input video picture data stored in the first memory means according to the mapping data to provide output video picture data; (E) second memory means for storing a weighting factor indicative of a shadow occurring on the surface by a virtual light source disposed at a certain position, wherein the weighting factor is a first vector representing a direction taken in a micro area on the surface and the The second memory means provided by bounding by a second vector representing a direction from the micro area to the virtual light source, respectively, and by internal product calculation of the first and second vectors; And (F) means for weighting the input video image data or output video image data according to the weighting coefficients.

An apparatus for converting input video image data into output video image data having a three-dimensional curved surface, comprising: (A) means for defining the three-dimensional curved surface; and (B) mapping for converting the input video image data to the curved surface. Means for providing data; (C) first memory means for storing the input video image image data; (D) means for converting the input video picture data stored in the first memory means according to the mapping data to provide output video picture data; (E) means for detecting the interstitial portion in which the video image data appropriately converted from the output video image data does not exist, and (F) the video image data for the executive by calculating video image data around the interstitial portion. And means for interpolating the input video data.

7. The apparatus according to claim 6, further comprising a second memory means for storing position data of the interstitial portion, wherein the interpolation is processed in response to the position data.

8. The apparatus of claim 7, wherein the second memory means comprises a first flag memory, wherein write flag data is stored in correspondence with the output video image data, and wherein each write flag data is stored in each of the outputs. An input video image data conversion device, which indicates the presence of video image data.

8. The apparatus according to claim 7, wherein said second memory means comprises a second flag memory, wherein surface / face flag data is stored corresponding to the output video image data in the second flag memory, and wherein each surface / face flag And the data indicates that the front side or the back side of the input video image is converted into the three-dimensional curved surface.

8. The method of claim 7, wherein the second memory means comprises a third flag memory, wherein the input video picture is stored in the third flag memory in the first memory means corresponding to the output video picture. Input video image data converter.