KR20140030013A - A method for stereoscopic rendering by producing a stereoscopic sprite and an apparatus for the same - Google Patents
A method for stereoscopic rendering by producing a stereoscopic sprite and an apparatus for the same Download PDFInfo
- Publication number
- KR20140030013A KR20140030013A KR1020120154221A KR20120154221A KR20140030013A KR 20140030013 A KR20140030013 A KR 20140030013A KR 1020120154221 A KR1020120154221 A KR 1020120154221A KR 20120154221 A KR20120154221 A KR 20120154221A KR 20140030013 A KR20140030013 A KR 20140030013A
- Authority
- KR
- South Korea
- Prior art keywords
- sprite
- stereoscopic
- generating
- dimensional
- depth information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 입체 영상을 생성하기 위한 렌더링 방법에 관한 것이다. 보다 상세하게는 스프라이트를 이용한 입체 영상의 렌더링 방법에 관한 것이다. The present invention relates to a rendering method for generating a stereoscopic image. More particularly, to a stereoscopic image rendering method using a sprite.
입체 3D 콘텐츠를 즐길 수 있는 환경이 보편화 됨에 따라 다양한 분야에서 입체 3D 콘텐츠 개발이 이루어지고 있다. 따라서 입체 3D 콘텐츠를 쉽게 만드는 방법이나 기존의 콘텐츠를 입체 3D 콘텐츠로 변경하기 위한 연구가 활발히 이루어 지고 있다[1,2,3]. 게임분야에서도 기존의 게임을 입체 3D 게임으로 만들기 위한 시도들이 이루어지고 있지만, 2D 게임의 경우 장면을 구성하기 위해 사용되는 이미지인 스프라이트들은 3D게임과 달리 깊이값(Depth value)을 가지고 있지 않기 때문에 입체 3D 게임으로 변경하는데 어려움이 있다. As the environment for enjoying 3D stereoscopic 3D content is becoming common, stereoscopic 3D content is being developed in various fields. Therefore, methods for easily creating stereoscopic 3D contents and research for converting existing contents into stereoscopic 3D contents have been actively performed [1,2,3]. In the field of games, attempts have been made to convert existing games into stereoscopic 3D games. However, in the case of 2D games, sprites, which are images used for composing scenes, do not have a depth value unlike 3D games, It is difficult to change to 3D game.
본 발명은 상기 종래 기술의 문제를 해결하기 위하여 안출된 것으로서, 2D 게임을 위한 입체 3D 렌더링 엔진을 제안한다. 본 발명은 자동으로 스프라이트를 부피감있는 스프라이트로 변경시켜 일반 스프라이트를 입체 3D 장면으로 만들었을 때 3D 장면의 입체 감을 떨어뜨리는 카드-보드 효과를 감소시키는 것을 목적으로 한다.The present invention has been devised to solve the problems of the conventional art, and proposes a stereoscopic 3D rendering engine for a 2D game. The present invention aims at reducing the card-board effect of dropping the 3D sensation of a 3D scene when the sprite is automatically converted into a sprite with a bulky feel, thereby making a normal sprite into a stereoscopic 3D scene.
상기 기술적 과제를 해결하기 위한 본 실시예에 따른 입체 스프라이트 생성을 통한 입체 영상 생성 방법은 영상을 구성하는 단위 이미지인 스프라이트의 외곽선을 기준으로 하는 상기 스프라이트의 각 픽셀들의 거리 정보를 이용하여 상기 스프라이트에 부피감이 부여된 입체 스프라이트를 생성하는 단계; 및 상기 입체 스프라이트의 입체 영상을 구현하기 위한 좌우영상에서의 시차를 계산하여 상기 입체 스프라이트를 상기 좌우영상에 배치하는 단계를 포함한다.According to an aspect of the present invention, there is provided a stereoscopic image generation method for generating a stereoscopic image by generating a stereoscopic image by using a distance information of each pixel of a sprite based on an outline of a sprite, Generating a volumetric three-dimensional sprite; And arranging the stereoscopic sprite in the left and right images by calculating a parallax in the right and left images to realize a stereoscopic image of the stereoscopic sprite.
상기 입체 스프라이트를 생성하는 단계는 상기 각 픽셀들의 거리 정보를 상기 각 픽셀들의 깊이 정보로 적용하여 상기 스프라이트에 부피감이 부여된 입체 스프라이트를 생성하는 것이 바람직하다.The step of generating the stereoscopic sprite may include applying the distance information of the pixels to the depth information of each of the pixels to generate a stereoscopic sprite having a volume feeling added to the sprite.
상기 입체 스프라이트를 생성하는 단계는 상기 스프라이트의 각 픽셀들의 거리 정보를 이용하여 상기 스프라이트에 대한 디스턴스 맵을 생성하는 단계; 상기 디스턴스 맵의 상기 거리 정보를 상기 각 픽셀들의 깊이 정보로 적용하여 상기 스프라이트에 대한 깊이 정보 맵을 생성하는 단계; 및 상기 깊이 정보 맵을 이용하여 상기 스프라이트에 부피감이 부여된 입체 스프라이트를 생성하는 단계를 포함한다.Wherein the step of generating the stereoscopic sprite comprises: generating a distance map for the sprite using distance information of each pixel of the sprite; Generating a depth information map for the sprite by applying the distance information of the distance map as depth information of the pixels; And generating a stereoscopic sprite to which the sprite is given a volume feeling by using the depth information map.
상기 깊이 정보 맵을 생성하는 단계는 상기 각 픽셀들의 깊이 정보를 이용하여 상기 스프라이트에 대한 3차원 메쉬 구조의 깊이 정보 맵을 생성하는 것이 바람직하다.The generating of the depth information map preferably generates a depth information map of the 3D mesh structure for the sprite using depth information of the pixels.
상기 입체 스프라이트를 생성하는 단계는 상기 스프라이트에 대하여 미리 결정된 깊이 정보 맵을 이용하여 상기 스프라이트에 부피감이 부여된 입체 스프라이트를 생성하는 것이 바람직하다.The step of generating the stereoscopic sprite preferably generates a stereoscopic sprite having a volume feeling in the sprite using a predetermined depth information map for the sprite.
상기 시차는 상기 입체 영상의 스크린 넓이를 고려하여 결정된 제한에 따라 계산되며, 상기 좌우영상에 배치하는 단계는 상기 시차를 이용하여 상기 스프라이트를 상기 좌우영상에서 이동하여 배치시키는 것이 바람직하다.The parallax is calculated according to a limit determined in consideration of the screen width of the stereoscopic image, and the step of arranging the parallax in the left and right images may move the sprite in the left and right images using the parallax.
상기 입체 스프라이트 생성을 통한 입체 영상 생성 방법은, 상기 입체 스프라이트가 배치된 상기 좌우영상을 조합하여 입체 영상을 생성하는 단계를 더 포함하는 것이 바람직하다.The stereoscopic image generation method may further include generating a stereoscopic image by combining the left and right images in which the stereoscopic sprite is disposed.
상기 입체 스프라이트를 생성하는 단계는 상기 외곽선을 0으로 하여 상기 외곽선을 기준으로 하는 상기 각 픽셀들의 거리 정보를 이용하여 상기 스프라이트에 부피감이 부여된 입체 스프라이트를 생성하는 것이 바람직하다.In the step of generating the stereoscopic sprite, it is preferable to generate the stereoscopic sprite having the volume of the sprite using the distance information of the pixels based on the outline, with the outline being zero.
본 발명에 따르면, 2D게임을 자동적으로 입체 3D 게임으로 렌더링 할 수 있으며, 아울러 부피감있는 스프라이트를 자동적으로 만들어주는 방법과 입체 3D 장면제작 규칙에 의거한 구성으로 사용자들이 보다 실감나고 편안한 입체 3D 게임을 즐길 수 있다.According to the present invention, a 2D game can be automatically rendered as a stereoscopic 3D game, a method of automatically generating a voluminous sprite, and a configuration based on stereoscopic 3D scene creation rules allow users to realize a more realistic and comfortable stereoscopic 3D game Enjoy.
도 1은 본 발명의 일실시예에 따른 입체 스프라이트 생성을 통한 입체 영상 생성 방법을 나타내는 흐름도이다.
도 2a는 종래의 평면 스프라이트를 나타내는 예시도이다.
도 2b는 본 발명의 일실시예에 따라 생성되는 입체 스프라이트를 나타내는 예시도이다.
도 3은 본 발명의 일실시예에 따른 입체 스프라이트 생성 단계를 나타내는 흐름도이다.
도 4는 본 발명의 일실시예에 따라 생성되는 디스턴스 맵을 나타내는 예시도이다.
도 5는 본 발명의 일실시예에 따라 생성되는 깊이 정보 맵을 나타내는 예시도이다.
도 6a, 6b는 본 발명의 일실시예에 따라 입체 스프라이트를 배치한 좌우 영상을 나타내는 예시도이다.
도 7은 본 발명의 일실시예에 따라 생성되는 입체 영상을 나타내는 예시도이다.
도 8는 본 발명의 일실시예에 따라 생성되는 입체 영상의 효과를 나타내는 결과 그래프이다.
도 9는 본 발명의 일실시예에 따른 입체 스프라이트 생성을 통한 입체 영상 생성 장치를 나타내는 블록도이다.FIG. 1 is a flowchart illustrating a method of generating a stereoscopic image through stereoscopic sprite generation according to an exemplary embodiment of the present invention. Referring to FIG.
2A is an exemplary view showing a conventional planar sprite.
FIG. 2B is an exemplary view showing a stereoscopic sprite generated according to an embodiment of the present invention. FIG.
FIG. 3 is a flowchart illustrating a stereoscopic sprite generating step according to an embodiment of the present invention.
4 is an exemplary diagram illustrating a distance map generated according to an embodiment of the present invention.
5 is an exemplary diagram illustrating a depth information map generated in accordance with an embodiment of the present invention.
6A and 6B are views illustrating left and right images in which three-dimensional sprites are arranged according to one embodiment of the present invention.
FIG. 7 is a diagram illustrating an example of a stereoscopic image generated according to an exemplary embodiment of the present invention. Referring to FIG.
8 is a graph showing the effect of stereoscopic images generated according to an exemplary embodiment of the present invention.
9 is a block diagram illustrating a stereoscopic image generation apparatus for generating stereoscopic sprites according to an embodiment of the present invention.
이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. The following merely illustrates the principles of the invention. Therefore, those skilled in the art will be able to devise various apparatuses which, although not explicitly described or shown herein, embody the principles of the invention and are included in the concept and scope of the invention. It is also to be understood that all conditional terms and examples recited in this specification are, in principle, expressly intended for the purpose of enabling the inventive concept to be understood, and are not intended to be limiting as to such specifically recited embodiments and conditions .
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: . In the following description, a detailed description of known technologies related to the present invention will be omitted when it is determined that the gist of the present invention may be unnecessarily blurred. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 입체 스프라이트 생성을 통한 입체 영상 생성 방법을 나타내는 흐름도이다. 도 1을 참조하면 본 실시예에 따른 입체 스프라이트 생성을 통한 입체 영상 생성 방법은 입체 스프라이트 생성 단계, 입체 스프라이트 배치단계를 포함한다.FIG. 1 is a flowchart illustrating a method of generating a stereoscopic image through stereoscopic sprite generation according to an exemplary embodiment of the present invention. Referring to FIG. Referring to FIG. 1, a stereoscopic image generation method using stereoscopic sprite generation according to the present embodiment includes a stereoscopic sprite generation step and a stereoscopic sprite placement step.
영상에서 한 객체가 움직이는 경우 움직이는 동안 움직임에 사용하는 이미지 한장 한장을 스프라이트라 한다. 따라서 본 실시예에서 스프라이트란 입체 영상에서 한 장면 장면의 객체를 의미하는 것으로, 대체적으로 캐릭터나 사물과 같은 하나의 오브젝트를 말하기도 하고 또는 장면 하나 하나를 통칭하는 것일 수 있다. 즉, 스프라이트가 모여 하나의 장면을 연출하고 그것이 모여 게임이나 에니메이션이 되는 것으로, 그 전체적인 장면 하나가 프레임으로, 60장 모여 초당 60장의 그림이 움직이는 게임인 경우 바로 60프레임의 게임이 된다.When an object moves in an image, one piece of the image used for movement is called a sprite. Accordingly, in the present embodiment, a sprite means an object of a scene in a stereoscopic image, and may be generally referred to as an object such as a character or an object, or may be a single scene. In other words, when sprites gather together to produce a scene and it becomes a game or an animation, and the whole scene is a frame, 60 frames are gathered and 60 pictures are moved per second.
따라서 본 실시예에서 입체 영상 생성 방법은 상술한 스프라이트를 입체 형상으로 생성하여 입체 영상을 구성하는 방법에 관한 것이다. 이하 본 실시예에 따라 입체 스프라이트를 생성하는 방법에 대하여 설명한다.Therefore, the stereoscopic image generation method in the present embodiment relates to a method of constructing a stereoscopic image by generating the above-mentioned sprite in a stereoscopic shape. Hereinafter, a method of generating a three-dimensional sprite according to the present embodiment will be described.
본 실시예에 따른 입체 스프라이트 생성 단계는 영상을 구성하는 단위 이미지인 스프라이트의 외곽선을 기준으로 하는 스프라이트의 각 픽셀들의 거리 정보를 이용하여 스프라이트에 부피감이 부여된 입체 스프라이트를 생성한다.The stereoscopic sprite generating step according to this embodiment generates a stereoscopic sprite having a volume feeling in the sprite using the distance information of each pixel of the sprite based on the outline of the sprite which is a unit image constituting the image.
즉 입체 스프라이트 생성 단계는 도 2a의 2D 스프라이트를 도 2b와 같이 음영을 부가하여 부피감이 있는 입체 스프라이트를 생성한다. 본 실시예에서 입체 스프라이트를 생성하는 각 픽셀들의 거리 정보를 각 픽셀들의 깊이 정보로 적용하여 스프라이트에 부피감이 부여된 입체 스프라이트를 생성한다.
That is, the 2D sprite of FIG. 2A is shaded as shown in FIG. 2B to generate a cubic sprite having a bulky feel. In the present embodiment, distance information of each pixel for generating a three-dimensional sprite is applied as depth information of each pixel to generate a three-dimensional sprite having a volume feeling in the sprite.
도 3을 참조하면, 입체 스프라이트 생성 단계는 디스턴스 맵 생성 단계, 깊이 정보 맵 생성 단계, 깊이 정보 맵이용 입체 스프라이트 생성 단계를 포함한다. Referring to FIG. 3, the stereoscopic sprite generating step includes a distance map generating step, a depth information map generating step, and a depth information map using stereoscopic sprite generating step.
본 실시예에서 디스턴스 맵 생성 단계는 스프라이트의 각 픽셀들의 거리 정보를 이용하여 스프라이트에 대한 디스턴스 맵을 생성한다. In the present embodiment, the distance map generating step generates a distance map for the sprite using the distance information of each pixel of the sprite.
즉, 입체 스프라이트를 생성하고자 하는 스프라이트의 외곽선을 0으로 하여 외곽선을 기준으로 하는 각 픽셀들의 거리 정보를 이용하여 디스턴스 맵을 생성한다. 디스턴스 맵은 디스턴스 트랜스폼(Distance Transform)을 이용하여 이미지상의 한 픽셀에서 가장 가까운 경계까지의 거리를 계산하여 산출된 거리값을 각 픽셀에 대한 정보로 나타낸 것을 의미한다 (R. Fabbri, L. D. F. Costa, J. C. Torelli, and O. M. Bruno, 2D Euclidean Distance Transform Algorithms: A Comparative Survey, ACM Computing Surveys, Vol. 40, No. 1, Article 2 (2008)).
That is, a distance map is generated by using the distance information of each pixel with the outline as a reference, with the outline of the sprite to which the three-dimensional sprite is to be generated set to zero. The distance map means that the distance from the pixel to the nearest boundary on the image is calculated using a distance transform (R. Fabbri, LDF Costa, JC Torelli, and OM Bruno, 2D Euclidean Distance Transform Algorithms: A Comparative Survey, ACM Computing Surveys, Vol. 40, No. 1, Article 2 (2008)).
도 4를 참조하면, 나무 형상의 스프라이트의 외곽선을 기준으로 하는 하여 생성된 디스턴스 맵은 도 4와 같이 표현될 수 있다. 디스턴스 맵은 외곽선을 기준으로 하는 픽셀의 외곽선을 기준으로 하는 거리가 증가할수록 밝은 값을 가진다. Referring to FIG. 4, the distance map generated based on the outline of the tree-shaped sprite can be expressed as shown in FIG. The distance map has a bright value as the distance based on the outline of the pixel with respect to the outline is increased.
깊이 정보 맵 생성 단계는 디스턴스 맵의 거리 정보를 각 픽셀들의 깊이 정보로 적용하여 스프라이트에 대한 깊이 정보 맵을 생성한다. 즉, 디스턴스 맵의 거리 정보를 각 픽셀들의 깊이 정보로 적용하여 스프라이트에 대한 깊이 정보 맵을 생성한다. 나아가, 픽셀들의 깊이 정보를 이용하여 스프라이트에 대한 3차원 메쉬 구조의 깊이 정보 맵을 생성할 수 있다. 즉, 추가적으로 렌더링의 속도를 높이기 위하여 스프라이트에 딜로니 삼각화 (delaunay triangulation) 를 적용한다(M. De Berg, Computational Geometry: Algorithms and Applications, Springer (2008)).
The depth information map generation step generates a depth information map for the sprite by applying the distance information of the distance map as depth information of each pixel. That is, the depth map of the sprite is generated by applying the distance map distance information to the depth information of each pixel. Furthermore, the depth information of the 3D mesh structure for the sprite can be generated using the depth information of the pixels. In other words, the delaunay triangulation is applied to the sprite to speed up the rendering additionally (M. De Berg, Computational Geometry: Algorithms and Applications, Springer (2008)).
도 5를 참고하면, 도 4의 디스턴스 맵을 이용하여 스파라이트의 각 픽셀에 대한 거리 정보를 깊이 정보로 적용하고 딜로니 삼각화를 통해 렌더링 된 나무 형상의 스프라이트는 도 5와 같이 표현될 수 있다.5, the distance information of each pixel of the sprite is applied as depth information using the distance map of FIG. 4, and the tree-shaped sprite rendered through the Deloney triangulation can be expressed as shown in FIG. 5 .
즉 본 실시예에서 깊이 정보맵 이용 입체 스프라이트 생성 단계는 생성된 깊이 정보 맵을 통해 도 2a와 같은 일반 스프라이트를 도 2b와 같은 부피감 있는 스프라이트로 변환한다.That is, in the present embodiment, the depth information map using stereoscopic sprite generating step transforms a normal sprite as shown in FIG. 2A into a volume sprite as shown in FIG. 2B through the generated depth information map.
또한 본 실시예에서 입체 스프라이트 생성 단계는 스프라이트에 대하여 미리 결정된 깊이 정보 맵을 이용하여 스프라이트에 부피감이 부여된 입체 스프라이트를 생성할 수 있다. 스프라이트 중 적절한 깊이 값을 적용할 수 없는 스프라이트로, 예를 들어 땅, 산과 같은 배경 스프라이트의 경우 미리 정의한 깊이 정보 맵을 통해 입체 스프라이트를 생성한다.
Also, in the present embodiment, the step of generating a three-dimensional sprite may generate a three-dimensional sprite in which the volume of the sprite is given a predetermined depth information map for the sprite. A sprite that does not have the appropriate depth value applied to it, for example, a background sprite such as a land or a mountain, creates a stereoscopic sprite through a predefined depth information map.
이하, 생성된 입체 스프라이트를 배치하는 단계에 대하여 설명한다.Hereinafter, the step of arranging the generated three-dimensional sprite will be described.
입체 스프라이트 배치 단계는 입체 스프라이트의 입체 영상을 구현하기 위한 좌우영상에서의 시차를 계산하여 입체 스프라이트를 좌우영상에 배치한다.In the step of arranging the three-dimensional sprite, the parallax in the left and right images is calculated to realize the stereoscopic image of the stereoscopic sprite, and the stereoscopic sprite is arranged in the left and right images.
입체 스프라이트 배치 단계는 생성된 입체 스프라이트를 정렬 및 배치하여 장면을 구성하는 과정이다. 스프라이트를 배치하기 위하여 게임 장면을 구성할 스프라이트의 시차를 계산하는데, 개발자가 미리 입력한 각 스프라이트의 좌표[x,y,z]와 입체 3D 장면제작 규칙을 바탕으로 하여 시차를 계산한다.The step of arranging the three-dimensional sprite is a process of arranging a scene by arranging and arranging the generated three-dimensional sprite. To calculate the time difference of the sprite to construct the game scene to arrange the sprite, the disparity is calculated based on the coordinate [x, y, z] of each sprite inputted by the developer in advance and stereoscopic 3D scene production rule.
또한 본 실시예에서 시차는 입체 영상의 스크린 넓이를 고려하여 결정된 제한에 따라 계산되며, 입체 스프라이트 배치 단계는 시차를 이용하여 스프라이트를 좌우영상에서 이동하여 배치한다. Also, in this embodiment, the parallax is calculated according to the limit determined in consideration of the screen width of the stereoscopic image, and the stereoscopic sprite placement step moves and arranges the sprite in the left and right images using the parallax.
본 실시예에서 시차의 값의 범위는 스크린의 넓이의 1/30범위로 한정하는 규칙을 적용할 수 있다. 계산된 시차 값은 입체 3D 장면을 구성하는 좌측 및 우측 장면을 렌더링 할 때 스프라이트를 x축으로 이동시키는 데 사용한다(V. D. Silva, A. Fernando, S. Worrall, H. K. Arachchi, and A. Kondoz, Sensitive Analysis of the Human Visual System for Depth Cues in Stereoscopic 3-D Displays, IEEE Transactions on Multimedia, Vol. 13, No. 13, pp. 498~506 (2011), F. Zilly, J. Kluger, and P. Kauff, Production Rules for Stereo Acquisition, Proceeding of IEEE, Vol. 99, No. 4, pp. 590~606 (2011)).
In this embodiment, the range of the value of the time difference may be limited to a range of 1/30 of the width of the screen. The calculated parallax values are used to move the sprite to the x-axis when rendering the left and right scenes that make up the stereoscopic 3D scene (VD Silva, A. Fernando, S. Worrall, HK Arachchi, and A. Kondoz, 13, No. 13, pp. 498-506 (2011), F. Zilly, J. Kluger, and P. Kauff (eds.), Analysis of the Human Visual System for Depth Cues in Stereoscopic 3-D Displays, IEEE Transactions on Multimedia, Vol. , Production Rules for Stereo Acquisition, Proceeding of IEEE, Vol. 99, No. 4, pp. 590-606 (2011)).
도 6a는 생성된 입체 스프라이트를 시차를 고려하여 배치한 좌영상을 나타내며, 도 6b는 시차를 고려하여 배치한 우영상을 나타낸다.6A shows a left image in which the generated three-dimensional sprite is arranged in consideration of a parallax, and FIG. 6B shows a right image arranged in consideration of a parallax.
나아가 도 3을 참조하면 본 실시예에 따른 입체 영상 생성 방법은 입체 영상 생성 단계를 더 포함한다. 입체 영상 생성 단계는 입체 스프라이트가 배치된 좌우영상을 조합하여 입체 영상을 생성한다. 입체 영상은 좌, 우 영상의 두 영상을 조합하여 만들어 낸다. 도 7은 도 6a, 6b의 좌우 영상을 통해 입체영상을 구성한 결과를 나타내며, 다양한 디스플레이 환경에서 게임이 실행 될 수 있도록 2D방식, 애너그리프방식 등 다양한 렌더링 메뉴를 이용할 수 있다.
Referring to FIG. 3, the stereoscopic image generation method according to the present embodiment further includes a stereoscopic image generation step. In the stereoscopic image generation step, a stereoscopic image is generated by combining left and right images in which a stereoscopic sprite is disposed. Stereoscopic images are produced by combining two images of left and right images. FIG. 7 shows a result of constructing a stereoscopic image through the left and right images of FIGS. 6A and 6B, and various rendering menus such as a 2D method and an anaglyph method can be used so that a game can be executed in various display environments.
본 실시예에 따른 입체 영상 생성방법의 효과는 도 8과 같다. 10명의 참가자들은 이 본 실시예에 따른 입체 영상 생성방법으로 만들어진 게임을 3가지 방식(2D방식(a), 평면 스프라이트로 만들어진 입체 3D 방식(b), 부피감있는 스프라이트로 만들어진 입체 3D 방식(c))에서 실행한 뒤, 각각의 방식에 대해 얼마나 입체감이 형성되는지 0~10점 사이의 점수로 평가하였다. The effect of the stereoscopic image generation method according to the present embodiment is shown in FIG. 10 participants can play the game created by the stereoscopic image generation method according to the present embodiment in three ways (a 2D method (a), a stereoscopic 3D method (b) made of a planar sprite, a stereoscopic 3D method (c) made of a voluminous sprite, ), And then the score of 0 to 10 points was evaluated as to how the three-dimensional feeling was formed for each method.
실험 결과에서 참가자들은 부피감있는 스프라이트로 만든 입체 3D 게임을 다른 방식들 보다 선호하는 결과를 보였다. 이로써 시스템에서 제안하는 입체 3D 장면제작 규칙과 부피감있는 스프라이트로 구성한 게임 장면을 사용자들은 더 선호한다는 것을 확인할 수 있었다.Experimental results show that participants prefer stereoscopic 3D games made with bulky sprites to other methods. It is confirmed that users prefer the stereoscopic 3D scene creation rules proposed by the system and the game scene composed of the bulky sprites.
이하 도 9를 참조하여, 상술한 실시예에 따른 입체 영상 생성 방법을 수행하는 입체 스프라이트 생성을 통한 입체 영상 생성 장치에 대하여 설명한다.
Referring to FIG. 9, a stereoscopic image generation apparatus for generating a stereoscopic image by performing a stereoscopic image generation method according to the above-described embodiment will be described.
도 9를 참조하면, 본 실시예에 따른 입체 영상 생성 장치는 입체 스프라이트 생성부, 입체 스프라이트 배치부, 입체 영상 생성부를 포함한다.Referring to FIG. 9, the stereoscopic image generating apparatus according to the present embodiment includes a stereoscopic sprite generating unit, a stereoscopic sprite arranging unit, and a stereoscopic image generating unit.
입체 스프라이트 생성부는 영상을 구성하는 단위 이미지인 스프라이트의 외곽선을 기준으로 하는 스프라이트의 각 픽셀들의 거리 정보를 이용하여 스프라이트에 부피감이 부여된 입체 스프라이트를 생성한다.The stereoscopic sprite generating unit generates a stereoscopic sprite having a volume feeling in the sprite using the distance information of each pixel of the sprite based on the outline of the sprite which is a unit image constituting the image.
또한 입체 스프라이트 생성부는 디스턴스 맵 생성부, 깊이 정보 맵 생성부, 깊이 정보 맵 이용 입체 스프라이트 생성부를 포함한다.The stereoscopic sprite generating unit includes a distance map generating unit, a depth information map generating unit, and a depth information map using stereoscopic sprite generating unit.
디스턴스 맵 생성부는 스프라이트의 각 픽셀들의 거리 정보를 이용하여 스프라이트에 대한 디스턴스 맵을 생성하며, 깊이 정보 맵 생성부는 디스턴스 맵의 거리 정보를 각 픽셀들의 깊이 정보로 적용하여 스프라이트에 대한 깊이 정보 맵을 생성한다. 나아가 깊이 정보 맵 이용 입체 스프라이트 생성부는 깊이 정보 맵을 이용하여 스프라이트에 부피감이 부여된 입체 스프라이트를 생성한다.The distance map generator generates a distance map for the sprite using the distance information of each pixel of the sprite, and the depth information map generator generates the depth information map for the sprite by applying the distance information of the distance map as depth information of each pixel do. Further, the depth information map utilizing stereoscopic sprite generating unit generates a stereoscopic sprite giving a volume feeling to the sprite using the depth information map.
입체 스프라이트 배치부는 입체 스프라이트의 입체 영상을 구현하기 위한 좌우영상에서의 시차를 계산하여 입체 스프라이트를 좌우영상에 배치하며, 시차는 입체 영상의 스크린 넓이를 고려하여 결정된 제한에 따라 계산된다.The stereoscopic sprite placement unit calculates the parallax in the left and right images to implement the stereoscopic image of the stereoscopic sprite, arranges the stereoscopic sprite in the left and right images, and the parallax is calculated according to the limit determined in consideration of the screen width of the stereoscopic image.
입체 영상 생성부는 입체 스프라이트가 배치된 좌우영상을 조합하여 입체 영상을 생성한다.The stereoscopic image generation unit generates a stereoscopic image by combining the left and right images in which the stereoscopic sprite is disposed.
이상 본 실시예에 따른 입체 영상 생성 장치의 각 구성은 상술한 입체 영상 생성 방법의 대응되는 각 단계를 수행하는 바 이에 대한 상세한 설명은 중복되므로 생략한다.
Since each configuration of the stereoscopic image generation apparatus according to the present embodiment performs each corresponding step of the stereoscopic image generation method described above, detailed description thereof will be duplicated and will be omitted.
한편 본 발명의 입체 스프라이트 생성을 통한 입체 영상 생성 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the stereoscopic image generation method using stereoscopic sprite generation of the present invention can be implemented by a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. Computer-readable code in a distributed fashion can be stored and executed. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be.
따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical spirit of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by the embodiments and the accompanying drawings. . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
Claims (16)
입체 영상을 구현하기 위한 좌우영상에서의 상기 입체 스프라이트의 시차를 계산하여 상기 좌우영상에 배치하는 단계를 포함하는 것을 특징으로 하는 입체 스프라이트 생성을 통한 입체 영상 생성 방법Generating a three-dimensional sprite in which a volume is given to the sprite by using distance information of each pixel of the sprite on the basis of an outline of a sprite that is a unit image constituting an image; And
Comprising a step of calculating the parallax of the three-dimensional sprite in the left and right image for implementing a three-dimensional image and the three-dimensional image generation method comprising the step of placing in the left and right image
상기 입체 스프라이트를 생성하는 단계는 상기 각 픽셀들의 거리 정보를 상기 각 픽셀들의 깊이 정보로 적용하여 상기 스프라이트에 부피감이 부여된 입체 스프라이트를 생성하는 것을 특징으로 하는 입체 스프라이트 생성을 통한 입체 영상 생성 방법The method of claim 1,
In the generating of the three-dimensional sprites, the three-dimensional image generation method using the three-dimensional sprite generation may include applying the distance information of each pixel as the depth information of each of the pixels to generate a three-dimensional sprite with a volume.
상기 입체 스프라이트를 생성하는 단계는 상기 스프라이트의 각 픽셀들의 거리 정보를 이용하여 상기 스프라이트에 대한 디스턴스 맵을 생성하는 단계;
상기 디스턴스 맵의 상기 거리 정보를 상기 각 픽셀들의 깊이 정보로 적용하여 상기 스프라이트에 대한 깊이 정보 맵을 생성하는 단계; 및
상기 깊이 정보 맵을 이용하여 상기 스프라이트에 부피감이 부여된 입체 스프라이트를 생성하는 단계를 포함하는 것을 특징으로 하는 입체 스프라이트 생성을 통한 입체 영상 생성 방법3. The method of claim 2,
The generating of the three-dimensional sprite may include generating a distance map for the sprite by using distance information of each pixel of the sprite;
Generating a depth information map for the sprite by applying the distance information of the distance map as depth information of each pixel; And
And generating a three-dimensional sprite to which the volume is given to the sprite by using the depth information map.
상기 깊이 정보 맵을 생성하는 단계는 상기 각 픽셀들의 깊이 정보를 이용하여 상기 스프라이트에 대한 3차원 메쉬 구조의 깊이 정보 맵을 생성하는 것을 특징으로 하는 입체 스프라이트 생성을 통한 입체 영상 생성 방법The method of claim 3, wherein
Wherein the step of generating the depth information map generates a depth information map of the 3D mesh structure for the sprite using depth information of the pixels,
상기 입체 스프라이트를 생성하는 단계는 상기 스프라이트에 대하여 미리 결정된 깊이 정보 맵을 이용하여 상기 스프라이트에 부피감이 부여된 입체 스프라이트를 생성하는 것을 특징으로 하는 입체 스프라이트 생성을 통한 입체 영상 생성 방법The method of claim 1,
Wherein the step of generating the stereoscopic sprite generates a stereoscopic image by generating a stereoscopic image using a predetermined depth information map for the sprite,
상기 시차는 상기 입체 영상의 스크린 넓이를 고려하여 결정된 제한에 따라 계산되며,
상기 좌우영상에 배치하는 단계는 상기 시차를 이용하여 상기 스프라이트를 상기 좌우영상에서 이동하여 배치시키는 것을 특징으로 하는 입체 스프라이트 생성을 통한 입체 영상 생성 방법The method of claim 1,
Wherein the parallax is calculated according to a limit determined in consideration of a screen width of the stereoscopic image,
Wherein the step of arranging the left and right images includes moving the sprite from the left and right images using the parallax, and arranging the sprite in the left and right images.
상기 입체 스프라이트가 배치된 상기 좌우영상을 조합하여 입체 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 입체 스프라이트 생성을 통한 입체 영상 생성 방법The stereoscopic image generation method according to claim 1,
And generating a stereoscopic image by combining the left and right images in which the stereoscopic sprite is disposed. The stereoscopic image generation method according to claim 1,
상기 입체 스프라이트를 생성하는 단계는 상기 외곽선을 0으로 하여 상기 외곽선을 기준으로 하는 상기 각 픽셀들의 거리 정보를 이용하여 상기 스프라이트에 부피감이 부여된 입체 스프라이트를 생성하는 것을 특징으로 하는 입체 스프라이트 생성을 통한 입체 영상 생성 방법The method of claim 1,
In the generating of the three-dimensional sprite, the three-dimensional sprite is generated by generating a three-dimensional sprite in which the volume is given to the sprite using the distance information of the pixels with respect to the outline with the outline as 0. Stereoscopic image generation method
상기 입체 스프라이트의 입체 영상을 구현하기 위한 좌우영상에서의 시차를 계산하여 상기 입체 스프라이트를 상기 좌우영상에 배치하는 입체 스프라이트 배치부를 포함하는 것을 특징으로 하는 입체 스프라이트 생성을 통한 입체 영상 생성 장치A three-dimensional sprite generator configured to generate a three-dimensional sprite in which the volume is given to the sprite by using distance information of each pixel of the sprite on the basis of the outline of the sprite as the unit image constituting the image; And
And a stereoscopic sprite placement unit configured to calculate the parallax in the left and right images for implementing the stereoscopic image of the stereoscopic sprite and to place the stereoscopic sprite on the left and right images.
상기 입체 스프라이트 생성부는 상기 각 픽셀들의 거리 정보를 상기 각 픽셀들의 깊이 정보로 적용하여 상기 스프라이트에 부피감이 부여된 입체 스프라이트를 생성하는 것을 특징으로 하는 입체 스프라이트 생성을 통한 입체 영상 생성 장치The method of claim 9,
The stereoscopic sprite generating unit generates stereoscopic sprites in which volume is applied to the sprites by applying the distance information of the pixels as depth information of the respective pixels.
상기 입체 스프라이트 생성부는 상기 스프라이트의 각 픽셀들의 거리 정보를 이용하여 상기 스프라이트에 대한 디스턴스 맵을 생성하는 디스턴스 맵 생성부;
상기 디스턴스 맵의 상기 거리 정보를 상기 각 픽셀들의 깊이 정보로 적용하여 상기 스프라이트에 대한 깊이 정보 맵을 생성하는 깊이 정보 맵 생성부; 및
상기 깊이 정보 맵을 이용하여 상기 스프라이트에 부피감이 부여된 입체 스프라이트를 생성하는 깊이 정보 맵 이용 입체 스프라이트 생성부를 포함하는 것을 특징으로 하는 입체 스프라이트 생성을 통한 입체 영상 생성 장치11. The method of claim 10,
The three-dimensional sprite generation unit Distance map generation unit for generating a distance map for the sprite using the distance information of each pixel of the sprite;
A depth information map generator for generating a depth information map for the sprite by applying the distance information of the distance map as depth information of each pixel; And
And a stereoscopic sprite generating unit using a depth information map for generating a three-dimensional sprite to which the volume is applied to the sprite using the depth information map.
상기 깊이 정보 맵 생성부는 상기 각 픽셀들의 깊이 정보를 이용하여 상기 스프라이트에 대한 3차원 메쉬 구조의 깊이 정보 맵을 생성하는 것을 특징으로 하는 입체 스프라이트 생성을 통한 입체 영상 생성 장치The method of claim 11,
Wherein the depth information map generation unit generates a depth information map of the 3D mesh structure for the sprite using the depth information of each of the pixels.
상기 입체 스프라이트 생성부는 상기 스프라이트에 대하여 미리 결정된 깊이 정보 맵을 이용하여 상기 스프라이트에 부피감이 부여된 입체 스프라이트를 생성하는 것을 특징으로 하는 입체 스프라이트 생성을 통한 입체 영상 생성 장치The method of claim 9,
Wherein the three-dimensional sprite generating unit generates a three-dimensional sprite in which volume is imparted to the sprite using a predetermined depth information map for the sprite,
상기 시차는 상기 입체 영상의 스크린 넓이를 고려하여 결정된 제한에 따라 계산되며,
상기 입체 스프라이트 배치부는 상기 시차를 이용하여 상기 스프라이트를 상기 좌우영상에서 이동하여 배치시키는 것을 특징으로 하는 입체 스프라이트 생성을 통한 입체 영상 생성 장치The method of claim 9,
Wherein the parallax is calculated according to a limit determined in consideration of a screen width of the stereoscopic image,
Wherein the three-dimensional sprite placement unit moves and arranges the sprite in the left and right images using the parallax,
상기 입체 스프라이트가 배치된 상기 좌우영상을 조합하여 입체 영상을 생성하는 입체 영상 생성부를 더 포함하는 것을 특징으로 하는 입체 스프라이트 생성을 통한 입체 영상 생성 장치10. The stereoscopic image generation apparatus according to claim 9,
And a stereoscopic image generation unit for generating a stereoscopic image by combining the left and right images in which the stereoscopic sprite is arranged,
상기 입체 스프라이트 생성부는 상기 외곽선을 0으로 하여 상기 외곽선을 기준으로 하는 상기 각 픽셀들의 거리 정보를 이용하여 상기 스프라이트에 부피감이 부여된 입체 스프라이트를 생성하는 것을 특징으로 하는 입체 스프라이트 생성을 통한 입체 영상 생성 장치The method of claim 9,
The three-dimensional sprite generating unit generates a three-dimensional image by generating a three-dimensional sprite, characterized in that the volume is given to the sprite by using the distance information of the pixels with respect to the outline with the outline as 0. Device
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20120096398 | 2012-08-31 | ||
| KR1020120096398 | 2012-08-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140030013A true KR20140030013A (en) | 2014-03-11 |
| KR101501592B1 KR101501592B1 (en) | 2015-03-11 |
Family
ID=50642772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120154221A KR101501592B1 (en) | 2012-08-31 | 2012-12-27 | A method for stereoscopic rendering by producing a stereoscopic sprite and an apparatus for the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101501592B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107913519A (en) * | 2017-08-29 | 2018-04-17 | 上海壹账通金融科技有限公司 | The rendering intent and mobile terminal of 2D game |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69523723D1 (en) * | 1994-12-15 | 2001-12-13 | Sanyo Electric Co | Process for converting two-dimensional images into three-dimensional images in a video game console |
| JPH08168058A (en) * | 1994-12-15 | 1996-06-25 | Sanyo Electric Co Ltd | Device that converts two-dimensional image into three-dimensional image |
| JPH09298761A (en) * | 1996-03-04 | 1997-11-18 | Sanyo Electric Co Ltd | Stereoscopic image display device |
-
2012
- 2012-12-27 KR KR1020120154221A patent/KR101501592B1/en active IP Right Grant
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107913519A (en) * | 2017-08-29 | 2018-04-17 | 上海壹账通金融科技有限公司 | The rendering intent and mobile terminal of 2D game |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101501592B1 (en) | 2015-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210065432A1 (en) | Method and system for generating an image of a subject in a scene | |
| JP4214976B2 (en) | Pseudo-stereoscopic image creation apparatus, pseudo-stereoscopic image creation method, and pseudo-stereoscopic image display system | |
| KR101697184B1 (en) | Apparatus and Method for generating mesh, and apparatus and method for processing image | |
| KR100894874B1 (en) | Apparatus and Method for Generating a Stereoscopic Image from a Two-Dimensional Image using the Mesh Map | |
| KR20110090958A (en) | Generation of occlusion data for image properties | |
| CN112933597B (en) | Image processing method, image processing device, computer equipment and storage medium | |
| KR101096617B1 (en) | Spatial multi interaction-based 3d stereo interactive vision system and method of the same | |
| US20130127827A1 (en) | Multiview Face Content Creation | |
| KR20140108128A (en) | Method and apparatus for providing augmented reality | |
| CN101477700B (en) | Real tri-dimension display method oriented to Google Earth and Sketch Up | |
| JP5572647B2 (en) | Display control program, display control device, display control system, and display control method | |
| CN104702936A (en) | Virtual reality interaction method based on glasses-free 3D display | |
| CN101477701A (en) | Built-in real tri-dimension rendering process oriented to AutoCAD and 3DS MAX | |
| US9639972B2 (en) | Computer-readable storage medium having stored therein display control program, display control apparatus, display control method, and display control system for performing display control of a display apparatus capable of stereoscopic display | |
| CN101477702B (en) | Built-in real tri-dimension driving method for computer display card | |
| CN105389090A (en) | Game interaction interface displaying method and apparatus, mobile terminal and computer terminal | |
| WO2012140397A2 (en) | Three-dimensional display system | |
| JP2023504609A (en) | hybrid streaming | |
| US20130210520A1 (en) | Storage medium having stored therein game program, game apparatus, game system, and game image generation method | |
| KR101501592B1 (en) | A method for stereoscopic rendering by producing a stereoscopic sprite and an apparatus for the same | |
| WO2024055211A1 (en) | Method and system for three-dimensional video reconstruction based on nerf combination of multi-view layers | |
| CN106993179A (en) | A kind of method that 3D models turn three-dimensional double vision point view | |
| KR101163020B1 (en) | Method and scaling unit for scaling a three-dimensional model | |
| CN101566784B (en) | Method for establishing depth of field data for three-dimensional image and system thereof | |
| KR101003060B1 (en) | Method for producing motion picture frames for stereoscopic video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180309 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190318 Year of fee payment: 5 |