KR101270768B1 - Hologram playback device and method - Google Patents

Hologram playback device and method Download PDF

Info

Publication number
KR101270768B1
KR101270768B1 KR1020110036107A KR20110036107A KR101270768B1 KR 101270768 B1 KR101270768 B1 KR 101270768B1 KR 1020110036107 A KR1020110036107 A KR 1020110036107A KR 20110036107 A KR20110036107 A KR 20110036107A KR 101270768 B1 KR101270768 B1 KR 101270768B1
Authority
KR
South Korea
Prior art keywords
parallel control
control module
fringe pattern
cpu core
segments
Prior art date
Application number
KR1020110036107A
Other languages
Korean (ko)
Other versions
KR20120118626A (en
Inventor
강훈종
정광모
서경학
홍성희
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020110036107A priority Critical patent/KR101270768B1/en
Publication of KR20120118626A publication Critical patent/KR20120118626A/en
Application granted granted Critical
Publication of KR101270768B1 publication Critical patent/KR101270768B1/en

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/16Processes or apparatus for producing holograms using Fourier transform
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208Individual components other than the hologram
    • G03H2001/0224Active addressable light modulator, i.e. Spatial Light Modulator [SLM]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Holo Graphy (AREA)

Abstract

본 발명은 홀로그램 재생 장치 및 재생 방법에 관한 것으로, 더욱 상세하게는 분산 컴퓨터를 이용하여 빠른 처리 속도를 갖는 홀로그램 재생 장치 및 재생 방법에 관한 것이다.
이를 위해 본 발명의 홀로그램 재생 장치는 홀로그램을 재생하기 위한 프린지 패턴이 기록되어 있는 기록 매체, 상기 기록 매체에 기록된 프린지 패턴을 설정된 크기를 갖는 세그먼트로 분할하고, 분할한 세그먼트에 기록된 프린지 패턴에 대해 고속 퓨리에 변환을 수행하는 고속 퓨리에 변환부, 상기 고속 퓨리에 변환을 수행된 복수 개의 세그먼트의 프린지 패턴을 가산하는 가산부를 포함한다.
The present invention relates to a hologram reproducing apparatus and a reproducing method, and more particularly, to a hologram reproducing apparatus and a reproducing method having a high processing speed using a distributed computer.
To this end, the hologram reproducing apparatus of the present invention divides a recording medium on which a fringe pattern for reproducing a hologram is recorded, a fringe pattern recorded on the recording medium, into segments having a predetermined size, and the fringe patterns recorded on the divided segments. And a fast Fourier transform unit for performing fast Fourier transform, and an adder for adding fringe patterns of a plurality of segments on which the fast Fourier transform has been performed.

Description

홀로그램 재생 장치 및 방법{Hologram display, Method for hologram display}Hologram display device and method {Hologram display, Method for hologram display}

본 발명은 홀로그램 재생 장치 및 재생 방법에 관한 것으로, 더욱 상세하게는 분산 컴퓨터를 이용하여 빠른 처리 속도를 갖는 홀로그램 재생 장치 및 재생 방법에 관한 것이다.
The present invention relates to a hologram reproducing apparatus and a reproducing method, and more particularly, to a hologram reproducing apparatus and a reproducing method having a high processing speed using a distributed computer.

평면영상으로부터 3차원의 깊이감과 입체감을 느낄 수 있도록 하는 3차원 영상 구현기술은 디스플레이 등의 직접적인 관련분야를 비롯해서 가전이나 통신 산업은 물론 우주항공, 예술 산업, 자동차 산업 분야 등에 광범위하게 영상을 미치고 있으며, 그 기술적 파급효과는 현재 각광받고 있는 HDTV 이상이 될 것으로 기대되고 있다.Three-dimensional image realization technology that allows you to feel three-dimensional depth and three-dimensional feeling from a planar image is widely applied to the aerospace, arts, and automotive industries, as well as the home appliance and telecommunications industry, as well as the direct related fields such as displays. The technical ripple effect is expected to be more than the current HDTV.

즉, 디지털 산업 및 영상산업이 발달함에 따라 인간의 시각효과를 만족시키기 위해 고해상도 HDTV가 개발되었으며, 3차원 입체 영상을 디스플레이 하기 위한 입체 표시 장치들이 다양한 방법으로 개발되고 있다.That is, with the development of the digital industry and the image industry, high resolution HDTVs have been developed to satisfy human visual effects, and stereoscopic display devices for displaying 3D stereoscopic images have been developed in various ways.

인간이 깊이감과 입체감을 느끼는 요인으로 가장 중요하게는 두 눈 사이 간격에 의한 양안시차를 들 수 있지만, 이외에도 심리적, 기억적 요인에도 깊은 관계가 있고, 이에 따라 3차원 영상 구현기술 역시 관찰자에게 어느 정도의 3차원 영상정보를 제공할 수 있는지를 기준으로 통상 부피표현방식(volumetric type), 3차원표현방식(holographic type), 입체감표현방식(stereoscopic type)으로 구분된다.The most important factor for human beings to feel depth and stereoscopic effect is the binocular disparity due to the interval between the two eyes, but there is also a deep relationship with the psychological and memory factors. Therefore, A three dimensional representation method (holographic type), and a stereoscopic type (stereoscopic type) based on whether three-dimensional image information of the three-dimensional image can be provided.

부피표현방식은 심리적인 요인과 흡입효과에 의해 깊이방향에 대한 원근감이 느껴지도록 하는 방법으로서, 투시도법, 중첩, 음영과 명암, 움직임 등을 계산에 의해 표시하는 3차원 컴퓨터그래픽 또는 관찰자에게 시야각이 넓은 대화면을 제공하여 그 공간 내로 빨려 들어가는 것 같은 착시현상을 불러일으키는 이른바 아이맥스 영화 등에 응용되고 있다.The volume expression method is a way to feel the perspective of the depth direction due to psychological factors and inhalation effects. The viewing angle is calculated by a 3D computer graphic or an observer who displays perspective, superposition, shadow, contrast, and movement by calculation. It is applied to so-called IMAX movies, which provide a large large screen and cause optical illusions to be sucked into the space.

가장 완전한 입체영상 구현기술이라 알려져 있는 3차원표현방식은 레이저광 재생 홀로그래피 내지 백색광 재생 홀로그래피로 대표될 수 있다.The three-dimensional representation method known as the most complete stereoscopic image implementation technology can be represented by laser light reproduction holography to white light reproduction holography.

그리고 입체감표현방식은 양안의 생리적 요인을 이용하는 입체감을 느끼는 방식으로, 구체적으로 약 65㎜ 정도 떨어져 존재하는 인간의 좌우안에 시차정보가 포함된 평면의 연관영상이 보일 경우에 뇌가 이들을 융합하는 과정에서 표시면 전후의 공간정보를 생성해 입체감을 느끼는 능력, 즉 스테레오그라피(stereography)를 이용한 것이다. 이러한 입체감표현방식은 다안상 표시방식이라 불리며, 실질적인 입체감 생성 위치에 따라 관찰자 측의 특수 안경을 이용하는 안경방식 또는 표시면 측의 패럴랙스 베리어(parallax barrier)나 렌티큘러(lenticular) 또는 인테그럴(integral) 등의 렌즈어레이(lens array)를 이용하는 무안경 방식으로 구분될 수 있다.In addition, the stereoscopic expression method is to sense a three-dimensional feeling using physiological factors of both eyes. Specifically, when a plane-related image of parallax information is seen in the left and right of human beings that are about 65 mm apart, the brain merges them. The ability to generate spatial information before and after the display surface and to sense a three-dimensional effect, that is, using stereography. This stereoscopic effect expression system is called a multi-view display system. Depending on the position of actual stereoscopic effect generation, a spectacle system using special glasses on the observer side or a parallax barrier, a lenticular, or an integral system on the display surface side, And a non-eyeglass system using a lens array such as a lens array.

부피표현방식 중 하나인 집적영상방식은, 실제 3차원 대상물에서 나오는 광의 분포 및 휘도와 동일한 광특성을 재현함으로써 실제 3차원 대상물이 없더라도 가상의 3차원 입체 영상을 인식하도록 한다.The integrated image method, which is one of the volumetric representation methods, reproduces the optical characteristics that are the same as the distribution and luminance of the light emitted from the actual three-dimensional object, thereby allowing the virtual three-dimensional stereoscopic image to be recognized even if there is no actual three-dimensional object.

이러한 방법들은 3차원 입체영상을 관찰할 때 특수 안경의 착용 유무로 크게 나눌 수 있으며, 입체 영상을 관찰할 때, 특수한 안경 등을 착용하지 않고, 자연스런 입체상을 보고, 장시간 관찰하더라도 피로를 느끼지 않는 3차원 입체영상 표시방식을 개발하는 것을 주요 목표로 하고 있다. These methods can be divided into the presence or absence of wearing special glasses when observing three-dimensional stereoscopic image, and when viewing the three-dimensional image, without wearing special glasses, seeing the natural three-dimensional image, do not feel fatigue even if observed for a long time The main goal is to develop a 3D stereoscopic image display method.

상술한 바와 같이 홀로그래픽 디스플레이는 이상적인 입체 영상 표시 방법의 하나로 알려져 있다. As described above, the holographic display is known as one of the ideal stereoscopic image display methods.

홀로그램(HOLOGRAM)이란 그리스어의 전부(Whole)의 뜻을 가지는 HOLOS와 전달(Message)을 의미하는 GRAM을 결합시킨 말로써, 눈에 보이는 상(입체성)의 정보를 평면화시켜 얻는 것이다. 즉, 3차원의 정보를 2차원화하고, 다시 2차원 정보로부터 3차원의 영상으로 재현하는 것이다. 홀로그램은 물체에서 반사된 빛의 간섭성을 이용하며, 위상과 진폭이 포함된 빛의 반사 파면이 입체성으로 나타나는데, 이것을 2차원 광굴절 매질에 기록한 것을 말하며, 홀로그래피는 이 입체성을 3차원으로 그대로 나타내는 것을 말한다. 홀로그래피는 3차원 객체로부터 반사된 물체빔과 참조빔의 간섭에 의해 만들어진 간섭파를 기록하는 사진술로써 홀로그램을 생성하기 위해 고입자의 홀로그램 필름을 사용해야 하며 단색광을 이용하여 간섭패턴을 기록한다.Hologram (HOLOGRAM) is a combination of HOLOS, which means Greek, and GRAM, which means message, and is obtained by flattening information of visible image (stereosity). In other words, two-dimensional information is two-dimensionalized and reproduced again from the two-dimensional information into a three-dimensional image. Holograms use the coherence of light reflected from an object, and the reflected wavefront of light, including phase and amplitude, appears in three dimensions, which is recorded in a two-dimensional optical refraction medium. Say it as it is. Holography is a photography that records the interference wave generated by the interference of the object beam and the reference beam reflected from the three-dimensional object. A hologram film using a high particle is used to generate the hologram, and the interference pattern is recorded using monochromatic light.

도 1은 홀로그램 기록 장치에 기록되는 프린지 패턴(fringe pattern)을 도시하고 있다. 상술한 바와 같이 홀로그램 기록 장치는 물체빔과 참조빔을 이용하여 홀로그램을 재생하기 위한 프린지 패턴을 기록 매체에 기록한다.Fig. 1 shows a fringe pattern recorded on a hologram recording device. As described above, the hologram recording apparatus records the fringe pattern for reproducing the hologram on the recording medium using the object beam and the reference beam.

홀로그램 재생 장치는 기록 매체에 기록되어 있는 프린지 패턴을 이용하여 홀로그램을 재생한다. 일반적으로 프린지 패턴은 100kㅧ100K 사이즈 또는 1Mㅧ1M 사이즈로 사이즈가 크며, 동적이다. 따라서 홀로그램 재생 장치는 대용량의 프린지 패턴을 재생하기 위해서는 고속의 데이터 처리 능력을 갖는 시스템이 요구된다.
The hologram reproducing apparatus reproduces the hologram using the fringe pattern recorded on the recording medium. In general, the fringe pattern is large and dynamic, with a size of 100k ㅧ 100K or 1M ㅧ 1M. Therefore, the hologram reproducing apparatus requires a system having a high speed data processing capability in order to reproduce a large fringe pattern.

본 발명이 해결하려는 과제는 고속의 데이터 처리 능력을 갖는 홀로그램 재생 장치 및 재생 방법을 제안함에 있다.An object of the present invention is to propose a hologram reproducing apparatus and a reproducing method having a high speed data processing capability.

본 발명이 해결하려는 다른 과제는 프린지 패턴의 사이즈에 상관없이 동일한 사이즈를 갖는 홀로그램을 재생할 수 있는 방안을 제안함에 있다.
Another object of the present invention is to propose a method for reproducing holograms having the same size regardless of the size of the fringe pattern.

이를 위해 본 발명의 홀로그램 재생 장치는 홀로그램을 재생하기 위한 프린지 패턴이 기록되어 있는 기록 매체, 상기 기록 매체에 기록된 프린지 패턴을 설정된 크기를 갖는 세그먼트로 분할하고, 분할한 세그먼트에 기록된 프린지 패턴에 대해 고속 퓨리에 변환을 수행하는 고속 퓨리에 변환부, 상기 고속 퓨리에 변환을 수행된 복수 개의 세그먼트의 프린지 패턴을 가산하는 가산부를 포함한다.To this end, the hologram reproducing apparatus of the present invention divides a recording medium on which a fringe pattern for reproducing a hologram is recorded, a fringe pattern recorded on the recording medium, into segments having a predetermined size, and the fringe patterns recorded on the divided segments. And a fast Fourier transform unit for performing fast Fourier transform, and an adder for adding fringe patterns of a plurality of segments on which the fast Fourier transform has been performed.

이를 위해 본 발명의 홀로그램 재생 장치는 홀로그램을 재생하기 위한 프린지 패턴이 기록되어 있는 기록 매체에 기록된 프린지 패턴을 설정된 크기를 갖는 세그먼트로 분할하고, 분할한 세그먼트에 기록된 프린지 패턴에 대해 고속 퓨리에 변환을 수행하는 병렬 제어 모듈, 상기 고속 퓨리에 변환을 수행된 복수 개의 세그먼트의 프린지 패턴을 가산하는 CPU 코어를 포함한다.To this end, the hologram reproducing apparatus of the present invention divides a fringe pattern recorded on a recording medium on which a fringe pattern for reproducing a hologram is recorded into segments having a predetermined size, and performs fast Fourier transform on the fringe pattern recorded on the divided segments. Parallel control module for performing a; and a CPU core for adding the fringe pattern of the plurality of segments subjected to the fast Fourier transform.

이를 위해 본 발명의 홀로그램 재생 방법은 홀로그램을 재생하기 위한 프린지 패턴이 기록되어 있는 기록 매체에 기록된 프린지 패턴을 설정된 크기를 갖는 세그먼트로 분할하는 단계, 분할한 상기 세그먼트에 기록된 프린지 패턴에 대해 고속 퓨리에 변환을 수행하는 단계, 상기 고속 퓨리에 변환을 수행된 복수 개의 세그먼트의 프린지 패턴을 가산하는 단계를 포함한다.
To this end, the hologram reproducing method of the present invention divides a fringe pattern recorded on a recording medium on which a fringe pattern for reproducing the hologram is recorded into segments having a predetermined size, and a high-speed fringe pattern recorded on the divided segments. Performing a Fourier transform, adding a fringe pattern of the plurality of segments on which the fast Fourier transform is performed.

본 발명에 따른 홀로그램 재생 장치 및 재생 방법은 고속의 데이터 처리 능력을 가지며, 프린지 패턴의 사이즈에 상관없이 동일한 사이즈를 갖는 홀로그램을 재생할 수 있다.
The hologram reproducing apparatus and the reproducing method according to the present invention have a high speed data processing capability and can reproduce holograms having the same size regardless of the size of the fringe pattern.

도 1은 기록 매체에 기록되는 일반적인 프린지 패턴을 도시하고 있으며,
도 2는 종래 기록 매체에 기록된 프린지 패턴을 이용하여 홀로그램을 재생하기 위한 구성을 도시하고 있으며,
도 3은 본 발명의 일실시 예에 따른 기록 매체에 기록된 프린지 패턴을 이용하여 홀로그램을 재생하기 위한 구성을 도시하고 있으며,
도 4는 본 발명에 일실시 예에 따른 프린지 패턴을 복수 개의 세그먼트로 분할한 예를 도시하고 있으며,
도 5는 본 발명에 일실시 예에 따른 기록 매체에 기록된 프린지 패턴을 처리하기 위한 분산 컴퓨터를 도시하고 있다.
1 shows a general fringe pattern recorded on a recording medium,
2 shows a configuration for reproducing holograms using a fringe pattern recorded on a conventional recording medium,
3 illustrates a configuration for reproducing a hologram using a fringe pattern recorded on a recording medium according to an embodiment of the present invention.
4 illustrates an example in which a fringe pattern is divided into a plurality of segments according to an embodiment of the present invention.
5 illustrates a distributed computer for processing a fringe pattern recorded on a recording medium according to an embodiment of the present invention.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시 예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명의 이러한 실시 예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.The foregoing and further aspects of the present invention will become more apparent through the preferred embodiments described with reference to the accompanying drawings. Hereinafter will be described in detail to enable those skilled in the art to easily understand and reproduce through this embodiment of the present invention.

현재 높은 클록 주파수 프로세서와 관련하여 늘어난 하드웨어 복잡성이 인식되기 시작하고 있다. 또한 클록 주파수를 무한정 증가시킬 수 없으며 다른 방법이 필요하다. 이에 따라 프로세서의 효율성 개선은 물론 쓰레드 단위의 병렬실행(TLP: Thread Level Parallelism)을 통해 전체적인 성능을 향상키시기 방법으로 멀티프로세서와 멀티쓰레딩 기술이 출현하게 되었다.Today, the increased hardware complexity associated with higher clock frequency processors is beginning to be recognized. In addition, the clock frequency cannot be increased indefinitely, and other methods are required. As a result, multiprocessor and multithreading technologies have emerged as a way of improving the overall efficiency through thread level parallelism (TLP) as well as improving processor efficiency.

최근의 이러한 멀티프로세싱으로의 전환은 데스크탑에서 임베디드 설계 분야로까지 인기가 확산되면서 다수의 소프트웨어에 대한 발상의 전환이 요구되고 있다. 여러 해 동안 임베디드 설계자들은 자신들의 설계에 여러 개의 프로세서를 내장함으로써 한정된 전력으로 더 나은 계산 능력을 구현할 수 있었다. The recent shift to multiprocessing has spread from desktop to embedded design, requiring a shift in thinking about many software. For many years, embedded designers have been able to embed more processors into their designs to achieve better computational power with limited power.

멀티프로세서와 멀티쓰레딩은 모두 프로세서 성능을 전체적으로 향상시키며, 이로 인해 병행 소프트웨어 쓰레드를 이용하여 어플리케이션의 처리시간을 단축한다. 그러나 이 두 기술은 이러한 목표를 달성하기 위해서 하드웨어적으로 서로 다른 접근방법을 취하고 있으며 특정 소프트웨어 코드의 예에 대해 각기 다른 성취 수준을 나타낸다.Both multiprocessor and multithreading improve processor performance overall, which reduces the processing time of the application by using parallel software threads. However, these two technologies take different approaches in hardware to achieve these goals and represent different levels of achievement for specific software code examples.

멀티쓰레딩의 기본 개념은 높은 주파수의 프로세서가 저속 메모리와 결합되었을 때, 일반적으로 액세스 지연으로 인한 유니 프로세서 설계에서 발생하는 비효율적인 사이클을 이용해서 전체적인 프로세서 성능을 높이려 하는 것이다.The basic concept of multithreading is to increase overall processor performance by taking advantage of the inefficient cycles that typically occur in uniprocessor designs due to access delays when high frequency processors are combined with slow memory.

쓰레드를 여유 사이클에 맞춤으로써 코어의 효율이 향상된다. 기본적으로 멀티쓰레딩은 최소의 프로세서 로직만을 중복시켜서 추가적인 하드웨어 쓰레드를 지원하는 유니 프로세서로 분류된다.By fitting threads into spare cycles, core efficiency is improved. By default, multithreading is classified as a uniprocessor that supports additional hardware threads by overlapping only minimal processor logic.

일반적으로 이것은 프로그래머의 레지스터 집합이며, CPU의 수퍼바이저 상태로 충분하므로 오늘날의 OS가 이 하드웨어 쓰레드를 가상 프로세서로 인식할 수 있다. 이러한 나머지 프로세서 로직을 공유하는 것은 소프트웨어의 복잡성을 증가시키는 중요한 문제다.Typically this is a set of registers from the programmer, and the CPU's supervisor state is sufficient so that today's operating systems can see this hardware thread as a virtual processor. Sharing this remaining processor logic is an important issue that increases the complexity of the software.

일반적으로 CPU는 순서대로 실행되는 일련의 명령어를 처리하도록 설계되었다. 멀티쓰레딩(Multithreading) 기능과 다중 코어의 출현으로 CPU에서도 상당한 수준의 병렬 처리가 가능하나, CPU와 GPU 간의 성능 차이가 발생한다.In general, a CPU is designed to process a sequence of instructions that execute in sequence. The advent of multithreading capabilities and multiple cores allows a significant degree of parallelism in the CPU, but there is a performance difference between the CPU and the GPU.

GPU는 동시에 여러 개의 작업을 처리할 수 있도록 설계된 병렬 프로세서로 각각의 GPU 코어는 CPU 코어보다 더 단순하고 덜 강력하지만 GPU에는 코어가 수 십 또는 수 백 개가 들어있다.GPUs are parallel processors designed to handle multiple tasks at the same time. Each GPU core is simpler and less powerful than a CPU core, but the GPU contains dozens or hundreds of cores.

본 발명은 GPU를 이용하여 프린지 패턴을 처리하는 방안을 제안한다. 상술한 바와 같이 프린지 패턴을 이용하여 홀로그램을 재생하기 위해서는 고속 퓨리에 변환(FFT)을 수행한다.The present invention proposes a method of processing a fringe pattern using a GPU. As described above, in order to reproduce the hologram using the fringe pattern, a fast Fourier transform (FFT) is performed.

도 2는 종래 프린지 패턴을 이용하여 홀로그램을 재생하는 과정을 도시한 도면이다. 도 2에 의하면 홀로그램 재생 장치는 프린지 패턴이 기록되어 있는 기록 매체의 전 영역의 모든 화소에 대해 고속 퓨리에 변환을 수행한다. 하지만, 기록 매체의 전 영역의 모든 화소에 대해 고속 퓨리에 변환을 수행하여 홀로그램을 재생하기 위해서는 고속 데이터 처리 능력을 갖는 시스템이 요구된다. 상술한 바와 같이 프린지 패턴이 고해상도를 갖는다면 홀로그램을 재생하기 위해서는 고속 데이터 처리 능력을 갖는 시스템이 더욱 요구된다.2 is a diagram illustrating a process of reproducing a hologram using a conventional fringe pattern. According to Fig. 2, the hologram reproducing apparatus performs fast Fourier transform on all pixels of all regions of the recording medium on which a fringe pattern is recorded. However, in order to reproduce the hologram by performing fast Fourier transform on all the pixels of all regions of the recording medium, a system having a high speed data processing capability is required. As described above, if the fringe pattern has a high resolution, a system having a high speed data processing capability is further required to reproduce the hologram.

하지만, 사람이 홀로그램을 식별하는데 필요한 해상도는 프린지 패턴이 갖는 고해상도를 요구하지 않는다. 즉, 프린지 패턴이 갖는 고해상도보다 낮은 해상도만으로 홀로그램을 식별할 수 있다.However, the resolution required for a person to identify the hologram does not require the high resolution that the fringe pattern has. That is, the hologram can be identified only by a resolution lower than the high resolution of the fringe pattern.

따라서 본 발명은 프린지 패턴을 일정한 크기를 갖는 세그먼트로 구분하고, 각 세그먼트에 대해 고속 퓨리에 변환을 수행한다. 하기 수학식 1에 의해 홀로그램을 재생하는 프린지 패턴은 고속 퓨리에 변환으로 재생되며, 고속 퓨리에 변환은 선형성과 위상 이동성을 갖는다는 것을 알 수 있다.Accordingly, the present invention divides the fringe pattern into segments having a constant size, and performs fast Fourier transform on each segment. It can be seen that the fringe pattern for reproducing the hologram by Equation 1 is reproduced by the fast Fourier transform, and the fast Fourier transform has linearity and phase mobility.

[수학식 1][Equation 1]

Figure 112011028943372-pat00001
Figure 112011028943372-pat00001

h: 홀로그램h: hologram

r: 기준r: reference

w: 처프 함수(chirp function) w: chirp function

T: Shift interval
T: Shift interval

도 3은 본 발명의 일실시 예에 따른 프린지 패턴을 이용하여 홀로그램을 재생하는 과정을 도시한 도면이다. 즉, 상기 수학식 1을 구현하기 위한 홀로그램 재생 장치를 도시하고 있다.3 is a diagram illustrating a process of reproducing a hologram using a fringe pattern according to an embodiment of the present invention. That is, a hologram reproducing apparatus for implementing Equation 1 is shown.

도 3에 의하면, 홀로그램 재생 장치는 복수의 FFT 처리부, 복수의 위상 이동부와 가산기를 포함한다. 상술한 바와 같이 프린지 패턴은 일정한 크기를 갖는 세그먼트로 구분하고, 각 세그먼트에 대해 고속 퓨리에 변환을 수행한다.According to Fig. 3, the hologram reproducing apparatus includes a plurality of FFT processing units, a plurality of phase shifters and an adder. As described above, the fringe pattern is divided into segments having a constant size, and fast Fourier transform is performed on each segment.

도 4는 본 발명을 일실시 예에 따른 프린지 패턴을 일정한 크기를 갖는 세그먼트로 구분한 예를 나타내고 있다. 세그먼트의 크기는 인간이 홀로그램을 식별할 수 있는 최소의 크기는 보장되어야 한다. 즉, 인간이 식별할 수 있는 최소 크기가 보장되도록 프린지 패턴을 분할한다. 4 illustrates an example of dividing a fringe pattern according to an exemplary embodiment into segments having a predetermined size. The size of the segment should ensure the minimum size at which a human can identify the hologram. In other words, the fringe pattern is divided to ensure a minimum size that can be identified by humans.

이와 같이 함으로써 프린지 패턴의 해상도와 무관하게 동일한 해상도를 갖는 홀로그램을 재생할 수 있게 된다. 즉, 프린지 패턴의 해상도에 따라 분할되는 세그먼트의 개수를 조정함으로써 동일한 해상도를 갖는 홀로그램을 재생할 수 있게 된다.In this manner, holograms having the same resolution can be reproduced regardless of the resolution of the fringe pattern. That is, by adjusting the number of segments to be divided according to the resolution of the fringe pattern, holograms having the same resolution can be reproduced.

상술한 바와 같이 본 발명은 하나의 CPU에서 고속 퓨리에 변환을 수행하는 것이 아니라 GPU 즉 분산 컴퓨터를 이용하여 고속 퓨리에 변환을 수행한다.As described above, the present invention does not perform fast Fourier transform in one CPU, but performs fast Fourier transform using a GPU, that is, a distributed computer.

도 5는 본 발명의 일실시 예에 따른 복수의 홀로그램을 재생하기 위해 프린지 패턴을 처리하는 시스템을 도시하고 있다.5 illustrates a system for processing a fringe pattern to reproduce a plurality of holograms according to an embodiment of the present invention.

도 5에 의하면 프린지 패턴 처리 시스템은 CPU 코어(500), GPU 코어(510)를 구성하고 있는 복수개의 병렬 제어 모듈(520)을 포함한다. 물론 상술한 구성 이외에 다른 구성이 프린지 패턴 처리 시스템에 포함될 수 있음은 자명하다.Referring to FIG. 5, the fringe pattern processing system includes a CPU core 500 and a plurality of parallel control modules 520 constituting the GPU core 510. Of course, it is obvious that other configurations can be included in the fringe pattern processing system.

CPU 코어(500)는 입력된 프린지 패턴을 분석한다. 즉, CPU 코어(500)는 처리해야 하는 세그먼트의 개수를 분석한다. CPU 코어(500)는 입력된 프린지 패턴을 효율적으로 처리하기 위해 동적으로 사용해야 하는 병렬 제어 모듈의 개수를 결정한다. CPU 코어(500)는 입력된 프린지 패턴을 구성하고 있는 세그먼트의 개수에 따라 처리해야 하는 병렬 제어 모듈의 개수를 결정한다. CPU 코어(500)는 프린지 패턴을 처리하기 위해 결정한 병렬 제어 모듈의 개수와 각 병렬 제어 모듈에서 처리해야 하는 세그먼트를 로그 저장소에 저장한다. CPU 코어(500)는 각 병렬 제어 모듈로 처리해야 하는 프린지 패턴을 구성하고 있는 세그먼트에 관한 정보를 제공한다.The CPU core 500 analyzes the input fringe pattern. In other words, the CPU core 500 analyzes the number of segments to be processed. The CPU core 500 determines the number of parallel control modules to be used dynamically to efficiently process the input fringe pattern. The CPU core 500 determines the number of parallel control modules to be processed according to the number of segments constituting the input fringe pattern. The CPU core 500 stores in the log storage the number of parallel control modules determined to process the fringe pattern and the segments to be processed by each parallel control module. The CPU core 500 provides information about the segments constituting the fringe pattern to be processed by each parallel control module.

CPU 코어(500)는 각 병렬 제어 모듈에서 처리한 데이터를 로그 저장소에 저장되어 있는 정보를 기반으로 취합 과정을 수행한다. 취합 단계에서 최대 타임아웃(Maximum Timeout) 시간을 확인하는 동안 지연된 GPU 코어 작업이 있을 경우 해당 병렬 제어 모듈 식별자 확인을 거쳐 작업의 우선순위를 높임으로써 최대 타임아웃을 초과 하지 않도록 처리 한다.The CPU core 500 collects data processed by each parallel control module based on information stored in a log storage. If there is a delayed GPU core task while checking the maximum timeout time during the gathering stage, check the corresponding parallel control module identifier to increase the priority of the task so as not to exceed the maximum timeout.

즉, 복수 개의 병렬 제어 모듈 중 특정 병렬 제어 모듈에서 처리 시간이 소용되는 경우 CPU 코어(500)는 처리된 데이터를 취합하는 과정을 수행할 수 없게 된다. 따라서 CPU 코어(500)는 특정 병렬 제어 모듈에서 데이터 처리 속도가 지연되는 경우 해당 병렬 제어 모듈의 데이터 처리 작업에 대한 우선순위를 높임으로서 신속하게 데이터를 처리할 수 있도록 한다.That is, when processing time is used in a specific parallel control module among a plurality of parallel control modules, the CPU core 500 may not perform a process of collecting processed data. Therefore, when the data processing speed is delayed in a specific parallel control module, the CPU core 500 increases the priority of the data processing task of the corresponding parallel control module so that the data can be processed quickly.

부가하여 CPU 코어(500)는 특정 병렬 제어 모듈에서 데이터 처리 시간이 지연되는 경우, 현재 데이터 처리 작업을 수행하지 않는 병렬 제어 모듈에서 해당 데이터의 일부 또는 전부를 처리하도록 요청할 수 있다. 이 경우 CPU 코어는 이에 대한 정보를 로드 저장소에 새로 저장한다. 이와 같이 함으로써 CUP 코어(500)는 입력된 프린지 패턴을 최대한 신속하게 처리할 수 있도록 한다. In addition, when a data processing time is delayed in a specific parallel control module, the CPU core 500 may request that a parallel control module that does not perform a current data processing task process some or all of the corresponding data. In this case, the CPU core stores new information about it in the load store. By doing so, the CUP core 500 can process the input fringe pattern as quickly as possible.

병렬 제어 모듈(520)은 요청받은 각 세그먼트에 대한 고속 퓨리에 변환과 위상 천이 과정을 수행한다. 병렬 제어 모듈(520)은 고속 퓨리에 변환과 위상 천이 과정을 수행한 데이터를 CPU 코어(500)로 전달한다. 부가하여 병렬 제어 모듈(520)은 현재 요청받은 데이터 처리 작업에 과부하가 걸린 경우에는 이에 대한 정보를 CPU 코어(500)로 제공할 수 있다. 이와 같이 함으로써 CPU 코어(500)는 신속하게 해당 데이터 처리 작업을 다른 병렬 제어 모듈로 할당하여 요청할 수 있다.The parallel control module 520 performs a fast Fourier transform and phase shift process for each requested segment. The parallel control module 520 transfers data obtained by performing a fast Fourier transform and a phase shift process to the CPU core 500. In addition, the parallel control module 520 may provide the CPU core 500 with information about this when the currently requested data processing task is overloaded. In this manner, the CPU core 500 can quickly allocate and request the data processing task to another parallel control module.

본 발명은 도면에 도시된 일실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the scope of the present invention .

500: CPU 코어 510: GPU 코어
520: 병렬 제어 모듈
500: CPU core 510: GPU core
520: parallel control module

Claims (9)

삭제delete 삭제delete 홀로그램을 재생하기 위한 프린지 패턴이 기록되어 있는 기록 매체에 기록된 프린지 패턴을 설정된 크기를 갖는 세그먼트로 분할하고, 분할된 상기 세그먼트들 중 적어도 하나의 세그먼트를 제공받아 기록된 프린지 패턴에 대해 고속 퓨리에 변환을 수행하는 고속 퓨리에 변환부와 위상 천이를 수행하는 위상 천이부를 포함하는 적어도 두 개의 병렬 제어 모듈;
상기 고속 퓨리에 변환과 위상 천이를 포함한 데이터 처리를 수행한 각 병렬 제어 모듈로부터 출력된 세그먼트의 프린지 패턴을 가산하는 CPU 코어를 포함하며,
상기 CPU 코어는 상기 프린지 패턴을 분석하여 분할된 세그먼트를 제공할 병렬 제어 모듈의 개수를 결정하며,
특정 병렬 제어 모듈에서 제공받은 세그먼트에 기록된 프린지 패턴에 대해 데이터 처리를 수행하는 소요되는 시간이 상기 CPU 코어에서 병렬 제어 모듈로 세그먼트를 제공한 시점부터 출력된 세그먼트의 프린지 패턴을 가산하기 위해 제공받는 시점까지의 기간인 최대 타임아웃을 초과하는 경우, 상기 CPU 코어는 현재 데이터 처리를 수행하지 않은 병렬 제어 모듈로 상기 특정 병렬 제어 모듈로 제공할 세그먼트의 적어도 일부를 제공하거나, 상기 병렬 제어 모듈은 상기 CPU 코어로 데이터 처리에 대한 과부하 여부를 제공하거나, 상기 특정 병렬 제어 모듈의 데이터 처리에 대한 우선순위를 상대적으로 높게 설정함을 특징으로 하는 홀로그램 재생 장치.
The fringe pattern recorded on the recording medium on which the fringe pattern for reproducing the hologram is recorded is divided into segments having a predetermined size, and at least one segment of the divided segments is provided for fast Fourier transformation on the recorded fringe pattern. At least two parallel control modules including a fast Fourier transform unit performing a phase shifter and a phase shifter performing phase shifting;
A CPU core that adds a fringe pattern of segments output from each parallel control module that has performed data processing including fast fast Fourier transform and phase shift,
The CPU core analyzes the fringe pattern to determine the number of parallel control modules to provide segmented segments,
The time required to perform data processing on the fringe pattern recorded in the segment provided by the specific parallel control module is provided to add the fringe pattern of the output segment from the point of time when the CPU core provides the segment to the parallel control module. If the maximum timeout, which is a period up to a time point, is exceeded, the CPU core provides at least a portion of a segment to be provided to the specific parallel control module to a parallel control module that has not currently performed data processing, or the parallel control module A hologram reproducing apparatus, characterized by providing a CPU core with or without overload of data processing or by setting a priority of data processing of the specific parallel control module relatively high.
삭제delete 제 3항에 있어서, 상기 CPU 코어는,
상기 병렬 제어 모듈과 각 병렬 제어 모듈로 처리를 요청할 세그먼트에 대한 정보를 로그 저장소에 저장함을 특징으로 하는 홀로그램 재생 장치.
The method of claim 3, wherein the CPU core,
And storing information about the segment to be processed by the parallel control module and each parallel control module in a log storage.
제 5항에 있어서, 상기 로그 저장소는,
상기 병렬 제어 모듈의 식별자와 각 병렬 제어 모듈에서 처리하는 세그먼트에 대한 정보를 저장함을 특징으로 하는 홀로그램 재생 장치.
The method of claim 5, wherein the log storage,
And an identifier of the parallel control module and information on a segment processed by each parallel control module.
제 3항에 있어서, 상기 분할되는 세그먼트의 개수는 상기 기록 매체에 기록되어 있는 프린지 패턴의 해상도에 따라 달라짐을 특징으로 하는 홀로그램 재생 장치.
4. The hologram reproducing apparatus according to claim 3, wherein the number of the divided segments varies depending on the resolution of the fringe pattern recorded on the recording medium.
CPU 코어에서 홀로그램을 재생하기 위한 프린지 패턴이 기록되어 있는 기록 매체에 기록된 프린지 패턴을 설정된 크기를 갖는 세그먼트로 분할하는 단계;
병렬 제어 모듈에서 분할된 상기 세그먼트들 중 적어도 하나의 세그먼트를 제공받아 기록된 프린지 패턴에 대해 적어도 두 개의 고속 퓨리에 변환부에서 고속 퓨리에 변환과 위상 천이를 수행하는 단계;
상기 CPU 코어에서 상기 고속 퓨리에 변환과 위상 천이를 포함한 데이터 처리를 수행한 복수 개의 세그먼트의 프린지 패턴을 전달받아 가산하는 단계를 포함하며,
상기 CPU 코어는 상기 프린지 패턴을 분석하여 분할된 세그먼트를 제공할 병렬 제어 모듈의 개수를 결정하며,
특정 병렬 제어 모듈에서 제공받은 세그먼트에 기록된 프린지 패턴에 대해 데이터 처리를 수행하는 소요되는 시간이 상기 CPU 코어에서 병렬 제어 모듈로 세그먼트를 제공한 시점부터 출력된 세그먼트의 프린지 패턴을 가산하기 위해 제공받는 시점까지의 기간인 최대 타임아웃을 초과하는 경우, 상기 CPU 코어는 현재 데이터 처리를 수행하지 않은 병렬 제어 모듈로 상기 특정 병렬 제어 모듈로 제공할 세그먼트의 적어도 일부를 제공하거나, 상기 병렬 제어 모듈은 상기 CPU 코어로 데이터 처리에 대한 과부하 여부를 제공하거나, 상기 특정 병렬 제어 모듈의 데이터 처리에 대한 우선순위를 상대적으로 높게 설정함을 특징으로 하는 홀로그램 재생 방법.
Dividing the fringe pattern recorded on the recording medium on which the fringe pattern for reproducing the hologram on the CPU core is recorded into segments having a set size;
Performing at least two fast Fourier transforms and a phase shift in at least two fast Fourier transform units for the recorded fringe patterns by receiving at least one of the segments divided by the parallel control module;
Receiving and adding a fringe pattern of a plurality of segments in which the CPU core performs data processing including the fast Fourier transform and a phase shift,
The CPU core analyzes the fringe pattern to determine the number of parallel control modules to provide segmented segments,
The time required to perform data processing on the fringe pattern recorded in the segment provided by the specific parallel control module is provided to add the fringe pattern of the output segment from the point of time when the CPU core provides the segment to the parallel control module. If the maximum timeout, which is a period up to a time point, is exceeded, the CPU core provides at least a portion of a segment to be provided to the specific parallel control module to a parallel control module that has not currently performed data processing, or the parallel control module The CPU core provides an overload for data processing or sets a priority of data processing of the specific parallel control module to a relatively high level.
삭제delete
KR1020110036107A 2011-04-19 2011-04-19 Hologram playback device and method KR101270768B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110036107A KR101270768B1 (en) 2011-04-19 2011-04-19 Hologram playback device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110036107A KR101270768B1 (en) 2011-04-19 2011-04-19 Hologram playback device and method

Publications (2)

Publication Number Publication Date
KR20120118626A KR20120118626A (en) 2012-10-29
KR101270768B1 true KR101270768B1 (en) 2013-06-05

Family

ID=47286009

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110036107A KR101270768B1 (en) 2011-04-19 2011-04-19 Hologram playback device and method

Country Status (1)

Country Link
KR (1) KR101270768B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102252947B1 (en) * 2016-03-25 2021-05-17 한국전자기술연구원 Image to Hologram Conversion Method and System using a Quantized Depth-Map
KR102497832B1 (en) * 2017-12-26 2023-02-08 한국전자통신연구원 Hologram generation apparatus and method thereof
KR102161950B1 (en) * 2018-12-07 2020-10-06 한국전자기술연구원 Hologram Generation Method Using Segmentation
KR102599411B1 (en) * 2021-12-06 2023-11-07 한국전자기술연구원 Hologram generation and streaming method and system using multi-PC

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0627864A (en) * 1992-07-10 1994-02-04 Fujitsu Ltd Method and device for creating computer generated hologram
KR20020069878A (en) * 2001-02-28 2002-09-05 한국전자통신연구원 Non contact Method and Hologram of combined binary phase
KR100586026B1 (en) * 2005-03-25 2006-06-02 한국전자통신연구원 Digital hologram encoding and / or decoding device and method thereof
KR100715033B1 (en) * 2002-09-03 2007-05-09 유티-배틀, 엘엘시 Content-based fused off-axis illumination direct-to-digital holography

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0627864A (en) * 1992-07-10 1994-02-04 Fujitsu Ltd Method and device for creating computer generated hologram
KR20020069878A (en) * 2001-02-28 2002-09-05 한국전자통신연구원 Non contact Method and Hologram of combined binary phase
KR100715033B1 (en) * 2002-09-03 2007-05-09 유티-배틀, 엘엘시 Content-based fused off-axis illumination direct-to-digital holography
KR100586026B1 (en) * 2005-03-25 2006-06-02 한국전자통신연구원 Digital hologram encoding and / or decoding device and method thereof

Also Published As

Publication number Publication date
KR20120118626A (en) 2012-10-29

Similar Documents

Publication Publication Date Title
Halle et al. Fast computer graphics rendering for full parallax spatial displays
Chen et al. Rapid hologram generation utilizing layer-based approach and graphic rendering for realistic three-dimensional image reconstruction by angular tiling
KR101851180B1 (en) Morphological anti-aliasing (mlaa) of a re-projection of a two-dimensional image
TW201918745A (en) System and method for near-eye light field rendering for wide field of view interactive three-dimensional computer graphics
KR102464363B1 (en) Apparatus and Method for performing Fourier transform
JP2016529593A (en) Interleaved tiled rendering of 3D scenes
KR101270768B1 (en) Hologram playback device and method
Matsubara et al. Light field display simulation for light field quality assessment
US20160314611A1 (en) Ray tracing apparatus and method
CN107087149B (en) Method and apparatus for processing holographic image
US8619094B2 (en) Morphological anti-aliasing (MLAA) of a re-projection of a two-dimensional image
US11436698B2 (en) Method of playing back image on display device and display device
JP2021533646A (en) Systems and methods for extrapolating 2D images using depth information
US9869971B2 (en) Hologram generation method and apparatus
KR101425321B1 (en) System for displaying 3D integrated image with adaptive lens array, and method for generating elemental image of adaptive lens array
JP2012008207A (en) Method for calculating computer-synthesized hologram of three-dimensional moving image using lookup table and temporal overlapping of image, and apparatus thereof
CN108333905A (en) The method and device of three-dimension object reproduction is carried out by hologram
US20250037625A1 (en) Holographically displaying live scenes including three-dimensional objects
US20250029533A1 (en) Holographically displaying live scenes including three-dimensional objects
US20250029529A1 (en) Holographically displaying live scenes including three-dimensional objects
US20250037626A1 (en) Holographically displaying live scenes including three-dimensional objects
de la Perriere et al. Synthesis of Computer Generated Holograms Using Layer-Based Method and Perspective Projection Images
Watanabe et al. Hidden surface removal method using object point based ray tracing in CGH
KR102691849B1 (en) Non-Hogel-based Computer Generated Hologram with Occlusion Processing Method and System for Between the Foreground Light Field and Background Hologram
Al-Oraiqat et al. Ray tracing method for stereo image synthesis using CUDA

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110419

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120827

Patent event code: PE09021S01D

AMND Amendment
PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20130325

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20120827

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20130325

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20121029

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20130523

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20130425

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20130325

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20121029

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130528

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130529

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20151224

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20170512

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20170512

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20180406

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20190313

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20190313

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20200504

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20210503

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20220502

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20240326

Start annual number: 12

End annual number: 12