KR101301618B1 - Apparatus for synchronizing of special effect and 4d projecting ststem - Google Patents
Apparatus for synchronizing of special effect and 4d projecting ststem Download PDFInfo
- Publication number
- KR101301618B1 KR101301618B1 KR1020120011111A KR20120011111A KR101301618B1 KR 101301618 B1 KR101301618 B1 KR 101301618B1 KR 1020120011111 A KR1020120011111 A KR 1020120011111A KR 20120011111 A KR20120011111 A KR 20120011111A KR 101301618 B1 KR101301618 B1 KR 101301618B1
- Authority
- KR
- South Korea
- Prior art keywords
- time code
- code
- image data
- current time
- special effect
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
본 발명의 특수 효과 동기 장치는 영상 데이터의 타임 코드와 상기 타임 코드에 부여되는 특수 효과 정보가 포함된 효과 테이블을 저장하는 테이블 저장부, 상영 중인 상기 영상 데이터의 현 타임 코드와 매칭되는 상기 효과 테이블의 타임 코드에 부여되어 있는 특수 효과 정보를 추출하는 정보 추출부, 상기 영상 데이터를 상영하는 상영 서버로부터 상기 현 타임 코드를 수신하여 상기 정보 추출부로 제공하는 코드 수신부, 상기 영상 데이터를 상영하는 상영 서버와 빔 프로젝터 중 적어도 하나로부터 HD-SDI 신호(HD-Serial Digital Interface)를 수신하는 신호 수신부, 상기 HD-SDI 신호를 HDMI, SDI, Composite 신호중 하나로 변환하여 출력하는 코드 변환부 및 상기 코드 변환된 출력신호에서 상기 현 타임 코드를 추출하여 상기 정보 추출부로 제공하는 코드 추출부를 포함함으로써, 상영 중인 영상 데이터와 특수 효과를 신뢰성 있게 동기화시킬 수 있다.An apparatus for synchronizing special effects of the present invention includes a table storage unit for storing an effect table including a time code of image data and special effect information applied to the time code, and the effect table matching the current time code of the image data being displayed. An information extracting unit for extracting special effect information provided to a time code of a code receiving unit for receiving the current time code from the screening server for displaying the video data and providing the current time code to the information extracting unit, and a screening server for displaying the video data. A signal receiver for receiving an HD-SDI signal (HD-Serial Digital Interface) from at least one of a beam projector and a code converter for converting the HD-SDI signal into one of HDMI, SDI, and composite signals and outputting the converted signal; A code extracting unit which extracts the current time code from the signal and provides it to the information extracting unit , It is possible to reliably synchronize the image data that are screened with the annotation by including.
Description
본 발명은 특수 효과 동기 장치 및 4D 상영 시스템에 관한 것으로, 상세하게는 상영 중인 영상 데이터와 관련하여 부여되는 특수 효과를 신뢰성 있게 동기화시킬 수 있는 특수 효과 동기 장치 및 4D 상영 시스템에 관한 것이다.The present invention relates to a special effect synchronizer and a 4D screening system, and more particularly, to a special effect synchronizer and a 4D screening system capable of reliably synchronizing a special effect given in relation to image data being screened.
4D 영화(4차원 영화)는 영화에서 일정 영상에 효과가 발생할 경우, 그 물리적인 효과를 주는 영화를 지칭한다. 4D 상영 시스템은 영상에 맞춰 의자를 움직이거나, 바람, 안개, 조명 등을 이용하여 현실감을 높여 사실감 있는 영상을 제공하는 장치로서, 시뮬레이션 장비 및 극장 상영 시스템에 도입하여 사실감 있는 영상을 제공하는 시스템이다.A 4D movie (4D movie) refers to a movie that gives a physical effect when an effect occurs on a certain image in the movie. The 4D screening system is a device that provides realistic images by moving chairs in accordance with the images or by using wind, fog, and lights to provide realistic images. It is introduced to simulation equipment and theater screening systems to provide realistic images. .
4D 상영 시스템은 영상에 맞춰 의자 등의 모션 및 특수 효과를 제어하게 되며, 영상과 특수 효과 장비들이 동기화되도록 제어한다. 이때의 동기화 제어를 살펴보면, 영상이 시작되는 시점의 신호를 GPO 단자 또는 RS-232단자를 통해 수신하여 제어를 하게 된다. 즉, 동기화 제어 수단은 영상 데이터를 재생하여 상영하는 상영 서버로부터 영상의 시작을 나타내는 신호를 전송받아 자체적인 타이머를 운용하여 특수 효과를 영상에 동기화시키고 있다.The 4D screening system controls the motion and special effects of the chair and the like according to the video, and the video and the special effects equipment are synchronized. Looking at the synchronization control at this time, the control signal is received by the GPO terminal or the RS-232 terminal when the video starts. That is, the synchronization control unit receives a signal indicating the start of the image from the screening server that reproduces and displays the image data, and operates its own timer to synchronize the special effect to the image.
이와 같은 방식에 따라 시작 시점에서의 동기화는 신뢰적으로 이루어지나 시간이 경과할수록 신뢰성 있는 동기화가 어렵다. 특히, 영상을 여러 차례 재생하는 경우 이와 같은 현상이 두드러지게 나타나므로 유지 보수 차원에서의 동기화 보정이 필요한 실정이다.In this way, synchronization at the start is reliable, but it is difficult to reliably synchronize over time. In particular, when the video is reproduced many times, such a phenomenon is prominent, and thus, synchronization correction is required for maintenance.
한편, 일반적으로 영사 서버에서는 HD-SDI 포트를 이용하여 영상 데이터를 출력한다. HD-SDI 포트를 통해서 전송되는 영상 데이터는 타임코드(TC; Time Code)를 포함하는데, 보편적으로 영상과 기타 특수효과 및 음향 데이터는 이 타임코드에 동기화 되어 동작하게 되는 것이다. On the other hand, in general, the projection server outputs the video data using the HD-SDI port. Video data transmitted through the HD-SDI port includes a time code (TC), which is commonly used to synchronize video and other special effects and sound data.
그런데, 특수한 목적에 의해 HD-SDI 신호를 변환하여 사용하는 경우도 있다. 예를 들면, HD-SDI 신호를 HDMI(High Definition Multimedia Interface) 또는 SDI 또는 Composite 신호로 변환하여 사용하기도 한다.However, in some cases, HD-SDI signals are converted and used for special purposes. For example, an HD-SDI signal may be converted into a high definition multimedia interface (HDMI) or an SDI or composite signal.
본 발명은 4D 상영 시스템에서 HD-SDI로부터 출력되는 영상 데이터를 HDMI 또는 SDI 또는 composite 신호로 변환한 다음 타임코드를 추출하여 4D 시스템과 영사서버 시스템간의 동기화에 사용하는 방법을 제공한다.
The present invention provides a method for converting video data output from HD-SDI into an HDMI or SDI or composite signal in a 4D screening system, and then extracting a time code to use for synchronization between the 4D system and the projection server system.
또한, 상영 중인 영상 데이터와 관련하여 부여되는 특수 효과를 신뢰성 있게 동기화시킬 수 있는 특수 효과 동기 장치 및 4D 상영 시스템을 제공하기 위한 것이다.Another object of the present invention is to provide a special effect synchronizer and a 4D screening system capable of reliably synchronizing a special effect given in relation to image data being screened.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not intended to limit the invention to the precise forms disclosed. Other objects, which will be apparent to those skilled in the art, It will be possible.
상기의 목적을 달성하기 위한 본 발명의 하나의 특징에 따른 특수 효과 동기 장치는,Special effect synchronization device according to one feature of the present invention for achieving the above object,
영상 데이터의 상영 전에 상기 영상 데이터를 분석하여 획득한 타임 코드와 상기 타임 코드에 부여되는 특수 효과 정보가 포함된 효과 테이블을 저장하는 테이블 저장부; A table storage unit for storing an effect table including a time code obtained by analyzing the image data and special effect information applied to the time code before the image data is displayed;
상영 중인 상기 영상 데이터의 현 타임 코드와 매칭되는 상기 효과 테이블의 타임 코드에 부여되어 있는 특수 효과 정보를 추출하는 정보 추출부;An information extraction unit for extracting special effect information provided to a time code of the effect table that matches the current time code of the image data being displayed;
상기 영상 데이터를 상영하는 상영 서버로부터 상기 현 타임 코드를 수신하여 상기 정보 추출부로 제공하는 코드 수신부;A code receiving unit which receives the current time code from the screening server displaying the image data and provides the current time code to the information extracting unit;
상기 영상 데이터를 상영하는 상영 서버와 빔 프로젝터 중 적어도 하나로부터 HD-SDI 신호(HD-Serial Digital Interface)를 수신하는 신호 수신부; A signal receiving unit configured to receive an HD-SDI signal (HD-Serial Digital Interface) from at least one of a screening server and a beam projector displaying the image data;
상기 HD-SDI 신호를 HDMI, SDI, Composite 신호중 하나로 변환하여 출력하는 코드 변환부;A code converter converting the HD-SDI signal into one of HDMI, SDI, and composite signals and outputting the converted signal;
상기 코드 변환된 출력신호에서 상기 현 타임 코드를 추출하여 상기 정보 추출부로 제공하는 코드 추출부를 포함한다.And a code extracting unit extracting the current time code from the coded output signal and providing the current time code to the information extracting unit.
상기의 목적을 달성하기 위한 본 발명의 다른 특징에 따은 특수 효과 동기 장치는,Special effect synchronizer according to another feature of the present invention for achieving the above object,
영상 데이터의 상영 전에 상기 영상 데이터를 분석하여 획득한 타임 코드와 상기 타임 코드에 부여되는 특수 효과 정보가 포함된 효과 테이블을 저장하는 테이블 저장부; A table storage unit for storing an effect table including a time code obtained by analyzing the image data and special effect information applied to the time code before the image data is displayed;
상영 중인 상기 영상 데이터의 현 타임 코드와 매칭되는 상기 효과 테이블의 타임 코드에 부여되어 있는 특수 효과 정보를 추출하는 정보 추출부;An information extraction unit for extracting special effect information provided to a time code of the effect table that matches the current time code of the image data being displayed;
상기 영상 데이터를 상영하는 상영 서버로부터 상기 현 타임 코드를 수신하여 상기 정보 추출부로 제공하는 코드 수신부;A code receiving unit which receives the current time code from the screening server displaying the image data and provides the current time code to the information extracting unit;
상기 영상 데이터를 상영하는 상영 서버와 빔 프로젝터 중 적어도 하나로부터 HD-SDI 신호(HD-Serial Digital Interface)를 수신하는 신호 수신부; A signal receiving unit configured to receive an HD-SDI signal (HD-Serial Digital Interface) from at least one of a screening server and a beam projector displaying the image data;
상기 코드 수신부에서 상기 현 타임코드가 수신되지 않은 경우 상기 코드 수신부의 요청에 따라 상기 HD-SDI 신호를 HDMI, SDI, Composite 신호중 하나로 변환하여 출력하는 코드 변환부;A code converter for converting the HD-SDI signal into one of HDMI, SDI, and Composite signals according to a request of the code receiver when the current time code is not received by the code receiver;
상기 코드 변환된 출력신호에서 상기 현 타임 코드를 추출하여 상기 정보 추출부로 제공하는 코드 추출부를 포함한다.And a code extracting unit extracting the current time code from the coded output signal and providing the current time code to the information extracting unit.
상기의 목적을 달성하기 위한 본 발명의 또 다른 특징에 따른 특수 효과 동기 장치는,Special effect synchronization device according to another aspect of the present invention for achieving the above object,
영상 데이터의 상영 전에 상기 영상 데이터를 분석하여 획득한 타임 코드와 상기 타임 코드에 부여되는 특수 효과 정보가 포함된 효과 테이블을 저장하는 테이블 저장부; A table storage unit for storing an effect table including a time code obtained by analyzing the image data and special effect information applied to the time code before the image data is displayed;
상영 중인 상기 영상 데이터의 현 타임 코드와 매칭되는 상기 효과 테이블의 타임 코드에 부여되어 있는 특수 효과 정보를 추출하는 정보 추출부;An information extraction unit for extracting special effect information provided to a time code of the effect table that matches the current time code of the image data being displayed;
상기 영상 데이터를 상영하는 상영 서버로부터 상기 현 타임 코드를 수신하여 상기 정보 추출부로 제공하는 코드 수신부;A code receiving unit which receives the current time code from the screening server displaying the image data and provides the current time code to the information extracting unit;
상기 코드 수신부에서 상기 현 타임코드가 수신되지 않은 경우 상기 코드 수신부의 요청에 따라 상기 영상 데이터를 상영하는 상영 서버와 빔 프로젝터 중 적어도 하나로부터 HD-SDI 신호(HD-Serial Digital Interface)를 수신하는 신호 수신부; When the current time code is not received by the code receiver, a signal for receiving an HD-SDI signal (HD-Serial Digital Interface) from at least one of a screening server and a beam projector that display the image data at the request of the code receiver. Receiving unit;
상기 HD-SDI 신호를 HDMI, SDI, Composite 신호중 하나로 변환하여 출력하는 코드 변환부;A code converter converting the HD-SDI signal into one of HDMI, SDI, and composite signals and outputting the converted signal;
상기 코드 변환된 출력신호에서 상기 현 타임 코드를 추출하여 상기 정보 추출부로 제공하는 코드 추출부를 포함한다.And a code extracting unit extracting the current time code from the coded output signal and providing the current time code to the information extracting unit.
이때, 상기 효과 테이블에 저장되는 상기 타임 코드는 상기 특수 효과 정보가 부여되어 있는 타임 코드일 수 있다.In this case, the time code stored in the effect table may be a time code to which the special effect information is assigned.
또한, 상기 효과 테이블을 생성하여 상기 테이블 저장부로 전송하는 테이블 생성부를 더 포함할 수 있다.The apparatus may further include a table generator for generating the effect table and transmitting the generated effect table to the table storage unit.
또한, 상기 추출된 특수 효과 정보를 특수 효과 장치로 전송하는 정보 전송부를 더 포함할 수 있다.The apparatus may further include an information transmitter for transmitting the extracted special effect information to a special effect device.
상기의 목적을 달성하기 위한 본 발명의 특징에 따른 4D 상영 시스템은,4D screening system according to a feature of the present invention for achieving the above object,
영상 데이터를 상영하는 상영 서버;A screening server for displaying video data;
상기 영상 데이터의 상영 전에 상기 영상 데이터의 타임 코드와 상기 타임 코드에 부여되는 특수 효과 정보가 포함된 효과 테이블을 기저장하는 테이블 저장부와, 상영 중인 상기 영상 데이터의 현 타임 코드와 매칭되는 상기 효과 테이블의 타임 코드에 부여되어 있는 특수 효과 정보를 추출하는 정보 추출부와, 상기 상영서버(200)가 타임 코드를 송신하는 대신 타임 코드가 포함되어 있는 HD-SDI(HD-Serial Digital Interface) 신호를 제공한 경우 코드 변환부를 동작시켜 HD-SDI(HD-Serial Digital Interface) 신호를 HDMI, SDI, Composite로 변환하여 타임 코드를 추출하는 코드 추출부를 구비하는 특수 효과 동기 장치; 및A table storage unit which prestores an effect table including a time code of the image data and special effect information applied to the time code before the image data is displayed, and the effect that matches the current time code of the image data being displayed. An information extraction unit for extracting the special effect information provided to the time code of the table and the HD-SDI (HD-Serial Digital Interface) signal containing the time code instead of transmitting the time code. A special effect synchronizer having a code extracting unit configured to extract a time code by converting an HD-SDI signal into HDMI, SDI, and Composite by operating a code converting unit if provided; And
상기 추출된 특수 효과 정보에 포함된 특수 효과를 구현하는 특수 효과 장치;A special effect device for implementing a special effect included in the extracted special effect information;
를 포함한다..
이때, 상기 특수 효과 장치는 바람, 안개, 냄새, 조명, 좌석 움직임을 유발하는 장치 중 적어도 하나일 수 있다.At this time, the special effect device may be at least one of the device that causes the wind, fog, smell, lighting, seat movement.
이상에서 설명된 바와 같이 본 발명의 특수 효과 동기 장치 및 4D 영상 시스템은 HD-SDI로부터 출력되는 영상 데이터를 HDMI 또는 SDI 및 composite 신호로 변환한 다음 타임코드를 추출하여 4D 시스템과 영사서버 시스템간의 동기화에 사용하므로 상영 회수 등에 관계없이 신뢰성 있게 영상 데이터와 특수 효과를 동기시킬 수 있다.As described above, the special effect synchronizer and the 4D video system of the present invention convert the video data output from the HD-SDI into HDMI or SDI and composite signals, and then extract the time code to synchronize the 4D system with the projection server system. It can be used to reliably synchronize image data and special effects regardless of the number of screenings.
도 1은 본 발명의 특수 효과 동기 장치를 나타낸 블럭도.
도 2는 본 발명의 특수 효과 동기 장치에 이용되는 효과 테이블을 나타낸 개략도.
도 3은 소프트웨어의 형태로 구현된 테이블 생성부(130)의 실행 상태를 나타낸 개략도.
도 4는 본 발명의 4D 상영 시스템을 나타낸 블럭도.1 is a block diagram showing a special effect synchronizer of the present invention.
2 is a schematic diagram showing an effect table used in the special effect synchronizer of the present invention.
3 is a schematic diagram showing an execution state of the
4 is a block diagram showing a 4D screening system of the present invention.
이하, 본 발명의 특수 효과 동기 장치 및 4D 영상 시스템에 대하여 도면을 참조하여 보다 상세하게 설명한다.Hereinafter, the special effect synchronizer and the 4D image system of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 특수 효과 동기 장치를 나타낸 블럭도이다.1 is a block diagram showing a special effect synchronizer of the present invention.
도 1에 도시된 특수 효과 동기 장치는 영상 데이터의 타임 코드와 상기 타임 코드에 부여되는 특수 효과 정보가 포함된 효과 테이블을 저장하는 테이블 저장부(110) 및 상영 중인 상기 영상 데이터의 현 타임 코드와 매칭되는 상기 효과 테이블의 타임 코드에 부여되어 있는 특수 효과 정보를 추출하는 정보 추출부(120)를 포함하고 있다.The special effect synchronizer shown in FIG. 1 includes a
테이블 저장부(110)는 효과 테이블을 저장한다. 효과 테이블은 영상 데이터의 타임 코드와 타임 코드에 대응하여 부여되는 특수 효과 정보로 구성된다.The
도 2는 효과 테이블을 나타낸 개략도이다.2 is a schematic diagram showing an effect table.
타임 코드는 프레임별로 기입되어 있으며, 보통 1초의 상영에 30개 정도의 프레임이 사용되고 있으나, 설명의 편의를 위해 도 2에서는 간략하게 나타내었다. 윗 행의 타임 코드는 시간을 나타내는 것으로 1은 1초, 2는 2초,..., n은 n초를 나타내는 것으로 한다. 아랫 행의 특수 효과 정보에는 특수 효과를 제어하는 정보가 배치된다.The time code is written for each frame, and about 30 frames are used for 1 second screening. However, the time code is briefly illustrated in FIG. The time code in the upper row represents time, with 1 representing 1 second, 2 representing 2 seconds, and n representing n seconds. Information for controlling the special effects is disposed in the special effect information in the lower row.
타임 코드(time code)는 영화에서 크리스털 싱크 시스템 등을 이용해 필름 가장자리에 기록하는 시간 코드이다. 디지털 데이터를 이용한 영화에서 타임 코드는 디지털 데이터에 임베드되어 있다.A time code is a time code that is recorded on the edge of a film in a movie, such as with a crystal sink system. In movies using digital data, the time code is embedded in the digital data.
특수 효과 정보에는 좌석을 움직이는 구동 장치, 물을 분사하는 물 분사 장치, 바람을 분사하는 바람 분사 장치, 안개를 생성하는 안개 장치 등의 특수 효과 장치를 제어하는 신호가 포함된다. 즉, 각 특수 효과 장치의 구동 여부를 제어하고 구동시에 구동의 정도, 예를 들어 물의 분사량, 안개 생성량, 좌석의 움직임 방향 등을 제어한다.The special effect information includes signals for controlling special effect devices such as a driving device for moving a seat, a water jet device for spraying water, a wind jet device for jetting wind, and a fog device for generating fog. That is, it controls whether or not each special effect device is driven, and controls the degree of driving at the time of driving, for example, the injection amount of water, the amount of fog generated, the direction of movement of the seat and the like.
특수 효과 정보는 사용자에 의해 타임 코드에 대응되는 형태로 기입/임베드되며, 특수 효과 정보의 기입을 위한 수단, 예를 들어 테이블 생성부(130)에서 생성될 수 있다.The special effect information is written / embedded in a form corresponding to the time code by the user, and may be generated by a means for writing the special effect information, for example, in the
테이블 생성부(130)는 효과 테이블을 생성하여 테이블 저장부(110)로 전송한다. 이때 효과 테이블은 사용자가 편집 가능한 소프트웨어의 형태를 취할 수 있다.The
도 3은 소프트웨어의 형태로 구현된 테이블 생성부(130)의 실행 상태를 나타낸 개략도이다.3 is a schematic diagram showing an execution state of the
살펴보면, 좌측에 제어 대상인 각 특수 효과 장치들이 나열되고 하단에는 타임 코드가, 중앙에는 구동 시간이 배치되어 있다. 효과 테이블의 타임 코드는 상영 전에 영상 데이터의 전체 타임 코드를 분석하여 얻을 수 있다. 또는 영상 데이터의 최초 타임 코드와 최종 타임 코드의 값을 이용해 얻을 수도 있다. 후자의 경우 최초 타임 코드와 최종 타임 코드의 사이의 타임 코드들은 최초 타임 코드와 최종 타임 코드를 균등하게 분할하여 시각을 부여함으로써 얻을 수 있다. As shown, the special effect devices to be controlled are listed on the left, a time code at the bottom, and a driving time at the center. The time code of the effect table can be obtained by analyzing the entire time code of the image data before screening. Alternatively, the first time code and the last time code of the video data may be used. In the latter case, the time codes between the first time code and the last time code can be obtained by equally dividing the first time code and the last time code.
도 3의 테이블 생성부에서는 사용자의 편의를 위해 특수 효과 장치와 구동 시간을 분리하여 나타내고 있다. 특수 효과 정보는 구동 시간과 상기 구동 시간 동안 구동될 특수 효과 장치가 포함되며, 경우에 따라 구동의 방식을 포함할 수도 있다.In the table generator of FIG. 3, the special effect apparatus and the driving time are separately shown for the user's convenience. The special effect information includes a driving time and a special effect device to be driven during the driving time, and in some cases, may include a driving method.
한편, 효과 테이블에 저장되는 타임 코드는 특수 효과 정보가 부여되어 있는 타임 코드일 수 있다. 보통 영화를 상영할 때 특수 효과 장치가 구동되지 않는 구간이 존재한다. 이러한 구간은 효과 테이블에서 특수 효과 정보가 부여되지 않은 타임 코드에 해당하며, 저장하지 않아도 무방하다. 이를 이용해 테이블 저장부(110)의 저장 용량을 절약할 수 있다.The time code stored in the effect table may be a time code to which special effect information is assigned. There are usually sections in which a special effect device is not driven when showing a movie. This section corresponds to a time code to which no special effect information is assigned in the effect table, and may not be stored. By using this, the storage capacity of the
정보 추출부(120)는 소정 영상 데이터가 상영될 때 해당 영상 데이터와의 특수 효과 동기화를 위해 생성된 효과 테이블을 테이블 저장부(110)에서 추출한다. 그리고, 현 시점에 출력되는 영상 데이터의 프레임에 포함되어 있는 현 타임 코드와 매칭되는 타임 코드를 추출된 효과 테이블에서 탐색하고, 탐색된 타임 코드에 부여되어 있는 특수 효과 정보를 추출한다.The
이렇게 추출된 특수 효과 정보는 현재 출력되는 프레임의 타임 코드와 정확하게 일치하므로 신뢰성 있는 동기화가 가능하다. 예를 들어 영상 시스템의 오류로 영상 데이터의 출력이 일부 지연된 경우라 하더라도 결과적으로 현 타임 코드에 대응되는 특수 효과 정보가 추출된다. 종래 시작 신호를 이용하여 자체 타이머로써 특수 효과를 구현하는 경우 본 예에 따르면 특수 효과 정보가 현 타임 코드보다 지연 시간만큼 앞서 추출된다. 따라서, 상영되는 영상 데이터와 특수 효과 장치가 동기화되지 못하게 되나, 본 발명의 구성에 따르면 이와 같은 문제가 없다.The extracted special effect information exactly matches the time code of the currently output frame, thus enabling reliable synchronization. For example, even if the output of the image data is partially delayed due to an error of the image system, special effect information corresponding to the current time code is extracted as a result. In the case of implementing a special effect using a conventional start signal as its own timer, according to this example, the special effect information is extracted by a delay time before the current time code. Therefore, the image data to be displayed and the special effect device is not synchronized, but according to the configuration of the present invention there is no such problem.
한편, 본 발명의 특수 효과 동기 장치는 정보 추출부에서 추출된 특수 효과 정보를 특수 효과 장치로 전송하는 정보 전송부(140)를 더 포함할 수 있다. 정보 전송부(140)는 유무선망을 통해 특수 효과 정보를 특수 효과 장치로 전송한다. 이때 특수 효과 장치에는 정보 전송부(140)와 통신이 가능한 통신 수단이 마련되어야 한다.Meanwhile, the special effect synchronizer of the present invention may further include an
정보 추출부(120)가 정상적으로 구동되기 위해서는 테이블 저장부(110)로부터 제공받을 수 있는 효과 테이블뿐만 아니라 상영 중인 영상 데이터의 현 타임 코드가 필요하다. 특수 효과의 동기화는 현재 상영 중인 영상 데이터와의 동기화를 의미한다. 따라서, 현재 영상 데이터와의 동기화를 위해 영상 데이터를 상영 중에 있는 상영 서버로부터 현재 출력되는 영상 데이터의 프레임에 포함되어 있는 타임 코드인 현 타임 코드를 전송받아야 한다.In order for the
이를 위해 특수 효과 동기 장치는 영상 데이터를 상영하는 상영 서버(200)로부터 현 타임 코드를 수신하여 정보 추출부로 제공하는 코드 수신부(150)를 더 포함할 수 있다.To this end, the special effect synchronizer may further include a
만약, 상영 서버가 타임 코드를 송신하는 대신 타임 코드가 포함되어 있는 HD-SDI(HD-Serial Digital Interface) 신호를 제공한다면 특수 효과 동기 장치에서 타임 코드를 추출해야 한다. 이때 코드 수신부(150)에서 필요에 따라 신호 수신부(160) 또는 코드 변환부(180)로 요청신호를 송신할 수도 있다.If the screening server provides a HD-SDI (HD-Serial Digital Interface) signal containing the time code instead of transmitting the time code, the time code should be extracted from the special effect synchronizer. In this case, the
이를 위해 특수 효과 동기 장치는 영상 데이터를 상영하는 상영 서버(200)로부터 HD-SDI 신호(HD-Serial Digital Interface)를 수신하는 신호 수신부(160), To this end, the special effect synchronizer includes a
HD-SDI 신호를 HDMI 또는 SDI 및 Composite 신호로 변환하는 코드 변환부(180) 및 수신된 HD-SDI 신호에 포함된 현 타임 코드를 추출하여 정보 추출부로 제공하는 코드 추출부(170)를 더 포함할 수 있다. The apparatus further includes a
이와 같이 HD-SDI 신호를 HDMI 또는 SDI 및 Composite 신호로 변환한 후 처리하여 좀 더 정확한 동기화가 이루어지도록 할 수 있다.In this way, HD-SDI signals can be converted to HDMI or SDI and composite signals, and processed to achieve more accurate synchronization.
HD-SDI 신호는 상영 서버로부터 영상 데이터를 받아 투사하는 빔 프로젝터에서도 출력될 수 있다. 따라서 신호 수신부는 HD-SDI 신호를 상영 서버와 빔 프로젝터 중 적어도 하나로부터 수신받을 수 있다.
The HD-SDI signal may be output from a beam projector that receives image data from the screening server and projects the image data. Accordingly, the signal receiver may receive the HD-SDI signal from at least one of the screening server and the beam projector.
도 1에서 상영 서버는 HD-SDI 신호를 출력하고, 이 신호를 신호 수신부(160)에서 수신하여 코드 변환부(180)에 전달한다.In FIG. 1, the screening server outputs an HD-SDI signal, and receives the signal from the
그리고 코드 변환부(180)에서 HD-SDI 신호를 HDMI 또는 SDI 및 Composite 신호로 변환한 후 코드 추출부(170)로 전달한다. HD-SDI 신호는 영상과 함께 타임코드를 포함하는데, 변환된 HDMI 또는 SDI 및 Composite 신호 역시 타임코드를 포함한다.In addition, the
다음, 코드 추출부(170)에서 타임코드 정보를 추출하여 정보 추출부(120)에 전달이 되며, 전달된 타임코드와 테이블 저장부(110)에 저장되어 있던 특수효과 정보를 취합하여 영상을 상영하는 동시에 4D 시스템의 동기화가 이루어지게 된다.Next, the
이상의 구성에 따르면, 상영 서버로부터 전송된 현 타임 코드를 수신하여 정보 추출부로 제공하거나, 상영 서버 또는 빔 프로젝터 중 적어도 하나로부터 전송된 HD-SDI 신호를 HDMI, SDI, Composite로 변환하여 현 타임 코드를 추출하여 정보 추출부로 제공할 수 있다.According to the above configuration, the current time code transmitted from the screening server is received and provided to the information extraction unit, or the HD-SDI signal transmitted from at least one of the screening server or the beam projector is converted into HDMI, SDI, Composite to convert the current time code. It can be extracted and provided to the information extraction unit.
현 타임 코드를 제공받은 정보 추출부는 테이블 저장부(110)에서 현재 상영 중인 영상 데이터에 대응하는 효과 테이블을 로딩한 후 효과 테이블에 포함된 타임 코드 중 현 타임 코드와 대응되는 타임 코드를 탐색한다. 그 후 탐색된 타임 코드에 부여되어 있는 특수 효과 정보를 추출한다. 물론, 탐색된 타임 코드에 특수 효과 정보가 부여되어 있지 않다면 추출되는 특수 효과 정보도 없게 된다.After receiving the current time code, the information extracting unit loads the effect table corresponding to the image data currently being displayed in the
이렇게 추출된 특수 효과 정보는 정보 전송부를 통해 특수 효과 장치로 전송되고, 특수 효과 정보를 전송받은 특수 효과 장치는 특수 효과 정보에 따라 자신이 담당하는 특수 효과를 구동하게 된다.The extracted special effect information is transmitted to the special effect device through the information transmitter, and the special effect device that receives the special effect information drives the special effect that is in charge of the user according to the special effect information.
한편, 테이블 저장부(110)에는 복수의 영상 데이터에 대응하는 효과 테이블이 저장되어 있을 수 있다. 이때, 현재 상영 중인 영상 데이터에 대응하는 효과 테이블을 로딩하기 위해서 상영 서버로부터 상영 중인 영상 데이터의 식별자를 전송받을 수 있다. 물론, 효과 테이블에도 이때의 식별자가 사전에 포함되어 있어야 할 것이다. 이때의 식별자는 영상 데이터의 명칭, 임의로 부여된 고유 번호 등이 될 수 있다. 이때, 코드 수신부(150) 또는 신호 수신부(160)는 상영 서버(200)로부터 식별자를 전송받아 정보 추출부(120)로 전달할 수 있다. 정보 추출부(120)는 전달받은 식별자를 이용해 복수의 효과 테이블 중 일치하는 식별자가 포함된 효과 테이블을 추출하게 된다.The
이러한 구성은 다양하게 변형이 가능하며, 만약, 상영 서버가 타임 코드를 송신하는 대신 타임 코드가 포함되어 있는 HD-SDI(HD-Serial Digital Interface) 신호를 제공한다면 코드 수신부(150)에서 신호 수신부(160) 또는 코드 변환부(180)를 동작시켜 타임 코드를 추출할 수도 있다.Such a configuration may be variously modified. If the screening server provides an HD-SDI (HD-Serial Digital Interface) signal including a time code instead of transmitting a time code, the
그리고 경우에 따라서는 상영 서버(200)가 타임 코드를 송신하는 대신 타임 코드가 포함되어 있는 HDMI, SDI, Composite 신호를 제공할 수도 있으며, 이 경우 코드 변환부(180)가 코드를 변환할 필요없이 바로 전달하고, 코드 추출부(170)가 코드를 추출하면 된다.In some cases, the
이외에도 다양한 변형이 가능하다.In addition, various modifications are possible.
도 4는 본 발명의 4D 상영 시스템을 나타낸 블럭도이다.4 is a block diagram showing a 4D screening system of the present invention.
도 4에 도시된 4D 상영 시스템은 영상 데이터를 상영하는 상영 서버(200), 상기 영상 데이터의 타임 코드와 상기 타임 코드에 부여되는 특수 효과 정보가 포함된 효과 테이블을 기저장하는 테이블 저장부(110)와, 상기 상영 중인 영상 데이터의 현 타임 코드와 매칭되는 상기 효과 테이블의 타임 코드에 부여되어 있는 특수 효과 정보를 추출하는 정보 추출부가 구비되며, 상기 상영서버(200)가 타임 코드를 송신하는 대신 타임 코드가 포함되어 있는 HD-SDI(HD-Serial Digital Interface) 신호를 제공한다면 코드 변환부(180)를 동작시켜 HD-SDI(HD-Serial Digital Interface) 신호를 HDMI, SDI, Composite로 변환하여 타임 코드를 추출하는 특수 효과 동기 장치(100) 및 상기 추출된 특수 효과 정보에 포함된 특수 효과를 구현하는 특수 효과 장치(300)를 포함한다.The 4D screening system shown in FIG. 4 includes a
상영 서버(200)는 영화 데이터를 재생/상영한다. 영화 데이터는 프로젝터, LCD 등의 시각적 표시 수단을 통해 표시되는 영상 데이터와 스피커 등의 청각적 표시 수단을 통해 표시되는 음성 데이터를 포함한다. 이때 영상 데이터와 음성 데이터 간의 동기화는 정상적으로 이루어진 상태로 가정하여 주로 영상 데이터를 언급하였다.The
특수 효과 동기 장치(100)는 도 1 내지 도 3에서 설명된 바와 동일하다.The
특수 효과 장치(300)는 특수 효과 동기 장치에서 추출된 특수 효과 정보에 포함된 제어 신호에 따라 자신이 담당하는 특수 효과를 구현한다. 특수 효과 장치는 바람, 안개, 냄새, 조명, 좌석 움직임을 유발하는 장치 중 적어도 하나일 수 있다.The
특수 효과 장치의 제어에 이용되는 특수 효과 정보는 특수 효과 동기 장치에 의해 현재 상영 중인 영상 데이터의 현 타임 코드에 대응되는 것이다. 따라서, 본 발명의 4D 상영 시스템은 상영 중인 영상 데이터와 특수 효과 장치가 신뢰성 있게 동기화될 수 있다.The special effect information used to control the special effect device corresponds to the current time code of the image data currently being displayed by the special effect synchronizer. Therefore, the 4D screening system of the present invention can reliably synchronize the image data being displayed and the special effect device.
한편, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the embodiments described above are to be considered in all respects only as illustrative and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
100...특수 효과 동기 장치 110...테이블 저장부
120...정보 추출부 130...테이블 생성부
140...정보 전송부 150...코드 수신부
160...신호 수신부 170...코드 추출부
180...코드 변환부 200...상영 서버
300...특수 효과 장치100 ...
120 ...
140 ...
160 ... signal
180 ...
300 ... Special Effects Device
Claims (8)
상영 중인 상기 영상 데이터의 현 타임 코드와 매칭되는 상기 효과 테이블의 타임 코드에 부여되어 있는 특수 효과 정보를 추출하는 정보 추출부;
상기 영상 데이터를 상영하는 상영 서버로부터 상기 현 타임 코드를 수신하여 상기 정보 추출부로 제공하는 코드 수신부;
상기 코드 수신부에서 상기 현 타임 코드가 수신되지 않은 경우 상기 코드 수신부의 요청에 따라 상기 영상 데이터를 상영하는 상영 서버와 빔 프로젝터 중 적어도 하나로부터 HD-SDI 신호(HD-Serial Digital Interface)를 수신하는 신호 수신부;
상기 코드 수신부에서 상기 현 타임 코드가 수신되지 않은 경우 상기 코드 수신부의 요청에 따라 상기 HD-SDI 신호를 HDMI, SDI, Composite 신호중 하나로 변환하여 출력하는 코드 변환부;
상기 코드 변환된 출력신호에서 상기 현 타임 코드를 추출하여 상기 정보 추출부로 제공하는 코드 추출부를 포함하는 특수 효과 동기 장치.A table storage unit for storing an effect table including a time code obtained by analyzing the image data and special effect information applied to the time code before the image data is displayed;
An information extraction unit for extracting special effect information provided to a time code of the effect table that matches the current time code of the image data being displayed;
A code receiving unit which receives the current time code from the screening server displaying the image data and provides the current time code to the information extracting unit;
When the current time code is not received by the code receiver, a signal for receiving an HD-SDI signal (HD-Serial Digital Interface) from at least one of a screening server and a beam projector displaying the image data according to a request of the code receiver. Receiving unit;
A code converter for converting the HD-SDI signal into one of HDMI, SDI, and Composite signals according to a request of the code receiver when the current time code is not received by the code receiver;
And a code extracting unit extracting the current time code from the coded output signal and providing the current time code to the information extracting unit.
상영 중인 상기 영상 데이터의 현 타임 코드와 매칭되는 상기 효과 테이블의 타임 코드에 부여되어 있는 특수 효과 정보를 추출하는 정보 추출부;
상기 영상 데이터를 상영하는 상영 서버로부터 상기 현 타임 코드를 수신하여 상기 정보 추출부로 제공하는 코드 수신부;
상기 영상 데이터를 상영하는 상영 서버와 빔 프로젝터 중 적어도 하나로부터 HD-SDI 신호(HD-Serial Digital Interface)를 수신하는 신호 수신부;
상기 코드 수신부에서 상기 현 타임코드가 수신되지 않은 경우 상기 코드 수신부의 요청에 따라 상기 HD-SDI 신호를 HDMI, SDI, Composite 신호중 하나로 변환하여 출력하는 코드 변환부;
상기 코드 변환된 출력신호에서 상기 현 타임 코드를 추출하여 상기 정보 추출부로 제공하는 코드 추출부를 포함하는 특수 효과 동기 장치.A table storage unit for storing an effect table including a time code obtained by analyzing the image data and special effect information applied to the time code before the image data is displayed;
An information extraction unit for extracting special effect information provided to a time code of the effect table that matches the current time code of the image data being displayed;
A code receiving unit which receives the current time code from the screening server displaying the image data and provides the current time code to the information extracting unit;
A signal receiving unit configured to receive an HD-SDI signal (HD-Serial Digital Interface) from at least one of a screening server and a beam projector displaying the image data;
A code converter for converting the HD-SDI signal into one of HDMI, SDI, and Composite signals according to a request of the code receiver when the current time code is not received by the code receiver;
And a code extracting unit extracting the current time code from the coded output signal and providing the current time code to the information extracting unit.
상영 중인 상기 영상 데이터의 현 타임 코드와 매칭되는 상기 효과 테이블의 타임 코드에 부여되어 있는 특수 효과 정보를 추출하는 정보 추출부;
상기 영상 데이터를 상영하는 상영 서버로부터 상기 현 타임 코드를 수신하여 상기 정보 추출부로 제공하는 코드 수신부;
상기 코드 수신부에서 상기 현 타임코드가 수신되지 않은 경우 상기 코드 수신부의 요청에 따라 상기 영상 데이터를 상영하는 상영 서버와 빔 프로젝터 중 적어도 하나로부터 HD-SDI 신호(HD-Serial Digital Interface)를 수신하는 신호 수신부;
상기 HD-SDI 신호를 HDMI, SDI, Composite 신호중 하나로 변환하여 출력하는 코드 변환부;
상기 코드 변환된 출력신호에서 상기 현 타임 코드를 추출하여 상기 정보 추출부로 제공하는 코드 추출부를 포함하는 특수 효과 동기 장치.A table storage unit for storing an effect table including a time code obtained by analyzing the image data and special effect information applied to the time code before the image data is displayed;
An information extraction unit for extracting special effect information provided to a time code of the effect table that matches the current time code of the image data being displayed;
A code receiving unit which receives the current time code from the screening server displaying the image data and provides the current time code to the information extracting unit;
When the current time code is not received by the code receiver, a signal for receiving an HD-SDI signal (HD-Serial Digital Interface) from at least one of a screening server and a beam projector that display the image data at the request of the code receiver. Receiving unit;
A code converter converting the HD-SDI signal into one of HDMI, SDI, and composite signals and outputting the converted signal;
And a code extracting unit extracting the current time code from the coded output signal and providing the current time code to the information extracting unit.
상기 효과 테이블에 저장되는 상기 타임 코드는 상기 특수 효과 정보가 부여되어 있는 타임 코드인 것을 특징으로 하는 특수 효과 동기 장치.The method according to any one of claims 1 to 3,
And the time code stored in the effect table is a time code to which the special effect information is assigned.
상기 효과 테이블을 생성하여 상기 테이블 저장부로 전송하는 테이블 생성부를 더 포함하는 것을 특징으로 하는 특수 효과 동기 장치.5. The method of claim 4,
And a table generator for generating the effect table and transmitting the generated effect table to the table storage unit.
상기 추출된 특수 효과 정보를 특수 효과 장치로 전송하는 정보 전송부를 더 포함하는 것을 특징으로 하는 특수 효과 동기 장치.The method of claim 5,
And an information transmitting unit which transmits the extracted special effect information to a special effect device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120011111A KR101301618B1 (en) | 2012-02-03 | 2012-02-03 | Apparatus for synchronizing of special effect and 4d projecting ststem |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120011111A KR101301618B1 (en) | 2012-02-03 | 2012-02-03 | Apparatus for synchronizing of special effect and 4d projecting ststem |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130090063A KR20130090063A (en) | 2013-08-13 |
KR101301618B1 true KR101301618B1 (en) | 2013-08-29 |
Family
ID=49215795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120011111A KR101301618B1 (en) | 2012-02-03 | 2012-02-03 | Apparatus for synchronizing of special effect and 4d projecting ststem |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101301618B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017095192A1 (en) * | 2015-12-04 | 2017-06-08 | Cj 4Dplex Co., Ltd. | Effect apparatus for making artificial snow or rain effect and effect system including the same |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106162025A (en) * | 2015-04-21 | 2016-11-23 | 佛山芯珠微电子有限公司 | A kind of algorithm realizing mutually conversion between HDMI signal and sdi signal |
KR102572935B1 (en) | 2023-03-16 | 2023-08-30 | 홍명기 | 4D experience apparatus and method that control an operating machine to be linked to a movie using screen key |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110072764A (en) * | 2009-12-23 | 2011-06-29 | 주식회사 오리온 | Large display apparatus |
KR101075122B1 (en) * | 2011-03-25 | 2011-10-19 | 주식회사 포리얼 | Apparatus for synchronizing of special effect and 4d projecting ststem |
-
2012
- 2012-02-03 KR KR1020120011111A patent/KR101301618B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110072764A (en) * | 2009-12-23 | 2011-06-29 | 주식회사 오리온 | Large display apparatus |
KR101075122B1 (en) * | 2011-03-25 | 2011-10-19 | 주식회사 포리얼 | Apparatus for synchronizing of special effect and 4d projecting ststem |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017095192A1 (en) * | 2015-12-04 | 2017-06-08 | Cj 4Dplex Co., Ltd. | Effect apparatus for making artificial snow or rain effect and effect system including the same |
Also Published As
Publication number | Publication date |
---|---|
KR20130090063A (en) | 2013-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101075122B1 (en) | Apparatus for synchronizing of special effect and 4d projecting ststem | |
AU2022200777B2 (en) | Methods and apparatus for an embedded appliance | |
KR102469142B1 (en) | Dynamic playback of transition frames while transitioning between media stream playbacks | |
WO2016105322A1 (en) | Simultaneously viewing multiple camera angles | |
JPH11205696A (en) | Video transmitting device and video transmitting method | |
WO2019192416A1 (en) | Video processing method and device therefor, and storage medium and electronic product | |
CN108429924B (en) | Display device for playing advertisement for replacement and control method thereof | |
US20140307805A1 (en) | Encoding apparatus, decoding apparatus, encoding method, and decoding method | |
US20200213631A1 (en) | Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus | |
US20200068237A1 (en) | Location agnostic media control room and broadcasting facility | |
KR101301618B1 (en) | Apparatus for synchronizing of special effect and 4d projecting ststem | |
CN103188548A (en) | Digital television sign language dubbing method and digital television sign language dubbing device | |
CN102884804B (en) | The synchronous error bearing calibration of audio signal and vision signal and device | |
JP2013201606A (en) | Caption synchronizing and reproducing device, and program thereof | |
WO2022155107A1 (en) | Synchronizing secondary audiovisual content based on frame transitions in streaming content | |
JP6565382B2 (en) | Information processing method and moving image data transmission system | |
US10616724B2 (en) | Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device | |
US20130058618A1 (en) | Imaging device and imaging method | |
CN106454554A (en) | Ambient light television time synchronizing method and ambient light television | |
JP2017016041A (en) | Still image transmission-reception synchronous reproducing apparatus | |
KR101796226B1 (en) | System for outputting multiple videos simultaneously | |
KR101868062B1 (en) | Apparatus and method for playing sub-content according to content information of main-content within a multi-projection theater | |
CN104853245A (en) | Movie preview method and device thereof | |
KR100874024B1 (en) | Station and method for internet broadcasting interaction type-content and record media recoded program realizing the same | |
JP2005203948A5 (en) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160705 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20190723 Year of fee payment: 7 |