KR20020004435A - The dance game system using image cognition - Google Patents

The dance game system using image cognition Download PDF

Info

Publication number
KR20020004435A
KR20020004435A KR1020000038324A KR20000038324A KR20020004435A KR 20020004435 A KR20020004435 A KR 20020004435A KR 1020000038324 A KR1020000038324 A KR 1020000038324A KR 20000038324 A KR20000038324 A KR 20000038324A KR 20020004435 A KR20020004435 A KR 20020004435A
Authority
KR
South Korea
Prior art keywords
touch
memory
music
game system
dance game
Prior art date
Application number
KR1020000038324A
Other languages
Korean (ko)
Inventor
양영석
Original Assignee
양영석
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 양영석 filed Critical 양영석
Priority to KR1020000038324A priority Critical patent/KR20020004435A/en
Priority to KR2020000019350U priority patent/KR200208282Y1/en
Publication of KR20020004435A publication Critical patent/KR20020004435A/en

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/814Musical performances, e.g. by evaluating the player's ability to follow a notation
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)

Abstract

PURPOSE: A dance game system using an image recognition manner is provided to minimize the shock applied to joints of a user as well as to maximize the motion of legs and arms, thus to increase the effect of excercise. CONSTITUTION: The dance game system is comprised of: a music output device for reading and outputting a piece of music selected among music saved therein; a touch guide device for instructing the touch action of a user toward a specific picture region among plural picture regions filmed by a CCD camera(12) in conforming to the selected music from the music output device; and a touch action monitoring device for monitoring the touch action within the instructed specific picture region by analyzing picture images filmed by the CCD camera.

Description

이미지 인식을 이용한 댄스 게임시스템{The dance game system using image cognition}The dance game system using image cognition}

본 발명은 이미지 인식을 이용한 댄스 게임시스템에 관한 것으로서, 더욱 상세하게는 음악에 맞춰 신체를 역동적으로 움직여 리듬감을 표현함과 동시에 운동효과를 얻을 수 있도록 하는 이미지 인식을 이용한 댄스 게임시스템(dance game system)에 관한 것이다.The present invention relates to a dance game system using image recognition, and more particularly, to a dance game system using image recognition to obtain a movement effect while expressing a rhythm by dynamically moving a body in accordance with music. It is about.

특히, 본 발명은 게임자의 움직임을 CCD 카메라(camera)로 촬영하고 소정 영역에서의 이미지 변화를 분석하여 게임자에 의한 표시의 터치(touch)가 정상적으로 터치되었는지를 판단할 수 있도록 하는 이미지 인식을 이용한 댄스 게임시스템에 관한 것이다.In particular, the present invention uses an image recognition to capture the movement of the game player with a CCD camera and analyze the image change in a predetermined area to determine whether the touch of the display by the game player is normally touched It is about a dance game system.

1999. 07. 13자 특허출원 제 28144호는 음악에 맞춰 몸 전체를 이용하여 리듬감을표현할 수 있으며, 박력 넘치고 리듬감을 자아낼 수 있는 댄스 게임장치 및 댄스 게임용 발판에 관한 것으로, 리듬 설정부에 설정된 밟기 위치 지시데이터가 밟기 위치 지시데이터용 메모리로부터 독출되어, 표시 제어부에 의해 모니터에 밟기 위치 지시내용이 표시되며, 이를 근거로 밟기 위치 및 밝기 동작 타이밍(timing)의 지시가 행해진다.1999. 07. 13 The patent application No. 28144 relates to a dance game device and a footstep for a dance game that can express rhythmic feelings by using the whole body in accordance with music, and generate powerful and rhythmic feelings. The tread position instruction data is read from the tread position instruction data memory, and the tread position instruction contents are displayed on the monitor by the display control unit, and the tread position and brightness operation timing are instructed based on this.

게임자가 모니터(monitor)의 표시내용에 따라 발로 마루면의 발판부를 밟는 것이 케이블 스위치(cable switch)에 의해 검출되어 밟기 동작 감시부에 제공되면, 편차량 검출/적산부는 시간차에 따라 득점을 산출하고, 이를 근거로 리듬 설정부에서 평가가 행해진다. 이어서, 그 결과에 따라 다음 밝기 위치 지시 데이터가 설정된다.When the player steps on the footboard of the floor by foot according to the display content of the monitor, it is detected by a cable switch and provided to the stepping motion monitoring unit, the deviation amount detection / accumulation unit calculates a score according to the time difference. Based on this, the evaluation is performed in the rhythm setting unit. Then, the next brightness position indication data is set according to the result.

그러나, 종래의 댄스 게임장치는 모니터로 출력되는 표시내용을 보고 마루면의 발판부를 밟도록 되어 있어, 게임자의 무릎 등과 같은 각종 관절에 무리가 발생되는 경우가 있을 뿐만 아니라 발판부를 구비한 마루본체의 부피가 커서 댄스 게임장치를 설치하는데 공간적인 제약을 받는다.However, the conventional dance game apparatus is to step on the floor of the floor by looking at the display content displayed on the monitor, so that not only the joints such as the knees of the player may be excessively generated, but also the floor of the floor body having the footboard. It is bulky and space-limited for installing a dance game device.

특히, 마루본체에는 발로 밟아도 견디면서도 민감하게 반응하는 다수개의 스위치를 구비해야 하므로 댄스 게임장치의 전체적인 단가가 높아진다는 단점 역시 갖는다. 또한, 종래의 댄스 게임장치는 바닥면, 즉 발판부를 중심으로 즐길 수 있도록 되어 있어 대부분의 게임자는 손은 거의 움직이지 않고 발의 위치만을 옮겨 게임을 즐긴다.In particular, the floor has a disadvantage that the overall unit price of the dance game apparatus is increased because it must be provided with a plurality of switches that withstand and sensitively step on foot. In addition, the conventional dance game device is to be enjoyed around the bottom surface, that is, the footrest portion, so that most gamers enjoy playing the game by moving only the position of the foot with little hand movement.

본 발명은 게임 중 게임자의 관절에 가해지는 충격을 최소화하면서도 손과 발의 움직임을 최대화하여 운동효과를 배가할 수 있도록 하는 이미지 인식을 이용한 댄스 게임 시스템을 제공하는 데 그 목적이 있다.An object of the present invention is to provide a dance game system using image recognition to minimize the impact on the joints of the game player while maximizing the movement of the hands and feet while doubling the movement effect.

또한, 본 발명은 별도의 마루본체를 설치하지 않고 다만 게임자의 영상을 촬영할 수 있는 하나 이상의 CCD 카메라를 설치하고, 게임 중인 게임자의 영상을 분석하여 게임을 진행시킴으로써 장치의 생산단가를 줄일 수 있으면서도 장치가 차지하는 공간을 최소화할 수 있도록 하는 이미지 인식을 이용한 댄스 게임시스템을 제공하는데 그 목적이 있다.In addition, the present invention provides a device that can reduce the production cost of the device by installing at least one CCD camera that can take the image of the game player without installing a separate floor main body, and analyzes the image of the game player in the game to proceed the game The purpose is to provide a dance game system using image recognition that can minimize the space occupied.

그리고, 본 발명은 모니터로 표시되는 표시내용을 단순한 화살표에서 벗어나 모양이나 색상 등을 다양하게 변화시킴으로써 게임의 흥미를 배가할 수 있도록 하는 이미지 인식을 이용한 댄스 게임시스템을 제공하는데 그 목적이 있다.In addition, an object of the present invention is to provide a dance game system using image recognition that can multiply the interest of the game by changing the display content displayed on the monitor from a simple arrow to various shapes or colors.

도 1은 본 발명에 따른 이미지 인식을 이용한 댄스 게임시스템을 나타낸 구성도이다.1 is a block diagram illustrating a dance game system using image recognition according to the present invention.

도 2는 본 발명에서 기준 비디오 메모리에 저장된 기준이 되는 영상의 일 예를 나타낸 화면 예시도이다.2 is a diagram illustrating an example of an image as a reference stored in a reference video memory according to the present invention.

도 3은 본 발명에서 비디오 메모리에 저장된 현시점의 영상의 일 예를 나타낸 화면 예시도이다.3 is an exemplary view showing an example of an image of the current point of time stored in a video memory according to the present invention.

도 4는 본 발명에서 기준 비디오와 현시점의 비디오와의 편차량을 나타낸 화면 예시도이다.4 is an exemplary view illustrating a deviation amount between the reference video and the current video according to the present invention.

도 5는 본 발명에서 터치 영역 메모리 설정부에 의해 설정된 공간의 터치를 검출하기 위한 영역을 보인 화면 예시도이다.FIG. 5 is an exemplary view showing a region for detecting a touch of a space set by a touch region memory setting unit in the present invention.

도 6은 도 4의 화면을 도 5의 화면으로 채점한 결과를 나타낸 도표이다.6 is a diagram illustrating a result of scoring the screen of FIG. 4 with the screen of FIG. 5.

도 7은 본 발명에서 터치 위치를 지시하기 위한 CRT의 예시도이다.7 is an exemplary view of a CRT for indicating a touch position in the present invention.

※ 도면의 주요 부분에 대한 부호의 설명 ※※ Explanation of code about main part of drawing ※

1 : 지시부 2 : 곡명 선택부1: indicating unit 2: song name selection unit

3 : 연주 데이터 메모리 4 : 스피커3: performance data memory 4: speaker

5 : 터치 위치 지시데이터 메모리 6 : 마크 메모리5: Touch position indication data memory 6: Mark memory

7 : 표시 제어부 8 : CRT7: display control unit 8: CRT

9 : 댄스 화상 메모리 10 : 댄스 설정부9: dance image memory 10: dance setting unit

11 : 리듬 설정부 12 : CCD 카메라11: rhythm setting unit 12: CCD camera

13 : A/D 변환부 14 : 비디오 메모리13: A / D converter 14: video memory

15 : 편차량 검출 및 적산부 16 : 기준 비디오 메모리15: Deviation amount detection and integration unit 16: Reference video memory

17 : 터치 영역 메모리 18 : 터치 영역 스위칭 연산부17: touch area memory 18: touch area switching operation unit

19 : 터치 영역 설정 메모리19: touch area setting memory

상기한 바와 같은 목적을 달성하기 위한 본 발명은, 한 곡 이상의 저장된 음악 중 한 곡의 음악을 읽어내서 출력하는 음악 출력수단과, 상기 음악 출력수단의 음악에 맞춰서 CCD 카메라에 의한 촬영영역 중 임의의 영역에 대한 터치를 지시하는 터치 안내수단 및 상기 CCD 카메라에 의해 촬영되는 이미지를 분석하여 상기 터치 안내수단에 의해 지시된 임의의 공간에서의 터치 동작을 감시하는 공간 터치동작 감시수단을 포함하는 것을 특징으로 한다.The present invention for achieving the object as described above, the music output means for reading and outputting the music of one of the one or more stored music, and any of the shooting area by the CCD camera in accordance with the music of the music output means And a touch guide means for indicating a touch on an area and a space touch motion monitoring means for analyzing the image photographed by the CCD camera and monitoring a touch action in an arbitrary space indicated by the touch guide means. It is done.

본 발명의 이미지 인식을 이용한 댄스 게임시스템에 있어서, 상기 음악 출력수단은 지시부로부터의 지시신호를 받아 한 곡 이상의 음악 중 하나의 음악을 선택하는 곡명 선택부와, 한 곡 이상의 음악을 저장하고 있다가 상기 곡명 선택부의 선택신호에 따라 한 곡의 음악을 읽어내서 스피커로 출력하는 연주 데이터 메모리를 포함하는 것을 특징으로 한다.In the dance game system using the image recognition of the present invention, the music output means stores a song name selection unit for selecting one music from one or more songs in response to an instruction signal from the instruction unit, and one or more songs. And a performance data memory which reads out one piece of music and outputs it to a speaker according to the selection signal of the song name selection unit.

본 발명의 이미지 인식을 이용한 댄스 게임시스템에 있어서, 상기 터치 안내수단은 상기 연주 데이터 메모리로부터의 리듬과 리듬 설정부로부터의 난이도에 의해 결정된 터치 위치를 지시하기 위한 표시신호를 출력하는 터치 위치지시 데이터 메모리와, 상기 터치 위치지시 데이터 메모리의 표시신호에 대응하는 터치표시를 출력하는 마크 메모리와, 상기 마크 메모리로부터의 터치 표시가 CRT로 출력되도록 제어하는 표시 제어부를 포함하는 것을 특징으로 한다.In the dance game system using the image recognition of the present invention, the touch guide means is a touch position indicating data for outputting a display signal for indicating the touch position determined by the rhythm from the performance data memory and the difficulty from the rhythm setting unit And a mark memory for outputting a touch display corresponding to a display signal of the touch position indication data memory, and a display control unit for controlling a touch display from the mark memory to be output to the CRT.

특히, 상기 터치 안내수단은 터치 타이밍을 지시하는 것일 수 있으며, 상기 터치 안내수단에서의 터치 표시로서는 상기 터치 표시의 색상 변화로 이루어지거나 상기 터치 표시의 모양 변화로 이루어질 수 있다.In particular, the touch guide means may indicate a touch timing, and the touch display in the touch guide means may be a color change of the touch display or a shape change of the touch display.

본 발명의 이미지 인식을 이용한 댄스 게임시스템에 있어서, 상기 공간 터치동작 감시수단은, 게임자를 촬영하는 CCD 카메라와, 상기 CCD 카메라에 의해 촬영된 최초 화면을 기준 화면으로 저장하는 기준 비디오 메모리와, 상기 CCD 카메라에 의해 촬영된 시간이 경과함에 따른 화면을 현 시점의 화면으로 저장하는 비디오 메모리와, 상기 기준 비디오 메모리와 상기 비디오 메모리의 화면을 대비하여 이미지 변화로 인한 터치 영역을 찾아내는 터치 영역 메모리와, 댄스 중 게임자의 터치를 위한 기준 터치 영역에 대한 데이터가 저장되어 있는 터치 영역 설정 메모리와, 상기 터치 영역 메모리의 터치영역과 상기 터치 영역 설정 메모리의 터치영역을 대비하여 터치여부를 확인하는 터치 영역 스위칭 연산부와, 상기 터치 영역 스위칭 연산부의 출력으로부터 게임자의 게임 중 터치의 편차량을 검출하고, 그 편차량의 적산값을 구하는 편차량 검출 및 적산부를 포함하는 것을 특징으로 한다.In the dance game system using the image recognition of the present invention, the spatial touch motion monitoring means includes a CCD camera for photographing the player, a reference video memory for storing the first screen photographed by the CCD camera as a reference screen, and A video memory for storing a screen as a current time taken by a CCD camera as a screen at the present time, a touch area memory for finding a touch area due to an image change by contrasting the screens of the reference video memory and the video memory; Touch area switching memory for storing the touch data of the reference touch area for the player's touch during the dance, and touch area switching to check whether the touch is compared in comparison with the touch area of the touch area memory and the touch area of the touch area setting memory. From an operation unit and an output of the touch area switching operation unit. And a deviation amount detection and integration unit for detecting a deviation amount of the touch of the game player and obtaining an integrated value of the deviation amount.

본 발명의 이미지 인식을 이용한 댄스 게임시스템에 있어서, 상기 CCD 카메라는 게임자의 전방에 설치되어 게임자의 움직임을 촬영하도록 함이 바람직하다.In the dance game system using the image recognition of the present invention, it is preferable that the CCD camera is installed in front of the player to photograph the movement of the player.

본 발명의 이미지 인식을 이용한 댄스 게임시스템에 있어서, 상기 CCD 카메라는 게임자의 전방과 상방에 각각 설치되어 게임자의 움직임을 3차원으로 촬영하도록 함이 바람직하다.In the dance game system using the image recognition of the present invention, the CCD camera is preferably installed in front of and above the player, so as to shoot the movement of the player in three dimensions.

본 발명의 이미지 인식을 이용한 댄스 게임시스템에 있어서, 상기 편차량 검출 및 적산부의 적산값에 따라 댄스게임 시간과 댄스의 난이도가 결정되도록 함이 바람직하다.In the dance game system using the image recognition of the present invention, it is preferable to determine the dance game time and the difficulty of the dance in accordance with the deviation detection and integration value.

이하에서는 본 발명의 바람직한 일 실시예를 예시도면과 함께 보다 상세히 설명하기로 한다.Hereinafter, a preferred embodiment of the present invention will be described in more detail with an exemplary drawing.

도 1은 본 발명에 따른 이미지 인식을 이용한 댄스 게임시스템을 나타낸 구성도이고, 도 2는 본 발명에서 기준 비디오 메모리에 저장된 기준이 되는 영상의 일 예를 나타낸 화면 예시도이며, 도 3은 본 발명에서 비디오 메모리에 저장된 현시점의 영상의 일 예를 나타낸 화면 예시도이다.1 is a block diagram showing a dance game system using the image recognition according to the present invention, Figure 2 is a screen example showing an example of an image that is a reference stored in the reference video memory in the present invention, Figure 3 is a present invention Fig. 1 shows an example of a screen showing an example of the current image stored in the video memory.

도 4는 본 발명에서 기준 비디오와 현시점의 비디오와의 편차량을 나타낸 화면 예시도이고, 도 5는 본 발명에서 터치 영역 메모리 설정부에 의해 설정된 공간의 터치를 검출하기 위한 영역을 보인 화면 예시도이다. 그리고 도 6은 도 4의 화면을도 5의 화면으로 채점한 결과를 나타낸 도표이며, 도 7은 본 발명에서 터치 위치를 지시하기 위한 CRT의 예시도이다.FIG. 4 is an exemplary view showing a deviation amount between a reference video and a current video in the present invention, and FIG. 5 is an exemplary view showing an area for detecting a touch of a space set by a touch area memory setting unit in the present invention. to be. 6 is a diagram illustrating a result of scoring the screen of FIG. 4 with the screen of FIG. 5, and FIG. 7 is an exemplary diagram of a CRT for indicating a touch position in the present invention.

도 1을 참조하면, 본 발명의 댄스 게임시스템은 한 곡 이상의 저장된 음악 중 한 곡의 음악을 읽어내서 출력하는 음악 출력수단과, 음악 출력수단의 음악에 맞춰서 CCD 카메라에 의한 촬영영역 중 임의의 영역에 대한 터치를 지시하는 터치 안내수단 및 CCD 카메라에 의해 촬영되는 이미지를 분석하여 터치 안내수단에 의해 지시된 임의의 공간에서의 터치 동작을 감시하는 공간 터치동작 감시수단으로 구성되어 있다.Referring to Figure 1, the dance game system of the present invention is a music output means for reading and outputting music of one of the one or more stored music, and any region of the shooting area by the CCD camera in accordance with the music of the music output means Touch guide means for instructing a touch to the space and the space touch motion monitoring means for analyzing the image taken by the CCD camera to monitor the touch operation in any space indicated by the touch guide means.

보다 상세하게는 음악 출력수단은 지시부(1)로부터의 지시신호를 받아 한 곡 이상의 음악 중 하나의 음악을 선택하는 곡명 선택부(2)와, 한 곡 이상의 음악을 저장하고 있다가 곡명 선택부(2)의 선택신호에 따라 한 곡의 음악을 읽어내서 스피커(4)로 출력하는 연주 데이터 메모리(5) 등으로 구성되어 댄스 게임시 필요한 음악을 출력한다.More specifically, the music output means includes a song name selection unit 2 for receiving one instruction signal from the instruction unit 1 and selecting one music of one or more songs, and storing one or more songs, It consists of a performance data memory 5 or the like which reads out one piece of music and outputs it to the speaker 4 according to the selection signal of 2), and outputs music required for a dance game.

또한, 터치 안내수단은 연주 데이터 메모리(3)로부터의 리듬과 리듬 설정부(11)로부터의 난이도에 의해 결정된 터치 위치를 지시하기 위한 표시신호를 출력하는 터치 위치지시 데이터 메모리(5)와, 터치 위치지시 데이터 메모리(5)의 표시신호에 대응하는 터치표시를 출력하는 마크 메모리(6)와, 마크 메모리(6)로부터의 터치 표시가 CRT(8)로 출력되도록 제어하는 표시 제어부(7) 등으로 구성되어, 댄스 게임에 필요한 터치표시를 출력한다.Further, the touch guide means includes a touch position indicating data memory 5 for outputting a display signal for indicating a touch position determined by the rhythm from the performance data memory 3 and the difficulty from the rhythm setting unit 11, and a touch; A mark memory 6 for outputting a touch display corresponding to the display signal of the position indication data memory 5, a display control unit 7 for controlling the touch display from the mark memory 6 to be outputted to the CRT 8, and the like. And a touch display required for the dance game.

여기서, 터치 안내수단은 터치 타이밍을 함께 지시하는데, 터치 안내수단에서의 터치 표시는 종래와 같이 화살표를 이용할 수도 있지만 터치 표시의 색상 변화로 이루어지거나 터치 표시의 모양 변화로 이루어질 수도 있다.Here, the touch guide means instructs the touch timing together. The touch display in the touch guide means may use an arrow as in the related art, but may be made of a color change of the touch display or a shape change of the touch display.

그리고, 공간 터치동작 감시수단은 게임자를 촬영하는 CCD 카메라(12)와, CCD 카메라(12)에 의해 촬영된 최초 화면을 기준 화면으로 저장하는 기준 비디오 메모리(16)와, CCD 카메라(12)에 의해 촬영된 시간이 경과함에 따른 화면을 현 시점의 화면으로 저장하는 비디오 메모리(14)와, 기준 비디오 메모리(16)와 비디오 메모리(14)의 화면을 대비하여 이미지 변화로 인한 터치 영역을 찾아내는 터치 영역 메모리(17)와, 댄스 중 게임자의 터치를 위한 기준 터치 영역에 대한 데이터가 저장되어 있는 터치 영역 설정 메모리(19)와, 터치 영역 메모리(17)의 터치영역과 터치 영역 설정 메모리(19)의 터치영역을 대비하여 터치여부를 확인하는 터치 영역 스위칭 연산부(18)와, 터치 영역 스위칭 연산부(18)의 출력으로부터 게임자의 게임 중 터치의 편차량을 검출하고, 그 편차량의 적산값을 구하는 편차량 검출 및 적산부(15) 등으로 구성되어 있다.The spatial touch motion monitoring means includes a CCD camera 12 for photographing a game player, a reference video memory 16 for storing an initial screen photographed by the CCD camera 12 as a reference screen, and a CCD camera 12. A touch for finding a touch area due to an image change in contrast to the screen of the video memory 14 and the reference video memory 16 and the video memory 14 which store the screen as the current time-lapse screen as the time taken by An area memory 17, a touch area setting memory 19 in which data about a reference touch area for a player's touch during a dance is stored, and a touch area and a touch area setting memory 19 of the touch area memory 17; The touch area switching operation unit 18 which checks whether or not the touch is made in preparation for the touch area of the controller and the touch area switching operation unit 18 detects the deviation amount of the touch in the game of the player, and the deviation amount The deviation amount detection and the integration part 15 etc. which calculate | require the integrated value of are comprised.

여기서, CCD 카메라(12)는 게임자의 전방에 설치되어 게임자의 움직임을 촬영하도록 하거나 게임자의 전방과 상방에 각각 설치되어 게임자의 움직임을 3차원으로 촬영하도록 한다. 그리고 편차량 검출 및 적산부(15)의 적산값에 따라 댄스게임 시간과 댄스의 난이도가 결정되도록 한다.Here, the CCD camera 12 is installed in front of the game player to shoot the game player's movements or respectively installed in front and above the game player to shoot the player's movements in three dimensions. Then, the dance game time and the difficulty of the dance are determined according to the deviation detection and integration value of the integration unit 15.

도면 중 미설명 부호 9는 댄스 화상 메모리, 10은 댄스 설정부, 13은 A/D 변환부이다.In the figure, reference numeral 9 denotes a dance image memory, 10 denotes a dance setting unit, and 13 denotes an A / D converter.

이와 같이 구성된 본 발명에 따른 댄스 게임시스템의 동작을 설명한다.The operation of the dance game system according to the present invention configured as described above will be described.

지시부(1) 즉, 도시되지 않는 화면이나 기타 표시장치로 출력되는 정보를 보고 지시된 지시신호가 곡명 선택부(2)에 제공되면, 곡명 선택부(2)는 다수의 음악 중 하나의 음악을 선택하기 위한 선택신호를 다수의 음악이 저장되어 있는 연주 데이터 메모리(3)로 공급한다.When the instruction signal 1 is provided to the song name selection unit 2 by viewing the information output to the display unit 1, i.e., a screen (not shown) or other display device, the song name selection unit 2 selects one of a plurality of pieces of music. The selection signal for selection is supplied to the performance data memory 3 in which a plurality of pieces of music are stored.

다수의 음악이 저장되어 있는 연주 데이터 메모리(3)는 선택신호에 대응하는 하나의 음악을 읽어내서 스피커(4)로 출력하는 한편 해당 음악의 리듬을 터치 위치지시 데이터 메모리(5)에 제공한다.The performance data memory 3 storing a plurality of pieces of music reads out one piece of music corresponding to the selection signal and outputs it to the speaker 4 while providing the rhythm of the piece of music to the touch position indicating data memory 5.

연주 데이터 메모리(3)로부터 리듬을 제공받은 터치 위치지시 데이터 메모리(5)는 리듬과 함께 리듬 설정부(11)로부터의 난이도에 대한 신호를 인가받아 댄스 게임을 위한 터치의 난이도와 박자, 위치 등을 결정하여 터치에 대한 정보를 마크 메모리(6)에 제공한다.The touch position indication data memory 5 provided with the rhythm from the performance data memory 3 receives a signal for the difficulty from the rhythm setting unit 11 together with the rhythm, and the difficulty, time, position, etc. of the touch for the dance game. Is determined to provide information about the touch to the mark memory 6.

터치 위치지시 데이터 메모리(5)의 출력을 제공받은 마크가 마크 메모리(6)에서 생성되어 표시 제어부(7)로 출력되므로 표시 제어부(7)의 제어로 CRT(8)에는 도 7과 같이 터치 타이밍을 지시하는 게임자의 터치를 위한 터치표시가 출력된다. 이때 터치 표시로서는 종래의 댄스 게임시스템에서와 같이 단순한 화살표를 이용할 수도 있지만 이에 제한받지 않고 터치 표시의 색상 변화나 모양 변화로도 표시할 수 있을 것이다. 또한, 게임자의 터치를 위한 터치신호는 마크 메모리(6) 뿐만 아니라 편차량 검출 및 적산부(15)에도 제공된다.Since the mark provided with the output of the touch position indication data memory 5 is generated in the mark memory 6 and output to the display controller 7, the touch timing is applied to the CRT 8 as shown in FIG. 7 under the control of the display controller 7. A touch display for the player's touch indicating a is output. In this case, as the touch display, a simple arrow may be used as in the conventional dance game system, but without limitation, the touch display may be displayed as a color change or a shape change of the touch display. In addition, the touch signal for the player's touch is provided not only to the mark memory 6 but also to the deviation amount detection and integration unit 15.

물론, 게임자의 터치 순간은 터치 표시의 색상이나 모양의 변화시점으로부터 소정시간 내에 게임자의 터치 즉, 아래에서 설명하듯이 게임자의 움직임에 따른 이미지변화여부를 감시하여 이루어진다.Of course, the player's touch moment is achieved by monitoring the player's touch, i.e., whether the image changes according to the player's movement, as described below, within a predetermined time from the point of change of the color or shape of the touch display.

이렇게 음악과 터치표시를 스피커(4)와 CRT(8)로 출력하는 중에 CCD 카메라(12)에 의해 촬영된 게임자의 영상이 A/D 변환부(13)에 의해 A/D 변환되어 기준 비디오 메모리(16)와 비디오 메모리(14)에 각각 제공된다. 여기서, CCD 카메라(12)를 게임자의 전방에만 설치할 수도 있지만, CCD 카메라(12)를 전방과 위쪽, 즉 다양한 방향에서 촬영 가능하도록 설치함으로써 터치 영역을 다양할 수 있다. 물론, 터치 표시나 터치 표시에 따른 확인 작업시에도 역시 3차원적으로 이루어지는 것은 당연하다 할 것이다.In this way, the video of the game player photographed by the CCD camera 12 is A / D converted by the A / D converter 13 while outputting music and a touch display to the speaker 4 and the CRT 8. 16 and video memory 14, respectively. Here, although the CCD camera 12 may be provided only in front of the player, the touch area may be varied by installing the CCD camera 12 so as to be photographed from the front and the upper side, that is, from various directions. Of course, it will be obvious that the touch display or the confirmation operation according to the touch display is also three-dimensionally performed.

CCD 카메라(12)에 의해 촬영된 게임자의 영상 중 도 2에서와 같이 게임자가 촬영되지 않은 영상, 즉 동작초기의 영상은 기준 비디오 메모리(16)에 기준 화면으로 저장된다. 그리고 시간이 경과함에 따른 도 3에서와 같은 게임자의 영상은 비디오 메모리(14)에 저장된다. 이렇게 각 메모리(16)(14)에 저장되었던 기준화면과 현시점의 화면이 터치 영역 메모리(17)에 인가되면, 터치 영역 메모리(17)는 도 4에서와 같이 이미지 변화가 일어난 부분에 대한 화면을 터치 영역 스위칭 연산부(18)에 공급된다.As shown in FIG. 2, the video of the game player photographed by the CCD camera 12, the video of which the game player is not photographed, that is, the initial motion image, is stored in the reference video memory 16 as a reference screen. Then, as the time passes, the video of the player as shown in FIG. 3 is stored in the video memory 14. When the reference screen and the current screen stored in each of the memories 16 and 14 are applied to the touch area memory 17, the touch area memory 17 displays a screen of a portion where an image change has occurred as shown in FIG. 4. The touch area switching operation unit 18 is supplied.

그리하면, 터치 영역 스위칭 연산부(18)는 도 5와 같이 터치 영역 설정 메모리(19)로부터 제공되는 터치 영역 스위칭 화면과 도 4의 화면을 대비하여 해당 터치 영역에서 이미지 변화가 이루어졌는지를 확인하고 도 6과 같은 결과를 편차량 검출 및 적산부(15)에 제공한다.Then, the touch area switching calculator 18 checks whether an image change is made in the corresponding touch area by comparing the touch area switching screen provided from the touch area setting memory 19 with the screen of FIG. 4 as shown in FIG. The same result as 6 is provided to the deviation amount detection and integration unit 15.

이어서, 도 6과 같은 결과를 인가받은 편차량 검출 및 적산부(15)는 터치 위치지시데이터 메모리(5)로부터의 터치신호와 대비하여 최초 지시된 터치 영역에서의 이미지 변화, 즉 게임자에 의한 터치가 이루어졌는지를 확인하고, 그에 대응하는 값을 적산한다.Subsequently, the deviation detection and integration unit 15 receiving the result as shown in FIG. 6 compares the touch signal from the touch position indication data memory 5 with the image change in the touch area originally indicated, that is, by the game player. Check that the touch is made, and integrate the corresponding value.

이렇게 게임자의 터치에 의한 적산값은 음악이 계속되는 동안 적산되며, 음악이 끝난 후 그 값이 터치 위치지시 데이터 메모리(5)에 제공되어 게임을 위한 음악을 계속적으로 출력할지 혹은 난이도가 높거나 낮아진 다른 음악을 반복적으로 출력할지 등을 결정하는 요인이 된다.In this way, the accumulated value of the player's touch is accumulated while the music is continued, and after the music is finished, the value is provided to the touch position indication data memory 5 to continuously output music for the game or other difficulty having higher or lower difficulty. This is a factor for determining whether to output music repeatedly.

물론, 하나의 음악이 끝나기 전이라도 음악이 소정시간 진행되었는데도 불구하고 적산값이 소정값 이하로 검출되는 경우 터치 위치지시 데이터 메모리(5)의 제어로 음악과 터치 표시가 더 이상 출력되지 않아 게임이 강제로 중단될 수도 있을 것이다.Of course, even if the music has been progressed for a predetermined time even before the end of one music, if the integrated value is detected below the predetermined value, the music and the touch display are no longer output under the control of the touch position indication data memory 5, so that the game cannot be played. It might be forced to stop.

본 발명에 의하면, 댄스 게임시스템을 이용한 게임 중 게임자의 관절에 가해지는 충격을 최소화하면서도 손과 발의 움직임을 최대화하여 운동효과를 배가할 수 있는 효과가 있다.According to the present invention, while minimizing the impact on the joints of the game player during the game using the dance game system, the movement effect can be doubled by maximizing the movement of the hands and feet.

또한, 본 발명은 별도의 마루본체를 설치하지 않고 다만 게임자의 영상을 촬영할 수 있는 하나 이상의 CCD 카메라를 설치하고, 게임 중인 게임자의 영상을 분석하여 게임을 진행시킴으로써 장치의 생산단가를 줄일 수 있으면서도 장치가 차지하는 공간을 최소화할 수 있는 이점이 있다.In addition, the present invention provides a device that can reduce the production cost of the device by installing at least one CCD camera that can take the image of the game player without installing a separate floor main body, and analyzes the image of the game player in the game to proceed the game There is an advantage to minimize the space occupied.

그리고, 본 발명은 모니터로 표시되는 표시내용을 단순한 화살표에서 벗어나 모양이나 색상 등을 다양하게 변화시킴으로써 게임의 흥미를 배가할 수 있는 효과도 있다.In addition, the present invention also has the effect of doubling the interest of the game by changing the display content displayed on the monitor from a simple arrow to various shapes and colors.

이상에서 본 발명은 기재된 구체예에 대해서만 상세히 설명되었지만 본 발명의 기술 사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.Although the present invention has been described in detail only with respect to the described embodiments, it will be apparent to those skilled in the art that various modifications and variations are possible within the spirit of the present invention, and such modifications and modifications belong to the appended claims.

Claims (10)

한 곡 이상의 저장된 음악 중 한 곡의 음악을 읽어내서 출력하는 음악 출력수단;Music output means for reading and outputting one piece of music from one or more pieces of stored music; 상기 음악 출력수단의 음악에 맞춰서 CCD 카메라에 의한 촬영영역 중 임의의 영역에 대한 터치를 지시하는 터치 안내수단; 및Touch guiding means for instructing a touch on an arbitrary area of the photographing area by the CCD camera in accordance with the music of the music output means; And 상기 CCD 카메라에 의해 촬영되는 이미지를 분석하여 상기 터치 안내수단에 의해 지시된 임의의 공간에서의 터치 동작을 감시하는 공간 터치동작 감시수단;Spatial touch motion monitoring means for analyzing the image photographed by the CCD camera to monitor the touch motion in any space indicated by the touch guidance means; 을 포함하는 것을 특징으로 하는 이미지 인식을 이용한 댄스 게임시스템.Dance game system using the image recognition, characterized in that it comprises a. 제 1항에 있어서,The method of claim 1, 상기 음악 출력수단은, 지시부로부터의 지시신호를 받아 한 곡 이상의 음악 중 하나의 음악을 선택하는 곡명 선택부와, 한 곡 이상의 음악을 저장하고 있다가 상기 곡명 선택부의 선택신호에 따라 한 곡의 음악을 읽어내서 스피커로 출력하는 연주 데이터 메모리를 포함하는 것을 특징으로 하는 상기 이미지 인식을 이용한 댄스 게임시스템.The music output means includes: a song name selection unit for selecting one piece of music from one or more pieces of music in response to an instruction signal from the indicating unit; Dance game system using the image recognition, characterized in that it comprises a performance data memory for reading the output to the speaker. 제 1항에 있어서,The method of claim 1, 상기 터치 안내수단은, 상기 연주 데이터 메모리로부터의 리듬과 리듬 설정부로부터의 난이도에 의해 결정된 터치 위치를 지시하기 위한 표시신호를 출력하는 터치 위치지시 데이터 메모리와, 상기 터치 위치지시 데이터 메모리의 표시신호에 대응하는 터치표시를 출력하는 마크 메모리와, 상기 마크 메모리로부터의 터치 표시가 CRT로 출력되도록 제어하는 표시 제어부를 포함하는 것을 특징으로 하는 상기 이미지 인식을 이용한 댄스 게임시스템.The touch guidance means includes a touch position indication data memory for outputting a display signal for indicating a touch position determined by the rhythm from the performance data memory and the difficulty from the rhythm setting unit, and the display signal of the touch position indication data memory. And a display controller for controlling a touch memory from the mark memory to be output to the CRT. 제 1항 또는 제 3항에 있어서,The method according to claim 1 or 3, 상기 터치 안내수단은, 터치 타이밍을 지시하는 것임을 특징으로 하는 상기 이미지 인식을 이용한 댄스 게임시스템.The touch guide means is a dance game system using the image recognition, characterized in that to indicate the touch timing. 제 1항 또는 제 3항에 있어서,The method according to claim 1 or 3, 상기 터치 안내수단에서의 터치 표시는, 상기 터치 표시의 색상 변화로 이루어지는 것을 특징으로 하는 상기 이미지 인식을 이용한 댄스 게임시스템.The touch display in the touch guide means is a dance game system using the image recognition, characterized in that the color change of the touch display. 제 1항 또는 제 3항에 있어서,The method according to claim 1 or 3, 상기 터치 안내수단에서의 터치 표시는, 상기 터치 표시의 모양 변화로 이루어지는 것을 특징으로 하는 상기 이미지 인식을 이용한 댄스 게임시스템.The touch display in the touch guide means is a dance game system using the image recognition, characterized in that the shape change of the touch display. 제 1항에 있어서,The method of claim 1, 상기 공간 터치동작 감시수단은, 게임자를 촬영하는 CCD 카메라와, 상기 CCD 카메라에 의해 촬영된 최초 화면을 기준 화면으로 저장하는 기준 비디오 메모리와, 상기 CCD 카메라에 의해 촬영된 시간이 경과함에 따른 화면을 현 시점의 화면으로 저장하는 비디오 메모리와, 상기 기준 비디오 메모리와 상기 비디오 메모리의 화면을 대비하여 이미지 변화로 인한 터치 영역을 찾아내는 터치 영역 메모리와, 댄스 중 게임자의 터치를 위한 기준 터치 영역에 대한 데이터가 저장되어 있는 터치 영역 설정 메모리와, 상기 터치 영역 메모리의 터치영역과 상기 터치 영역 설정 메모리의 터치영역을 대비하여 터치여부를 확인하는 터치 영역 스위칭 연산부와, 상기 터치 영역 스위칭 연산부의 출력으로부터 게임자의 게임 중 터치의 편차량을 검출하고, 그 편차량의 적산값을 구하는 편차량 검출 및 적산부를 포함하는 것을 특징으로 하는 상기 이미지 인식을 이용한 댄스 게임시스템.The spatial touch motion monitoring means includes a CCD camera for photographing a game player, a reference video memory for storing an initial screen photographed by the CCD camera as a reference screen, and a screen over time taken by the CCD camera. Video memory to be stored as a screen of the current point of view, a touch area memory for finding a touch area due to image change in contrast with the reference video memory and the screen of the video memory, and data about a reference touch area for a player's touch during a dance. A touch area setting memory storing the touch area setting memory, a touch area switching operation unit checking whether the touch area is compared with the touch area of the touch area memory and the touch area of the touch area setting memory, and the output of the touch area switching operation unit. Detects the amount of deviation of the touch during the game, Dance game system using the image sensor characterized in that it comprises side parts of the vehicle is detected to obtain the acid value and accumulated. 제 7항에 있어서,The method of claim 7, wherein 상기 CCD 카메라는, 게임자의 전방에 설치되어 게임자의 움직임을 촬영하도록 함을 특징으로 하는 상기 이미지 인식을 이용한 댄스 게임시스템.The CCD camera is installed in front of the player of the dance game system using the image recognition, characterized in that for shooting the movement of the player. 제 7항에 있어서,The method of claim 7, wherein 상기 CCD 카메라는, 게임자의 전방과 상방에 각각 설치되어 게임자의 움직임을 3차원으로 촬영하도록 함을 특징으로 하는 상기 이미지 인식을 이용한 댄스 게임시스템.The CCD camera is installed in front of and above the player, respectively, the dance game system using the image recognition, characterized in that to shoot the movement of the player in three dimensions. 제 7항에 있어서,The method of claim 7, wherein 상기 편차량 검출 및 적산부의 적산값에 따라 댄스게임 시간과 댄스의 난이도가 결정되도록 함을 특징으로 하는 상기 이미지 인식을 이용한 댄스 게임시스템.Dance game system using the image recognition, characterized in that the dance game time and the difficulty of the dance is determined according to the deviation amount detection and integration value.
KR1020000038324A 2000-07-05 2000-07-05 The dance game system using image cognition KR20020004435A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020000038324A KR20020004435A (en) 2000-07-05 2000-07-05 The dance game system using image cognition
KR2020000019350U KR200208282Y1 (en) 2000-07-05 2000-07-06 The dance game system using image cognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000038324A KR20020004435A (en) 2000-07-05 2000-07-05 The dance game system using image cognition

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR2020000019350U Division KR200208282Y1 (en) 2000-07-05 2000-07-06 The dance game system using image cognition

Publications (1)

Publication Number Publication Date
KR20020004435A true KR20020004435A (en) 2002-01-16

Family

ID=19676378

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000038324A KR20020004435A (en) 2000-07-05 2000-07-05 The dance game system using image cognition

Country Status (1)

Country Link
KR (1) KR20020004435A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050047024A (en) * 2003-11-15 2005-05-19 이중호 Dance game apparatus for arcade using image recognition and method thereof
KR101307732B1 (en) * 2012-05-23 2013-09-11 동신대학교산학협력단 The method for 3d rhythm action games

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050047024A (en) * 2003-11-15 2005-05-19 이중호 Dance game apparatus for arcade using image recognition and method thereof
KR101307732B1 (en) * 2012-05-23 2013-09-11 동신대학교산학협력단 The method for 3d rhythm action games

Similar Documents

Publication Publication Date Title
KR100361791B1 (en) Dance game apparatus
CA2691992C (en) Information inputting device, information outputting device and method
US20020055383A1 (en) Game system and program
US20030109298A1 (en) Video game apparatus and motion sensor structure
KR100347960B1 (en) Video game machine and controlling method of it
US6669563B1 (en) Game system
JP2001269431A (en) Body movement state-evaluating device
JP2011070597A (en) Information processing program and information processing apparatus
KR20050047024A (en) Dance game apparatus for arcade using image recognition and method thereof
JP3329786B2 (en) Dance game equipment
JP3577273B2 (en) Dance game apparatus and storage medium used therefor
JP2000037491A (en) Dance game device and stepping base for dance game
JP3866474B2 (en) GAME DEVICE AND INFORMATION STORAGE MEDIUM
JP5055548B2 (en) Exercise support apparatus and computer program
JP2001232060A (en) Game device and information storage medium
KR20020004435A (en) The dance game system using image cognition
JP2001232061A (en) Game device and information storage medium
KR200208282Y1 (en) The dance game system using image cognition
JP2002166051A (en) Game system and computer readable storage medium
JP2001137415A (en) Dance game device
KR19990083864A (en) Apparatus of rythm and dance game machine and put key
JP2001224732A (en) Game machine and information storage medium
JP2009056053A (en) Game machine and game processing method
JP2001178965A (en) Dance game device
KR200192230Y1 (en) Dance music machine to sense hand action

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee