KR101884089B1 - 평가 프로그램, 평가 방법 및 평가 장치 - Google Patents

평가 프로그램, 평가 방법 및 평가 장치 Download PDF

Info

Publication number
KR101884089B1
KR101884089B1 KR1020160154017A KR20160154017A KR101884089B1 KR 101884089 B1 KR101884089 B1 KR 101884089B1 KR 1020160154017 A KR1020160154017 A KR 1020160154017A KR 20160154017 A KR20160154017 A KR 20160154017A KR 101884089 B1 KR101884089 B1 KR 101884089B1
Authority
KR
South Korea
Prior art keywords
evaluation
player
image
timing
person
Prior art date
Application number
KR1020160154017A
Other languages
English (en)
Other versions
KR20170060581A (ko
Inventor
미호 사카이
아츠시 오구치
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20170060581A publication Critical patent/KR20170060581A/ko
Application granted granted Critical
Publication of KR101884089B1 publication Critical patent/KR101884089B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A63F13/798—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories for assessing skills or for ranking players, e.g. for generating a hall of fame
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/816—Athletics, e.g. track-and-field sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0015—Dancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H04N5/225—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8005—Athletics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047—Music games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/071—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Educational Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 각 사람에게 댄스 평가의 대상이 되는 영역을 인식시킬 수 있는 것을 과제로 한다.
평가 프로그램은, 컴퓨터에, 촬상 장치에 의해 촬상된 촬상 화상 중, 설정된 복수 영역 내의 각각에서 사람의 동작을 해석하고, 복수 영역 사이를 구분하는 표시를 촬상 화상에 중첩시켜 표시 장치에 표시시키는 제어를 행하는 처리를 실행시킨다.

Description

평가 프로그램, 평가 방법 및 평가 장치{EVALUATION PROGRAM, EVALUATION METHOD, AND EVALUATION DEVICE}
본 발명은, 평가 프로그램, 평가 방법 및 평가 장치에 관한 것이다.
인물의 댄스를 채점하고, 채점 결과를 인물에 통지하는 기술이 있다. 인물의 댄스의 채점이나 평가에 관련되는 기술로서, 예컨대, 악곡에 맞춰 신체 부위를 이동시키는 게임에 관한 기술이 있다. 이 기술에 있어서는, 게임을 실행하는 플레이어의 부위가 기준 속도 이상으로 이동한 경우, 부위가 이동 후에 대략 정지해 있는 상태가 기준 기간 계속되었는지 아닌지의 판정 결과에 기초하여, 플레이어의 게임 플레이를 평가한다.
일본 특허 공개 평7-50825호 공보 일본 특허 공개 2000-237455호 공보 일본 특허 공개 2013-154125호 공보
그런데, 복수의 사람이 행하는 댄스를 평가하는 것과 같은 경우도 생각할 수 있다. 그러나, 플레이어의 부위의 이동으로부터 복수의 사람의 댄스를 평가하고자 해도, 적절히 평가할 수 없는 경우가 있다. 예컨대, 복수의 사람이 촬상 범위 내에서 일제히 댄스를 행하면, 몸이 큰 사람의 움직임이나, 촬상 장치에 가까운 사람의 움직임에 평가가 좌우되기 쉽고, 또한 촬상 범위 내에서 각 사람의 위치가 중복되는 경우도 있어, 각 사람의 댄스를 적절히 평가할 수 없는 경우가 있다. 각 사람의 댄스를 적절히 평가하려면, 촬상 범위 내에서 각 사람이 댄스를 행하는 영역이 나누어져 있는 것이 바람직하다.
일 측면에서는, 각 사람에게 댄스 평가의 대상이 되는 영역을 인식시킬 수 있는 평가 프로그램, 평가 방법 및 평가 장치를 제공하는 것을 목적으로 한다.
일 측면에서는, 평가 프로그램은, 컴퓨터에, 촬상 장치에 의해 촬상된 촬상 화상 중, 설정된 복수 영역 내의 각각에서 사람의 동작을 해석하고, 복수 영역 사이를 구분하는 표시를 촬상 화상에 중첩시켜 표시 장치에 표시시키는 제어를 행하는 처리를 실행시킨다.
일 실시양태에 의하면, 각 사람에게 댄스 평가의 대상이 되는 영역을 인식시킬 수 있다.
도 1은, 실시예 1에 관련된 평가 장치의 구성의 일례를 나타내는 도면이다.
도 2는, 프레임의 일례를 나타내는 도면이다.
도 3은, 타이밍 데이터의 일례를 나타내는 도면이다.
도 4는, 실시예 1에 관련된 인수(人數) 선택 화면의 일례를 나타내는 도면이다.
도 5는, 실시예 1에 관련된 평가 대상 영역의 일례를 나타내는 도면이다.
도 6은, 실시예 1에 관련된 얼굴 인식 기술을 이용한 인수 특정 처리의 일례를 나타내는 도면이다.
도 7은, 실시예 1에 관련된 물체 인식 기술을 이용한 인수 특정 처리의 일례를 나타내는 도면이다.
도 8은, 실시예 1에 관련된 영역 구분 표시의 일례를 나타내는 도면이다.
도 9는, 실시예 1에 관련된 영역 구분 표시의 다른 일례를 나타내는 도면이다.
도 10은, 2치화된 화상의 일례를 나타내는 도면이다.
도 11은, 배경 차분량과 평가 대상 영역과 프레임 번호와의 대응의 일례를 나타내는 도면이다.
도 12는, 실시예 1에 관련된 평가 장치가 실행하는 처리의 일례를 설명하기 위한 도면이다.
도 13은, 타이밍 데이터가 나타내는 인물이 박자를 취하는 타이밍을 플롯팅한 그래프의 일례를 나타내는 도면이다.
도 14는, 타이밍의 비교 방법의 일례를 나타내는 도면이다.
도 15는, 평가 표시 화면의 일례를 나타내는 도면이다.
도 16은, 평가 표시 화면의 다른 일례를 나타내는 도면이다.
도 17은, 실시예 1에 관련된 결과 표시 화면의 일례를 나타내는 도면이다.
도 18은, 실시예 1에 관련된 처리의 일례를 나타내는 플로우차트이다.
도 19는, 실시예 1에 관련된 평가 처리의 일례를 나타내는 플로우차트이다.
도 20은, 실시예 2에 관련된 영상 효과의 일례를 나타내는 도면이다.
도 21은, 실시예 2에 관련된 도형의 각 부분을 표시시키는 영상 효과의 일례를 나타내는 도면이다.
도 22는, 실시예 2에 관련된 도형의 각 부분을 표시시키는 영상 효과의 다른 일례를 나타내는 도면이다.
도 23은, 실시예 2에 관련된 캐릭터를 표시시키는 영상 효과의 일례를 나타내는 도면이다.
도 24는, 실시예 3에 관련된 구분선을 넘은 인물에 대한 통지의 일례를 나타내는 도면이다.
도 25는, 실시예 3에 관련된 플레이어들이 서로 지나치게 접근한 경우의 통지의 일례를 나타내는 도면이다.
도 26은, 실시예 4에 관련된 싱크로 판정(synchronization determination) 처리의 일례를 나타내는 도면이다.
도 27은, 평가 장치와 가라오케 장치가 연동한 경우의 시스템의 일례를 나타내는 도면이다.
도 28은, 서버를 갖는 시스템의 일례를 나타내는 도면이다.
도 29는, 평가 프로그램을 실행하는 컴퓨터를 나타내는 도면이다.
이하에, 본원이 개시하는 평가 프로그램, 평가 방법 및 평가 장치의 실시예를 도면에 기초하여 상세히 설명한다. 또, 본 실시예에 의해 개시 기술이 한정되는 것은 아니다. 또한, 이하에 나타내는 각 실시예는, 모순을 일으키지 않는 범위에서 적절하게 조합해도 좋다.
실시예 1
[실시예 1에 관련된 평가 장치(10)의 기능 구성의 일례]
도 1의 예에 나타내는 평가 장치(10)는, 예컨대 가라오케 박스 등에 설치되고, 카메라(21)로 촬상된 플레이어의 동작을 해석한다. 평가 장치(10)는, 예컨대, 가라오케 박스 내에 설치된 가라오케 장치와 연동하여, 해석된 플레이어의 동작을 평가하고, 평가 결과를 리얼 타임으로 표시시킨다. 예컨대, 평가 장치(10)는, 가라오케 장치의 음원으로부터 취득되는 기준 템포와, 플레이어 동작의 일치 정도에 따라, 플레이어의 동작을 평가한다. 가라오케 박스에 있어서의 평가 장치(10)를 포함하는 시스템 구성에 대해서는 후에 자세히 설명한다.
도 1의 예에 나타내는 평가 장치(10)는, 복수로 분할된 촬상 영역(이하에 있어서 「평가 대상 영역」이라고 부르는 경우가 있음)의 각각에 있어서, 댄스를 행하는 인물을 카메라(21)에 의해 촬상한 결과 얻어진 동화상의 각 프레임으로부터 인물의 동작을 해석한다. 구체적으로는, 평가 장치(10)는, 인물의 동작량이 일시적으로 저하되는 타이밍을, 인물이 리듬을 취하는 타이밍, 즉, 인물이 박자를 취하는 타이밍으로서 추출한다.
이와 같이, 인물의 동작량이 일시적으로 저하되는 타이밍을, 인물이 박자를 취하는 타이밍으로서 추출하는 것은, 인물은, 박자를 취할 때에 일시적으로 동작을 정지시키므로, 동작량이 일시적으로 저하되기 때문이다. 여기서 리듬이란, 예컨대, 템포의 간격의 규칙성을 의미한다. 또한 템포란, 예컨대, 박자의 간격의 길이를 의미한다. 그리고, 평가 장치(10)는, 추출한 타이밍이 나타내는 템포와, 기준이 되는 템포인 기준 템포를 비교하여, 인물의 동작 템포를 평가한다. 이에 따라, 평가 장치(10)는, 인물의 얼굴이나 신체의 일부나 도구를 인식하기 위한 인식 처리, 즉, 처리량이 많은(처리 부하가 높은) 인식 처리를 행하지 않고, 인물이 박자를 취하는 타이밍을 추출하여, 인물의 동작 템포를 평가한다. 따라서, 평가 장치(10)에 의하면, 간이하게 인물의 동작 템포를 평가할 수 있다.
본 실시예에서는, 평가 장치(10)는, 인물이 박자를 취하는 타이밍을, 후술하는 영역 제어부(14a)에 의해 복수로 분할된 평가 대상 영역의 각각에 있어서 추출한다. 또한, 평가 장치(10)는, 평가 대상 영역을 분할하는 것을 나타내는 표시를, 촬상 화상에 중첩하여 표시시킨다. 이와 같이, 본 실시예에 의하면, 촬상 화상에 설정된 복수 영역에 있어서의 각 사람의 동작을 해석하고, 영역 사이를 구분하는 표시를 촬상 화상에 중첩시켜 표시 장치에 표시시키기 때문에, 각 사람에게 댄스 평가의 대상이 되는 영역을 인식시킬 수 있다.
도 1은, 실시예 1의 평가 장치의 구성의 일례를 나타내는 블록도이다. 도 1의 예에 나타내는 바와 같이, 평가 장치(10)는, 입력부(11), 출력부(12), 기억부(13) 및 제어부(14)를 갖는다.
입력부(11)는, 각종 정보를 제어부(14)에 입력한다. 예컨대, 입력부(11)는, 평가 장치(10)를 사용하는 사용자로부터의 후술하는 평가 처리를 실행하기 위한 지시를 접수한 경우에는, 접수한 지시를 제어부(14)에 입력한다. 입력부(11)의 디바이스의 일례로는, 마우스나 키보드, 도시하지 않은 다른 장치로부터 송신된 각종 정보를 수신하고 수신한 정보를 제어부(14)에 입력하기 위한 네트워크 카드를 들 수 있다.
출력부(12)는, 각종 정보를 출력한다. 예컨대, 출력부(12)는, 후술하는 출력 제어부(14d)로부터 인물의 동작 템포의 평가 결과를 수신한 경우에는, 수신한 평가 결과를 표시하거나, 수신한 평가 결과를 사용자가 유지하는 휴대 단말이나 외부의 모니터에 송신하거나 한다. 출력부(12)의 디바이스의 일례로는, 모니터나, 제어부(14)로부터 송신된 각종 정보를 도시하지 않은 다른 장치에 송신하기 위한 네트워크 카드 등을 들 수 있다.
기억부(13)는, 각종 정보를 기억한다. 예컨대, 기억부(13)는, 동화상 데이터(13a), 타이밍 데이터(13b), 음악 템포 데이터(13c) 및 평가 데이터(13d)를 기억한다.
동화상 데이터(13a)는, 댄스를 행하는 복수의 인물을 카메라(21)에 의해 촬상한 결과 얻어진 복수의 프레임을 포함하는 동화상의 데이터이다. 이러한 복수의 인물의 일례로는, 예컨대, 가라오케 박스에서, 가라오케 장치에 의해 재생된 곡에 맞춰 노래를 부르면서, 재생된 곡에 맞춰 댄스를 행하는 인물을 들 수 있다. 또, 동화상 데이터(13a)에 포함되는 복수의 프레임은, 카메라(21)에 의해 연속적으로 촬상된 것으로서, 촬상 화상의 일례이다.
도 2는, 프레임의 일례를 나타내는 도면이다. 도 2의 예는, 프레임(15)에, 가라오케 박스(90)에서, 곡에 맞춰 노래를 부르면서 댄스를 행하는 인물(401 및 402)이 포함된 경우를 나타낸다. 이하, 인물(401)을 플레이어 A, 인물(402)을 플레이어 B라고, 각각 부르는 경우가 있다. 또한, 각 인물을 구별하지 않고 총칭하는 경우에는, 플레이어라고 부르는 경우가 있다.
또한, 프레임(15)은, 구분선(601)에 의해, 좌측의 평가 대상 영역(701)(이하 「영역 A」라고 부르는 경우가 있음)과, 우측의 평가 대상 영역(702)(이하 「영역 B」라고 부르는 경우가 있음)으로 분할된다. 구분선(601)은, 구분 라인의 일례이다. 플레이어 A(401)는, 분할된 촬상 영역 중, 좌측의 평가 대상 영역(701)에 위치하고, 플레이어 B(402)는 우측의 평가 대상 영역(702)에 위치한다. 또, 동화상 데이터(13a)의 프레임 레이트로는, 임의의 값을 채용할 수 있지만, 이하, 프레임 레이트가 30 fps(frames per second)인 경우에 대하여 설명한다.
타이밍 데이터(13b)는, 댄스를 행하는 플레이어가 박자를 취할 때(박자를 취할 때)의 시간(타이밍)을 나타내는 데이터이다. 이러한 시간의 일례로는, 예컨대, 동화상 데이터(13a)에 포함되는 플레이어가, 가라오케 박스에서, 재생된 곡에 맞춰 노래를 부르면서 댄스를 행하는 경우에는, 곡과 함께 댄스가 개시되기 때문에, 곡 및 댄스의 개시로부터의 시간을 들 수 있다.
도 3은, 타이밍 데이터의 일례를 나타내는 도면이다. 도 3의 예에 나타내는 타이밍 데이터(13b)는, 「시간」 및 「박자를 취하는 타이밍」의 각 항목을 갖는다. 「시간」의 항목에는, 후술하는 평가부(14c)에 의해, 곡 및 댄스의 개시로부터의 시간이 등록된다. 「박자를 취하는 타이밍」의 항목에는, 「시간」의 항목에 등록된 시간이, 플레이어가 박자를 취하는 타이밍인 경우에는, 후술하는 평가부(14c)에 의해 「취함」이 등록되고, 플레이어가 박자를 취하는 타이밍이 아닌 경우에는, 「취하지 않음」이 등록된다.
예컨대, 도 3의 예에 나타내는 타이밍 데이터(13b)의 1번째 레코드에서는, 곡 및 댄스의 개시로부터 「0.033」초 후의 시간에는 「박자를 취하는 타이밍」의 항목에 「취함」이 등록되어 있기 때문에, 플레이어가 박자를 취하는 타이밍인 것을 나타낸다. 또한, 도 3의 예에 나타내는 타이밍 데이터(13b)의 2번째 레코드에서는, 곡 및 댄스의 개시로부터 「0.066」초 후의 시간에는 「박자를 취하는 타이밍」의 항목에 「취하지 않음」이 등록되어 있기 때문에, 플레이어가 박자를 취하는 타이밍이 아닌 것을 나타낸다.
음악 템포 데이터(13c)는, 기준 템포를 나타내는 데이터이다. 기준 템포는, 후술하는 평가부(14c)에 의해 소리 정보로부터 취득된다. 여기서, 소리 정보의 일례로는, 예컨대, 도시하지 않은 마이크에 의해 집음된 소리, 가라오케 장치로 재생된 곡, 도시하지 않은 비디오 카메라 등으로 녹화된 영상 데이터에 있어서 동화상 데이터(13a)와 연동하여 취득된 음성 데이터를 들 수 있다. 또한, 소리 정보의 일례로서, MIDI(Musical Instrument Digital Interface)를 이용해도 좋다.
평가 데이터(13d)는, 후술하는 평가부(14c)에 의해 평가된 각 플레이어의 동작 템포의 평가 결과이다. 이러한 평가 결과에 대해서는 후술한다.
기억부(13)는, 예컨대, 플래시 메모리 등의 반도체 메모리 소자, 또는, 하드 디스크, 광 디스크 등의 기억 장치이다.
제어부(14)는, 각종 처리 순서를 규정한 프로그램이나 제어 데이터를 저장하기 위한 내부 메모리를 갖고, 이들에 의해 여러가지 처리를 실행한다. 도 1에 나타내는 바와 같이, 제어부(14)는, 영역 제어부(14a)와, 취득부(14b)와, 평가부(14c)와, 출력 제어부(14d)를 갖는다.
영역 제어부(14a)는, 촬상되는 화상에 포함되는 플레이어의 인수(人數)에 따라, 촬상되는 화상을 복수의 평가 대상 영역으로 분할하고, 이 복수의 평가 대상 영역의 구분선을 생성하는 처리부이다.
영역 제어부(14a)의 일 양태에 대하여 설명한다. 우선, 영역 제어부(14a)는, 촬상되는 화상에 포함되는 플레이어의 인수(人數)를 특정한다. 예컨대, 영역 제어부(14a)는, 사용자가 입력 또는 선택한 인수를 이용하여, 촬상되는 화상에 포함되는 플레이어의 인수를 특정할 수 있다. 또, 본 실시예에서는, 댄스를 행하는 인수는 1명에서 최대 4명까지 선택할 수 있지만, 실시형태는 이것에 한정되지 않는다.
사용자가 입력 또는 선택한 인수를 이용하는 구성에 대하여, 도 4를 이용하여 설명한다. 도 4는, 실시예 1에 관련된 인수 선택 화면의 일례를 나타내는 도면이다. 영역 제어부(14a)는, 입력부(11)로부터 평가 처리를 실행하기 위한 지시의 입력을 받으면, 도 4에 나타내는 바와 같은 화면을 생성하여, 출력 제어부(14d)에 출력한다.
도 4에 나타내는 바와 같이, 인수 선택 화면은, 촬상되는 화상에, 메시지 영역(501)과, 선택 영역(502)이 중첩 표시된다. 메시지 영역(501)에는, 사용자에게 댄스를 행하는 플레이어의 인수의 선택을 재촉하는 메시지가 표시된다. 선택 영역(502)에는, 인수를 선택하기 위한 선택지와 커서가 표시된다. 사용자는, 도시하지 않은 포인팅 디바이스 등을 이용하여, 선택 영역(502)에 있어서 인수를 선택한다. 입력부(11)는, 사용자로부터 인수의 선택에 관한 지시를 접수하면, 영역 제어부(14a)에 접수한 지시를 출력한다.
영역 제어부(14a)는, 입력부(11)로부터 인수의 선택에 관한 입력을 받으면, 입력된 인수에 따라, 프레임을 복수의 평가 대상 영역으로 분할한다. 영역 제어부(14a)는, 예컨대, 입력된 인수에 의해, 프레임의 폭을 등분한다. 도 5는, 실시예 1에 관련된 평가 대상 영역의 일례를 나타내는 도면이다. 도 5는, 예컨대, 입력된 인수가 3명인 경우에, 영역 제어부에 의해 설정되는 복수의 평가 대상 영역의 일례를 나타내는 것이고, 인수에 따라, 평가 대상 영역(701, 702 및 703)의 3개의 평가 대상 영역으로 프레임이 분할되어 있다.
또한, 영역 제어부(14a)는, 각 평가 대상 영역을 구분하는 표시를 또한 생성하고, 촬상 화상에 중첩하여 표시되도록 출력 제어부(14d)에 출력한다. 도 5에 나타내는 바와 같이, 영역 제어부(14a)는, 평가 대상 영역(701)과 평가 대상 영역(702)을 구분하는 구분선(601)을, 촬상 화상에 중첩하여 표시시킨다. 마찬가지로, 영역 제어부(14a)는, 평가 대상 영역(702)과 평가 대상 영역(703)을 구분하는 구분선(602)을, 촬상 화상에 중첩하여 표시시킨다.
지금까지, 영역 제어부(14a)가, 사용자에 의한 입력 또는 선택에 기초하여 촬상되는 화상에 포함되는 플레이어의 인수를 특정하는 구성에 대하여 설명했지만, 이것에 한정되지 않는다. 예컨대, 영역 제어부(14a)는, 얼굴 인식 기술 또는 물체 인식 기술을 이용하여 플레이어의 인수를 특정하는 것과 같은 구성이어도 좋다. 도 6은, 실시예 1에 관련된 얼굴 인식 기술을 이용한 인수 특정 처리의 일례를 나타내는 도면이다. 도 6에 나타내는 바와 같이, 영역 제어부(14a)는, 공지된 얼굴 인식 기술을 이용하여, 얼굴 인식 영역(421 내지 423)이 나타내는 바와 같이, 촬상되는 화상에 포함되는 얼굴을 인식하고, 인식된 얼굴의 수에 기초하여 촬상되는 화상에 포함되는 플레이어의 인수를 특정한다. 또한, 영역 제어부(14a)는, 메시지 영역(501)에, 특정된 인수가 정확한지 아닌지의 메시지를 표시시키고, 선택 영역(502)에 선택지를 표시시킨다.
또한, 얼굴 인식 기술 대신에, 물체 인식 기술을 이용하여 플레이어의 인수를 특정하는 경우에 있어서는, 촬상되는 화상에 포함되는 플레이어는, 예컨대 리스트 밴드(wrist band)나 악기 등, 인식의 대상이 되는 물체를 소지 또는 장착한다. 도 7은, 실시예 1에 관련된 물체 인식 기술을 이용한 인수 특정 처리의 일례를 나타내는 도면이다. 도 7에 나타내는 바와 같이, 영역 제어부(14a)는, 공지된 물체 인식 기술을 이용하여, 촬상되는 화상에 포함되는 물체를 인식하고, 인식된 물체의 수에 기초하여 촬상되는 화상에 포함되는 플레이어의 인수를 특정한다. 도 7에 나타내는 예에 있어서는, 영역 제어부(14a)는, 물체 인식 영역(441 내지 443)이 나타내는 바와 같이, 각 플레이어가 장착하는 리스트 밴드(451 내지 453)를 인식하여, 플레이어의 인수가 3명인 것을 특정한다. 또한, 영역 제어부(14a)는, 메시지 영역(501)에, 특정된 인수가 정확한지 아닌지의 메시지를 표시시키고, 선택 영역(502)에 선택지를 표시시킨다.
또, 영역 제어부(14a)는, 플레이어에 대하여, 각각의 평가 대상 영역 내에 들어가도록 지시하는 것과 같은 구성이어도 좋다. 도 8은, 실시예 1에 관련된 영역 구분 표시의 일례를 나타내는 도면이다. 도 8에 나타내는 바와 같이, 영역 제어부(14a)는, 각 평가 대상 영역을 구분하는 구분선(601 및 602)을, 촬상되는 화상에 중첩하여 표시시킨다. 또한, 영역 제어부(14a)는, 메시지 영역(501)에, 플레이어에 대하여 평가 대상 영역 내로의 이동을 재촉하는 메시지를 표시시킨다. 또한, 영역 제어부(14a)는, 선택 영역(502)에, 준비가 완료된 것을 입력하기 위한 선택지를 표시시켜도 좋다. 영역 제어부(14a)는, 입력부(11)로부터 「OK」가 선택된 것이 입력되면, 취득부(14b)에 평가 처리의 개시를 지시한다.
본 실시예에 있어서, 영역 제어부(14a)는, 평가 대상 영역 및 구분선의 표시를, 특정된 플레이어의 인수에 따라 변화시킨다. 도 9는, 실시예 1에 관련된 영역 구분 표시의 다른 일례를 나타내는 도면이다. 도 9에 나타내는 바와 같이, 촬상되는 화상에 포함되는 플레이어의 인수가 2명인 경우, 영역 제어부(14a)는, 1개의 구분선(601)을 표시시키고, 프레임을 좌우 2개의 평가 대상 영역으로 분할한다. 마찬가지로, 촬상되는 화상에 포함되는 플레이어의 인수가 4명인 경우, 영역 제어부(14a)는, 구분선을 3개 표시시키고, 프레임을 4개의 평가 대상 영역으로 분할한다.
또, 영역 제어부(14a)는, 사용자에 의해 「OK」가 선택되었을 때에, 하나의 평가 대상 영역에 복수의 플레이어가 있는 경우나, 플레이어가 구분선 상에 있는 경우, 플레이어에 대하여 서는 위치의 수정을 재촉하는 메시지를 표시시키는 것과 같은 구성이어도 좋다. 또한, 영역 제어부(14a)가, 메시지 및 선택지를 표시시키지 않고, 플레이어가 1명씩 평가 대상 영역에 선 것이 확인된 시점에서 다음의 처리를 시작하는 것과 같은 구성이어도 좋다.
또, 얼굴 인식 기술 또는 물체 인식 기술을 이용하는 것과 같은 구성에 있어서는, 영역 제어부(14a)가 평가 대상 영역(701 내지 703)을 미리 설정하지 않는 것과 같은 구성이어도 좋다. 예컨대, 영역 제어부(14a)는, 도 6에 나타내는 얼굴 인식 영역(421), 또는 도 7에 나타내는 물체 인식 영역(441)으로부터 소정의 범위 내에 포함되는 영역을, 평가 대상 영역으로 설정해도 좋다. 이 경우, 영역 제어부(14a)는, 플레이어 A(401)가 이동한 경우에, 평가 대상 영역을, 플레이어 A(401)의 위치에 따라 이동시킨다.
도 1의 설명으로 되돌아가, 취득부(14b)는, 동화상에 포함되는 프레임의 차분을 취득하는 처리부이다. 구체적으로는, 취득부(14b)는, 동화상 데이터(13a)가 나타내는 동화상에 포함되는 복수의 프레임 각각에 대하여, 프레임과, 이 프레임보다 전에 촬상한 프레임과의 차분을 취득한다. 또한, 취득부(14b)는, 동화상 데이터(13a)가 나타내는 동화상에 포함되는 복수의 프레임 각각에 대하여, 프레임과, 이 프레임보다 전에 촬상한 프레임을 누적한 프레임과의 차분을 취득한다. 본 실시예에 있어서, 취득부(14b)는, 이 차분을, 분할된 영역 A(701) 및 영역 B(702)의 각각에 대하여 개별로 취득한다.
취득부(14b)의 일 양태에 대하여 설명한다. 예컨대, 취득부(14b)는, 입력부(11)에 의해 후술하는 평가 처리를 실행하기 위한 지시가 입력된 경우에, 기억부(13)에 기억된 동화상 데이터(13a)를 취득한다.
그리고, 취득부(14b)는, 분할된 영역 A(701) 및 영역 B(702)의 각각에 대하여, 배경 차분법을 이용하여, 동화상 데이터(13a)가 나타내는 동화상에 포함되는 복수의 프레임 각각에 대하여, 프레임과, 이 프레임보다 전에 촬상한 프레임과의 차분을 취득한다. 예컨대, 취득부(14b)는, 공지된 배경 통계량의 누적에 관한 함수를 이용하여, 복수의 프레임 각각에 대하여, 프레임과, 이 프레임보다 전에 촬상한 프레임을 누적한 프레임과의 차분을 취득한다.
취득부(14b)가 배경 통계량의 누적에 관한 함수를 이용한 경우의 처리에 대하여 설명한다. 취득부(14b)는, 대응하는 평가 대상 영역마다, 프레임과, 이 프레임보다 전에 촬상한 프레임으로부터 얻어진 배경 정보를 비교하여, 휘도의 변화에 기초하여 2치화된 화상을 생성한다. 또, 여기서 생성되는 정보는, 예컨대, 휘도의 변화가 임계치 이하인 화소를 흑색의 화소로 하고, 휘도의 변화가 임계치보다 큰 화소를 백색의 화소로 하는 정보이지만, 이것에 한정되지 않는다. 취득부(14b)는, 휘도의 변화가 임계치 이하, 혹은 임계치보다 큰 것이 식별 가능한 정보이면, 흑백의 화소로 하는 2치화한 화상에 한정되지 않고, 그 밖의 화상을 생성해도 좋다.
도 10은, 2치화된 화상의 일례를 나타내는 도면이다. 도 10은, 프레임 화상 전체에 대하여 2치화한 결과의 일례를 나타내고 있다. 예컨대, 취득부(14b)는, 배경 통계량의 누적에 관한 함수를 이용하여, 대응하는 평가 대상 영역마다, 상기 도 2의 예에 나타내는 프레임(15)과, 프레임(15)보다 전에 촬상된 프레임으로부터 얻어진 배경 정보를 비교한다. 그리고, 취득부(14b)는, 도 10의 예에 나타내는 바와 같은 2치화된 화상을 생성하고, 대응하는 평가 대상 영역마다, 생성한 2치화된 화상에 포함되는 흰 화소(white pixel)의 총수(배경 차분량)를, 플레이어의 동작량으로서 산출한다.
이와 같이, 본 실시예에서는, 분할된 평가 대상 영역 각각에 있어서의 배경 차분량이, 각 플레이어가 이동한 양을 나타내는 지표로서 이용된다. 예컨대, 취득부(14b)는, 도 10의 예에 나타내는 촬상 영역 중, 좌측의 영역 A(701)에 있어서의 2치화된 화상에 포함되는 흰 화소의 총수를, 플레이어 A(401)의 동작량으로서 산출한다. 마찬가지로, 예컨대, 취득부(14b)는, 도 10의 예에 나타내는 촬상 영역 중, 우측의 영역 B(702)에 있어서의 2치화된 화상에 포함되는 흰 화소의 총수를, 플레이어 B(402)의 동작량으로서 산출한다.
이와 같이 하여, 취득부(14b)는, 평가 대상 영역마다, 프레임 각각에 대하여, 배경 차분량을 플레이어의 동작량으로서 취득한다. 그리고, 취득부(14b)는, 프레임 각각에 대하여, 배경 차분량과 프레임 번호를 대응시킨다.
도 11은, 배경 차분량과 평가 대상 영역과 프레임 번호와의 대응의 일례를 나타내는 도면이다. 도 11의 예는, 취득부(14b)가, 프레임 번호 「2」와, 「영역 A」와, 배경 차분량 「267000」을 대응시킨 경우를 나타낸다. 또한, 도 11의 예는, 취득부(14b)가, 프레임 번호 「3」과, 「영역 A」와, 배경 차분량 「266000」을 대응시킨 경우를 나타낸다. 도 11에 나타내는 바와 같이, 취득부(14b)는, 「영역 B」에 대해서도, 마찬가지로 배경 차분량과 프레임 번호를 대응시켜 등록한다.
이와 같이 하여, 취득부(14b)는, 복수의 프레임 각각에 대하여, 평가 대상 영역마다, 프레임과, 이 프레임보다 전에 촬상한 프레임을 누적한 프레임과의 차분을 취득한다.
또, 취득부(14b)는, 코드 북법(code book method)을 이용하여, 프레임과, 이 프레임보다 전에 촬상한 프레임과의 차분을 취득하고, 프레임과, 이 프레임보다 전에 촬상한 프레임을 누적한 프레임과의 차분을 취득할 수도 있다.
도 1의 설명으로 되돌아가, 평가부(14c)는, 각 플레이어의 동작을 평가하는 처리부이다. 평가부(14c)는, 연속적으로 촬상한 복수의 프레임의 시간적인 변화량이 일시적으로 저하되는 타이밍을 검출한다. 본 실시예에 있어서, 평가부(14c)는, 이 타이밍을, 평가 대상 영역마다 개별로 검출한다.
평가부(14c)의 일 양태에 대하여 설명한다. 예컨대, 평가부(14c)는, 취득부(14b)에 의해 프레임 번호와 배경 차분량이 대응시켜진 정보를 이용하여, 하나 전의 프레임의 배경 차분량보다 배경 차분량이 작으며, 또한, 하나 후의 프레임의 배경 차분량보다 배경 차분량이 작은 프레임을 검출한다.
도 12는, 실시예 1에 관련된 평가 장치가 실행하는 처리의 일례를 설명하기 위한 도면이다. 도 12의 예는, 도 10에 나타내는 좌측의 영역 A(701)에 있어서, 횡축을 프레임 번호로 하고, 종축을 배경 차분량으로 하는, 취득부(14b)에 의해 대응시켜진 프레임 번호와 배경 차분량과의 관계를 표시하는 그래프를 나타낸다. 도 12의 예에 나타내는 그래프는, 프레임 번호가 1부터 50까지의 프레임의 배경 차분량을 나타낸다.
도 12의 예의 그래프에 도시된 바와 같이, 취득부(14b)에 의해 프레임 번호와 배경 차분량이 대응시켜진 경우에는, 평가부(14c)는, 다음의 처리를 행한다. 즉, 평가부(14c)는, 프레임 번호 「3」의 프레임의 배경 차분량보다 배경 차분량이 작으며, 또한, 프레임 번호 「5」의 프레임의 배경 차분량보다 배경 차분량이 작은 프레임 번호 「4」의 프레임을 검출한다. 마찬가지로, 평가부(14c)는, 프레임 번호 「6」, 「10」, 「18」, 「20」, 「25」, 「33」, 「38」, 「40」, 「47」의 프레임을 검출한다.
그리고, 평가부(14c)는, 검출한 프레임이 촬상된 시간을, 복수의 프레임의 시간적인 변화량이 일시적으로 저하되는 타이밍으로서 검출한다. 예컨대, 평가부(14c)는, 프레임 번호 「4」, 「6」, 「10」, 「18」, 「20」의 프레임의 각각이 촬상된 시간을, 복수의 프레임의 시간적인 변화량이 일시적으로 저하되는 타이밍으로서 검출한다. 또한, 평가부(14c)는, 예컨대 프레임 번호 「25」, 「33」, 「38」, 「40」, 「47」의 프레임의 각각이 촬상된 시간에 대해서도, 복수의 프레임의 시간적인 변화량이 일시적으로 저하되는 타이밍으로서 검출한다. 본 실시예에 있어서, 평가부(14c)는, 도 10에 나타내는 우측의 영역 B(702)에 있어서도, 동일하게 타이밍을 검출한다.
또한, 평가부(14c)는, 검출된 타이밍에 기초하여, 프레임에 포함되는 플레이어가 박자를 취하는 동작 또는 박자를 취하는 타이밍을 추출한다. 본 실시예에 있어서, 평가부(14c)는, 이 타이밍을, 각 평가 대상 영역에 존재하는 플레이어마다 개별로 추출한다.
예컨대, 평가부(14c)는, 검출된 타이밍 중에서, 다음과 같은 타이밍을 추출한다. 즉, 평가부(14c)는, 평가 대상 영역마다, 검출된 타이밍에서 촬상된 프레임 중에서, 소정의 조건을 만족하는 프레임을 추출하고, 추출한 프레임이 촬상된 시간을, 프레임에 포함되는 플레이어가 박자를 취하는 타이밍으로서 추출한다.
여기서, 평가부(14c)가, 소정의 조건을 만족하는 프레임을 추출하는 방법의 일례에 대하여 설명한다. 예컨대, 평가부(14c)는, 검출된 타이밍에 대응하는 프레임(검출된 타이밍에서 촬상된 프레임)을 추출 후보의 프레임으로서 하나씩 선택한다. 그리고, 평가부(14c)는, 추출 후보의 프레임을 하나 선택할 때마다, 다음의 처리를 행한다. 즉, 평가부(14c)는, 추출 후보의 프레임의 소정수 전의 프레임으로부터 추출 후보의 프레임까지 배경 차분량이 감소하며, 또한, 추출 후보의 프레임으로부터 추출 후보의 프레임의 소정수 후의 프레임까지 배경 차분량이 증가하고 있는지 아닌지를 판정한다.
평가부(14c)는, 추출 후보의 프레임의 소정수 전의 프레임으로부터 추출 후보의 프레임까지 배경 차분량이 감소하며, 또한, 추출 후보의 프레임으로부터 추출 후보의 프레임의 소정수 후의 프레임까지 배경 차분량이 증가하고 있는 것으로 판정한 경우에는, 다음의 처리를 행한다. 즉, 평가부(14c)는, 추출 후보의 프레임이 촬상된 시간을, 프레임에 포함되는 플레이어가 박자를 취하는 타이밍으로서 추출한다. 바꿔 말하면, 평가부(14c)는, 복수의 프레임 각각이 나타내는 플레이어의 동작 중에서, 추출 후보의 프레임에 포함되는 플레이어가 박자를 취하는 동작을 추출한다. 그리고, 평가부(14c)는, 전술한 처리를, 검출된 타이밍에 대응하는 모든 프레임에 대하여 행한다.
예컨대, 도 10에 나타내는 좌측의 영역 A(701)에 있어서, 소정수가 「4」이고, 도 12의 예의 그래프가 나타내는 바와 같이 취득부(14b)에 의해 프레임 번호와 배경 차분량이 대응시켜진 경우에 대하여 설명한다. 이 경우, 평가부(14c)는, 프레임 번호 「21」의 프레임으로부터 프레임 번호 「25」의 프레임까지의 배경 차분량이 감소하고, 프레임 번호 「25」의 프레임으로부터 프레임 번호 「29」의 프레임까지의 배경 차분량이 증가하고 있기 때문에, 다음의 처리를 행한다. 즉, 평가부(14c)는, 프레임 번호 「25」의 프레임이 촬상된 시간을, 프레임에 포함되는 플레이어가 박자를 취하는 타이밍으로서 추출한다.
또한, 평가부(14c)는, 복수의 프레임 각각이 나타내는 플레이어의 동작 중에서, 프레임 번호 「25」의 프레임에 포함되는 플레이어가 박자를 취하는 동작을 추출한다. 또, 전술한 소정수는, 추출 후보의 프레임보다 전의 프레임에 대한 소정수와, 추출 후보의 프레임보다 후의 프레임에 대한 소정수에서, 상이한 값이 설정되는 것으로 해도 좋다. 예컨대, 추출 후보의 프레임보다 전의 프레임에 대한 소정수를 「5」로 하고, 추출 후보의 프레임보다 후의 프레임에 대한 소정수를 「1」로 하는 양태 등을 생각할 수 있다.
그리고, 평가부(14c)는, 복수의 프레임 각각이 촬상된 시간 중, 플레이어가 박자를 취하는 타이밍인 시간과, 「취함」을 대응시켜, 도 3에 나타내는 바와 같은 타이밍 데이터(13b)에 등록한다. 또한, 평가부(14c)는, 복수의 프레임 각각이 촬상된 시간 중, 플레이어가 박자를 취하는 타이밍이 아닌 시간과, 「취하지 않음」을 대응시켜, 도 3에 나타내는 바와 같은 타이밍 데이터(13b)에 등록한다. 본 실시예에 있어서, 평가부(14c)는, 이 박자를 취하는 타이밍인 시간 및 박자를 취하는 타이밍이 아닌 시간도, 각 평가 대상 영역에 존재하는 플레이어마다 개별로 등록한다.
이와 같이 하여, 각종 정보가 등록된 타이밍 데이터(13b)는, 예컨대, 플레이어가 박자를 취하는 타이밍이 나타내는 플레이어의 리듬을 평가할 때에 이용된다. 그리고, 평가부(14c)는, 모든 프레임 각각에 대하여, 박자를 취하는 타이밍인 시간과 「취함」을 대응시키거나, 박자를 취하는 타이밍이 아닌 시간과 「취하지 않음」을 대응시켜 타이밍 데이터(13b)에 등록한다.
도 13은, 타이밍 데이터가 나타내는 인물이 박자를 취하는 타이밍을 플롯팅한 그래프의 일례를 나타내는 도면이다. 또, 도 13의 횡축은 시간(초)을 나타내고, 종축은 박자를 취하는지 취하지 않는지를 나타낸다. 도 13의 예에서는, 0.3초 간격으로, 플레이어가 박자를 취하는 타이밍인지 아닌지가 플롯팅된다.
예컨대, 도 13의 예에서는, 연속하는 9개의 프레임마다, 9개의 프레임이 촬상된 타이밍 중에, 플레이어가 박자를 취하는 타이밍이 있는 경우에는, 「취함」의 위치에 동그라미표가 플롯팅된다. 또한, 도 13의 예에 있어서는, 연속하는 9개의 프레임마다, 9개의 프레임이 촬상된 타이밍 중에, 플레이어가 박자를 취하는 타이밍이 없는 경우에는, 동그라미표가 플롯팅되지 않는다. 도 13의 예에서는, 예컨대, 시간 「4.3초」에 대응하여 「취함」의 위치에 동그라미표가 플롯팅되어 있다. 이것은, 시간이 4.0초부터 4.3초까지의 1/30초마다의 시간에 대응하는 9개의 프레임 중에, 플레이어가 박자를 취하는 타이밍이 있는 것을 나타낸다. 또한, 도 13의 예에서는, 예컨대, 시간 「4.6초」에 대응하여 동그라미표가 플롯팅되어 있지 않다. 이것은, 시간이 4.3초부터 4.6초까지의 1/30초마다의 시간에 대응하는 9개의 프레임 중에, 플레이어가 박자를 취하는 타이밍이 없는 것을 나타낸다. 다른 시간에 대해서도 마찬가지이다. 또, 도 13은 타이밍 데이터를 개념적으로 나타낸 일례이고, 적절하게, 도 13 이외의 양태를 취하는 것이 가능하다.
또한, 평가부(14c)는, 복수의 프레임에 기초하여 추출되는, 프레임 중의 각 평가 대상 영역에 포함되는 각 플레이어가 박자를 취하는 동작 또는 박자를 취하는 타이밍이 나타내는 템포와, 기준 템포와의 비교에 따라, 각 플레이어의 동작 템포에 관한 평가를 행한다. 또한, 평가부(14c)는, 재생되는 곡(음악)으로부터 추출되는 템포와, 곡의 재생에 따라 노래를 부르는 각 플레이어를 촬상 대상에 포함하는 프레임으로부터 취득되는 각 플레이어의 리듬을 취하는 타이밍에 기초하여, 각 플레이어의 동작에 관한 평가를 행한다.
평가부(14c)는, 타이밍 데이터(13b)로부터, 플레이어가 박자를 취하는 타이밍의 시간을 취득한다. 그리고, 평가부(14c)는, 소리 정보로부터 기준 템포를 취득한다. 예컨대, 평가부(14c)는, 가라오케 박스에 설치된 도시하지 않은 마이크에 의해 집음된, 재생된 곡에 맞춰 노래를 부르면서 댄스를 행하는 플레이어의 음성이나 재생된 곡 등의 소리 정보에 대하여, 다음의 처리를 행한다. 즉, 평가부(14c)는, 비트 트래킹이나 리듬 인식과 같은 기술을 이용하여 기준 템포를 취득한다. 비트 트래킹이나 리듬 인식으로서, 예컨대, 비특허문헌("전자정보통신학회 『지식의 숲』 2군-9편-2장 2-4 오디오 얼라인먼트, 비트 트래킹, 리듬 인식", [Online], [2013년 12월 17일 검색], 인터넷 <http://www.ieice-hbkb.org/portal/doc_557.html>)에 기재된 기술을 이용할 수 있다. 또한, 평가부(14c)는, 재생된 곡에 대응하는 MIDI 데이터로부터, 기준 템포를 취득할 수도 있다. 그리고, 평가부(14c)는, 취득한 기준 템포를 음악 템포 데이터(13c)로서 기억부(13)에 저장한다.
그리고, 평가부(14c)는, 음악 템포 데이터(13c)가 나타내는 기준 템포에 있어서의 박자의 타이밍과, 타이밍 데이터(13b)로부터 취득한 플레이어가 박자를 취하는 타이밍을 비교한다.
예컨대, 평가부(14c)는, 플레이어가 박자를 취하는 타이밍을 기준으로 하여, 타이밍을 비교한다. 도 14는, 타이밍의 비교 방법의 일례를 나타내는 도면이다. 도 14의 예는, 좌측의 평가 대상 영역(701)에 위치하는 플레이어 A(401)가 박자를 취하는 타이밍이 나타내는 템포와, 기준 템포를 나타낸다. 또, 도 14 중, 상단의 동그라미표는, 플레이어가 박자를 취하는 타이밍을 나타내고, 하단의 동그라미표는, 기준 템포에 있어서의 박자의 타이밍을 나타낸다.
도 14의 예에 있어서, 평가부(14c)는, 플레이어가 박자를 취하는 타이밍의 각각에 대하여, 기준 템포에 있어서의 박자의 타이밍 중 가장 시간적으로 가까운 타이밍과의 차를 산출하고, 차의 크기에 따라 점수를 산출하고, 산출한 점수를 스코어에 가산한다. 예컨대, 평가부(14c)는, 차가 「0」초(제1 임계치)인 경우에는, 「Excellent!」로서 2점을 평가 스코어에 가산한다. 또한, 평가부(14c)는, 차가 「0」초보다 크고, 「0.2」초(제2 임계치) 이하인 경우에는, 「Good!」으로서 1점을 평가 스코어에 가산한다. 또한, 평가부(14c)는, 차가 「0.2」초보다 큰 경우에는, 「Bad!」로서 -1점을 평가 스코어에 가산한다. 본 실시예에서는, 평가부(14c)는, 도 10에 나타내는 영역 B(702)에 있어서도, 동일하게 점수를 산출한다.
평가부(14c)는, 플레이어가 박자를 취하는 모든 타이밍에 대하여, 차를 산출하고, 차에 대응하는 점수를 스코어에 가산한다. 또, 스코어는, 평가 처리를 개시하는 시점에서는, 0점이다. 또한, 제1 임계치 및 제2 임계치는 전술한 값에 한정되지 않고, 제1 임계치 및 제2 임계치로서 임의의 값을 채용할 수 있다.
도 14의 예에서는, 평가부(14c)는, 플레이어가 박자를 취하는 타이밍 (22.2초)와, 기준 템포에 있어서의 박자의 타이밍 (22.3초)와의 차 「0.1초」를 산출하고, 「Good!」으로서 1점을 평가 스코어에 가산한다. 또한, 평가부(14c)는, 플레이어가 박자를 취하는 타이밍 (23.5초)와, 기준 템포에 있어서의 박자의 타이밍 (23.2초)와의 차 「0.3초」를 산출하고, 「Bad!」로서 -1점을 평가 스코어에 가산한다. 또한, 평가부(14c)는, 플레이어가 박자를 취하는 타이밍 (24초)와, 기준 템포에 있어서의 박자의 타이밍 (24초)와의 차 「0초」를 산출하고, 「Excellent!」로서 2점을 평가 스코어에 가산한다.
또, 평가부(14c)는, 기준 템포에 있어서의 박자의 타이밍을 기준으로 하여, 타이밍을 비교해도 좋다. 그 때, 평가에 이용하는 기준 템포가 나타내는 타이밍으로서 또한, 소리 정보로부터 취득된 타이밍간의 사이, 소위 뒷박의 타이밍을 추가해도 좋다. 이에 따라, 뒷박자의 타이밍에서 박자를 취하는 플레이어의 리듬을 적절히 평가할 수 있다. 또한, 소리 정보로부터 취득된 타이밍(센박)과 비교하여, 뒷박자를 취하는 난이도가 높은 것을 고려하여, 플레이어가 박자를 취하는 타이밍이 뒷박자와 일치한 경우에 가산되는 점수를, 센박자와 일치한 경우에 가산되는 점수보다 높게 하는 양태로 해도 좋다.
그리고, 평가부(14c)는, 플레이어가 박자를 취하는 모든 타이밍, 또는, 기준 템포에 있어서의 모든 박자의 타이밍에 대하여, 점수를 스코어에 가산한 경우에는, 스코어를 이용하여 평가를 산출한다. 예컨대, 평가부(14c)는, 스코어를 그대로 평가로 해도 좋고, 하기의 식 (1)에 기초하여, 100점 만점이 되도록 채점 점수를 산출하고, 채점 점수를 평가로 해도 좋다.
Figure 112016112742806-pat00001
상기한 식 (1)에서는, 「기본 점수」는, 예컨대, 50점 등과 같이, 최저한 취득할 수 있는 점수를 나타낸다. 또한, 「박수」는, 플레이어가 박자를 취하는 모든 타이밍, 또는, 기준 템포에 있어서의 모든 박자의 타이밍의 수를 나타낸다. 또한, 「Excellent 점수」는, 「2」를 나타낸다. 따라서, 식 (1)에서는, 분수의 항의 분모가 취득 가능한 최대의 스코어가 되고, 모든 타이밍이 「Excellent!」로 판정되면 100점이 된다. 또한, 식 (1)에서는, 모든 타이밍이 「Bad!」로 판정된 경우라도 50점이 되기 때문에, 댄스를 행하는 플레이어의 모티베이션을 유지할 수 있다.
또한, 평가부(14c)는, 식 (1)을 이용한 경우에는, 플레이어가 박자를 취하는 타이밍과, 기준 템포에 표시되는 타이밍과의 차가 소정의 값보다 작은 타이밍의 수가 많아짐에 따라, 스코어의 값이 높아지도록 스코어를 산출할 수 있다. 이에 따라, 플레이어가 박자를 취하는 타이밍과, 기준 템포에 표시되는 타이밍이 맞는가라는 관점으로부터, 플레이어의 동작 템포를 평가할 수 있다. 또, 상기한 식 (1)은 일례에 불과하며, 평가부(14c)는, 「Excellent!」의 평가의 수에 따라 점수가 증가하는 것과 같은 그 밖의 수식을 이용해도 좋다.
그리고, 평가부(14c)는, 산출한 평가를 평가 데이터(13d)로서 기억부(13)에 저장하고, 출력 제어부(14d)에 송신한다. 또한, 평가부(14c)는, 모든 평가가 종료된 시점, 예컨대 곡이 종료된 시점에서, 각 플레이어의 평가 결과를 집계하여, 후술하는 결과 표시 화면에 출력되는 정보를 생성하고, 출력 제어부(14d)에 출력한다.
도 1의 설명으로 되돌아가, 출력 제어부(14d)는, 각 처리부에 의한 처리 결과를 출력하도록 제어하는 처리부이다. 구체적으로는, 출력 제어부(14d)는, 영역 제어부(14a)에 의해 생성된 각종 화면을 출력하도록 제어한다. 예컨대, 출력 제어부(14d)는, 도 4 내지 도 9에 도시된 바와 같은 화면을 출력하도록 제어한다.
또한, 출력 제어부(14d)는, 평가부(14c)로부터 입력을 받은 평가의 결과인 평가 결과를 출력하도록 제어한다. 예컨대, 출력 제어부(14d)는, 평가 결과가 출력부(12)로부터 출력되도록, 평가 결과를 출력부(12)에 송신한다.
출력되는 평가 결과의 일례에 대하여, 도 15를 이용하여 설명한다. 도 15는, 평가 표시 화면의 일례를 나타내는 도면이다. 도 15에 있어서, 출력 제어부(14d)는, 플레이어 A(401)의 평가 결과(751)를, 플레이어 A(401)의 얼굴 위치와 횡좌표가 일치하도록 출력시키고 있다. 마찬가지로, 출력 제어부(14d)는, 플레이어 B(402)의 평가 결과(752)를, 플레이어 B(402)의 얼굴 위치와 횡좌표가 일치하도록 출력시키고 있다. 각 플레이어의 평가 결과(751 및 752)는, 도 15에 예시된 바와 같이, 플레이어를 식별하는 표시와, 스코어를 나타내는 수치와, 스코어를 나타내는 막대 그래프를 포함한다. 또, 출력 제어부(14d)는, 플레이어가 이동한 경우에, 평가 결과의 표시도 함께 이동시키는 것과 같은 구성이어도 좋다.
또한, 출력 제어부(14d)는, 각 플레이어가 박자를 취하는 타이밍인 기준 템포를 지시하는 표시를 출력하도록 제어한다. 예컨대, 도 15의 도면부호 901에 나타내는 바와 같이, 출력 제어부(14d)는, 각 플레이어의 평가 결과에 더하여, 기준 템포를, 가사와 함께 표시시킨다.
도 15의 도면부호 901에 표시된 바와 같이, 출력 제어부(14d)는, 기준 템포에 상당하는 부분을, 도면부호 903에 표시된 바와 같이 강조하여 표시시킨다. 예컨대, 기준 템포를 나타내는 부분의 문자는, 다른 가사의 문자보다 크게 표시되고, 별도의 색으로 표시되고, 또는 점멸하는 등, 다른 문자와 구별하여 표시된다. 또한, 출력 제어부(14d)는, 현재의 가사에 해당하는 부분을 커서(902)로 표시시킨다. 커서(902)는, 노래의 진행과 함께 가사에 맞춰 이동한다. 이에 따라, 각 플레이어는, 지금 어느 부분을 부르고 있는지, 또한 어느 타이밍에서 박자를 취하면 되는지를 시인(視認)할 수 있다.
도 15에 있어서는, 출력 제어부(14d)가 평가 결과를 각 플레이어의 얼굴 위치와 횡좌표가 일치하도록 출력하는 예에 대하여 설명했지만, 평가 결과를 표시하는 구성은 이것에 한정되지 않는다. 예컨대, 출력 제어부(14d)는, 평가 결과를 각 플레이어의 얼굴 위치와 종좌표가 일치하도록 출력하는 것과 같은 구성이어도 좋다. 도 16은, 평가 표시 화면의 다른 일례를 나타내는 도면이다. 도 16에 있어서, 출력 제어부(14d)는, 플레이어 A(411)의 평가 결과(761)를, 플레이어 A(411)의 얼굴 위치와 종좌표가 일치하도록 출력시키고 있다. 마찬가지로, 출력 제어부(14d)는, 플레이어 B(402)의 평가 결과(762)를, 플레이어 B(402)의 얼굴 위치와 종좌표가 일치하도록 출력시키고 있다. 이러한 구성에 의하면, 예컨대, 어른이 아이와 함께 댄스를 행하는 경우 등, 플레이어간의 신장차가 큰 경우에, 출력 제어부(14d)는, 각 플레이어의 평가 결과를 인식하기 쉬운 형태로 제시할 수 있다. 또, 출력 제어부(14d)는, 각 플레이어의 평가 결과를, 각 플레이어의 얼굴의 주변에 표시시키거나, 각 플레이어의 몸에 중첩시켜 표시시키거나 하는 것과 같은 구성이어도 좋다. 또한, 출력 제어부(14d)는, 각 플레이어의 평가 결과를, 플레이어의 얼굴 위치에 대응하는 위치, 플레이어의 얼굴 위치의 주위, 또는 플레이어의 얼굴 위치와 종좌표 혹은 횡좌표가 대응하는 위치 중 복수의 위치에 표시시키는 것과 같은 구성이어도 좋다.
또한, 출력 제어부(14d)는, 예컨대 곡이 종료된 시점에서, 평가부(14c)로부터 입력된 정보를 이용하여, 결과 표시 화면을 출력하도록 제어한다. 도 17은, 실시예 1에 관련된 결과 표시 화면의 일례를 나타내는 도면이다. 도 17의 도면부호 821 내지 823에 나타내는 바와 같이, 결과 표시 화면은, 각 플레이어의 평가 결과인 점수의 표시를 포함한다. 또한, 결과 표시 화면은, 도면부호 831에 나타내는 바와 같이, 가장 점수가 높았던 플레이어 C(403)가 우승이라는 취지의 표시를 또한 포함한다.
도 1의 설명으로 되돌아가, 제어부(14)는, 예컨대, ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), CPU(Central Processing Unit), MPU(Micro Processing Unit) 등의 회로에 의해 실현되도록 해도 좋다.
[처리의 흐름]
다음으로, 실시예 1에 관련된 평가 장치(10)가 실행하는 처리의 흐름에 대하여 설명한다. 도 18은, 실시예 1에 관련된 처리의 일례를 나타내는 플로우차트이다. 실시예에 관련된 평가 처리는, 예컨대, 입력부(11)로부터, 평가 처리를 실행하기 위한 지시가 제어부(14)에 입력된 경우에, 제어부(14)에 의해 실행된다.
우선, 영역 제어부(14a)는, 촬상되는 화상에 포함되는 플레이어의 인수(人數)를 특정한다(단계 S101). 다음으로, 영역 제어부(14a)는, 특정된 인수에 따라, 평가 대상 영역을 설정하고(단계 S103), 구분선을 촬상되는 화상에 중첩하여 표시시킨다(단계 S105).
다음으로, 영역 제어부(14a)는, 도 8의 도면부호 502에 표시된 바와 같은, 촬상되는 화상에 포함되는 각 플레이어가 각각 평가 대상 영역으로 이동한 것을 나타내는 「OK」의 입력을 받을 때까지 대기한다(단계 S111: No). 영역 제어부(14a)는, 「OK」의 입력을 받은 경우(단계 S111: Yes), 취득부(14b)에 평가 처리의 실행을 지시한다(단계 S121).
도 19는, 실시예 1에 관련된 평가 처리의 일례를 나타내는 플로우차트이다. 도 19에 나타내는 바와 같이, 취득부(14b)는, 기억부(13)에 기억된 동화상 데이터(13a)를 취득한다(단계 S201). 그리고, 취득부(14b)는, 복수의 프레임 각각에 대하여, 배경 차분량을 플레이어의 동작량으로서 취득하고, 배경 차분량과 프레임 번호를 대응시킨다(단계 S202).
그리고, 평가부(14c)는, 연속적으로 촬상한 복수의 프레임의 시간적인 변화량이 일시적으로 저하되는 타이밍을 검출한다(단계 S203). 그리고, 평가부(14c)는, 검출된 타이밍에 기초하여, 프레임에 포함되는 플레이어가 박자를 취하는 동작 또는 박자를 취하는 타이밍을 추출한다(단계 S204).
그리고, 평가부(14c)는, 복수의 프레임 각각이 촬상된 시간 중, 플레이어가 박자를 취하는 타이밍인 시간과, 「취함」을 대응시켜, 도 3에 나타내는 바와 같은 타이밍 데이터(13b)에 등록한다. 또한, 평가부(14c)는, 복수의 프레임 각각이 촬상된 시간 중, 플레이어가 박자를 취하는 타이밍이 아닌 시간과, 「취하지 않음」을 대응시켜, 도 3에 나타내는 바와 같은 타이밍 데이터(13b)에 등록한다(단계 S205). 그리고, 평가부(14c)는, 평가를 행한다(단계 S206). 그리고, 출력 제어부(14d)는, 평가 결과가 출력부(12)로부터 출력되도록, 평가 결과를 출력부(12)에 송신한다(단계 S207).
취득부(14b)는, 모든 평가가 종료될 때까지, 단계 S121의 평가 처리를 반복한다(단계 S131: No). 모든 평가가 종료된 경우(단계 S131: Yes), 평가부(14c)는 출력 제어부(14d)에 평가 결과를 나타내는 정보를 출력하고, 출력 제어부(14d)는 결과 표시 화면을 출력하도록 제어하고(단계 S141), 처리를 종료한다.
이상 설명한 바와 같이, 본 실시예에서는, 평가 장치는, 촬상 영역을 복수의 평가 대상 영역으로 분할하고, 평가 대상 영역마다 1명의 플레이어의 동작을 평가한다. 이에 따라, 평가 장치는, 하나의 평가 대상 영역에서는 복수의 플레이어의 동작을 평가하지 않기 때문에, 특정 플레이어의 동작에 평가가 좌우되지 않고, 각 사람의 동작을 적절히 평가할 수 있다.
또한, 평가 장치가, 동일한 영역 내에 있어서의 복수의 플레이어의 동작을 검출하기 위해, 각 플레이어를 특정하는 인식 처리를 행하면, 평가 장치의 처리 부하가 높아지는 경우가 있다. 이 때문에, 평가 장치의 촬상 정밀도가 낮은 경우나 평가 장치의 처리 능력이 낮은 경우, 충분한 평가를 할 수 없는 경우가 있다. 본 실시예에서는, 평가 장치가, 분할된 각 평가 대상 영역 내에 있어서의 단독의 플레이어의 동작을 검출함으로써, 처리량이 많은(처리 부하가 높은) 인식 처리를 행하지 않고, 간이하게 복수의 사람의 댄스를 평가할 수 있다.
또한, 본 실시예에 있어서의 평가 장치는, 각 평가 대상 영역을 구분하는 것을 나타내는 표시를, 촬상 화상에 중첩시켜 표시시키기 때문에, 각 사람에게 댄스 평가의 대상이 되는 영역을 인식시킬 수 있다.
또한, 상기 실시예 1에서는, 평가 장치가, 플레이어가 박자를 취하는 타이밍과 기준 템포에 표시되는 타이밍이 일치하는지 여부를 평가하는 구성에 대하여 설명했지만, 평가 장치는, 이것에 한정되지 않는다. 예컨대, 평가 장치는, 시간을 복수의 구간으로 구획하여, 구간마다, 플레이어가 박자를 취하는 타이밍의 수와 기준 템포에 표시되는 타이밍의 수가 일치하는지 여부를 평가하도록 해도 좋다.
또, 상기 실시예 1에서는, 평가 장치가, 플레이어가 박자를 취하는 타이밍과 기준 템포에 표시되는 타이밍이 일치하는지 여부를 평가하는 구성에 대하여 설명했지만, 평가 장치는, 이것에 한정되지 않는다. 예컨대, 평가 장치는, 시간을 복수의 구간으로 구획하여, 구간마다, 플레이어가 박자를 취하는 타이밍의 수와 기준 템포에 표시되는 타이밍의 수가 일치하는지 여부를 평가하도록 해도 좋다. 또한, 예컨대, 평가 장치는, 플레이어의 움직임의 양과, 기준 템포가 나타내는, 예컨대, 「격렬함」이나 「천천히」 등으로 표현되는 곡조가 맞는지 여부를 평가하도록 해도 좋다.
실시예 2
전술한 실시예에 있어서, 평가 장치는, 플레이어의 댄스의 평가를 표시할 때에, 평가에 따른 영상 효과를 출력함으로써, 플레이어에게 평가를 알기 쉽게 인식시킬 수 있고, 또한 엔터테인먼트성이 높은 서비스를 제공할 수 있다. 그래서, 평가 장치가, 플레이어의 댄스의 평가에 따른 영상 효과를 출력하는 구성에 대하여, 실시예 2로서 이하에 설명한다.
본 실시예에 있어서, 평가 장치(10)의 출력 제어부(14d)는, 예컨대, 각 플레이어의 평가 결과에 따라, 각 플레이어의 주변에 평가 결과를 나타내는 영상 효과를 출력시킨다. 도 20은, 실시예 2에 관련된 영상 효과의 일례를 나타내는 도면이다. 도 20에 나타내는 바와 같이, 출력 제어부(14d)는, 각 플레이어의 평가 단계에 따른 영상 효과를 출력한다.
출력 제어부(14d)는, 예컨대, 플레이어 A(401)가 박자를 취하는 타이밍과, 기준 템포에 있어서의 박자의 타이밍과의 차가 「0초」였던 경우, 「Excellent!」의 메시지(811)를 출력한다. 또한, 출력 제어부(14d)는, 「Excellent!」의 평가 결과에 따라, 플레이어 A(401)의 주위에, 큰 별의 영상 효과(801)를 출력시킨다.
또한, 출력 제어부(14d)는, 예컨대, 플레이어 B(402)가 박자를 취하는 타이밍과, 기준 템포에 있어서의 박자의 타이밍과의 차가 「0.1초」였던 경우, 「Good!」의 메시지(812)를 출력한다. 또한, 출력 제어부(14d)는, 플레이어 B(402)의 주위에 작은 별의 영상 효과(802)를 출력시킨다. 마찬가지로, 출력 제어부(14d)는, 예컨대, 플레이어 C(403)가 박자를 취하는 타이밍과, 기준 템포에 있어서의 박자의 타이밍과의 차가 「0.3초」였던 경우, 「Bad!」의 메시지(813)를 출력시킨다. 이 경우, 출력 제어부(14d)는, 플레이어 C(403)의 주위에 영상 효과를 출력시키지 않는다.
이와 같이, 출력 제어부(14d)는, 예컨대, 별의 수나 크기에 의해 평가 결과를 시각적으로 나타낸다. 이에 따라, 각 플레이어는 한눈에 평가 결과를 시인할 수 있다. 또, 도 20에 나타내는 예에 있어서, 출력 제어부(14d)는, 예컨대, 메시지(811 내지 813), 및 영상 효과(801 및 802)가 단시간에 소멸하고, 다음의 박자를 취하는 타이밍에 새로운 영상 효과가 표시되도록 제어한다. 또, 출력 제어부(14d)가, 영상 효과에 있어서 표시시키는 도형은 별 모양에 한정되지 않고, 또한, 출력 제어부(14d)가 도형을 표시시키는 대신에, 플레이어 주변의 화상을 물결 무늬와 같이 변화시키는 것과 같은 구성이어도 좋다. 또한, 도 20에 있어서는, 출력 제어부(14d)가, 영상 효과를 플레이어의 주변에 표시하는 예를 나타냈지만, 이것에 한정되지 않고, 플레이어의 평가 결과의 주변에 표시시키거나, 또는 화면 중의 랜덤한 장소에 표시시키거나 하는 것과 같은 구성이어도 좋다.
또한, 출력 제어부(14d)는, 평가 결과에 따라 새로운 화상을 출력시키는 대신에, 이미 표시되어 있는 화상을, 평가 결과에 따라 다른 화상으로 바꾸도록 제어하는 것과 같은 구성이어도 좋다. 예컨대, 출력 제어부(14d)는, 템포에 맞춰 별 모양의 화상이 흘러 나오도록 제어하고, 소정의 박자의 타이밍에서 「Excellent!」의 평가 결과가 얻어지면, 별 모양의 화상을 음표의 화상으로 바꾸도록 제어하는 것과 같은 구성이어도 좋다.
또, 출력 제어부(14d)는, 기준 템포에 있어서의 1개의 박자의 타이밍의 평가 결과뿐만 아니라, 복수의 박자의 타이밍의 평가 결과에 기초하여, 영상 효과의 출력을 제어하는 것과 같은 구성이어도 좋다. 예컨대, 출력 제어부(14d)는, 4개의 박자의 타이밍의 평가 결과의 각각에, 특정한 도형의 부분을 대응시켜도 좋다. 출력 제어부(14d)는, 예컨대, 1개의 박자의 타이밍에 있어서 「Excellent!」의 판정이 얻어질 때마다, 이 박자의 타이밍에 대응시켜진 도형의 부분을 표시시킨다. 이러한 구성에 의하면, 출력 제어부(14d)는, 모든 박자의 타이밍에 있어서 「Excellent!」의 판정이 얻어진 경우에, 특정 도형이 완성되도록 출력을 제어한다.
도 21은, 실시예 2에 관련된 도형의 각 부분을 표시시키는 영상 효과의 일례를 나타내는 도면이다. 도 21에 있어서는, 예컨대, 4분의 4박자 곡에 있어서, 4개의 박자의 타이밍의 하나하나에, 하트형의 도형의 일부분이 대응하고 있는 예를 나타낸다. 출력 제어부(14d)는, 플레이어가 1번째의 박자의 타이밍에서 「Excellent!」의 평가 결과를 얻은 경우에, 1번째의 부분을 표시시킨다. 마찬가지로, 출력 제어부(14d)는, 2번째의 박자의 타이밍, 3번째의 박자의 타이밍, 4번째의 박자의 타이밍의 각각에 있어서, 플레이어가 「Excellent!」의 평가 결과를 얻은 경우에, 각 박자의 타이밍에 대응하는 부분을 표시시킨다. 이러한 구성에 의하면, 한 세트의 복수의 박자의 타이밍에 있어서 전부 박자를 취하지 않으면 도형이 완성되지 않기 때문에, 댄스의 평가가 시각적으로 인식하기 쉬워지고, 보다 게임성이 높은 서비스가 제공된다.
또, 출력 제어부(14d)가 리듬의 취득 결과에 따라 도형의 일부분을 출력하는 구성에 있어서, 각 부분을 복수의 플레이어에게 할당하는 것과 같은 구성이어도 좋다. 예컨대, 영역 제어부(14a)는, 3개의 박자로 완성되는 도형을 출력하는 구성에 있어서, 도형의 1번째 부분을 플레이어 A(401)가 1번째 리듬을 취득할 수 있었던 경우에 표시하도록 제어한다. 마찬가지로, 영역 제어부(14a)는, 도형의 2번째 부분을 플레이어 B(402)가 2번째 리듬을 취득할 수 있었던 경우에 표시시키고, 도형의 3번째 부분을 플레이어 C(403)가 3번째 리듬을 취득할 수 있었던 경우에 표시하도록 제어한다. 이러한 구성에 의하면, 복수의 플레이어가 서로 경쟁할 뿐만 아니라, 협력하여 하나의 도형을 완성시킨다는 별도의 게임 목적도 제시할 수 있다.
출력 제어부(14d)가, 표시된 도형을, 예컨대 4개의 템포가 종료된 타이밍에서 서서히 소멸시켜 가고, 옆에 다음 도형의 일부를 표시시키도록 제어하는 것과 같은 구성이어도 좋다. 도 22는, 실시예 2에 관련된 도형의 각 부분을 표시시키는 영상 효과의 다른 일례를 나타내는 도면이다. 도 22에 나타내는 예에 있어서는, 1번째 박자에서는 4템포 중 3템포에서 리듬을 취할 수 있었고, 2번째 박자에서는 4개의 템포 전부에서 리듬을 취할 수 있었고, 3번째 박자에서는 1번째 템포에서 리듬을 취할 수 있었던 단계에서 출력되는 영상 효과의 일례를 나타낸다. 도 22에 나타내는 바와 같이, 출력 제어부(14d)는, 종료한 박자에 대해서는, 시간의 경과와 함께 서서히 색이 희미해져 소멸해 가도록 출력을 제어한다. 또, 출력 제어부(14d)가, 종료한 박자에 대응하는 도형이 서서히 소멸해 가는 대신에, 서서히 스크롤하여 화면 밖으로 이동하도록 출력을 제어하는 것과 같은 구성이어도 좋다.
또, 도 21 및 도 22에 나타내는 예에 있어서는, 출력 제어부(14d)가, 각 평가 시점의 평가 결과에 대응시켜, 하트형의 도형의 각 부분을 출력하는 구성을 나타냈지만, 이것에 한정되지 않는다. 예컨대, 출력 제어부(14d)는, 인간의 얼굴의 눈, 코, 입 등의 부분을 출력하는 것과 같은 구성이나, 동물의 손, 발, 꼬리 등을 출력하는 것과 같은 구성이어도 좋다. 또한, 도 21 및 도 22에 있어서는, 평가의 대상이 되는 박자가 4박자인 경우의 예를 나타냈지만, 이것에 한정되지 않고, 예컨대 3박자나 6박자로 하나의 도형이 완성되는 것과 같은 구성이어도 좋다. 또한, 예컨대, 도형의 일부 대신에, 1개의 박에 대하여 「Excellent!」의 평가 결과가 얻어질 때마다 1개 문자가 표시되고, 대상이 되는 모든 박에서 평가 결과가 얻어지면 키워드가 완성되는 것과 같은 구성이어도 좋다.
또한, 출력 제어부(14d)는, 화면 상에 캐릭터를 표시시키고, 캐릭터의 움직임에 의해 각 플레이어의 평가 결과를 시각적으로 표시시키는 것과 같은 구성이어도 좋다. 도 23은, 실시예 2에 관련된 캐릭터를 표시시키는 영상 효과의 일례를 나타내는 도면이다. 도 23에 있어서의 캐릭터(461)는, 플레이어 A(401)의 움직임에 맞춰 댄스를 행한다. 예컨대, 플레이어 A(401)가 리듬을 다수 취할 수 있었던 경우에는 캐릭터(461)는 움직임이 활발해지고, 반대로 플레이어 A(401)가 리듬을 거의 취하지 못한 경우에는, 캐릭터(461)는 전도되거나, 움직임이 멈추거나 한다. 마찬가지로, 도 23에 있어서의 캐릭터(462)도, 플레이어 B(402)의 움직임에 맞춰 댄스를 행한다.
이와 같이 플레이어의 평가에 맞춰 캐릭터가 움직임으로써, 플레이어는 자신의 댄스의 평가를 시각적으로 인식하기 쉬워진다.
또, 출력 제어부(14d)가 평가에 따라 출력을 제어하는 효과는 영상 효과에 한정되지 않는다. 예컨대, 출력 제어부(14d)가, 음악에 맞춰, 기준 템포에 있어서 소리를 출력하고, 플레이어의 댄스가 기준 템포와 일치한 경우에는 별도의 소리를 출력하도록 제어하여, 플레이어에게 평가를 통지하는 것과 같은 구성이어도 좋다. 또한, 플레이어의 댄스가 기준 템포와 일치한 경우에, 출력 제어부(14d)는, 예컨대 플레이어가 장착하는 리스트 밴드(451 내지 453)를 진동시키도록 제어하는 등, 촉감에 의한 효과를 이용하여, 플레이어에게 평가를 통지하는 것과 같은 구성이어도 좋다. 또한, 출력 제어부(14d)는, 평가 결과를 나타내는 정보, 영상 효과, 소리의 출력에 의한 효과 및 촉감에 의한 효과를 조합하여 출력시킴으로써, 플레이어에게 평가를 통지하는 것과 같은 구성이어도 좋다. 이에 따라, 댄스 중의 플레이어가 화면을 시인할 수 없는 경우에 있어서도, 평가를 플레이어에게 인식시킬 수 있다.
이상 설명한 바와 같이, 평가 장치는, 플레이어의 평가 결과에 따른 영상 효과, 음향 효과, 촉감 효과 또는 이들의 조합 등을 출력함으로써, 플레이어가 평가 결과를 인식하기 쉬우며, 또한 게임성이 높은 서비스를 제공할 수 있다.
실시예 3
전술한 각 실시예에 있어서, 플레이어가 구분선을 넘어서 다른 플레이어의 평가 대상 영역에 진입하거나, 플레이어들이 서로 지나치게 근접하거나 하면, 각 플레이어의 동작을 적절하게 평가할 수 없게 되는 경우가 있다. 이 때문에, 평가 장치가, 플레이어가 이동하여 구분선을 넘거나, 다른 플레이어에게 지나치게 근접하거나 한 경우에, 플레이어에 대하여 원래의 위치로 되돌아가도록 통지하는 것과 같은 구성을 생각할 수 있다.
본 실시예에 있어서, 평가 장치(10)의 영역 제어부(14a)는, 각 플레이어가 각 평가 대상 영역을 구분하는 표시를 넘어서 이동했는지 아닌지를 검출한다. 영역 제어부(14a)는, 어느 플레이어가 구분 표시를 넘어서 이동한 것을 검출한 경우, 화면 상에, 평가 대상 영역을 넘은 것을 통지하는 표시를 출력시키도록 출력 제어부(14d)에 지시를 출력한다. 도 24는, 실시예 3에 관련된 구분선을 넘은 인물에 대한 통지의 일례를 나타내는 도면이다. 도 24에 나타내는 예에 있어서는, 플레이어 B(402)가, 구분선(601)을 넘어서, 플레이어 A(401)의 평가 대상 영역 내로 이동해 있다. 영역 제어부(14a)가, 이러한 플레이어 B(402)의 이동을 검출하면, 출력 제어부(14d)는, 메시지 영역(501)에 나타내는 바와 같이, 자신의 평가 대상 영역으로 되돌아가도록 재촉하는 메시지를 출력하도록 제어한다.
도 24에 있어서는, 플레이어가 구분선을 넘어서 이동한 것을 검출하는 구성에 대하여 설명했지만, 실시형태는 이것에 한정되지 않는다. 예컨대, 영역 제어부(14a)는 얼굴 인식 기술 또는 물체 인식 기술을 이용하여 플레이어의 인수를 특정하는 경우, 얼굴 인식 결과 또는 물체 인식 결과에 기초하여, 플레이어들이 서로 지나치게 접근해 있는 것을 검출하는 것과 같은 구성이어도 좋다.
플레이어들 사이의 접근을 검출하는 구성에 대하여, 도 25를 이용하여 설명한다. 도 25는, 실시예 3에 관련된 플레이어들이 서로 지나치게 접근한 경우의 통지의 일례를 나타내는 도면이다. 도 25에 나타내는 예에 있어서, 영역 제어부(14a)는, 플레이어를 인식하는 얼굴 인식 영역이 서로 중복되는 경우에, 출력 제어부(14d)에 대하여, 도 25의 메시지 영역(501)에 나타내는 바와 같은 메시지를 출력시키도록 지시를 출력한다. 또, 얼굴 인식 영역(431 및 432)에는, 플레이어 A(401) 및 플레이어 B(402)의 접근 정도를 검출함에 있어, 얼굴 인식 영역(421 및 422)보다 큰 영역이 설정되어 있다. 또한, 출력 제어부(14d)가, 플레이어가 지나치게 가까워진 경우에 통지를 하는 것과 같은 구성에 있어서는, 도 25에 나타내는 바와 같이, 출력 제어부(14d)가 평가 대상 영역의 구분선을 표시시키지 않는 것과 같은 구성이어도 좋다.
또, 영역 제어부(14a)가, 화면의 색을 바꾸고, 점멸시키는 등, 플레이어가 통지를 보다 인식하기 쉬운 형태의 영상 효과를 출력 제어부(14d)에 출력시키는 것과 같은 구성이어도 좋다. 또한, 영역 제어부(14a)는, 플레이어가 구분선을 넘어서 이동한 경우에, 이 플레이어의 평가를 감점하도록 평가부(14c)에 지시를 출력하는 것과 같은 구성이어도 좋다.
본 실시예에 의하면, 하나의 평가 대상 영역 내에 복수의 플레이어가 진입하거나, 또는 플레이어들이 서로 지나치게 접근함으로써, 각 플레이어의 댄스의 평가가 적절히 행해지지 않게 되는 것을 막을 수 있다.
실시예 4
전술한 각 실시예에 있어서, 평가 장치는, 각 플레이어의 동작을 개별로 평가할 뿐만 아니라, 복수의 플레이어가 동일한 타이밍에서 박자를 취했는지 아닌지, 즉 복수의 플레이어의 동작이 싱크로되어 있는지 아닌지를 평가하는 것과 같은 구성이어도 좋다. 예컨대, 평가 장치는, 모든 플레이어의 동작이 싱크로되어 있는 경우에 높은 평가를 부여하는 것과 같은 구성도 생각할 수 있다. 본 실시예에서는, 각 플레이어의 동작이 어느 정도 싱크로되어 있는지를 특정하는 싱크로 판정 처리에 대하여 설명한다. 본 실시예에서는, 각 플레이어의 동작이 어느 정도 싱크로되어 있는지를 「싱크로율」이라고 표기하는 경우가 있다.
본 실시예에 있어서, 평가부(14c)는, 각 플레이어의 댄스의 평가를 개별로 행하는 것에 더하여, 각 플레이어가 동일한 타이밍에서 박자를 취했는지 아닌지를 판정한다. 도 26은, 실시예 4에 관련된 싱크로 판정 처리의 일례를 나타내는 도면이다. 도 26에 있어서는, 각 플레이어의 평가 결과는, 도면부호 950에 표시된 바와 같이, 화면의 상부에, 가사(951)와 함께 표시된다. 도 26에 있어서, 커서(952)는 현재 부르고 있는 개소를 나타내고, 포인트(953)는 각 플레이어가 박자를 취하는 기준 템포를 나타낸다.
도 26의 도면부호 954에 나타내는 포인트에 있어서는, 어느 플레이어나 「Excellent!」의 평가 결과를 얻고 있다. 이 경우, 평가부(14c)는, 각 플레이어의 댄스가 싱크로된 것으로 평가하고, 싱크로율을 갱신한다. 또한, 평가부(14c)는, 예컨대 도 26의 도면부호 961에 나타내는 바와 같은 싱크로율의 표시를 출력시킨다. 싱크로율의 표시는, 도 26의 도면부호 961에 나타내는 바와 같이, 예컨대 「싱크로율」이라는 표기와, 「50％」라는 싱크로율을 나타내는 수치를 대응시킨 정보를 포함한다. 한편, 도 26의 도면부호 955에 나타내는 포인트에 있어서는, 각 플레이어가 박자를 취하는 타이밍이 일치하지 않기 때문에, 평가부(14c)는 싱크로율을 갱신하지 않는다.
본 실시예에 의하면, 각 플레이어의 경쟁에 더하여, 각 플레이어가 협력하는 요소도 가해지기 때문에, 게임성을 높임과 동시에, 통일감이 있는 댄스를 촉구할 수 있다. 또, 복수의 사람으로부터 동일한 타이밍에서 템포를 취득한 경우에 있어서도, 이 타이밍이 정답의 타이밍과는 상이한 경우, 예컨대 「Excellent!」의 평가 결과를 얻지 못한 경우에는 스코어를 가산하지 않는 것과 같은 구성이어도 좋다.
실시예 5
그런데, 지금까지는, 개시하는 장치에 관한 실시예에 대하여 설명했지만, 본 발명은 전술한 실시예 이외에도, 여러가지 상이한 형태로 실시되어도 좋은 것이다.
예컨대, 전술한 바와 같이, 평가 장치(10)(이하, 간단히 평가 장치라고 표기하는 경우가 있음)는, 가라오케 박스 내에 설치된 가라오케 장치와 연동하여, 플레이어의 리듬을 추출할 수도 있다. 예컨대, 평가 장치(10)는, 가라오케 장치와 연동하여, 리얼 타임으로 플레이어의 리듬을 추출할 수 있다. 여기서 리얼 타임이란, 예컨대, 입력된 프레임에 대하여 축차 처리를 행하고, 순차로 처리 결과를 출력하는 양태를 포함한다. 도 27은, 평가 장치와 가라오케 장치가 연동한 경우의 시스템의 일례를 나타내는 도면이다. 도 27의 예에 나타내는 시스템(40)은, 가라오케 장치(41)와, 마이크(42)와, 카메라(43)와, 모니터(44)와, 평가 장치(10)를 갖는다. 가라오케 장치(41)는, 가라오케를 행하는 플레이어 A(401) 및 플레이어 B(402)에 대하여, 플레이어 A(401) 또는 플레이어 B(402)에 의해 지정된 곡을 재생하여 도시하지 않은 스피커로부터 출력한다. 이에 따라, 플레이어 A(401) 및 플레이어 B(402)는, 마이크(42)를 이용하여 재생된 곡을 부를 수 있고, 곡에 맞춰 댄스를 행할 수 있다. 또한, 가라오케 장치(41)는, 곡의 재생을 개시하는 타이밍에서, 평가 장치에, 곡의 재생을 개시하는 타이밍인 것을 나타내는 메시지를 통지한다. 또한, 가라오케 장치(41)는, 곡의 재생을 종료하는 타이밍에서, 평가 장치에, 곡의 재생을 종료하는 타이밍인 것을 나타내는 메시지를 통지한다.
평가 장치는, 곡의 재생을 개시하는 타이밍인 것을 나타내는 메시지를 수신하면, 카메라(43)에 대하여, 촬상을 개시하는 지시를 송신한다. 카메라(43)는, 촬상을 개시하는 지시를 수신하면, 촬상 범위 내에 존재하는 플레이어 A(401) 및 플레이어 B(402)의 촬상을 개시하고, 촬상에 의해 얻어진 동화상 데이터(13a)의 프레임을 차례차례로 평가 장치에 송신한다.
또한, 마이크(42)에 의해 집음된, 재생된 곡에 맞춰 노래를 부르면서 댄스를 행하는 플레이어의 음성이나 재생된 곡 등의 소리 정보는, 가라오케 장치(41)를 통해, 차례차례로 평가 장치에 송신된다. 또, 이러한 소리 정보는, 동화상 데이터(13a)의 프레임과 병행하여 출력된다.
평가 장치는, 카메라(43)로부터 송신된 프레임을 수신하면, 수신한 프레임에 대하여 전술한 각종 처리를 실시하여, 플레이어 A(401) 및 플레이어 B(402)의 각각이 박자를 취하는 타이밍을 추출하고, 타이밍 데이터(13b)에 각종 정보를 등록한다. 그리고, 평가 장치는, 가라오케 장치(41)로부터 소리 정보를 수신하면, 수신한 소리 정보로부터 기준 템포를 취득한다. 그리고, 평가 장치는, 전술한 평가를 행하고, 평가 결과를 가라오케 장치(41)에 송신한다.
가라오케 장치(41)는, 평가 결과를 수신하면, 수신한 평가 결과를 모니터(44)에 표시시킨다. 이에 따라, 플레이어 A(401) 및 플레이어 B(402)는, 평가 결과를 파악할 수 있다. 또, 평가 장치(10)는, 리얼 타임으로 평가 결과를 모니터(44)에 표시시킬 수 있다. 따라서, 시스템(40)에 의하면, 신속히 평가 결과를 출력할 수 있다.
그리고, 평가 장치는, 가라오케 장치(41)로부터 곡의 재생을 종료하는 타이밍인 것을 나타내는 메시지가 통지되면, 카메라(43)에 대하여, 촬상을 정지하는 지시를 송신한다. 카메라(43)는, 촬상을 정지하는 지시를 수신하면, 촬상을 정지한다.
전술한 바와 같이, 시스템(40)에 있어서, 평가 장치는, 가라오케 박스 내에 설치된 가라오케 장치(41)와 연동하여, 평가 결과를 출력할 수 있다.
또한, 가라오케 박스 밖에 설치된 서버는, 평가 장치가 갖는 각종 기능과 동일한 기능을 구비하고, 이 서버는, 평가 결과를 출력할 수도 있다. 도 28은, 서버를 갖는 시스템의 일례를 나타내는 도면이다. 도 28의 예에 나타내는 시스템(50)은, 가라오케 장치(51)와, 마이크(52)와, 카메라(53)와, 서버(54)와, 휴대 단말(55 및 56)을 갖는다. 가라오케 장치(51)는, 가라오케를 행하는 플레이어 A(401) 및 플레이어 B(402)에 대하여, 플레이어 A(401) 또는 플레이어 B(402)에 의해 지정된 곡을 재생하여 도시하지 않은 스피커로부터 출력한다. 이에 따라, 플레이어 A(401) 및 플레이어 B(402)는, 마이크(52)를 이용하여 재생된 곡을 부를 수 있고, 곡에 맞춰 댄스를 행할 수 있다. 또한, 가라오케 장치(51)는, 곡의 재생을 개시하는 타이밍에서, 카메라(53)에 대하여, 촬상을 개시하는 지시를 송신한다. 또한, 가라오케 장치(51)는, 곡의 재생을 종료하는 타이밍에서, 카메라(53)에 대하여, 촬상을 정지하는 지시를 송신한다.
카메라(53)는, 촬상을 개시하는 지시를 수신하면, 촬상 범위 내에 존재하는 플레이어 A(401) 및 플레이어 B(402)의 촬상을 개시하고, 촬상에 의해 얻어진 동화상 데이터(13a)의 프레임을 차례차례로 가라오케 장치(51)에 송신한다. 가라오케 장치(51)는, 카메라(53)로부터 송신된 프레임을 수신하면, 수신한 프레임을 차례차례로 네트워크(80)를 통해 서버(54)에 송신한다. 또한, 가라오케 장치(51)는, 마이크(52)에 의해 집음된, 재생된 곡에 맞춰 노래를 부르면서 댄스를 행하는 플레이어의 음성이나 재생된 곡 등의 소리 정보를 차례차례로 네트워크(80)를 통해 서버(54)에 송신한다. 또, 이러한 소리 정보는, 동화상 데이터(13a)의 프레임과 병행하여 출력된다.
서버(54)는, 가라오케 장치(51)로부터 송신된 프레임에 대하여, 전술한 평가 장치에 의한 각종 처리와 동일한 처리를 실시하여, 플레이어 A(401) 및 플레이어 B(402)가 박자를 취하는 타이밍을 추출하고, 타이밍 데이터(13b)에 각종 정보를 등록한다. 그리고, 평가 장치는, 가라오케 장치(41)로부터 소리 정보를 수신하면, 수신한 소리 정보로부터 기준 템포를 취득한다. 그리고, 평가 장치는, 전술한 평가를 행하고, 평가 결과를, 네트워크(80) 및 기지국(81)을 통해, 플레이어 A(401)가 보유하는 휴대 단말(55) 및 플레이어 B(402)가 보유하는 휴대 단말(56)에 송신한다.
휴대 단말(55 및 56)은, 평가 결과를 수신하면, 수신한 평가 결과를 휴대 단말(55 및 56)의 디스플레이에 표시시킨다. 이에 따라, 플레이어 A(401) 및 플레이어 B(402)는, 플레이어 A(401)가 보유하는 휴대 단말(55) 및 플레이어 B(402)가 보유하는 휴대 단말(56)로부터 평가 결과를 파악할 수 있다.
또한, 각종 부하나 사용 상황 등에 따라, 실시예에서 설명한 각 처리의 각 단계에서의 처리를 임의로 미세하게 나누거나, 혹은 통합하거나 할 수 있다. 또한, 단계를 생략할 수도 있다.
또한, 각종 부하나 사용 상황 등에 따라, 실시예에서 설명한 각 처리의 각 단계에서의 처리의 순서를 변경할 수 있다.
또한, 도시한 각 장치의 각 구성 요소는 기능 개념적인 것이고, 반드시 물리적으로 도시와 같이 구성되어 있을 것을 요하지 않는다. 즉, 각 장치의 분산·통합의 구체적 상태는 도시한 것에 한정되지 않고, 그 전부 또는 일부를, 각종 부하나 사용 상황 등에 따라, 임의의 단위로 기능적 또는 물리적으로 분산·통합하여 구성할 수 있다. 예컨대, 실시예에 기재한 카메라(43)를 가라오케 장치(41)와 접속하고, 가라오케 장치(41)를 통해 평가 장치와 통신 가능하게 하는 것으로 해도 좋다. 또한 예컨대, 실시예에 기재한 가라오케 장치(41)와 평가 장치의 기능이, 단일의 컴퓨터에 의해 실현되는 것으로 해도 좋다.
또, 복수 영역의 구분 및 영역을 구분하는 표시는 고정되는 양태여도 좋고, 변동(이동)하는 양태여도 좋다. 예컨대, 플레이어의 평가에 따라, 점수가 높은 플레이어의 영역이 넓어지도록 구분 표시가 이동하는 것과 같은 구성이어도 좋다. 이에 따라, 보다 게임성이 높은 서비스를 제공할 수 있다.
또한, 실시예 3에 있어서는, 플레이어가 다른 평가 대상 영역에 진입한 경우에 통지를 하는 구성을 설명했지만, 예컨대, 영역 제어부(14a)가, 반대로 플레이어에 대하여 다른 평가 대상 영역으로 이동하도록 지시를 하는 것과 같은 구성이어도 좋다. 영역 제어부(14a)가, 지정된 시간 내에 플레이어가 다른 평가 대상 영역으로 이동한 경우에 스코어를 가산하는 것과 같은 구성으로 하면, 보다 게임성이 높고, 또한 움직임이 있는 댄스에 대응할 수 있다. 또, 영역을 이동 중인 플레이어의 동작을 검출하는 경우, 처리 부하가 높아지거나, 오인식이 생기거나 하는 경우가 있기 때문에, 지정된 시간 내에는 동작을 검출하지 않고, 지정된 시간이 종료된 시점에서의 각 플레이어의 위치를 검출하는 것과 같은 구성이어도 좋다.
[평가 프로그램]
또한, 상기한 각 실시예에서 설명한 평가 장치(10)의 각종 처리는, 미리 준비된 프로그램을 퍼스널 컴퓨터나 워크 스테이션 등의 컴퓨터 시스템으로 실행함으로써 실현할 수도 있다. 그래서, 이하에서는, 도 29를 이용하여, 상기한 실시예 1∼4 중 어느 실시예에서 설명한 평가 장치와 동일한 기능을 갖는 평가 프로그램을 실행하는 컴퓨터의 일례를 설명한다. 도 29는, 평가 프로그램을 실행하는 컴퓨터를 나타내는 도면이다.
도 29에 나타내는 바와 같이, 컴퓨터(300)는, CPU(310)와, ROM(Read Only Memory)(320)과, HDD(Hard Disk Drive)(330)와, RAM(Random Access Memory)(340)과, 입력 장치(350)와, 출력 장치(360)를 갖는다. 이들 각 기기(310∼360)는, 버스(370)를 통해 접속되어 있다.
ROM(320)에는, OS(Operating System) 등의 기본 프로그램이 기억되어 있다. 또한, HDD(330)에는, 상기한 실시예에서 나타내는 영역 제어부(14a), 취득부(14b), 평가부(14c), 출력 제어부(14d)와 동일한 기능을 발휘하는 평가 프로그램(330a)이 미리 기억된다. 또한, HDD(330)에는, 동화상 데이터(13a)와 타이밍 데이터(13b)와 음악 템포 데이터(13c)와 평가 데이터(13d)가 미리 기억된다.
CPU(310)는, 평가 프로그램(330a)을 HDD(330)로부터 읽어내어 실행한다. CPU(310)는, HDD(330)로부터 동화상 데이터(13a)와 타이밍 데이터(13b)와 음악 템포 데이터(13c)와 평가 데이터(13d)를 읽어내어 RAM(340)에 저장한다. 또한, CPU(310)는, RAM(340)에 저장된 각종 데이터를 이용하여, 평가 프로그램(330a)을 실행한다. 또, RAM(340)에 저장되는 데이터는, 항상 모든 데이터가 RAM(340)에 저장되지 않아도 좋다. 처리에 이용되는 데이터가 RAM(340)에 저장되면 된다.
또, 상기한 평가 프로그램(330a)에 대해서는, 반드시 처음부터 HDD(330)에 기억시켜 둘 필요는 없다. 예컨대, 컴퓨터(300)에 삽입되는 플렉시블 디스크(FD), CD-ROM, DVD 디스크, 광자기 디스크, IC 카드 등의 「가반용 물리 매체」에 평가 프로그램(330a)을 기억시켜 둔다. 그리고, 컴퓨터(300)가 이들로부터 평가 프로그램(330a)을 읽어내어 실행하도록 해도 좋다.
나아가서는, 공중 회선, 인터넷, LAN, WAN 등을 통해 컴퓨터(300)에 접속되는 「다른 컴퓨터(또는 서버)」 등에 평가 프로그램(330a)을 기억시켜 둔다. 그리고, 컴퓨터(300)가 이들로부터 평가 프로그램(330a)을 읽어내어 실행하도록 해도 좋다.
10: 평가 장치, 13: 기억부, 13a: 동화상 데이터, 13b: 타이밍 데이터, 13c: 음악 템포 데이터, 13d: 평가 데이터, 14: 제어부, 14a: 영역 제어부, 14b: 취득부, 14c: 평가부, 14d: 출력 제어부, 300: 컴퓨터, 330a: 평가 프로그램

Claims (12)

  1. 컴퓨터에,
    촬상 장치에 의해 촬상된 촬상 화상에서 복수 영역을 설정하고, 상기 촬상 화상에서의 상기 복수 영역의 각각의 화상에 기초하여 상기 복수의 영역마다 상이한 사람의 동작을 해석하고,
    상기 복수 영역 사이를 구분하는 표시를 상기 촬상 화상에 중첩시켜 표시 장치에 표시시키는 제어를 행하는
    처리를 실행시키는 것을 특징으로 하는 매체에 저장된 평가 프로그램.
  2. 제1항에 있어서, 상기 사람의 동작 해석의 결과에 기초하여, 상기 복수 영역의 각각에 있어서의 상기 사람의 동작을 평가하고,
    상기 복수 영역의 각각에 대하여, 평가 결과를 나타내는 정보, 또는 이 평가 결과를 나타내는 영상 효과, 음향 효과, 촉감 효과 중 적어도 어느 하나를 출력하는
    처리를 또한 실행시키는 것을 특징으로 하는 매체에 저장된 평가 프로그램.
  3. 제2항에 있어서, 상기 출력하는 처리는, 복수의 평가 시점에 있어서의 평가 결과와, 복수의 부분으로 구성되는 도형의 각 부분을 대응시키고, 각 평가 시점에 있어서 미리 정해진 평가 결과가 얻어진 경우에, 이 평가 시점에 대응시켜진 각 부분을 출력하는 것을 특징으로 하는 매체에 저장된 평가 프로그램.
  4. 제2항 또는 제3항에 있어서, 상기 출력하는 처리는, 상기 평가 결과를 나타내는 정보 또는 상기 영상 효과를, 상기 사람의 얼굴 위치에 대응하는 위치, 상기 사람의 얼굴 위치의 주위, 또는 상기 사람의 얼굴 위치와 종(縱)좌표 혹은 횡(橫)좌표가 대응하는 위치 중 적어도 어느 하나에 표시시키는 것을 특징으로 하는 매체에 저장된 평가 프로그램.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 표시시키는 제어를 행하는 처리는, 상기 복수 영역을, 미리 입력된 인수(人數)에 관한 정보, 또는 상기 촬상 화상에 포함되는 사람의 부분 혹은 사람이 소지하는 물체에 대하여 행해지는 인식 결과에 기초하여 설정되는 것을 특징으로 하는 매체에 저장된 평가 프로그램.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 표시시키는 제어를 행하는 처리는, 2개 또는 3개의 영역을 설정하는 것을 특징으로 하는 매체에 저장된 평가 프로그램.
  7. 컴퓨터에,
    촬상 장치에 의해 촬상된 촬상 화상 중, 설정된 제1 고정 영역 내의 화상에 기초하여 제1 사람의 동작을 해석하고,
    설정된 상기 제1 고정 영역과는 상이한 제2 고정 영역 내의 화상에 기초하여 제2 사람의 동작을 해석하고,
    상기 제1 고정 영역과 상기 제2 고정 영역을 구분하는 표시를 상기 촬상 화상에 중첩시켜 표시 장치에 표시시키는 제어를 행하는
    처리를 실행시키는 것을 특징으로 하는 매체에 저장된 평가 프로그램.
  8. 컴퓨터에,
    촬상 장치에 의해 촬상된 촬상 화상으로부터 검출된 제1 사람과 제2 사람의 동작을 상기 촬상 화상에 기초하여 분석하는 경우에, 상기 제1 사람과 상기 제2 사람이, 미리 정해진 근접 기준을 넘어 근접하는 것, 또는, 상기 촬상 화상 중, 상기 제1 사람과 상기 제2 사람 중 적어도 어느 한쪽이 상기 촬상 화상에 포함되는 제1 영역과 제2 영역을 구분하는 구분 라인에 도달하는 것을 검출하면, 상기 근접에 따른 미리 정해진 통지를 출력하는
    처리를 실행시키는 것을 특징으로 하는 매체에 저장된 평가 프로그램.
  9. 컴퓨터에,
    촬상 장치에 의해 촬상된 동화상에 포함되는 복수의 화상 영역 각각으로부터, 상기 복수의 화상 영역마다 상이한 사람이 박자를 취하는 동작 또는 박자를 취하는 타이밍을 검출함으로써, 복수의 사람 각각이 박자를 취하는 동작 또는 박자를 취하는 타이밍을 추출하고,
    상기 복수의 화상 영역 각각으로부터 추출된, 상기 복수의 사람이 박자를 취하는 타이밍의 일치도에 따라, 상기 복수의 사람의 동작의 상관에 관한 평가 정보를 출력하는
    처리를 실행시키는 것을 특징으로 하는 매체에 저장된 평가 프로그램.
  10. 제9항에 있어서, 상기 출력하는 처리가, 상기 일치도에 따른 수치의 정보, 또는 싱크로율이라고 명명한 표기와 상기 수치를 대응시킨 정보를 출력하는 것을 특징으로 하는 매체에 저장된 평가 프로그램.
  11. 컴퓨터가,
    촬상 장치에 의해 촬상된 촬상 화상에서 복수 영역을 설정하고, 상기 촬상 화상에서의 상기 복수의 영역의 각각의 화상에 기초하여 상기 복수의 영역마다 상이한 사람의 동작을 해석하고,
    상기 복수 영역 사이를 구분하는 표시를 상기 촬상 화상에 중첩시켜 표시 장치에 표시시키는 제어를 행하는
    처리를 실행하는 것을 특징으로 하는 평가 방법.
  12. 촬상 장치에 의해 촬상된 촬상 화상에서 복수의 영역을 설정하고, 상기 촬상 화상에서의 상기 복수의 영역의 각각의 화상에 기초하여 상기 복수의 영역마다 상이한 사람의 동작을 해석하는 평가부와,
    상기 복수 영역 사이를 구분하는 표시를 상기 촬상 화상에 중첩시켜 표시 장치에 표시시키는 출력 제어부
    를 갖는 것을 특징으로 하는 평가 장치.
KR1020160154017A 2015-11-24 2016-11-18 평가 프로그램, 평가 방법 및 평가 장치 KR101884089B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015228982A JP2017093803A (ja) 2015-11-24 2015-11-24 評価プログラム、評価方法及び評価装置
JPJP-P-2015-228982 2015-11-24

Publications (2)

Publication Number Publication Date
KR20170060581A KR20170060581A (ko) 2017-06-01
KR101884089B1 true KR101884089B1 (ko) 2018-07-31

Family

ID=58720950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160154017A KR101884089B1 (ko) 2015-11-24 2016-11-18 평가 프로그램, 평가 방법 및 평가 장치

Country Status (4)

Country Link
US (1) US20170148176A1 (ko)
JP (1) JP2017093803A (ko)
KR (1) KR101884089B1 (ko)
CN (1) CN107008002A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6747292B2 (ja) * 2014-09-19 2020-08-26 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体
JP7027300B2 (ja) * 2018-12-14 2022-03-01 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN111104964B (zh) * 2019-11-22 2023-10-17 北京永航科技有限公司 音乐与动作的匹配方法、设备及计算机存储介质
CN111382141B (zh) * 2020-02-29 2023-05-26 平安科技（深圳）有限公司 主从架构配置方法、装置、设备以及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012239719A (ja) * 2011-05-20 2012-12-10 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム制御方法、ならびに、プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750825A (ja) 1993-05-24 1995-02-21 Hideo Mori 人間動物監視システム
JP2000237455A (ja) 1999-02-16 2000-09-05 Konami Co Ltd 音楽演出ゲーム装置、音楽演出ゲーム方法および可読記録媒体
KR20010081193A (ko) * 2000-02-10 2001-08-29 이수원 모션 캡쳐 기능을 활용한 3차원 가상 현실 기법의 댄스게임 장치
US20080234023A1 (en) * 2007-03-23 2008-09-25 Ajmal Mullahkhel Light game
KR100900794B1 (ko) * 2007-04-12 2009-06-02 누리엔소프트웨어 주식회사 댄스 게임방법 및 이 방법이 수록되어 컴퓨터로 읽을 수있는 기록매체
JP5568230B2 (ja) * 2008-10-08 2014-08-06 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、及びゲームシステム
SG173496A1 (en) * 2009-02-02 2011-09-29 Agency Science Tech & Res Method and system for rendering an entertainment animation
JP5504818B2 (ja) * 2009-10-23 2014-05-28 ソニー株式会社 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム
US8334842B2 (en) * 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8654250B2 (en) * 2010-03-30 2014-02-18 Sony Corporation Deriving visual rhythm from video signals
JP5746644B2 (ja) 2012-01-31 2015-07-08 株式会社コナミデジタルエンタテインメント ゲーム装置及びプログラム
US9573052B2 (en) * 2012-01-31 2017-02-21 Konami Digital Entertainment Co., Ltd. Game device, control method for a game device, and non-transitory information storage medium
JP2015128507A (ja) * 2014-01-07 2015-07-16 富士通株式会社 評価プログラム、評価方法および評価装置
CN104754421A (zh) * 2014-02-26 2015-07-01 苏州乐聚一堂电子科技有限公司 互动节拍特效系统及互动节拍特效处理方法
EP2943860B1 (en) * 2014-03-21 2022-03-02 Samsung Electronics Co., Ltd. Method and apparatus for preventing a collision between subjects

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012239719A (ja) * 2011-05-20 2012-12-10 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム制御方法、ならびに、プログラム

Also Published As

Publication number Publication date
KR20170060581A (ko) 2017-06-01
CN107008002A (zh) 2017-08-04
US20170148176A1 (en) 2017-05-25
JP2017093803A (ja) 2017-06-01

Similar Documents

Publication Publication Date Title
KR101884089B1 (ko) 평가 프로그램, 평가 방법 및 평가 장치
JP6539941B2 (ja) 評価プログラム、評価方法及び評価装置
JP6082101B2 (ja) 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置
US7582015B2 (en) Program, information storage medium and game system
US9847042B2 (en) Evaluation method, and evaluation apparatus
US20200179759A1 (en) Display method, information processing apparatus, and computer-readable recording medium
CN111480178B (zh) 存储技巧识别程序的存储介质、技巧识别方法以及技巧识别系统
KR20180112656A (ko) 인터랙티브 트램펄린 놀이 시스템 및 그 제어방법
JP2020081528A (ja) 表示方法、表示プログラムおよび情報処理装置
JP2018081630A (ja) 検索装置、検索方法およびプログラム
JP4149455B2 (ja) 情報処理装置及びプログラム
JP2010137097A (ja) ゲーム装置および情報記憶媒体
JP2023027113A (ja) プログラム、電子機器および制御方法
JP3866474B2 (ja) ゲーム装置および情報記憶媒体
JP2007122078A (ja) 楽音制御装置
JP6459979B2 (ja) 解析装置、記録媒体および解析方法
KR200239844Y1 (ko) 인공시각과 패턴인식을 이용한 체감형 게임 장치.
JP2001224731A (ja) ゲーム装置および情報記憶媒体
JP7420218B2 (ja) 演奏方法
US9684969B2 (en) Computer-readable recording medium, detecting method, and detecting apparatus detecting an amount of image difference
JP2023076340A (ja) 画像解析システム、画像解析方法およびプログラム
JP2022146946A (ja) 反応評価装置、反応評価システム、反応評価方法
KR20130089763A (ko) 가상 게임 시스템 및 그 방법
JP2018191760A (ja) 演出装置、演出システム、及びプログラム
JP2005319193A (ja) 画像処理システム、プログラム、情報記憶媒体および画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant