KR20150082090A - 검출 프로그램을 기록한 매체, 검출 방법 및 검출 장치 - Google Patents

검출 프로그램을 기록한 매체, 검출 방법 및 검출 장치 Download PDF

Info

Publication number
KR20150082090A
KR20150082090A KR1020140185687A KR20140185687A KR20150082090A KR 20150082090 A KR20150082090 A KR 20150082090A KR 1020140185687 A KR1020140185687 A KR 1020140185687A KR 20140185687 A KR20140185687 A KR 20140185687A KR 20150082090 A KR20150082090 A KR 20150082090A
Authority
KR
South Korea
Prior art keywords
timing
frame
person
detection
unit
Prior art date
Application number
KR1020140185687A
Other languages
English (en)
Other versions
KR101697829B1 (ko
Inventor
미호 사카이
아츠시 오구치
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20150082090A publication Critical patent/KR20150082090A/ko
Application granted granted Critical
Publication of KR101697829B1 publication Critical patent/KR101697829B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Abstract

본 발명은 촬상 화상에 기초하여 인물이 박자를 맞추는 동작 또는 타이밍을 추출하는 것을 목적으로 한다.
검출 프로그램(330a)은, 컴퓨터(300)에, 이하의 처리를 실행시킨다. 즉, 검출 프로그램(330a)은, 컴퓨터(300)에, 연속적으로 촬상한 복수의 촬상 화상의 시간적인 변화량이 일시적으로 저하되는 타이밍을 검출하는 처리를 실행시킨다. 그리고, 검출 프로그램(330a)은, 컴퓨터(300)에, 검출한 타이밍에 기초하여, 촬상 화상에 포함되는 인물이 박자를 맞추는 동작 또는 박자를 맞추는 타이밍을 추출하는 처리를 실행시킨다.

Description

검출 프로그램을 기록한 매체, 검출 방법 및 검출 장치{COMPUTER-READABLE RECORDING MEDIUM, DETECTING METHOD, AND DETECTING APPARATUS}
본 발명은 검출 프로그램, 검출 방법 및 검출 장치에 관한 것이다.
인물의 댄스를 채점하고, 채점 결과를 인물에게 통지하는 기술이 있다.
인물의 댄스의 채점이나 평가에 관련되는 기술로서, 예컨대, 검출한 플레이어의 자세와, 견본 자세의 유사도가 소정값보다 높은 경우에, 유사하지 않은 견본 자세의 상세를 알아차리게 하기 위한 보조 화상을 생성하는 기술이 있다.
[특허문헌 1] 일본 특허 공개 제2013-116311호 공보
인물의 댄스의 채점이나 평가를 행하기 위해서는, 인물이 리듬을 맞추는 타이밍, 즉, 인물이 박자를 맞추는 동작 또는 타이밍을 추출하는 것이 요구된다. 그러나, 전술한 기술에서는, 해석에 필요한 처리량이 많기 때문에, 간이하게 인물이 박자를 맞추는 동작 또는 타이밍을 추출할 수 없는 경우가 있다고 하는 문제가 있다.
예컨대, 인물의 댄스를 채점할 때에, 카메라에 의해 인물의 움직임이 촬상되고, 촬상된 동화상에 대하여 컴퓨터를 이용한 해석을 행하여, 인물의 리듬을 추출하는 양태가 고려된다. 구체적인 수법으로서는, 예컨대, 동화상으로부터 인물의 얼굴이나 신체의 일부, 또는, 인물이 사용하는 마라카스(maracas) 등의 도구가, 템플릿 매칭 등의 소정의 인식 기술에 의해 인식되고, 인식된 얼굴이나 신체의 일부 또는 도구의 이동량의 시계열 데이터가 생성된다. 그리고, 시계열 데이터에 대하여 푸리에 해석 등이 행해지고, 특정한 주파수 대역의 성분으로부터 인물의 리듬이 추출된다. 그리고, 예컨대, 추출된 인물의 리듬과, 기준이 되는 리듬이 비교되고, 비교 결과에 따라 인물의 댄스의 채점이 행해지는 것이 고려된다. 그러나, 상기한 양태에 있어서, 예컨대, 동화상으로부터 인물의 얼굴이나 신체의 일부, 또는, 인물이 사용하는 마라카스 등의 도구를 인식하는 템플릿 매칭을 이용하면, 템플릿과 동화상의 일부를 비교하는 처리가 반복된다. 그 때문에 해석에 요하는 처리량이 많아, 컴퓨터의 처리 부하가 증대한다.
하나의 측면에서는, 본 발명은, 촬상 화상에 기초하여 인물이 박자를 맞추는 동작 또는 타이밍을 추출하는 것을 목적으로 한다.
검출 프로그램은, 컴퓨터에, 연속적으로 촬상한 복수의 촬상 화상의 시간적인 변화량이 일시적으로 저하되는 타이밍을 검출하고, 검출한 타이밍에 기초하여, 촬상 화상에 포함되는 인물이 박자를 맞추는 동작 또는 박자를 맞추는 타이밍을 추출하는 것을 실행시킨다.
촬상 화상에 기초하여 인물이 박자를 맞추는 동작 또는 타이밍을 추출할 수 있다.
도 1은 실시예에 따른 검출 장치의 기능 구성의 일례를 도시한 도면이다.
도 2는 프레임의 일례를 도시한 도면이다.
도 3은 타이밍 데이터의 일례를 도시한 도면이다.
도 4는 2치화된 화상의 일례를 도시한 도면이다.
도 5는 배경 차분량과 프레임 번호의 대응시킴의 일례를 도시한 도면이다.
도 6은 실시예에 따른 검출 장치가 실행하는 처리의 일례를 설명하기 위한 도면이다.
도 7은 타이밍 데이터가 나타내는 인물이 박자를 맞추는 타이밍을 플롯한 그래프의 일례를 도시한 도면이다.
도 8은 실시예에 따른 검출 처리의 순서를 도시한 플로우차트이다.
도 9는 인물이 박자를 맞추는 타이밍을 추출하는 일례에 대해서 설명하기 위한 도면이다.
도 10은 검출 장치와 가라오케 장치가 연동한 경우의 시스템의 일례를 도시한 도면이다.
도 11은 서버를 갖는 시스템의 일례를 도시한 도면이다.
도 12는 검출 프로그램을 실행하는 컴퓨터를 도시한 도면이다.
이하에, 본원이 개시하는 검출 프로그램, 검출 방법 및 검출 장치의 실시예를 도면에 기초하여 상세히 설명한다. 한편, 실시예는 개시하는 기술을 한정하는 것이 아니다.
[실시예]
[실시예에 따른 검출 장치(10)의 기능 구성의 일례]
도 1의 예에 나타내는 검출 장치(10)는, 댄스를 행하는 인물을 카메라에 의해 촬상한 결과 얻어진 동화상의 각 프레임으로부터, 인물의 동작량이 일시적으로 저하되는 타이밍을, 인물이 리듬을 맞추는 타이밍, 즉, 인물이 박자를 맞추는 타이밍으로서 추출한다. 이와 같이, 인물의 동작량이 일시적으로 저하되는 타이밍을, 인물이 박자를 맞추는 타이밍으로서 추출하는 것은, 인물은, 박자를 맞출 때에 일시적으로 동작을 정지시키기 때문에, 동작량이 일시적으로 저하되기 때문이다. 따라서, 검출 장치(10)는, 인물의 얼굴이나 신체의 일부나 도구를 인식하기 위한 인식 처리, 즉, 처리량이 많은(처리 부하가 높다) 인식 처리를 행하지 않고, 인물이 박자를 맞추는 타이밍을 추출할 수 있다. 따라서, 검출 장치(10)에 의하면, 간이하게 인물이 박자를 맞추는 타이밍을 추출할 수 있다. 여기서, 리듬이란, 예컨대, 템포의 간격의 규칙성을 의미한다. 또한, 템포란, 예컨대, 박자나 비트의 간격의 길이를 의미한다.
도 1은 실시예에 따른 검출 장치의 기능 구성의 일례를 도시한 도면이다. 도 1의 예에 나타내는 바와 같이, 검출 장치(10)는, 입력부(11), 기억부(12) 및 제어부(13)를 갖는다.
입력부(11)는, 각종 정보를 제어부(13)에 입력한다. 예컨대, 입력부(11)는, 검출 장치(10)를 사용하는 사용자로부터의 후술하는 추출 처리를 실행하기 위한 지시를 접수한 경우에는, 접수한 지시를 제어부(13)에 입력한다. 입력부(11)의 디바이스의 일례로서는, 마우스나 키보드, 도시하지 않은 다른 장치로부터 송신된 각종의 정보를 수신하고 수신한 정보를 제어부(13)에 입력하기 위한 네트워크 카드를 들 수 있다.
기억부(12)는, 각종 정보를 기억한다. 예컨대, 기억부(12)는, 동화상 데이터(12a) 및 타이밍 데이터(12b)를 기억한다.
동화상 데이터(12a)는, 댄스를 행하는 인물을 카메라에 의해 촬상한 결과 얻어진 복수의 프레임을 포함하는 동화상의 데이터이다. 이러한 인물의 일례로서는, 예컨대, 노래방에서, 가라오케 장치에 의해 재생된 곡에 맞춰 노래를 부르고, 재생된 곡에 맞춰 댄스를 행하는 인물을 들 수 있다. 한편, 동화상 데이터(12a)에 포함되는 복수의 프레임은, 카메라에 의해 연속적으로 촬상된 것이며, 촬상 화상의 일례이다. 도 2는 프레임의 일례를 도시한 도면이다. 도 2의 예는, 프레임(14)에, 노래방(90)에서, 곡에 맞춰 노래를 부르며 댄스를 행하는 인물(91)이 포함된 경우를 나타낸다. 한편, 동화상 데이터(12a)의 프레임 레이트로서는, 임의의 값을 채용할 수 있으나, 이하, 프레임 레이트가 30 fps(frames per second)인 경우에 대해서 설명한다.
타이밍 데이터(12b)는, 댄스를 행하는 인물이 박자를 맞출 때의 시간(타이밍)을 나타내는 데이터이다. 이러한 시간의 일례로서는, 예컨대, 동화상 데이터(12a)에 포함되는 인물이, 노래방에서, 재생된 곡에 맞춰 노래를 부르며 댄스를 행하는 인물인 경우에는, 곡과 함께 댄스가 개시되기 때문에, 곡 및 댄스의 개시로부터의 시간을 들 수 있다. 도 3은 타이밍 데이터의 일례를 도시한 도면이다. 도 3의 예에 나타내는 타이밍 데이터(12b)는, 「시간」 및 「박자를 맞추는 타이밍」의 각 항목을 갖는다. 「시간」의 항목에는, 후술하는 추출부(13c)에 의해, 곡 및 댄스의 개시로부터의 시간이 등록된다. 「박자를 맞추는 타이밍」의 항목에는, 「시간」의 항목에 등록된 시간이, 인물이 박자를 맞추는 타이밍인 경우에는, 후술하는 추출부(13c)에 의해 「맞춘다」가 등록되고, 인물이 박자를 맞추는 타이밍이 아닌 경우에는, 「맞추지 않는다」가 등록된다. 예컨대, 도 3의 예에 나타내는 타이밍 데이터(12b)의 첫 번째의 레코드에서는, 곡 및 댄스의 개시로부터 「0.033」초 후의 시간에는 「박자를 맞추는 타이밍」의 항목에 「맞춘다」가 등록되어 있기 때문에, 인물이 박자를 맞추는 타이밍인 것을 나타낸다. 또한, 도 3의 예에 나타내는 타이밍 데이터(12b)의 두 번째의 레코드에서는, 곡 및 댄스의 개시로부터 「0.066」초 후의 시간에는 「박자를 맞추는 타이밍」의 항목에 「맞추지 않는다」가 등록되어 있기 때문에, 인물이 박자를 맞추는 타이밍이 아닌 것을 나타낸다.
기억부(12)는, 예컨대, 플래시 메모리 등의 반도체 메모리 소자, 또는, 하드 디스크, 광 디스크 등의 기억 장치이다.
제어부(13)는, 각종의 처리 순서를 규정한 프로그램이나 제어 데이터를 저장하기 위한 내부 메모리를 가지며, 이들에 의해 여러 가지 처리를 실행한다. 도 1에 도시한 바와 같이, 제어부(13)는, 취득부(13a)와, 검출부(13b)와, 추출부(13c)를 갖는다.
취득부(13a)는, 동화상 데이터(12a)가 나타내는 동화상에 포함되는 복수의 프레임 각각에 대해서, 프레임과, 상기 프레임보다 앞서 촬상한 프레임의 차분을 취득한다. 또한, 취득부(13a)는, 동화상 데이터(12a)가 나타내는 동화상에 포함되는 복수의 프레임 각각에 대해서, 프레임과, 상기 프레임보다 앞서 촬상한 프레임을 누적한 프레임의 차분을 취득한다.
취득부(13a)의 일 양태에 대해서 설명한다. 예컨대, 취득부(13a)는, 입력부(11)에 의해 후술하는 추출 처리를 실행하기 위한 지시가 입력된 경우에, 기억부(12)에 기억된 동화상 데이터(12a)를 취득한다.
그리고, 취득부(13a)는, 배경 차분법을 이용하여, 동화상 데이터(12a)가 나타내는 동화상에 포함되는 복수의 프레임 각각에 대해서, 프레임과, 상기 프레임보다 앞서 촬상한 프레임의 차분을 취득한다. 예컨대, 취득부(13a)는, 공지의 배경 통계량의 누적에 관한 함수를 이용하여, 복수의 프레임 각각에 대해서, 프레임과, 상기 프레임보다 앞서 촬상한 프레임을 누적한 프레임의 차분을 취득한다.
취득부(13a)가 배경 통계량의 누적에 관한 함수를 이용한 경우의 처리에 대해서 설명한다. 취득부(13a)는, 프레임과, 상기 프레임보다 앞서 촬상한 프레임으로부터 얻어진 배경 정보를 비교하여, 휘도의 변화가 임계값 이하인 화소를 흑색의 화소로 하고, 휘도의 변화가 임계값보다 큰 화소를 백색의 화소로 하는 2치화된 화상을 생성한다. 한편, 여기서 생성시키는 정보는, 휘도의 변화가 임계값 이하, 또는 임계값보다 큰 것이 식별 가능한 정보이면, 흑백의 화소로 하는 2치화된 화상에 한정되지 않는다. 도 4는 2치화된 화상의 일례를 도시한 도면이다. 예컨대, 취득부(13a)는, 배경 통계량의 누적에 관한 함수를 이용하여, 앞의 도 2의 예에 나타내는 프레임(14)과, 프레임(14)보다 앞서 촬상된 프레임으로부터 얻어진 배경 정보를 비교하고, 도 4의 예에 나타내는 바와 같은 2치화된 화상을 생성한다. 그리고, 취득부(13a)는, 생성한 2치화된 화상에 포함되는 흰 화소의 총수(배경 차분량)를, 인물의 동작량으로서 산출한다. 이와 같이, 본 실시예에서는, 배경 차분량이, 인물이 이동한 양을 나타내는 지표로서 이용된다. 예컨대, 취득부(13a)는, 도 4의 예에 나타내는 2치화된 화상에 포함되는 흰 화소의 총수를, 인물(91)의 동작량으로서 산출한다. 이와 같이 하여, 취득부(13a)는, 프레임 각각에 대해서, 배경 차분량을 인물의 동작량으로서 취득한다. 그리고, 취득부(13a)는, 프레임 각각에 대해서, 배경 차분량과 프레임 번호를 대응시킨다. 도 5는 배경 차분량과 프레임 번호의 대응시킴의 일례를 도시한 도면이다. 도 5의 예는, 취득부(13a)가, 프레임 번호 「2」와, 배경 차분량 「267000」을 대응시킨 경우를 나타낸다. 또한, 도 5의 예는, 취득부(13a)가, 프레임 번호 「3」과, 배경 차분량 「266000」을 대응시킨 경우를 나타낸다. 이와 같이 하여, 취득부(13a)는, 복수의 프레임 각각에 대해서, 프레임과, 상기 프레임보다 앞서 촬상한 프레임을 누적한 프레임의 차분을 취득한다.
한편, 취득부(13a)는, 코드북법을 이용하여, 프레임과, 상기 프레임보다 앞서 촬상한 프레임의 차분을 취득하고, 프레임과, 상기 프레임보다 앞서 촬상한 프레임을 누적한 프레임의 차분을 취득할 수도 있다.
검출부(13b)는, 연속적으로 촬상한 복수의 프레임의 시간적인 변화량이 일시적으로 저하되는 타이밍을 검출한다. 검출부(13b)의 일 양태에 대해서 설명한다. 예컨대, 검출부(13b)는, 취득부(13a)에 의해 프레임 번호와 배경 차분량이 대응시켜진 정보를 이용하여, 하나 앞의 프레임의 배경 차분량보다 배경 차분량이 작고, 또한, 하나 뒤의 프레임의 배경 차분량보다 배경 차분량이 작은 프레임을 검출한다. 도 6은 실시예에 따른 검출 장치가 실행하는 처리의 일례를 설명하기 위한 도면이다. 도 6의 예는, 횡축을 프레임 번호로 하고, 종축을 배경 차분량으로 하는, 취득부(13a)에 의해 대응시켜진 프레임 번호와 배경 차분량의 관계를 나타내는 그래프를 도시한다. 도 6의 예에 나타내는 그래프는, 프레임 번호가 1로부터 50까지인 프레임의 배경 차분량을 나타낸다. 도 6의 예의 그래프에 나타나는 바와 같이, 취득부(13a)에 의해 프레임 번호와 배경 차분량이 대응시켜진 경우에는, 검출부(13b)는, 다음의 처리를 행한다. 즉, 검출부(13b)는, 프레임 번호 「3」의 프레임의 배경 차분량보다 배경 차분량이 작고, 또한, 프레임 번호 「5」의 프레임의 배경 차분량보다 배경 차분량이 작은 프레임 번호 「4」의 프레임을 검출한다. 마찬가지로, 검출부(13b)는, 프레임 번호 「6」, 「10」, 「18」, 「20」, 「25」, 「33」, 「38」, 「40」, 「47」의 프레임을 검출한다.
그리고, 검출부(13b)는, 검출한 프레임이 촬상된 시간을, 복수의 프레임의 시간적인 변화량이 일시적으로 저하되는 타이밍으로서 검출한다. 예컨대, 검출부(13b)는, 프레임 번호 「4」, 「6」, 「10」, 「18」, 「20」, 「25」, 「33」, 「38」, 「40」, 「47」의 프레임의 각각이 촬상된 시간을, 복수의 프레임의 시간적인 변화량이 일시적으로 저하되는 타이밍으로서 검출한다.
추출부(13c)는, 검출부(13b)에 의해 검출된 타이밍에 기초하여, 프레임에 포함되는 인물이 박자를 맞추는 동작 또는 박자를 맞추는 타이밍을 추출한다.
추출부(13c)의 일 양태에 대해서 설명한다. 예컨대, 추출부(13c)는, 검출부(13b)에 의해 검출된 타이밍 중에서, 다음과 같은 타이밍을 추출한다. 즉, 추출부(13c)는, 검출부(13b)에 의해 검출된 타이밍에서 촬상된 프레임 중에서, 소정의 조건을 만족시키는 프레임을 추출하고, 추출한 프레임이 촬상된 시간을, 프레임에 포함되는 인물이 박자를 맞추는 타이밍으로서 추출한다.
여기서, 추출부(13c)가, 소정의 조건을 만족시키는 프레임을 추출하는 방법의 일례에 대해서 설명한다. 예컨대, 추출부(13c)는, 검출부(13b)에 의해 검출된 타이밍에 대응하는 프레임(검출된 타이밍에서 촬상된 프레임)을 추출 후보 프레임으로서 하나씩 선택한다. 그리고, 추출부(13c)는, 추출 후보 프레임을 하나 선택할 때마다, 다음의 처리를 행한다. 즉, 추출부(13c)는, 추출 후보 프레임의 소정수 앞의 프레임으로부터 추출 후보 프레임까지 배경 차분량이 감소하고, 또한, 추출 후보 프레임으로부터 추출 후보 프레임의 소정수 뒤의 프레임까지 배경 차분량이 증가하고 있는지의 여부를 판정한다. 추출부(13c)는, 추출 후보 프레임의 소정수 앞의 프레임으로부터 추출 후보 프레임까지 배경 차분량이 감소하고, 또한, 추출 후보 프레임으로부터 추출 후보 프레임의 소정수 뒤의 프레임까지 배경 차분량이 증가하고 있다고 판정한 경우에는, 다음의 처리를 행한다. 즉, 추출부(13c)는, 추출 후보 프레임이 촬상된 시간을, 프레임에 포함되는 인물이 박자를 맞추는 타이밍으로서 추출한다. 환언하면, 추출부(13c)는, 복수의 프레임 각각이 나타내는 인물의 동작 중에서, 추출 후보 프레임에 포함되는 인물이 박자를 맞추는 동작을 추출한다. 그리고, 추출부(13c)는, 전술한 처리를, 검출부(13b)에 의해 검출된 타이밍에 대응하는 모든 프레임에 대하여 행한다.
예컨대, 소정수가 「4」이고, 도 6의 예의 그래프가 나타내는 바와 같이 취득부(13a)에 의해 프레임 번호와 배경 차분량이 대응시켜진 경우에 대해서 설명한다. 이 경우, 추출부(13c)는, 프레임 번호 「21」의 프레임으로부터 프레임 번호 「25」의 프레임까지의 배경 차분량이 감소하고, 프레임 번호 「25」의 프레임으로부터 프레임 번호 「29」의 프레임까지의 배경 차분량이 증가하고 있기 때문에, 다음의 처리를 행한다. 즉, 추출부(13c)는, 프레임 번호 「25」의 프레임이 촬상된 시간을, 프레임에 포함되는 인물이 박자를 맞추는 타이밍으로서 추출한다. 또한, 추출부(13c)는, 복수의 프레임 각각이 나타내는 인물의 동작 중에서, 프레임 번호 「25」의 프레임에 포함되는 인물이 박자를 맞추는 동작을 추출한다. 한편, 전술한 소정수는, 추출 후보 프레임보다 앞의 프레임에 대한 소정수와, 추출 후보 프레임보다 뒤의 프레임에 대한 소정수에서, 상이한 값이 설정되는 것으로 해도 좋다. 예컨대, 추출 후보 프레임보다 앞의 프레임에 대한 소정수를 「5」로 하고, 추출 후보 프레임보다 뒤의 프레임에 대한 소정수를 「1」로 하는 양태 등이 고려된다.
그리고, 추출부(13c)는, 복수의 프레임 각각이 촬상된 시간 중, 인물이 박자를 맞추는 타이밍인 시간과, 「맞춘다」를 대응시켜, 도 3에 도시한 바와 같은 타이밍 데이터(12b)에 등록한다. 또한, 추출부(13c)는, 복수의 프레임 각각이 촬상된 시간 중, 인물이 박자를 맞추는 타이밍이 아닌 시간과, 「맞추지 않는다」를 대응시켜, 도 3에 도시한 바와 같은 타이밍 데이터(12b)에 등록한다. 이와 같이 하여, 각종의 정보가 등록된 타이밍 데이터(12b)는, 예컨대, 인물이 박자를 맞추는 타이밍이 나타내는 인물의 리듬을 평가할 때에 이용된다.
도 7은 타이밍 데이터가 나타내는 인물이 박자를 맞추는 타이밍을 플롯한 그래프의 일례를 도시한 도면이다. 한편, 도 7의 횡축은 시간(초)을 나타내고, 종축은 박자를 맞추는지 맞추지 않는지를 나타낸다. 도 7의 예에서는, 0.3초 간격으로, 인물이 박자를 맞추는 타이밍인지의 여부가 플롯된다. 예컨대, 도 7의 예에서는, 연속하는 9개의 프레임마다, 9개의 프레임이 촬상된 타이밍 중에, 인물이 박자를 맞추는 타이밍이 있는 경우에는, 「맞춘다」의 위치에 동그라미표가 플롯되고, 인물이 박자를 맞추는 타이밍이 없는 경우에는, 동그라미표가 플롯되지 않는다. 도 7의 예에서는, 예컨대, 시간 「4.3초」에 대응하여 「맞춘다」의 위치에 동그라미표가 플롯되어 있다. 이것은, 시간이 4.0초로부터 4.3초까지의 1/30초마다의 시간에 대응하는 9개의 프레임 중에, 인물이 박자를 맞추는 타이밍이 있는 것을 나타낸다. 또한, 도 7의 예에서는, 예컨대, 시간 「4.6초」에 대응하여 동그라미표가 플롯되어 있지 않다. 이것은, 시간이 4.3초로부터 4.6초까지의 1/30초마다의 시간에 대응하는 9개의 프레임 중에, 인물이 박자를 맞추는 타이밍이 없는 것을 나타낸다. 다른 시간에 대해서도 마찬가지이다. 한편, 도 7은 타이밍 데이터를 개념적으로 도시한 일례이며, 적절하게, 도 7 이외의 양태를 취하는 것이 가능하다.
제어부(13)는, 예컨대, ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), CPU(Central Processing Unit), MPU(Micro Processing Unit) 등의 회로에 의해 실현되도록 해도 좋다.
[처리의 흐름]
다음으로, 실시예에 따른 검출 장치(10)가 실행하는 처리의 흐름에 대해서 설명한다. 도 8은 실시예에 따른 검출 처리의 순서를 도시한 플로우차트이다. 실시예에 따른 검출 처리는, 예컨대, 입력부(11)로부터, 검출 처리를 실행하기 위한 지시가 제어부(13)에 입력된 경우에, 제어부(13)에 의해 실행된다.
도 8에 도시한 바와 같이, 취득부(13a)는, 기억부(12)에 기억된 동화상 데이터(12a)를 취득한다(S1). 그리고, 취득부(13a)는, 복수의 프레임 각각에 대해서, 배경 차분량을 인물의 동작량으로서 취득하고, 배경 차분량과 프레임 번호를 대응시킨다(S2).
그리고, 검출부(13b)는, 연속적으로 촬상한 복수의 프레임의 시간적인 변화량이 일시적으로 저하되는 타이밍을 검출한다(S3). 그리고, 추출부(13c)는, 검출부(13b)에 의해 검출된 타이밍에 기초하여, 프레임에 포함되는 인물이 박자를 맞추는 동작 또는 박자를 맞추는 타이밍을 추출한다(S4).
그리고, 추출부(13c)는, 복수의 프레임 각각이 촬상된 시간 중, 인물이 박자를 맞추는 타이밍인 시간과, 「맞춘다」를 대응시켜, 도 3에 도시한 바와 같은 타이밍 데이터(12b)에 등록한다. 또한, 추출부(13c)는, 복수의 프레임 각각이 촬상된 시간 중, 인물이 박자를 맞추는 타이밍이 아닌 시간과, 「맞추지 않는다」를 대응시켜, 도 3에 도시한 바와 같은 타이밍 데이터(12b)에 등록한다(S5). 그리고, 추출부(13c)는, 검출 처리를 종료한다.
전술해 온 바와 같이, 검출 장치(10)는, 연속적으로 촬상한 복수의 프레임의 시간적인 변화량이 일시적으로 저하되는 타이밍을 검출한다. 그리고, 검출 장치(10)는, 검출한 타이밍에 기초하여, 프레임에 포함되는 인물이 박자를 맞추는 동작 또는 박자를 맞추는 타이밍을 추출한다. 따라서, 검출 장치(10)는, 인물의 얼굴이나 신체의 일부나 도구를 인식하기 위한 인식 처리, 즉, 처리량이 많은 인식 처리 등을 행하지 않고, 인물이 박자를 맞추는 타이밍을 추출할 수 있다. 따라서, 검출 장치(10)에 의하면, 간이하게 인물이 박자를 맞추는 타이밍을 추출할 수 있다. 또한, 전술한 실시예의 수법에 의하면, 예컨대, 인물의 동작과 기준의 동작의 비교에 의한 검출 양태에 있어서는, 기준의 동작과 일치하지 않기 때문에, 타이밍이 추출되지 않는 동작이어도, 인물이 박자를 맞추는 동작 또는 박자를 맞추는 타이밍을 추출할 수 있다. 그 때문에, 인물이 기준이 되는 동작을 의식하지 않고 동작하는 상황에 있어서도, 인물이 박자를 맞추는 동작 또는 박자를 맞추는 타이밍을 추출할 수 있다.
또한, 검출 장치(10)는, 배경 통계량의 누적에 관한 함수를 이용하여, 복수의 프레임 각각에 대해서, 프레임과, 상기 프레임보다 앞서 촬상한 프레임을 누적한 프레임의 배경 차분량을 취득한다. 이와 같이, 검출 장치(10)는, 배경 통계량의 누적에 관한 함수를 이용함으로써, 실내의 라이트의 빛이나 가라오케 장치에 접속된 모니터의 화면 등으로부터의 반사광에 의한 노이즈가 억제된 배경 차분량을 취득할 수 있다. 따라서, 검출 장치(10)는, 라이트나 모니터의 화면 등이 구비된 노래방 등에 있어서 촬상된 동화상 데이터에 대하여 처리를 행하는 경우라도, 정밀도 좋게 인물이 박자를 맞추는 타이밍을 추출할 수 있다.
그런데, 지금까지 개시하는 장치에 관한 실시예에 대해서 설명하였으나, 본 발명은 전술한 실시예 이외에도, 여러 가지 상이한 형태로 실시되어도 좋은 것이다.
추출부(13c)는, 추출 후보 프레임의 소정수 앞의 프레임으로부터 추출 후보 프레임까지 배경 차분량이 감소하고, 또한, 추출 후보 프레임으로부터 추출 후보 프레임의 소정수 뒤의 프레임까지 배경 차분량이 증가하고 있다고 판정한 경우, 이하의 처리를 행할 수 있다. 즉, 추출부(13c)는, 추출 후보 프레임의 소정수 앞의 프레임의 배경 차분량과 추출 후보 프레임의 배경 차분량의 차 α가 제1 임계값 이상인지의 여부를 판정한다. 그리고, 추출부(13c)는, 차 α가 제1 임계값 이상이라고 판정한 경우에, 추출 후보 프레임의 소정수 뒤의 프레임의 배경 차분량과 추출 후보 프레임의 배경 차분량의 차 β가 제2 임계값 이상인지의 여부를 판정한다. 추출부(13c)는, 차 β가 제2 임계값 이상이라고 판정한 경우에, 추출 후보 프레임이 촬상된 시간을, 프레임에 포함되는 인물이 박자를 맞추는 타이밍으로서 추출한다. 환언하면, 추출부(13c)는, 복수의 프레임 각각이 나타내는 인물의 동작 중에서, 추출 후보 프레임에 포함되는 인물이 박자를 맞추는 동작을 추출한다. 그리고, 추출부(13c)는, 전술한 처리를, 검출부(13b)에 의해 검출된 타이밍에 대응하는 모든 프레임에 대하여 행한다. 한편, 제1 임계값 및 제2 임계값은, 양자가 동일한 값이어도, 상이한 값이어도 좋다. 또한, 제1 임계값 및 제2 임계값 중 어느 한쪽이 설정되는 양태로 해도 좋다.
도 9는 인물이 박자를 맞추는 타이밍을 추출하는 다른 예에 대해서 설명하기 위한 도면이다. 도 9에 있어서, 소정수가 「4」이고, 프레임 번호 「21」의 프레임으로부터 추출 후보 프레임까지 배경 차분량이 감소하고, 추출 후보 프레임으로부터 프레임 번호 「29」의 프레임까지 배경 차분량이 증가하고 있다고 추출부(13c)가 판정한 경우에 대해서 설명한다. 한편, 이 경우에 있어서의 추출 후보 프레임은, 프레임 번호 「25」의 프레임이다. 이러한 경우, 추출부(13c)는, 프레임 번호 「21」의 프레임의 배경 차분량과 추출 후보 프레임의 배경 차분량의 차 α가 제1 임계값 이상인지의 여부를 판정한다. 그리고, 추출부(13c)는, 차 α가 제1 임계값 이상이라고 판정한 경우에, 프레임 번호 「29」의 프레임의 배경 차분량과 추출 후보 프레임의 배경 차분량의 차 β가 제2 임계값 이상인지의 여부를 판정한다. 추출부(13c)는, 차 β가 제2 임계값 이상이라고 판정한 경우에, 추출 후보 프레임이 촬상된 시간을, 프레임에 포함되는 인물이 박자를 맞추는 타이밍으로서 추출한다. 환언하면, 추출부(13c)는, 복수의 프레임 각각이 나타내는 인물의 동작 중에서, 추출 후보 프레임에 포함되는 인물이 박자를 맞추는 동작을 추출한 것도 된다. 이에 의해, 예컨대, 이따금 인물이 신체의 동작을 일시적으로 천천히 한 경우와 같은, 박자를 맞추는 동작이 아닌 경우의 검출 결과가, 박자를 맞추는 타이밍으로서 추출되어 버리는 것을 억제할 수 있으며, 정밀도 좋게 박자를 맞추는 타이밍을 추출할 수 있다.
또한, 검출 장치(10)는, 노래방 내에 설치된 가라오케 장치와 연동하여, 실시간으로 인물의 리듬을 추출할 수도 있다. 여기서 실시간이란, 예컨대, 입력된 프레임에 대하여 순차 처리를 행하고, 순차 처리 결과를 출력하는 양태를 포함한다. 도 10은 검출 장치와 가라오케 장치가 연동한 경우의 시스템의 일례를 도시한 도면이다. 도 10의 예에 나타내는 시스템(20)은, 가라오케 장치(21)와, 마이크(22)와, 카메라(23)와, 모니터(24)와, 평가 장치(25)를 갖는다. 가라오케 장치(21)는, 가라오케를 행하는 인물(91)에 대하여, 인물(91)에 의해 지정된 곡을 재생하여 도시하지 않은 스피커로부터 출력한다. 이에 의해, 인물(91)은, 마이크(22)를 이용하여 재생된 곡을 부를 수 있고, 곡에 맞춰 댄스를 행할 수 있다. 또한, 가라오케 장치(21)는, 곡의 재생을 개시하는 타이밍에서, 평가 장치(25)에, 곡의 재생을 개시하는 타이밍인 것을 나타내는 메시지를 통지한다. 또한, 가라오케 장치(21)는, 곡의 재생을 종료하는 타이밍에서, 평가 장치(25)에, 곡의 재생을 종료하는 타이밍인 것을 나타내는 메시지를 통지한다.
평가 장치(25)는, 검출 장치(10)를 갖는다. 평가 장치(25)가, 곡의 재생을 개시하는 타이밍인 것을 나타내는 메시지를 수신하면, 검출 장치(10)는, 카메라(23)에 대하여, 촬상을 개시하는 지시를 송신한다. 카메라(23)는, 촬상을 개시하는 지시를 수신하면, 촬상 범위 내에 존재하는 인물(91)의 촬상을 개시하고, 촬상에 의해 얻어진 동화상 데이터(12a)의 프레임을 차례로 평가 장치(25) 내의 검출 장치(10)에 송신한다.
검출 장치(10)는, 카메라(23)로부터 송신된 프레임을 수신하면, 수신한 프레임에 대하여 실시간으로 전술한 각종의 처리를 실시하여, 인물(91)이 박자를 맞추는 타이밍을 추출하고, 타이밍 데이터(12b)에 각종의 정보를 등록한다. 그리고, 평가 장치(25)는, 타이밍 데이터(12b)에 등록된 인물(91)이 박자를 맞추는 타이밍이 나타내는 리듬과, 재생한 곡의 리듬을 비교하여, 인물(91)의 댄스를 평가하고, 평가 결과를 가라오케 장치(21)에 송신한다.
가라오케 장치(21)는, 평가 결과를 수신하면, 수신한 평가 결과를 모니터(24)에 표시시킨다. 이에 의해, 인물(91)은, 실시간으로 평가 결과를 파악할 수 있다.
그리고, 평가 장치(25)는, 가라오케 장치(21)로부터 곡의 재생을 종료하는 타이밍인 것을 나타내는 메시지가 통지되면, 카메라(23)에 대하여, 촬상을 정지하는 지시를 송신한다. 카메라(23)는, 촬상을 정지하는 지시를 수신하면, 촬상을 정지한다.
전술한 바와 같이, 시스템(20)에 있어서, 검출 장치(10)는, 노래방 내에 설치된 가라오케 장치(21)와 연동하여, 실시간으로 인물의 리듬을 추출할 수 있다. 또한, 평가 장치(25)는, 실시간으로, 인물의 댄스의 평가를 행할 수 있다.
또한, 노래방 밖에 설치된 서버가, 검출 장치(10)가 갖는 각종의 기능과 동일한 기능을 구비하고, 이 서버가, 실시간으로 인물의 리듬을 추출하여 인물의 댄스를 평가할 수도 있다. 도 11은 서버를 갖는 시스템의 일례를 도시한 도면이다. 도 11의 예에 나타내는 시스템(30)은, 가라오케 장치(31)와, 마이크(32)와, 카메라(33)와, 서버(34)와, 휴대 단말(35)을 갖는다. 가라오케 장치(31)는, 가라오케를 행하는 인물(91)에 대하여, 인물(91)에 의해 지정된 곡을 재생하여 도시하지 않은 스피커로부터 출력한다. 이에 의해, 인물(91)은, 마이크(32)를 이용하여 재생된 곡을 부를 수 있고, 곡에 맞춰 댄스를 행할 수 있다. 또한, 가라오케 장치(31)는, 곡의 재생을 개시하는 타이밍에서, 카메라(33)에 대하여, 촬상을 개시하는 지시를 송신한다. 또한, 가라오케 장치(31)는, 곡의 재생을 종료하는 타이밍에서, 카메라(33)에 대하여, 촬상을 정지하는 지시를 송신한다.
카메라(33)는, 촬상을 개시하는 지시를 수신하면, 촬상 범위 내에 존재하는 인물(91)의 촬상을 개시하고, 촬상에 의해 얻어진 동화상 데이터(12a)의 프레임을 차례로 가라오케 장치(31)에 송신한다. 가라오케 장치(31)는, 카메라(33)로부터 송신된 프레임을 수신하면, 수신한 프레임을 차례로, 네트워크(80)를 통해, 서버(34)에 송신하고, 마이크(32)에 입력된 인물(91)의 음성의 데이터를 차례로, 네트워크(80)를 통해, 서버(34)에 송신한다.
서버(34)는, 가라오케 장치(31)로부터 송신된 프레임에 대하여 실시간으로, 전술한 검출 장치(10)에 의한 각종의 처리와 동일한 처리를 실시하여, 인물(91)이 박자를 맞추는 타이밍을 추출하고, 타이밍 데이터(12b)에 각종의 정보를 등록한다. 그리고, 서버(34)는, 타이밍 데이터(12b)에 등록된 인물(91)이 박자를 맞추는 타이밍이 나타내는 리듬과, 가라오케 장치(31)로부터 송신된 음성의 데이터에 기초한 곡의 리듬을 비교하여, 인물(91)의 댄스를 평가한다. 그리고, 서버(34)는, 평가 결과를, 네트워크(80) 및 기지국(81)을 통해, 인물(91)이 보유하는 휴대 단말(35)에 송신한다.
휴대 단말(35)은, 평가 결과를 수신하면, 수신한 평가 결과를 휴대 단말(35)의 디스플레이에 표시시킨다. 이에 의해, 인물(91)은, 실시간으로 평가 결과를 파악할 수 있다. 또한, 인물(91)은, 인물(91)이 보유하는 휴대 단말(35)로부터 평가 결과를 파악할 수 있다.
한편, 서버(34)는, 실시간이 아니라 가라오케 장치(31)로부터 동화상 데이터(12a)를 취득하고, 검출 장치(10)에 의한 각종의 처리와 동일한 처리를 실시하여, 인물(91)이 박자를 맞추는 타이밍을 추출하며, 타이밍 데이터(12b)에 각종의 정보를 등록할 수도 있다. 이 경우, 서버(34)는, 타이밍 데이터(12b)에 등록된 인물(91)이 박자를 맞추는 타이밍이 나타내는 리듬과, 가라오케 장치(31)로부터 송신된 음성의 데이터에 기초한 곡의 리듬을 비교하여, 인물(91)의 댄스를 평가한다. 그리고, 서버(34)는, 평가 결과를, 네트워크(80) 및 기지국(81)을 통해, 인물(91)이 보유하는 휴대 단말(35)에 송신한다.
또한, 검출부(13b) 및 추출부(13c)는, 이하에 설명하는 각 처리를 행할 수도 있다. 즉, 검출부(13b)는, 복수의 프레임의 각각을 하나씩 검출 후보 프레임으로서 선택한다. 그리고, 검출부(13b)는, 검출 후보 프레임을 하나 선택할 때마다, 다음의 처리를 행한다. 즉, 검출부(13b)는, 검출 후보 프레임의 소정수 앞의 프레임으로부터, 검출 후보 프레임까지 배경 차분량이 감소하고, 또한, 검출 후보 프레임으로부터, 검출 후보 프레임의 소정수 뒤의 프레임까지 배경 차분량이 증가하고 있는지의 여부를 판정한다. 검출 후보 프레임의 소정수 앞의 프레임으로부터, 검출 후보 프레임까지 배경 차분량이 감소하고, 또한, 검출 후보 프레임으로부터, 검출 후보 프레임의 소정수 뒤의 프레임까지 배경 차분량이 증가하고 있다고 판정한 경우에는, 검출부(13b)는, 다음의 처리를 행한다. 즉, 검출부(13b)는, 검출 후보 프레임이 촬상된 시간을 검출한다. 그리고, 검출부(13b)는, 전술한 처리를, 모든 프레임에 대하여 행한다. 그리고, 추출부(13c)는, 복수의 프레임 각각이 촬상된 타이밍 중에서, 검출부(13b)에 의해 검출된 시간을, 인물이 박자를 맞추는 타이밍으로서 추출한다. 환언하면, 추출부(13c)는, 복수의 프레임 각각이 나타내는 인물의 동작 중에서, 인물이 박자를 맞추는 동작을 추출한다.
또한, 각종의 부하나 사용 상황 등에 따라, 실시예에 있어서 설명한 각 처리의 각 단계에서의 처리를 임의로 작게 나누거나, 또는 통합할 수 있다. 또한, 단계를 생략할 수도 있다.
또한, 각종의 부하나 사용 상황 등에 따라, 실시예에 있어서 설명한 각 처리의 각 단계에서의 처리의 순서를 변경할 수 있다.
또한, 도시한 각 장치의 각 구성 요소는 기능 개념적인 것이며, 반드시 물리적으로 도시와 같이 구성되어 있는 것을 요하지 않는다. 즉, 각 장치의 분산·통합의 구체적 상태는 도시한 것에 한정되지 않고, 그 전부 또는 일부를, 각종의 부하나 사용 상황 등에 따라, 임의의 단위로 기능적 또는 물리적으로 분산·통합하여 구성할 수 있다. 예컨대, 실시예에 기재한 카메라(23)를 가라오케 장치(21)와 접속하고, 가라오케 장치(21)를 통해 평가 장치(25)와 통신 가능하게 하는 것으로 해도 좋다. 또한 예컨대, 실시예에 기재한 가라오케 장치(21)와 평가 장치(25)의 기능이, 단일의 컴퓨터에 의해 실현되는 것으로 해도 좋다.
[검출 프로그램]
또한, 상기한 실시예에서 설명한 검출 장치(10)의 각종의 처리는, 미리 준비된 프로그램을 퍼스널 컴퓨터나 워크스테이션 등의 컴퓨터 시스템으로 실행함으로써 실현할 수도 있다. 그래서, 이하에서는, 도 12를 이용하여, 상기한 실시예에서 설명한 검출 장치(10)와 동일한 기능을 갖는 검출 프로그램을 실행하는 컴퓨터의 일례를 설명한다. 도 12는 검출 프로그램을 실행하는 컴퓨터를 도시한 도면이다.
도 12에 도시한 바와 같이, 컴퓨터(300)는, CPU(310)와, ROM(Read Only Memory)(320)과, HDD(Hard Disk Drive)(330)와, RAM(Random Access Memory)(340)과, 입력 장치(350)를 갖는다. 이들 각 기기(310∼350)는, 버스(360)를 통해 접속되어 있다.
ROM(320)에는, OS(Operating System) 등의 기본 프로그램이 기억되어 있다. 또한, HDD(330)에는, 상기한 실시예에서 나타내는 취득부(13a), 검출부(13b), 추출부(13c)와 동일한 기능을 발휘하는 검출 프로그램(330a)이 미리 기억된다. 또한, HDD(330)에는, 동화상 데이터(12a)와 타이밍 데이터(12b)가 미리 기억된다.
CPU(310)는, 검출 프로그램(330a)을 HDD(330)로부터 읽어내어 실행한다. CPU(310)는, HDD(330)로부터 동화상 데이터(12a)와 타이밍 데이터(12b)를 읽어내어 RAM(340)에 저장한다. 또한, CPU(310)는, RAM(340)에 저장된 각종의 데이터를 이용하여, 검출 프로그램(330a)을 실행한다. 한편, RAM(340)에 저장되는 데이터는, 항상 모든 데이터가 RAM(340)에 저장되지 않아도 좋다. 처리에 이용되는 데이터가 RAM(340)에 저장되면 된다.
한편, 상기한 검출 프로그램(330a)에 대해서는, 반드시 처음부터 HDD(330)에 기억시켜 둘 필요는 없다. 예컨대, 컴퓨터(300)에 삽입되는 플렉시블 디스크(FD), CD-ROM, DVD 디스크, 광자기 디스크, IC 카드 등의 「휴대용의 물리 매체」에 검출 프로그램(330a)를 기억시켜 둔다. 그리고, 컴퓨터(300)가 이들로부터 검출 프로그램(330a)을 읽어내어 실행하도록 해도 좋다.
나아가서는, 공중 회선, 인터넷, LAN, WAN 등을 통해 컴퓨터(300)에 접속되는 「다른 컴퓨터(또는 서버)」 등에 검출 프로그램(330a)을 기억시켜 둔다. 그리고, 컴퓨터(300)가 이들로부터 검출 프로그램(330a)을 읽어내어 실행하도록 해도 좋다.
10: 검출 장치 12: 기억부
12a: 동화상 데이터 12b: 타이밍 데이터
13: 제어부 13a: 취득부
13b: 검출부 13c: 추출부
300: 컴퓨터 330a: 검출 프로그램

Claims (6)

  1. 컴퓨터에,
    연속적으로 촬상한 복수의 촬상 화상의 시간적인 변화량이 일시적으로 저하되는 타이밍을 검출하고,
    검출한 상기 타이밍에 기초하여, 상기 촬상 화상에 포함되는 인물이 박자를 맞추는 동작 또는 박자를 맞추는 타이밍을 추출하는 것을 실행시키는 것을 특징으로 하는 검출 프로그램을 기록한 매체.
  2. 제1항에 있어서, 상기 컴퓨터에,
    상기 복수의 촬상 화상 각각에 대해서, 촬상 화상과, 상기 촬상 화상보다 앞서 촬상한 촬상 화상의 차분을 취득하고,
    취득한 상기 복수의 촬상 화상의 상기 차분의 비교 결과로부터, 상기 변화량이 일시적으로 저하되는 타이밍을 검출하는 것을 실행시키는 것을 특징으로 하는 검출 프로그램을 기록한 매체.
  3. 제2항에 있어서, 상기 컴퓨터에,
    상기 복수의 촬상 화상 각각에 대해서, 촬상 화상과, 상기 촬상 화상보다 앞서 촬상한 촬상 화상을 누적한 촬상 화상의 차분을 취득하는 것을 실행시키는 것을 특징으로 하는 검출 프로그램을 기록한 매체.
  4. 제2항 또는 제3항에 있어서, 상기 컴퓨터에,
    취득한 상기 복수의 촬상 화상의 상기 차분의 비교 결과로부터, 미리 정해진 프레임 전후의 촬상 타이밍에서 촬상된 촬상 화상과 비교하여, 상기 차분의 양이 적은 화상이 촬상된 타이밍을, 상기 변화량이 일시적으로 저하되는 타이밍으로서 검출하는 것을 실행시키는 것을 특징으로 하는 검출 프로그램을 기록한 매체.
  5. 컴퓨터가,
    연속적으로 촬상한 복수의 촬상 화상의 시간적인 변화량이 일시적으로 저하되는 타이밍을 검출하고,
    검출한 상기 타이밍에 기초하여, 상기 촬상 화상에 포함되는 인물이 박자를 맞추는 동작 또는 박자를 맞추는 타이밍을 추출하는 것을 실행하는 것을 특징으로 하는 검출 방법.
  6. 연속적으로 촬상한 복수의 촬상 화상의 시간적인 변화량이 일시적으로 저하되는 타이밍을 검출하는 검출부와,
    상기 타이밍에 기초하여, 상기 촬상 화상에 포함되는 인물이 박자를 맞추는 동작 또는 박자를 맞추는 타이밍을 추출하는 추출부를 갖는 것을 특징으로 하는 검출 장치.
KR1020140185687A 2014-01-07 2014-12-22 검출 프로그램을 기록한 매체, 검출 방법 및 검출 장치 KR101697829B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014001229A JP2015130070A (ja) 2014-01-07 2014-01-07 検出プログラム、検出方法および検出装置
JPJP-P-2014-001229 2014-01-07

Publications (2)

Publication Number Publication Date
KR20150082090A true KR20150082090A (ko) 2015-07-15
KR101697829B1 KR101697829B1 (ko) 2017-01-18

Family

ID=53495442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140185687A KR101697829B1 (ko) 2014-01-07 2014-12-22 검출 프로그램을 기록한 매체, 검출 방법 및 검출 장치

Country Status (5)

Country Link
US (1) US9684969B2 (ko)
JP (1) JP2015130070A (ko)
KR (1) KR101697829B1 (ko)
CN (1) CN104759096A (ko)
SG (1) SG10201408358YA (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002006866A (ja) * 1999-09-08 2002-01-11 Yamaha Corp カラオケ装置
KR20070077110A (ko) * 2006-01-20 2007-07-25 야마하 가부시키가이샤 음악 재생 제어 장치 및 음악 재생 장치
JP2013116311A (ja) 2011-11-04 2013-06-13 Konami Digital Entertainment Co Ltd ゲーム装置、詳細提示方法、および、プログラム
JP2013154125A (ja) * 2012-01-31 2013-08-15 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム装置の制御方法、及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3735969B2 (ja) * 1995-11-02 2006-01-18 ヤマハ株式会社 指揮動作判定方法および指揮動作判定装置
US6985172B1 (en) * 1995-12-01 2006-01-10 Southwest Research Institute Model-based incident detection system with motion classification
JP2001094976A (ja) * 1999-09-20 2001-04-06 Matsushita Electric Ind Co Ltd 画像抽出装置
JP4712205B2 (ja) * 2001-03-08 2011-06-29 株式会社コナミデジタルエンタテインメント 演奏指揮ゲーム装置、ゲーム機の制御方法、情報記憶媒体及びプログラム
KR20040077748A (ko) * 2002-01-23 2004-09-06 코니카 미놀타 홀딩스 가부시키가이샤 화상 배신 장치
CN101528133B (zh) * 2006-11-03 2012-09-05 皇家飞利浦电子股份有限公司 心脏相位确定
CN101241431A (zh) * 2007-02-08 2008-08-13 佛山市顺德区顺达电脑厂有限公司 依据程序执行阶段而动态切换显示序列关联图像之方法
JP5326910B2 (ja) * 2009-01-20 2013-10-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20110293144A1 (en) * 2009-02-02 2011-12-01 Agency For Science, Technology And Research Method and System for Rendering an Entertainment Animation
KR101048045B1 (ko) 2009-05-07 2011-07-13 윈스로드(주) 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치 및 그 제어방법
JP2011123529A (ja) * 2009-12-08 2011-06-23 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US8654250B2 (en) * 2010-03-30 2014-02-18 Sony Corporation Deriving visual rhythm from video signals
GB201006046D0 (en) * 2010-04-12 2010-05-26 Ge Healthcare Uk Ltd System and method for determining motion of a biological object
JP2011234018A (ja) * 2010-04-26 2011-11-17 Sony Corp 情報処理装置および方法、並びにプログラム
JP5495930B2 (ja) * 2010-05-10 2014-05-21 キヤノン株式会社 画像処理装置、方法、およびプログラム
JP2012073935A (ja) 2010-09-29 2012-04-12 Kddi Corp 動作評価装置並びに類似度評価方法及び動作評価・確認方法
JP2012178036A (ja) * 2011-02-25 2012-09-13 Kddi Corp 類似度評価装置及び方法並びに類似度評価プログラム及びその記憶媒体
JP2012257173A (ja) * 2011-06-10 2012-12-27 Canon Inc 追尾装置、追尾方法及びプログラム
US9573052B2 (en) 2012-01-31 2017-02-21 Konami Digital Entertainment Co., Ltd. Game device, control method for a game device, and non-transitory information storage medium
JP5425940B2 (ja) 2012-01-31 2014-02-26 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002006866A (ja) * 1999-09-08 2002-01-11 Yamaha Corp カラオケ装置
KR20070077110A (ko) * 2006-01-20 2007-07-25 야마하 가부시키가이샤 음악 재생 제어 장치 및 음악 재생 장치
JP2013116311A (ja) 2011-11-04 2013-06-13 Konami Digital Entertainment Co Ltd ゲーム装置、詳細提示方法、および、プログラム
JP2013154125A (ja) * 2012-01-31 2013-08-15 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム装置の制御方法、及びプログラム

Also Published As

Publication number Publication date
US20150193670A1 (en) 2015-07-09
JP2015130070A (ja) 2015-07-16
CN104759096A (zh) 2015-07-08
KR101697829B1 (ko) 2017-01-18
SG10201408358YA (en) 2015-08-28
US9684969B2 (en) 2017-06-20

Similar Documents

Publication Publication Date Title
US11803749B2 (en) Method and device for identifying key time point of video, computer apparatus and storage medium
KR20150082094A (ko) 평가 방법, 평가 장치 및 기록 매체
CN107609493B (zh) 优化人脸图片质量评价模型的方法及装置
KR20150082093A (ko) 평가 프로그램, 평가 방법 및 평가 장치
WO2020134527A1 (zh) 人脸识别的方法及装置
US20160260226A1 (en) Method and apparatus for detecting object in moving image and storage medium storing program thereof
US8866900B2 (en) Information processing apparatus and method of controlling same
JP2011123529A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019057815A (ja) 監視システム
JP2007097047A (ja) コンテンツの編集装置、コンテンツの編集方法及びコンテンツの編集プログラム
JP2017112448A (ja) 映像シーン分割装置及び映像シーン分割プログラム
US9256945B2 (en) System for tracking a moving object, and a method and a non-transitory computer readable medium thereof
KR101884089B1 (ko) 평가 프로그램, 평가 방법 및 평가 장치
JP2013232060A (ja) 画像認識装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
JP6289308B2 (ja) 情報処理装置およびプログラム
KR102475752B1 (ko) 이동 경로 예측 방법 및 장치
JP5940944B2 (ja) 視聴状況判定装置、識別器構築装置、視聴状況判定方法、識別器構築方法およびプログラム
KR101697829B1 (ko) 검출 프로그램을 기록한 매체, 검출 방법 및 검출 장치
JP2009098901A (ja) 表情検出方法及び装置及びプログラム
US10569135B2 (en) Analysis device, recording medium, and analysis method
Nguyen et al. Real-time smile detection using deep learning
US11216667B2 (en) Information processing apparatus, method for information processing, and storage medium
CN113544700A (zh) 神经网络的训练方法和装置、关联对象的检测方法和装置
US9390347B2 (en) Recognition device, method, and computer program product
US20170068841A1 (en) Detecting device, and detecting method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant