WO2017122456A1 - 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報処理システム、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2017122456A1
WO2017122456A1 PCT/JP2016/086061 JP2016086061W WO2017122456A1 WO 2017122456 A1 WO2017122456 A1 WO 2017122456A1 JP 2016086061 W JP2016086061 W JP 2016086061W WO 2017122456 A1 WO2017122456 A1 WO 2017122456A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
mounting position
unit
human body
detection
Prior art date
Application number
PCT/JP2016/086061
Other languages
English (en)
French (fr)
Inventor
徹也 福安
典幸 荒牧
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/781,232 priority Critical patent/US10771683B2/en
Publication of WO2017122456A1 publication Critical patent/WO2017122456A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Abstract

被写体動きを検出するセンサが人体に装着されているか人体外に装着されているかを判別して正確な動き検出を行い、検出結果に基づくメタデータの生成記録処理を実行する。撮影対象ユーザの人体、または人体外に装着されたセンサから、動きに応じたセンサ情報を入力し、センサ装着位置を判定する。さらに、センサ情報を入力してユーザ動きを解析し、撮影画像対応のメタデータを生成する。センサ装着位置検出部は、センサ情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体装着か、人体外装着かを判別する。メタデータ生成部は、センサ装着位置検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報を入力し、撮影画像対応のメタデータを生成する。

Description

情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
 本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、センサ取得情報を用いてカメラの撮影画像に含まれる注目シーン等を識別可能とした情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。
 近年、デジタルカメラやデジタルビデオカメラの小型軽量化が進み、また、通信機能を備えたカメラの利用、開発が進んでいる。
 一方、カメラを利用して撮影した映像から、注目シーンを探すのは、時間のかかる作業となる。
 シーン検索処理に適用可能な技術として、例えば、笑顔検出機能等を利用して笑顔の含まれる画像を抽出する処理を行なうカメラやアプリケーションが利用されている。
 しかし、例えば、ユーザが特定の動きを行ったシーンの抽出処理を効率的に実現する構成については、まだ十分な技術が開発されているとは言えない。
 なお、ユーザに装着したセンサにより、ユーザの動きを検出する技術については、種々提案されている。例えば、特許文献1(特開2010-198595号公報)には、センサデータから識別されたユーザ動作から、特定の動作を検出する行動判定部を有する情報処理装置が記載されている。
特開2010-198595号公報
 本開示は、例えば、カメラ撮影画像からの注目シーン抽出処理を効率的に行うことを可能とするものであり、センサ検出情報を利用することで、ユーザが特定の動きを行ったシーンの抽出処理を効率的に実現する情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。
 本開示の第1の側面は、
 装置に備えられたセンサのセンサデータに基づいて、装置の装着位置を検出する装着位置検出部を備えた情報処理装置にある。
 さらに、本開示の第2の側面は、
 画像撮影対象となる被写体であるユーザの人体、または人体外に装着され、装着体の動きに応じたセンサ検出情報を出力するセンサと、
 画像撮影を実行するビデオカメラを有する情報処理システムであり、
 前記ビデオカメラは、
 前記センサから、センサ検出情報を入力し、センサ装着位置判定処理を実行する装着位置検出部と、
 前記センサ検出情報を入力して前記ユーザの動きを解析するアクション検出部と、
 前記アクション検出部の検出情報を入力し、撮影画像対応のメタデータを生成するメタデータ生成部を有し、
 前記装着位置検出部は、
 センサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行し、
 前記メタデータ生成部は、
 前記装着位置検出部の検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報を入力し、撮影画像対応のメタデータを生成する情報処理システムにある。
 さらに、本開示の第3の側面は、
 画像撮影対象となる被写体であるユーザの人体、または人体外に装着され、装着体の動きに応じたセンサ検出情報を出力するセンサと、
 画像撮影を実行するビデオカメラと、
 前記センサから、センサ検出情報を受信するとともに、前記ビデオカメラから撮影画像を受信するサーバを有する情報処理システムであり、
 前記サーバは、
 前記センサから、センサ検出情報を入力し、センサ装着位置判定処理を実行する装着位置検出部と、
 前記センサ検出情報を入力して前記ユーザの動きを解析するアクション検出部と、
 前記アクション検出部の検出情報を入力し、撮影画像対応のメタデータを生成するメタデータ生成部を有し、
 前記装着位置検出部は、
 センサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行し、
 前記メタデータ生成部は、
 前記装着位置検出部の検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報を入力し、前記ビデオカメラから受信する撮影画像対応のメタデータを生成する情報処理システムにある。
 さらに、本開示の第4の側面は、
 情報処理装置において実行する情報処理方法であり、
 前記情報処理装置は、
 装置に備えられたセンサのセンサデータに基づいて、装置の装着位置を検出する情報処理方法にある。
 さらに、本開示の第5の側面は、
 情報処理装置において情報処理を実行させるプログラムであり、
 前記情報処理装置は、
 画像撮影対象となる被写体であるユーザの人体、または人体外に装着されたセンサから、センサ装着体の動きに応じたセンサ検出情報を入力し、センサ装着位置判定処理を実行する装着位置検出部と、
 前記センサからセンサ検出情報を入力して前記ユーザの動きを解析するアクション検出部と、
 前記アクション検出部の検出情報を入力し、撮影画像対応のメタデータを生成するメタデータ生成部を有し、
 前記プログラムは、前記装着位置検出部に、
 センサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行させ、
 前記メタデータ生成部に、
 前記装着位置検出部の検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報を入力し、撮影画像対応のメタデータを生成する処理を実行させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、被写体動きを検出するセンサが人体に装着されているか人体外に装着されているかを判別して正確な動き検出を行い、検出結果に基づくメタデータの生成記録処理が実現される。
 具体的には、撮影対象ユーザの人体、または人体外に装着されたセンサから、動きに応じたセンサ情報を入力し、センサ装着位置を判定する。さらに、センサ情報を入力してユーザ動きを解析し、撮影画像対応のメタデータを生成する。センサ装着位置検出部は、センサ情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体装着か、人体外装着かを判別する。メタデータ生成部は、センサ装着位置検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報を入力し、撮影画像対応のメタデータを生成する。
 本構成により、被写体動きを検出するセンサが人体に装着されているか人体外に装着されているかを判別して正確な動き検出を行い、検出結果に基づくメタデータの生成記録処理が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の構成および処理の概要について説明する図である。 本開示の構成および処理の概要について説明する図である。 本開示の構成および処理の概要について説明する図である。 ビデオカメラの構成および処理の概要について説明する図である ジャンプ検出処理の一例について説明する図である。 ターン検出処理の一例について説明する図である。 加速度センサの出力例について説明する図である。 ジャイロセンサの出力例について説明する図である。 センサの装着位置の例について説明する図である。 センサ装着位置に応じたセンサ出力の差異の例について説明する図である。 ビデオカメラの構成と処理例について説明する図で センサ装着位置検出部の構成例と処理例について説明する図である。 センサ装着位置判定部の構成と処理例について説明する図である。 センサ装着位置判定処理の一例について説明する図である。 統計処理に基づくセンサ装着位置判定結果の例について説明する図である。 統計処理に基づくセンサ装着位置判定処理のシーケンスについて説明するフローチャートを示す図である。 統計処理に基づくセンサ装着位置判定処理のシーケンスについて説明するフローチャートを示す図である。 ローパスフィルタを適用したセンサ装着位置判定部の構成と処理例について説明する図である。 ローパスフィルタを適用したセンサ装着位置判定部の処理結果の例について説明する図である。 移動平均算出部を適用したセンサ装着位置判定部の構成と処理例について説明する図である。 移動平均算出部を適用したセンサ装着位置判定部の処理結果の例について説明する図である。 バンドパスフィルタを適用したセンサ装着位置判定部の構成と処理例について説明する図である。 バンドパスフィルタを適用した処理による信号の変化例について説明する図である。 バンドパスフィルタを適用したセンサ装着位置判定部の処理結果の例について説明する図である。 特異点除去処理を適用したセンサ装着位置判定部の構成と処理例について説明する図である。 特異点除去処理による信号の変化例について説明する図である。 特異点除去処理を適用したセンサ装着位置判定部の処理結果の例について説明する図である。 センサ検出結果を利用したセンサ装着位置判定処理と、メタデータの生成、記録処理シーケンスの一例について説明するシーケンス図である。 センサ検出結果を利用したセンサ装着位置判定処理を適用して生成したメタデータの例について説明する図である。 センサ検出結果を利用したセンサ装着位置判定処理と、メタデータの生成、記録処理シーケンスの一例について説明するシーケンス図である。 センサ検出結果を利用したセンサ装着位置判定処理と、メタデータの生成、記録処理シーケンスの一例について説明するシーケンス図である。 センサ検出結果を利用したセンサ装着位置判定処理と、メタデータの生成、記録処理シーケンスの一例について説明するシーケンス図である。 センサをビデオカメラ内に装着した例について説明する図である。 センサ内蔵ビデオカメラの装着位置のバリエーション例について説明する図である。 センサ内蔵ビデオカメラの利用例について説明する図である。 ビデオカメラと、センサの構成例について説明する図である。 ビデオカメラ、センサ、サーバ、PC等を構成するハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
 1.本開示の情報処理装置の実行する処理の概要について
 2.センサの装着位置に応じたセンサ出力信号の変化の解析結果について
 3.センサの装着位置を判定し、装着位置に応じた解析を実行する構成について
 4.センサ装着位置検出部の構成例と処理例について
 5.センサ装着位置判定シーケンスの一例について
 6.その他の実施例について
 6-(1)ローパスフィルタを適用したセンサ装着位置判定部の構成例ついて
 6-(2)移動平均算出部を適用したセンサ装着位置判定部の構成例について
 6-(3)パンドパスフィルタ(BPF)を適用したセンサ装着位置判定部の構成例について
 6-(4)特異点除去処理部を適用したセンサ装着位置判定部の構成例について
 7.各装置間の通信およびデータ処理シーケンスについて
 7-(1)センサ装着位置判定処理等のデータ処理をビデオカメラが実行する例
 7-(2)センサ装着位置判定処理等のデータ処理をセンサ装置が実行する例
 7-(3)センサ装着位置判定処理等のデータ処理をサーバが実行する例
 8.センサをビデオカメラに装着した例について
 9.その他の実施例について
 10.ビデオカメラ、センサ他の情報処理装置の構成について
 11.本開示の構成のまとめ
  [1.本開示の情報処理装置の実行する処理の概要について]
 まず、図1以下を参照して本開示の情報処理装置の実行する処理の概要について説明する。
 図1には、画像を撮影する撮像装置としてのビデオカメラ10と、ビデオカメラ10の被写体に装着されたセンサ20を示している。センサ20を装着した被写体は、スノーボード1に乗り、雪の上を滑走しており、ビデオカメラ10が撮影しているという想定である。
 センサ20は、例えば、X,Y,Z3軸を中心とする回転方向の角速度を計測可能なジャイロセンサ、さらに、3軸方向の加速度を計測可能な加速度センサ等から構成される。
 センサ20とビデオカメラ10は例えばWi-Fi通信やブルートゥース(登録商標)(BT:Bluetooth(登録商標))通信等によるデータ通信を行い、センサ20によるセンサ検出情報が、遂次、ビデオカメラ10に送信される。
 ビデオカメラ10は、撮影画像を記憶部に記録するとともに、センサ20から受信のするセンサ検出情報に基づいて、被写体の動き、例えば被写体が行ったジャンプやターン等の特定の動きが行われたタイミング等を解析する。
 さらに、この解析結果を撮影画像に対応するメタデータとして、画像に併せて記憶部に格納する処理を実行する。
 図2は、センサ20を装着した被写体の動きの例を示す図である。
 スノーボードに乗り雪山を滑降する被写体は、あるタイミングでジャンプを行い、また、別のタイミングでターンを行う。
 これらの被写体の特定の動作、すなわち、ジャンプ処理や、ターン処理に伴うユーザの動き情報は、センサ20によって検出される。このセンサ検出情報はセンサ20からビデオカメラ10に送信される。
 ビデオカメラ10の実行する処理の概要について、図3を参照して説明する。
 ビデオカメラ10は、図3に示すように被写体を撮影し、撮影画像を記憶部に格納する。
 さらに、ビデオカメラ10は、センサ20から受信するセンサ検出情報に基づいて、被写体の動き、すなわちジャンプやターン等の特定の動きが行われたタイミング等を解析し、解析結果を撮影画像に対応するメタデータとして、画像に併せて記憶部に格納する処理を実行する。
 図3に示すように、ビデオカメラ10は、例えばジャンプ処理に対応するメタデータとして、以下の各データを生成して記憶部に格納する。
 (a)アクション種別:ジャンプ
 (b)アクション開始時間:2015/12/12,13:21:05
 (c)アクション終了時間:2015/12/12,13:21:12
 (d)アクションスコア:72
 (a)アクション種別:ジャンプ
 これは、被写体の行った動作がジャンプ動作であることを示すメタデータである。
 (b)アクション開始時間:2015/12/12,13:21:05
 (c)アクション終了時間:2015/12/12,13:21:12
 これらは、ジャンプの開始時間と終了時間情報である。
 (d)アクションスコア:72
 これは、例えばセンサ検出情報から得られるジャンプの高さ等に基づいて、予め規定されたスコア算出アルゴリズムを適用して算出したスコアである。
 また、ビデオカメラ10は、例えばターン処理に対応するメタデータとして、以下の各データを生成して記憶部に格納する。
 (a)アクション種別:ターン
 (b)アクション開始時間:2015/12/12,13:22:18
 (c)アクション終了時間:2015/12/12,13:22:22
 (d)アクションスコア:81
 (a)アクション種別:ターン
 これは、被写体の行った動作がターン動作であることを示すメタデータである。
 (b)アクション開始時間:2015/12/12,13:22:18
 (c)アクション終了時間:2015/12/12,13:22:22
 これらは、ターンの開始時間と終了時間情報である。
 (d)アクションスコア:81
 これは、例えばセンサ検出情報から得られるターンの角度等に基づいて、予め規定されたスコア算出アルゴリズムを適用して算出したスコアである。
 ビデオカメラ10の処理の概要について、図4を参照して説明する。
 図4に示すように、ビデオカメラ10は、特徴量抽出部101、ジャンプ検出部102、ターン検出部103、メタデータ生成部104、記憶部105、編集部106、出力部107を有する。
 なお、ビデオカメラ10は、撮像部や撮影画像の符号化処理等の基本的なビデオカメラとしての機能を有する。図4は、センサ検出情報に基づくメタデータの生成、記録に関する処理を実行するビデオカメラの一部構成を示す図である。
 特徴量抽出部101は、センサ20から受信するセンサ検出情報から特徴量を検出する。本例ではジャンプとターンに対応する動きを検出するために有効となる特徴量を抽出する。
 具体的には、例えば、ジャイロセンサの検出値であるX,Y,Z各軸対応の角速度情報や、加速度センサからの検出値であるX,Y,Z各軸の加速度情報、あるいはこれらの検出情報に基づいて生成される情報等である。
 抽出された特徴量データは、ジャンプ検出部102と、ターン検出部103に出力される。
 ジャンプ検出部102は、特徴量抽出部101から入力するデータに基づいて、被写体がジャンプを行ったと判定される時間等を解析する。
 同様にターン検出部103は、特徴量抽出部101から入力するデータに基づいて、被写体がターンを行ったと判定される時間等を解析する。
 ジャンプ検出部102と、ターン検出部103の検出データは、メタデータ生成部104に出力される。
 メタデータ生成部は、ジャンプ検出部102と、ターン検出部103の検出データに基づいてメタデータを生成して記憶部105に格納する。
 メタデータ生成部104の生成するメタデータは、先に図3を参照して説明したようなメタデータである。すなわち、例えばジャンプ処理に対応するメタデータとして、以下の各データを生成して、記憶部105に格納する。
 (a)アクション種別:ジャンプ
 (b)アクション開始時間:2015/12/12,13:21:05
 (c)アクション終了時間:2015/12/12,13:21:12
 (d)アクションスコア:72
 同様に、ターン処理に対応するメタデータとして、以下の各データを生成して、記憶部105に格納する。
 (a)アクション種別:ターン
 (b)アクション開始時間:2015/12/12,13:22:18
 (c)アクション終了時間:2015/12/12,13:22:22
 (d)アクションスコア:81
 メタデータ生成部104は、これらのメタデータをビデオカメラ10の撮影画像の対応画像フレームに対応付けて格納する。
 すなわち、ジャンプシーンを撮影した画像フレームに対応付けて上記のジャンプ対応のメタデータを記録する。
 同様に、ターンシーンを撮影した画像フレームに対応付けて上記のターン対応のメタデータを記録する。
 撮影画像とセンサ検出情報には、いずれも同期された時間情報が対応付けられており、この時間情報に従って、撮影画像と、撮影画像に対応するメタデータを取得し、画像と対応メタデータを対応付けて記憶部105に格納する。
 記憶部105に格納された画像は、例えばメタデータに記録された情報を検索インデックスとして画像検索を行うことで、容易にかつ確実にジャンプシーンやターンシーンを抽出することが可能となる。
 編集部106は、このようなメタデータを利用することで、画像のハイライトシーンの選択表示や、画像のハイライトシーンのみを集めたダイジェストデータ等の抽出処理や編集処理を効率的に行うことが可能となる。
 編集部106において、メタデータに基づいて抽出、または編集されたデータは、例えば表示部等によって構成される出力部107に出力される。
 出力部(表示部)107に表示される画像は、例えば、ジャンプシーンやターンシーン等の迫力のある画像シーンを集めたダイジェスト画像となる。
 次に、図5、図6を参照して、特徴量抽出部101の取得する特徴量を利用したジャンプ検出部102におけるジャンプ検出処理と、ターン検出部103におけるターン検出処理の一例について説明する。
 図5は、特徴量抽出部101の取得する特徴量を利用したジャンプ検出部102におけるジャンプ検出処理の一例について説明する図である。
 図5に示す例は、センサ検出情報中の1つの検出情報である垂直方向加速度情報を適用したジャンプ検出処理例を示している。
 図5に示すグラフは横軸が時間(t)、縦軸がセンサ20の検出した垂直方向加速度を示すグラフである。
 センサ20を装着した被写体がジャンプ処理を行なうと、垂直方向加速度が急激に変化する。
 図5に示す時間t1が、ジャンプの開始時間に相当する。
 時間t1において、垂直方向加速度が急激に上昇し、この時間t1において被写体がジャンプを開始したと判定される。
 また、図5に示す時間t2が、ジャンプの終了時間に相当する。
 時間t2において、垂直方向加速度が急激に減少し、この時間t2において被写体がジャンプを終了したと判定される。
 図5に示す例では、時間t1~t2がジャンプ期間となる。
 図4に示すジャンプ検出部102は、例えば、図5に示すように垂直方向加速度の変化を解析し、ジャンプ処理の検出を行う。
 なお、図5に示す例は、垂直方向加速度のみを利用した処理例であるが、その他のセンサ検出情報も利用して、様々なユーザの動き解析、例えばジャンプの高さや、ジャンプの方向等の解析行うことが可能である。
 この解析結果が、メタデータ生成部105に出力され、メタデータ生部部105は、これらの解析結果に基づいてメタデータを生成する。
 図6は、特徴量抽出部101の取得する特徴量を利用したターン検出部103におけるターン検出処理の一例について説明する図である。
 図6に示す例は、センサ検出情報中の1つの検出情報であるY軸(垂直軸)回りの角速度(回転速度)情報を適用したターン検出処理例を示している。
 図5に示すグラフは横軸が時間(t)、縦軸がセンサ20の検出した角速度を示すグラフである。
 センサ20を装着した被写体がターン処理を行なうと、Y軸回りの角速度(回転速度)が急激に変化する。
 図6に示す時間t1が、ターンの開始時間に相当する。
 時間t1において、Y軸回りの角速度(回転速度)が急激に上昇し、この時間t1において被写体がターンを開始したと判定される。
 また、図6に示す時間t2が、ターンの終了時間に相当する。
 時間t2において、Y軸回りの角速度(回転速度)が急激に減少し、この時間t2において被写体がターンを終了したと判定される。
 図6に示す例では、時間t1~t2がターン期間となる。
 図4に示すターン検出部103は、例えば、図6に示すようにY軸回りの角速度(回転速度)の変化を解析し、ターン処理の検出を行う。
 なお、図6に示す例は、Y軸回りの角速度(回転速度)のみを利用した処理例であるが、その他のセンサ検出情報も利用して、様々なユーザの動き解析、例えばターンの速度や、ターンの方向等の解析行うことが可能である。
 この解析結果が、メタデータ生成部105に出力され、メタデータ生部部105は、これらの解析結果に基づいてメタデータを生成する。
  [2.センサの装着位置に応じたセンサ出力信号の変化の解析結果について]
 次に、.センサの装着位置に応じたセンサ出力信号の変化の解析結果について説明する。
 図1他を参照して説明したように、本開示の処理では、被写体に装着されたセンサ20の検出情報に基づいて被写体の様々な動作、具体的にはジャンプやターン等のユーザ動作の発生を検出する。
 センサ20は、3軸方向の加速度を検出する加速度センサや、3軸回りの角速度を検出するジャイロセンサ等によって構成される。
 これらのセンサの出力信号の具体例について、図7、図8を参照して説明する。
 図7は、加速度センサの出力信号の例を示すグラフである。
 横軸が時間(t)、縦軸がセンサ出力値である。
 グラフには、X,Y,Z各方向の加速度を示す3つの出力信号を重ねて示している。
 実線x:x方向の加速度
 破線y:y方向の加速度
 点線z:z方向の加速度
 これらの3つの出力信号を示している。
 センサ出力には、このグラフに示すように、様々な周波数帯の信号が含まれる。
 図8は、ジャイロセンサの出力信号の例を示すグラフである。
 横軸が時間(t)、縦軸がセンサ出力値である。
 グラフには、X,Y,Z各軸回りの角速度を示す3つの出力信号を重ねて示している。
 実線u:x軸回りの角速度(回転速度)
 破線v:y軸回りの角速度(回転速度)
 点線w:z軸回りの角速度(回転速度)
 これらの3つの出力信号を示している。
 センサ出力には、このグラフに示すように、様々な周波数帯の信号が含まれる。
 特徴量抽出部102は、これらの信号から、例えばノイズと判断される微小変動等を除去する処理等を実行し、目的とする被写体動作(例えばジャンプやターン)の検出に有効と判断される信号を特徴量として抽出する。
 このようなセンサ出力に基づいて、ユーザの動作を判別する処理を行なう場合、センサ20が人体に装着されているか、センサ20が人体以外の物体に装着されているかに応じて、センサ20から取得される信号に差異が生じ、ユーザ動作判別が正確に行えなくなることが考えられる。
 図9は、センサ20の装着位置が異なる2つの例について説明する図である。
 図9には以下の2つのセンサ装着例を示している。
 (1)人体に対するセンサ装着例
 (2)人体以外(人体外)に対するセンサ装着例
 図9(1)人体に対するセンサ装着例は、人体の腰にベルトを利用してセンサを装着した例である。
 図9(2)は、スノーボードに直接センサを装着した例である。
 センサ20を図9(1)に示すように人体に装着した場合、人体がクッションとして機能し、センサ検出情報に含まれる高周波帯域の信号が減少すると推定される。
 一方、センサ20を図9(2)に示すように人体以外の物、例えばスノーボードに直接、装着した場合、センサはスノーボードの振動等を直接検出するため、センサ検出信号に含まれる高周波帯域の信号が増加すると推定される。
 センサ20の検出信号に含まれる高周波信号と、低周波信号の比率を測定した結果の例について、図10を参照して説明する。
 実験対象スポーツとして、以下の2つのスポーツについて検証した。
 (1)自転車
 (2)カイトサーフィン
 (1)自転車の場合、以下の2つの異なる位置にセンサを装着してセンサの出力信号を解析した。
 (1p)自転車に乗った人の人体にセンサを装着した場合(センサを人体に装着した例)、
 (1q)自転車のハンドルにセンサを装着した場合(センサを人体外に装着した例)、
 センサ出力信号について、センサ出力信号に含まれる低周波信号成分(A)と、高周波信号成分(B)を分離して、これらの各周波数成分の比率、具体的には、
 高周波成分/低周波成分=B/A
 この(B/A)の値を計測した。
 (B/A)の値が大きい場合は、センサ出力信号に含まれる高周波成分が多いことを意味する。
 (B/A)の値が小さい場合は、センサ出力信号に含まれる高周波成分が少ないことを意味する。
 実験結果は、図10に示すように、以下の通りである。
 (1p)自転車に乗った人の人体にセンサを装着した場合(センサを人体に装着した場合)、
 高周波成分/低周波成分=B/A=0.3×10-6
 (1q)自転車のハンドルにセンサを装着した場合(センサを人体外に装着した場合)、
 高周波成分/低周波成分=B/A=5.0×10-6
 このように、人体にセンサを装着した場合は、センサ検出信号に含まれる高周波信号成分が少なく、人体外にセンサを装着した場合は、センサ検出信号に含まれる高周波信号成分が多くなるとの結果が得られた。
 さらに、(2)カイトサーフィンにおいても、以下の2つの異なる位置にセンサを装着してセンサの出力信号を解析した。
 (2p)カイトサーフィンに乗った人の人体にセンサを装着した場合(センサを人体に装着した例)、
 (2q)カイトサーフィンのサーフボードにセンサを装着した場合(センサを人体外に装着した例)、
 センサ出力信号について、センサ出力信号に含まれる低周波信号成分(A)と、高周波信号成分(B)を分離して、これらの各周波数成分の比率、具体的には、
 高周波成分/低周波成分=B/A
 この(B/A)の値を計測した。
 (B/A)の値が大きい場合は、センサ出力信号に含まれる高周波成分が多いことを意味する。
 (B/A)の値が小さい場合は、センサ出力信号に含まれる高周波成分が少ないことを意味する。
 実験結果は、図10に示すように、以下の通りである。
 (2p)カイトサーフィンに乗った人の人体にセンサを装着した場合(センサを人体に装着した場合)、
 高周波成分/低周波成分=B/A=0.3×10-6
 (2q)カイトサーフィンのサーフボードにセンサを装着した場合(センサを人体外に装着した場合)、
 高周波成分/低周波成分=B/A=3.0×10-6
 このように、人体にセンサを装着した場合は、センサ検出信号に含まれる高周波信号成分が少なく、人体外にセンサを装着した場合は、センサ検出信号に含まれる高周波信号成分が多くなるとの結果が得られた。
 以下に説明する本開示の構成は、これらの実験結果を考慮し、センサの検出位置が人体であるか、人体外であるかを自動判別し、判別結果を適用してセンサ検出情報に基づくユーザ(被写体)の動き検出を行うことで、より精度の高いユーザ(被写体)の動き検出を実行する構成である。
  [3.センサの装着位置を判定し、装着位置に応じた解析を実行する構成について]
 次に.センサの装着位置を判定し、装着位置に応じた解析を実行する構成について説明する。
 図11は、本開示の一実施例に係るビデオカメラ10の構成を示す図である。
 なお、ビデオカメラ10は、撮像部や撮影画像の符号化処理等の基本的なビデオカメラとしての機能を有する。図11は、センサ検出情報を適用したメタデータの生成、記録に関する処理を実行するビデオカメラの一部構成を示す図である。
 図11に示すように、ビデオカメラ10は、以下の構成を有する。
 人体装着センサ対応処理部110、
 人体外装着センサ対応処理部120、
 センサ装着位置検出部131、
 センサ装着位置対応データ選択部132、
 メタデータ生成部133、
 記憶部134、
 また、人体装着センサ対応処理部110は、特徴量抽出部111、ジャンプ検出部112、ターン検出部113を有する。
 人体外装着センサ対応処理部120も、特徴量抽出部121、ジャンプ検出部122、ターン検出部123を有する。
 人体装着センサ対応処理部110は、センサ20が、人体に装着されていることを前提とした処理を実行する。
 すなわち、先に図9(1)を参照して説明したようにセンサ20が人体に装着されていると仮定した特徴量抽出、ジャンプ検出、ターン検出処理を実行する。
 一方、人体外装着センサ対応処理部120は、センサ20が、人体外、例えばに装着されていることを前提とした処理を実行する。
 すなわち、先に図9(2)を参照して説明したようにセンサ20が、スノーボード等、人体外に装着されていると仮定した特徴量抽出、ジャンプ検出、ターン検出処理を実行する。
 人体装着センサ対応処理部110の特徴量抽出部111は、センサ20から受信するセンサ検出情報から特徴量を検出する。本例ではジャンプとターンに対応する動きを検出するために有効となる特徴量を抽出する。
 具体的には、例えば、ジャイロセンサの検出値であるX,Y,Z各軸対応の角速度情報や、加速度センサからの検出値であるX,Y,Z各軸の加速度情報等である。
 抽出された特徴量データは、ジャンプ検出部112と、ターン検出部113に出力される。
 ジャンプ検出部112は、特徴量抽出部111から入力するデータに基づいて、被写体がジャンプを行ったと判定される時間等を解析する。
 同様にターン検出部113は、特徴量抽出部111から入力するデータに基づいて、被写体がターンを行ったと判定される時間等を解析する。
 なお、人体装着センサ対応処理部110では、センサ20が人体に装着されていると仮定した処理を実行する。
 センサ20が人体に装着されている場合は、センサがスノーボード等の人体外に直接、装着されている場合より、高周波成分中のノイズ量は比較的少ない。
 また、人体特有の動き、例えば呼吸に伴う動きや首振り等の身体的な動きがセンサによって検出される。
 このように、センサ20を人体に装着している場合は、高周波成分中のノイズ量は比較的少なく、またセンサ20が人体特有の動き(呼吸や首振り等)に対応した検出信号を出力する。
 人体装着センサ対応処理部110では、このような特徴を考慮した検出アルゴリズムを実行する。
 すなわち、高周波成分中のノイズ量が少なく、また人体固有の動きに対応する出力をノイズと解釈する検出アルゴリズムを適用して、ジャンプやターン等の検出目的対応の動きを検出する。
 一方の人体外装着センサ対応処理部120においても、特徴量抽出部121は、センサ20から受信するセンサ検出情報から特徴量を検出する。本例ではジャンプとターンに対応する動きを検出するために有効となる特徴量を抽出する。
 具体的には、例えば、ジャイロセンサの検出値であるX,Y,Z各軸対応の角速度情報や、加速度センサからの検出値であるX,Y,Z各軸の加速度情報等である。
 抽出された特徴量データは、ジャンプ検出部122と、ターン検出部123に出力される。
 ジャンプ検出部122は、特徴量抽出部121から入力するデータに基づいて、被写体がジャンプを行ったと判定される時間等を解析する。
 同様にターン検出部123は、特徴量抽出部121から入力するデータに基づいて、被写体がターンを行ったと判定される時間等を解析する。
 人体外装着センサ対応処理部120は、センサ20が、人体外、例えばに装着されていることを前提とした処理を実行する。
 センサ20が人体外に装着されている場合、例えばスノーボード等に直接装着されている場合、スノーボード等の部材自体の固有振動等をセンサ20が検出してしまう。このような振動はノイズと判断する。また、人体に直接装着した場合に比較して、呼吸に伴う動きや首振り等の身体的な動きは、センサによって検出されにくい。
 人体外装着センサ対応処理部120では、このような特徴を考慮した検出アルゴリズムを実行する。
 このように、人体装着センサ対応処理部110と、人体外装着センサ対応処理部120では異なる検出アルゴリズムに従ったジャンプ、およびターン検出を実行する。
 センサ装着位置検出部131は、センサ20の検出情報を入力し、センサ20の装着位置が人体であるか、人体外であるかを判別する処理を実行する。
 先に、図7~図10を参照して説明したように、センサの装着位置が人体である場合と、人体外である場合とでは、センサの出力信号に含まれる周波数成分比率が大きく異なる。
 具体的には、センサ出力信号に含まれる低周波信号成分(A)と、高周波信号成分(B)の比率、すなわち、
 高周波成分/低周波成分=B/A
 この(B/A)の値が、センサの装着位置が人体である場合と、人体外である場合とでは大きく異なる。
 センサ装着位置検出部131は、このセンサ出力信号の差異を解析して、センサ20の装着位置が人体であるか、人体外であるかを判別する処理を実行する。
 なお、このセンサ装着位置検出部131の具体的構成と処理については、後段で詳細に説明する。
 センサ装着位置検出部131におけるセンサ装着位置判定結果(人体or人体外)は、センサ装着位置対応データ選択部132に入力される。
 センサ装着位置対応データ選択部132は、人体装着センサ対応処理部110と、人体外装着センサ対応処理部120から以下の各データを入力する。
 人体装着センサ対応処理部110から、センサ20が人体に装着されていると仮定して実行されたジャンプ検出結果(人体装着センサ対応ジャンプデータ)と、ターン検出結果(人体装着センサ対応ターンデータ)を入力する。
 さらに、人体外装着センサ対応処理部120から、センサ20が人体外に装着されていると仮定して実行されたジャンプ検出結果(人体外装着センサ対応ジャンプデータ)と、ターン検出結果(人体外装着センサ対応ターンデータ)を入力する。
 センサ装着位置対応データ選択部132は、センサ装着位置検出部131におけるセンサ装着位置判定結果(人体or人体外)に応じて、人体装着センサ対応処理部110からの入力と、人体外装着センサ対応処理部120からの入力のいずれかを選択して、選択データをメタデータ生成部133に出力する。
 すなわち、センサ装着位置検出部131から、センサ20が人体に装着されているとの判定結果を入力した場合は、
 人体装着センサ対応処理部110からの入力データが、正しい検出データであると判断して、このデータを選択してメタデータ生成部133に出力する。
 一方、センサ装着位置検出部131から、センサ20が人体外に装着されているとの判定結果を入力した場合は、
 人体外装着センサ対応処理部120からの入力データが、正しい検出データであると判断して、このデータを選択してメタデータ生成部133に出力する。
 メタデータ生成部133は、センサ装着位置対応データ選択部132からの入力、すなわち、以下のいずれか一方のデータを入力してメタデータを生成する。
 (1)センサ20が人体に装着されていると仮定して実行されたジャンプ検出結果(人体装着センサ対応ジャンプデータ)と、ターン検出結果(人体装着センサ対応ターンデータ)
 (2)センサ20が人体外に装着されていると仮定して実行されたジャンプ検出結果(人体外装着センサ対応ジャンプデータ)と、ターン検出結果(人体外装着センサ対応ターンデータ)
 すなわち、メタデータ生成部133は、以下の処理を実行することになる。
 センサ装着位置検出部131が、センサ20が人体に装着されているとの判定結果を出力した場合は、センサ20が人体に装着されていると仮定して実行されたジャンプ検出結果(人体装着センサ対応ジャンプデータ)と、ターン検出結果(人体装着センサ対応ターンデータ)に基づいてメタデータを生成して記憶部134に格納する。
 一方、センサ装着位置検出部131が、センサ20が人体外に装着されているとの判定結果を出力した場合は、センサ20が人体外に装着されていると仮定して実行されたジャンプ検出結果(人体外装着センサ対応ジャンプデータ)と、ターン検出結果(人体外装着センサ対応ターンデータ)に基づいてメタデータを生成して記憶部134に格納する。
 このように、図11に示す構成により、センサが人体と人体外のどちらに装着されているかを自動的に判定し、装着位置に応じた最適なセンサ出力に応じた解析結果をメタデータとして画像に対応付けて記録することが可能となる。
 なお、メタデータ生成部133の生成するメタデータは、例えば、先に図3を参照して説明したメタデータである。
 すなわち、例えばジャンプ処理に対応するタデータとして、以下の各データを生成して、記憶部134に格納する。
 (a)アクション種別:ジャンプ
 (b)アクション開始時間:2015/12/12,13:21:05
 (c)アクション終了時間:2015/12/12,13:21:12
 (d)アクションスコア:72
 同様に、ターン処理に対応するメタデータとして、以下の各データを生成して、記憶部134に格納する。
 (a)アクション種別:ターン
 (b)アクション開始時間:2015/12/12,13:22:18
 (c)アクション終了時間:2015/12/12,13:22:22
 (d)アクションスコア:81
 メタデータ生成部133は、これらのメタデータをビデオカメラ10の撮影画像の対応画像フレームに対応付けて格納する。
 すなわち、ジャンプシーンを撮影した画像フレームに対応付けて上記のジャンプ対応のメタデータを記録する。
 同様に、ターンシーンを撮影した画像フレームに対応付けて上記のターン対応のメタデータを記録する。
 撮影画像とセンサ検出情報には、いずれも同期された時間情報が対応付けられており、この時間情報に従って、撮影画像と、撮影画像に対応するメタデータを取得し、画像と対応メタデータを対応付けて記憶部134に格納する。
 記憶部134に格納された画像は、例えばメタデータに記録された情報を検索インデックスとして画像検索を行うことで、容易にかつ確実にジャンプシーンやターンシーンを抽出することが可能となる。
 このようなメタデータを利用することで、画像のハイライトシーンの選択表示や、画像のハイライトシーンのみかを集めたダイジェストデータ等の編集処理を効率的に行うことが可能となる。
 編集部135は、このようなメタデータを利用することで、画像のハイライトシーンの選択表示や、画像のハイライトシーンのみを集めたダイジェストデータ等の抽出処理や編集処理を効率的に行うことが可能となる。
 編集部135において、メタデータに基づいて抽出、または編集されたデータは、例えば表示部等によって構成される出力部136に出力される。
 出力部(表示部)136に表示される画像は、例えば、ジャンプシーンやターンシーン等の迫力のある画像シーンを集めたダイジェスト画像となる。
  [4.センサ装着位置検出部の構成例と処理例について]
 次に、図11に示すビデオカメラ10のセンサ装着位置検出部131の具体的な構成例と処理例について説明する。
 図12は、センサ装着位置検出部131の一つの具体的構成例を示す図である。
 具体的には、センサ20が人体に装着されているか、スノーボード等の人体外に装着されているか、いずれであるかを判別する。
 具体的には、例えば、先に図9を参照して説明したように、
 (1)人体に対するセンサ装着
 (2)人体以外に対するセンサ装着
 これらいずれのセンサ装着タイプであるかを判別する。
 なお、図12には、フィルタ(LPF,HPF)の段数(4段等)や、フィルタのカット(遮断)周波数(Fc=1Hz等)、さらにデータ取得用の観察窓(区間)として設定するタイムフレームの長さ(2Sec.等)を具体的に示しているが、これらの数値は一例であり、実際のセンサの特性などに応じて適宜変更されうる。
 図12以下の各図においても同様であり、各図に示す数値は一例を示しているものであり、様々な設定が可能である。
 図12に示すセンサ装着位置検出部131の構成と処理について説明する。
 センサ装着位置検出部131の特徴量抽出部(ノルム算出部)151は、センサ20からセンサ20の検出信号を入力する。
 センサ20は、例えば、X,Y,Z3軸を中心とする回転方向の角速度を計測可能なジャイロセンサ、さらに、3軸方向の加速度を計測可能な加速度センサ等から構成される。
 センサ装着位置検出部131には、これらのセンサ検出信号が入力されるが、ここでは一例として、ジャイロセンサの出力、すなわち、X,Y,Z3軸を中心とする回転方向の角速度(u,v,w)を入力してセンサ装着位置を判定する処理を行なう例について説明する。
 センサ装着位置検出部131の特徴量抽出部(ノルム算出部)151は、センサ20からジャイロセンサの出力、すなわち、X,Y,Z3軸を中心とする回転方向の角速度(u,v,w)を入力する。
 なお、センサ20は、例えば1秒間に64回の計測値、すなわち計測、レート=64回/secで計測を実行しており、この計測値が順次、特徴量抽出部(ノルム算出部)151に入力される。
 特徴量抽出部(ノルム算出部)151は、角速度(u,v,w)のノルム(Norm)を算出する。
 Norm=SQRT(u+v+w
 上記式に従って、角速度(u,v,w)のノルムを算出する。角速度(u,v,w)のノルムは角速度(u,v,w)の大きさに相当する。
 センサ装着体の回転が高速であるほどノルムは大きくなり、低速であれば小さくなる。ノルムは回転の強さを示す指標値となる。
 なお、センサ20の装着体の回転速度は常に変化しており、ノルムの値もその変化に応じて逐次変化することになる。
 前述したように、センサ20からの出力は、64回/secの出力レートであり、特徴量抽出部(ノルム算出部)151の算出するノルムは、時間に伴い変化する信号(ノルム信号)として出力される。
 時間単位のノルム変化が激しければ、特徴量抽出部(ノルム算出部)151の出力するノルム信号には多くの高周波成分が含まれ、時間単位のノルム変化が少ない場合は、特徴量抽出部(ノルム算出部)151の出力するノルム信号に含まれる高周波成分が少なくなり、低周波成分の比率が高まることになる。
 特徴量抽出部(ノルム算出部)151の算出したノルム信号は、4段のローパスフィルタ:LPF152(Fc=1Hz)、および2段のハイパスフィルタ:HPF154(Fc=10Hz)、さらに、センサ装着位置判定部157に入力される。
 LPF152は、ノルム信号に含まれる低周波成分のみを抽出する。4段のLPF152(Fc=1Hz)により、ノルム信号に含まれる1Hz以下の低周波成分が抽出されて出力される。
 一方、HPF154は、ノルム信号に含まれる高周波成分のみを抽出する。2段のHPF154(Fc=10Hz)により、ノルム信号に含まれる10Hz以上の高周波成分が抽出されて出力される。
 LPF152の出力であるノルム低周波成分信号は、振幅検出部153[Max-Min(2sec.)]に入力される。
 振幅検出部153[Max-Min(2sec.)]は、2秒単位のタイムフレーム区間のノルム低周波成分信号に含まれる最大振幅と最小振幅の差分を算出する。
 LPF152の出力であるノルム低周波成分信号に多くの低周波成分信号が含まれるほど、2秒単位のタイムフレーム区間のノルム低周波成分信号から算出される最大振幅と最小振幅の差分は大きくなる。
 一方、LPF152の出力であるノルム低周波成分信号に含まれる低周波成分信号が少ない場合は、2秒単位のタイムフレーム区間のノルム低周波成分信号から算出される最大振幅と最小振幅の差分は小さくなる。
 すなわち、振幅検出部153[Max-Min(2sec.)]の出力は、特徴量抽出部(ノルム算出部)151の出力するノルム信号に含まれる低周波成分の量を示す指標値となり、これは、すなわちセンサ20の時間推移に伴う出力信号に含まれる低周波成分の量を示す指標値となる。
 図12において、振幅検出部153の出力として示す値[A(低周波成分)]が、このセンサ20の時間推移に伴う出力信号に含まれる低周波成分の量を示す指標値となる。
 一方、HPF154の出力であるノルム高周波成分信号は、振幅検出部155[Max-Min(2sec.)]に入力される。
 振幅検出部155[Max-Min(2sec.)]は、2秒単位のタイムフレーム区間のノルム高周波成分信号に含まれる最大振幅と最小振幅の差分を算出する。
 HPF154の出力であるノルム高周波成分信号に多くの高周波成分信号が含まれるほど、2秒単位のタイムフレーム区間のノルム高周波成分信号から算出される最大振幅と最小振幅の差分は大きくなる。
 一方、HPF152の出力であるノルム高周波成分信号に含まれる高周波成分信号が少ない場合は、2秒単位のタイムフレーム区間のノルム高周波成分信号から算出される最大振幅と最小振幅の差分は小さくなる。
 すなわち、振幅検出部155[Max-Min(2sec.)]の出力は、特徴量抽出部(ノルム算出部)151の出力するノルム信号に含まれる高周波成分の量を示す指標値となり、これは、すなわちセンサ20の時間推移に伴う出力信号に含まれる高周波成分の量を示す指標値となる。
 図12において、振幅検出部155の出力として示す値[B(高周波成分)]が、このセンサ20の時間推移に伴う出力信号に含まれる高周波成分の量を示す指標値となる。
 振幅検出部153の出力信号A(低周波成分)と、振幅検出部155の出力信号B(高周波成分)は、周波数成分比率算出部156[B/A(高周波成分/低周波成分)]に入力される。
 周波数成分比率算出部156は、振幅検出部153の出力信号A(低周波成分)と、振幅検出部155の出力信号B(高周波成分)の比率、すなわち、
 B/A(=高周波成分/低周波成分)
 を算出する。
 この周波数成分比率算出部156の出力する周波数成分比率信号(B/A)は、センサ20の時間推移に伴って変化する出力信号中の高周波成分と低周波成分の比率(高周波成分/低周波成分)を示す値となる。
 この周波数成分比率算出部156の出力する周波数成分比率信号(B/A)は、センサ装着位置判定部157に入力される。
 センサ装着位置判定部157の構成と処理の一例について、図13を参照して説明する。
 センサ装着位置判定部157は、図12を参照して説明した処理によって生成された周波数成分比率信号(B/A)、すなわち、周波数成分比率算出部156の出力する周波数成分比率信号(B/A)と、ノルムを入力する。
 なお、前述したように、ノルムは、特徴量抽出部(ノルム算出部)151の生成する値であり、センサ20の出力である角速度(u,v,w)のノルム(Norm)である。
 Norm=SQRT(u+v+w
 上記式に従って算出される角速度(u,v,w)のノルムであり、角速度(u,v,w)の大きさに相当する。
 センサ装着体の回転が高速であるほどノルムは大きくなり、低速であれば小さくなる。ノルムは回転の強さを示す指標値となる。
 一方、周波数成分比率信号(B/A)は、センサ20の時間推移に伴って変化する出力信号中の高周波成分と低周波成分の比率(高周波成分/低周波成分)を示す値である。
 なお、ノルムは、64回/secのレートで算出され、64回/secのレートで、センサ装着位置判定部157に入力される。
 一方、周波数成分比率信号(B/A)は2秒単位のタイムフレームを設定して計測されるが、タイムフレームも、(1/64)sec単位で、遂次、ずらして設定される。
 従って、1/64秒単位で設定された新たな2秒単位のタイムフレームを利用して、64回/secのレートで新たな周波数成分比率信号(B/A)が算出され、センサ装着位置判定部157に入力される。
 図13に示すように、ノルムは静動判定部201に入力される。
 また、センサ出力信号中の高周波成分と低周波成分の比率(高周波成分/低周波成分)を示す周波数成分比率信号(B/A)は、装着位置判定処理部203、および周波数成分比率信号記憶部202に入力される。
 これらのデータの入力処理は、センサの出力レートと同様、64回/secのレートで実行される。
 静動判定部201は、予め規定されたしきい値(静動判定しきい値)と、ノルムの値を比較する。
 なお、センサ20はセンサ検出信号を64回/secのレートで出力しており、静動判定部201は、このセンサ出力タイミング毎(64回/sec)に実行される。あるいは、ややレートを落として処理を実行する構成としてもよい。
 前述したように、センサ装着体の回転が高速であるほどノルムは大きくなり、低速であれば小さくなる。ノルムは回転の強さを示す指標値となる。
 センサ装着体の回転が0の場合は、ノルムは0となる。
 多少の誤差を考慮し、静動判定しきい値は、0よりやや大きめの値に設定される。
 ノルム(Norm)>静動判定しきい値
 上記式が成立した場合は、センサ装着体が「動きあり」と判定する。
 上記式が成立しない場合は、センサ装着体が「動きなし」と判定する。
 静動判定部201において、「動きあり」の判定がなされた場合は、装着位置判定処理部203において、入力された最新の周波数成分比率信号(B/A)を用いて、センサ装着位置の判定処理を実行する。
 一方、静動判定部201において、「動きなし」の判定がなされた場合は、装着位置判定処理部203において、最新の周波数成分比率信号(B/A)を用いず、過去に入力された中で最新の有効値(動きありの判定がなされた場合の算出値)である過去の周波数成分比率信号(B/A)を用いて、センサ装着位置の判定処理を実行する。
 すなわち、センサ装着体の動きがない場合、センサ装着位置が変更されている可能性はないと判定し、周波数成分比率信号(B/A)記憶部202に格納されている過去に算出された有効な周波数成分比率信号(B/A)を用いてセンサ装着位置を判定する。
 なお、静動判定部201において、「動きあり」の判定がなされた場合は、入力された最新の周波数成分比率信号(B/A)は、周波数成分比率信号(B/A)記憶部202に格納される。
 静動判定部201において、「動きなし」と判定された場合は、このタイミングで入力される最新の周波数成分比率信号(B/A)は、無効と判定され、センサ装着位置判定に利用されず、また、周波数成分比率信号(B/A)記憶部202にも格納されない。
 このように、装着位置判定処理部203は、静動判定部201において、「動きあり」の判定がなされた場合は、入力された最新の周波数成分比率信号(B/A)を用いてセンサ装着位置の判定処理を行なう。
 静動判定部201において、「動きなし」の判定がなされた場合は、過去に入力された最新の有効な周波数成分比率信号(B/A)を用いてセンサ装着位置の判定処理を行なう。
 装着位置判定処理部203は、周波数成分比率信号(B/A)と、装着位置判定しきい値との比較処理を実行し、装着位置判定カウントデータを出力する。
 装着位置判定しきい値は、周波数成分比率信号(B/A)の値が、
 (1)センサ装着位置=人体
 (2)センサ装着位置=人体外
 上記のいずれであるかを判定するためのしきい値である。
 具体的には、図9を参照して説明したように、
 (1)人体に対するセンサ装着
 (2)人体以外に対するセンサ装着
 これらいずれのセンサ装着タイプであるかを判別するためのしきい値である。
 先に図10を参照して説明したように、
 (1p)自転車に乗った人の人体にセンサを装着した場合、
 高周波成分/低周波成分=B/A=0.3×10-6
 (1q)自転車のハンドルにセンサを装着した場合、
 高周波成分/低周波成分=B/A=5.0×10-6
 このように、人体にセンサを装着した場合は、センサ検出信号に含まれる高周波信号成分が少なく、人体外にセンサを装着した場合は、センサ検出信号に含まれる高周波信号成分が多くなる。
 例えば、この図10に示す結果等に基づいて、しきい値が設定される。
 図10に示す例の場合、例えば、
 装着位置判定しきい値=1.0×10-6
 を用いることができる。
 なお、装着位置判定しきい値は、様々な人体以外の装着物から得られる測定結果等を考慮して設定することが好ましい。
 装着位置判定処理部203は、周波数成分比率信号(B/A)と、装着位置判定しきい値との比較処理を実行し、装着位置判定カウントデータを出力する。以下の判定式に基づく判定処理が実行される。
 (判定式):周波数成分比率信号(B/A)>装着位置判定しきい値
 上記判定式が成立する場合は、
 周波数成分比率信号(B/A)に含まれる高周波成分(B)が多いと判断され、センサ装着位置は、人体外であると判定する。
 一方、上記判定式が成立しない場合は、
 周波数成分比率信号(B/A)に含まれる高周波成分(B)が少ないと判断され、センサ装着位置は、人体であると判定する。
 なお、この判定処理は、新たな周波数成分比率信号(B/A)が入力するごと、例えばセンサ入力レート(例えば64回/sec)に応じて、1秒間に64回、実行される。
 各判定処理の結果をカウントしてカウントデータ蓄積部204に格納する。
 センサ装着位置=人体と判定した場合は、「センサ装着位置=人体」のカウント値をカウントデータ蓄積部204に格納する。
 センサ装着位置=人体外と判定した場合は、「センサ装着位置=人体外」のカウント値をカウントデータ蓄積部204に格納する。
 例えば、1秒間に64個のカウントデータが得られ、これらのカウントデータがカウントデータ蓄積部204に蓄積される。
 統計処理部205は、予め規定した判定結果出力タイミング毎にカウントデータ蓄積部204に蓄積されたカウント数を比較して、センサ装着位置判定結果、すなわち、センサが人体に装着されているか、人体外に装着されているかの判定結果を出力する。
 なお、この判定結果の出力先は、先に図11を参照して説明したように、図11に示すセンサ装着位置対応データ選択部132である。
 統計処理部205が判定結果を出力する判定結果出力タイミングは、例えば、センサ検出情報の入力レートである64回/secに合わせて(1/64)秒ごとに設定してもよいし、より長い間隔、例えば数秒~数十秒ごとに出力する設定としてもよい。
 カウントデータ蓄積部204の蓄積データと、統計処理部205の処理の具体例について、図14を参照して説明する。
 カウントデータ蓄積部204には、例えば、図14(1)、または(2)に示すカウント値が蓄積される。
 図14(1),(2)に示すグラフは、図13に示す装着位置判定処理部203において、
 (判定式):周波数成分比率信号(B/A)>装着位置判定しきい値
 上記判定式に基づいて、判定したカウント値の蓄積データ例である。
 カウント値の蓄積処理は、例えば所定計測時間単位(例えば10秒)の計測窓(移動窓)単位で実行する。計測窓(移動窓)は逐次、移動され、統計処理部205は、計測窓(移動窓)の移動タイミング(例えば1秒)毎に、順次、古いカウント値を削除し、新たなカウント値を入力してカウント値を更新していく。
 図14(1)に示す例では、
 カウントデータ蓄積部204の蓄積データのカウントの分布が、以下の通りである。
 (センサ装着位置=人体)のカウント>(センサ装着位置=人体外)のカウント
 すなわち、センサ装着位置が人体であると判定されたカウント数が、人体外であると判定したカウント数より多くなっている。
 このようなカウント数分布の場合、統計処理部205は、センサ装着位置判定結果として、センサ装着位置は人体であるとの結果を出力する。
 一方、図14(2)に示す例では、
 カウントデータ蓄積部204の蓄積データのカウントの分布が、以下の通りである。
 (センサ装着位置=人体)のカウント<(センサ装着位置=人体外)のカウント
 すなわち、センサ装着位置が人体外であると判定されたカウント数が、人体であると判定したカウント数より多くなっている。
 このようなカウント数分布の場合、統計処理部205は、センサ装着位置判定結果として、センサ装着位置は人体外であるとの結果を出力する。
 人体装着と判定したカウント数と、人体外装着と判定したカウント数を比較し、より多いカウント数を持つ方を選択し、選択した装着位置を判定結果として出力する
 なお、人体装着と判定したカウント数と、人体外装着と判定したカウント数が均衡している場合は、その前の判定時の判定結果として得られている「人体装着」または「人体外装着」、いずれかの結果を、そのまま継続して出力する構成とする構成とすることが好ましい。
 このように、統計処理部205は、予め設定された判定結果出力間隔ごとにカウントデータ蓄積部204の蓄積データのカウント分布状況に応じて判定結果、すなわち、
 (1)センサが人体に装着されているか、
 (2)センサが人体外に装着されているか、
 上記いずれのセンサ装着タイプであるかの判定情報を出力する。
 この判定結果の出力先は、先に図11を参照して説明したように、図11に示すセンサ装着位置対応データ選択部132である。
 センサ装着位置対応データ選択部132は、センサ装着位置検出部131におけるセンサ装着位置判定結果(人体or人体外)に応じて、人体装着センサ対応処理部110からの入力と、人体外装着センサ対応処理部120からの入力のいずれかを選択して、選択データをメタデータ生成部133に出力する。
 図11に示す構成により、センサが人体と人体外のどちらに装着されているかを自動的に判定し、装着位置に応じた最適なセンサ出力に応じた解析結果をメタデータとして画像に対応付けて記録することが可能となる。
 図15は、図13に示すセンサ装着位置判定部の処理結果の評価を行った試験結果を示す図である。
 図15には以下のデータを示している。
 (1)センサ20の出力に基づいて生成される周波数成分比率信号(B/A)(=高周波成分/低周波成分)の時間推移データ、
 (2a)図13を参照して説明した統計処理を適用したセンサ装着位置判定部の処理によって得られる判定結果データ、
 (1)の周波数成分比率信号(B/A)のグラフは、横軸が時間、縦軸が周波数成分比率信号(B/A)の信号値を示している。
 グラフ中の各点が、センサ出力タイミング毎に算出されるB/Aの値である。この算出処理は、例えばセンサの検出結果出力レート(64回/sec)と同様のレート、すなわち1/64sec毎に行われる。
 (2a)の統計処理に基づく判定結果データのグラフは、横軸が時間、縦軸が判定結果(1=人体装着、-1=人体外装着、0=判定不能)を示している。
 なお、(1)のグラフと、(2a)のグラフでは、時間軸のスケールは一致していない。(2a)の統計処理に基づく判定結果データのグラフは、(1)に示すグラフより長い計測結果を用いて生成された結果である。
 この図15に示すデータは、センサを人体外に装着して実験して得られたデータである。
 実験結果から得られた、(2a)の統計処理に基づく判定結果データでは、
 センサが人体外に装着されているとの判定結果のみ得られている。
 センサが人体に装着されているとの判定結果は得られていない。
 この処理により、図15に示すデータからは、全ての時間において、「人体外装着」の判定結果が、図11に示すセンサ装着位置対応データ選択部132に出力される。
 結果として、実際のセンサ装着位置(人体外装着)に応じた正しいセンサ出力結果に基づくジャンプ検出やターン検出結果を適用したメタデータの生成、記録が実現される。
  [5.センサ装着位置判定シーケンスの一例について]
 次に、図13を参照して説明したセンサ装着位置判定部157の実行するセンサ装着位置判定シーケンスの一例について説明する。
 図16、図17に示すフローチャートは、図13を参照して説明したセンサ装着位置判定部157の実行するセンサ装着位置判定シーケンスについて説明するフローチャートである。
 以下、フローの各ステップの処理について、順次、説明する。
  (ステップS101)
 まず、ステップS101において、センサ装着位置判定部157の静動判定部201は、新規入力したセンサ検出値に基づいて算出したノルム(Norm)の値と、予め規定されたしきい値(静動判定しきい値)とを比較する。
 前述したように、ノルム(Norm)は、センサ出力である角速度(u,v,w)のノルム(Norm)であり、以下の式に従って算出される。
 Norm=SQRT(u+v+w
 ノルムは回転の強さを示す指標値である。
 センサ装着体の回転が0の場合は、ノルムは0となる。
 センサ装着位置判定部157の静動判定部201は、予め規定されたしきい値(静動判定しきい値)と、ノルムの値を比較する。
 多少の誤差を考慮し、静動判定しきい値は、0よりやや大きめの値に設定される。
 ノルム(Norm)>静動判定しきい値
 上記式が成立した場合は、センサ装着体が「動きあり」と判定し、ステップS102に進む。
 上記式が成立しない場合は、センサ装着体が「動きなし」と判定し、ステップS103に進む。
  (ステップS102)
 ステップS101における、新規センサ検出値に基づく算出ノルムを用いた静動判定処理において、「動きあり」の判定がなされた場合、ステップS102の処理を実行する。
 ステップS102において、新規取得した周波数成分比率(B/A)を装着位置判定に適用する有効値として設定し、さらに記憶部(図13に示す周波数成分比率信号(B/A)記憶部202)に格納する。
  (ステップS103)
 一方、ステップS101における、新規センサ検出値に基づく算出ノルムを用いた静動判定処理において、「動きなし」の判定がなされた場合、ステップS103の処理を実行する。
 ステップS103において、新規取得した周波数成分比率(B/A)を装着位置判定に適用しない無効値として破棄し、記憶部に格納済みの過去の有効値(=動きありの判定がなされたタイミングにおける算出値)である周波数成分比率(B/A)を取得し、装着位置判定用データとして設定する。
  (ステップS104~S106)
 ステップS104~S106の処理は、図13に示す装着位置判定処理部203の実行する処理である。
 装着位置判定処理部203は、静動判定部201において、「動きあり」の判定がなされた場合は、入力された最新の周波数成分比率信号(B/A)を用いて、センサ装着位置の判定処理を実行する。
 一方、静動判定部201において、「動きなし」の判定がなされた場合は、最新の周波数成分比率信号(B/A)を用いず、過去に入力された中で最も新しい過去の有効周波数成分比率信号(B/A)を用いて、センサ装着位置の判定処理を実行する。
 装着位置判定処理部203は、周波数成分比率信号(B/A)と、予め設定した装着位置判定しきい値との比較処理を実行し、装着位置判定カウントデータを出力する。
 以下の判定式に基づく判定処理が実行される。
 (判定式):周波数成分比率信号(B/A)>装着位置判定しきい値
 上記判定式が成立する場合は、
 ステップS105において、周波数成分比率信号(B/A)に含まれる高周波成分(B)が多いと判断し、センサ装着位置が人体外であると判定し、人体外装着判定カウントを+1(1つ増分)し、ステップS107において、センサ装着位置カウントデータ(人体外装着判定カウント+1)をカウントデータ蓄積部に格納する。
 一方、上記判定式が成立しない場合は、
 ステップS106において、周波数成分比率信号(B/A)に含まれる高周波成分(B)が少ないと判断し、センサ装着位置が人体であると判定し、人体装着判定カウントを+1(1つ増分)し、ステップS107において、センサ装着位置カウントデータ(人体装着判定カウント+1)をカウントデータ蓄積部に格納する。
  (ステップS108)
 ステップS108以下の処理は、図13に示す統計処理部205の実行する処理である。
 統計処理部205は、ステップS108において、予め規定した判定結果出力タイミングになったか否かを判定する。
 判定結果出力タイミングになったと判定すると、ステップS109に進む。
  (ステップS109~S110)
 統計処理部205は、ステップS109~S110において、カウントデータ蓄積部204に蓄積されたカウント数を比較する。
 人体装着判定カウント数が人体外装着カウント数より多い場合は、ステップS111に進む。
 一方、人体装着判定カウント数が人体外装着カウント数より少ない場合は、ステップS112に進む。
  (ステップS111)
 人体装着判定カウント数が人体外装着カウント数より多い場合は、ステップS111に進み、統計処理部205は、ステップS111において、センサ装着位置判定結果として、センサが人体に装着されているとの判定結果を出力する。判定結果の出力先は、先に図11を参照して説明したように、図11に示すセンサ装着位置対応データ選択部132である。
  (ステップS112)
 一方、人体装着判定カウント数が人体外装着カウント数より少ない場合は、ステップS112に進み、統計処理部205は、ステップS112において、センサ装着位置判定結果として、センサが人体外に装着されているとの判定結果を出力する。判定結果の出力先は、先に図11を参照して説明したように、図11に示すセンサ装着位置対応データ選択部132である。
 なお、例えば、ステップS109~S110の判定処理において、人体装着判定カウント数と人体外装着カウント数とが一致した場合には、前回の判定結果と同じ判定結果を出力する構成としてもよい。
 判定結果は、図11に示すセンサ装着位置対応データ選択部132に出力され、センサ装着位置(人体装着)に応じた正しいセンサ出力結果に基づくジャンプ検出やターン検出結果を適用したメタデータの生成、記録が実現される。
  [6.その他の実施例について]
 先に、図13を参照して、センサ装着位置判定部157の1つの実施例構成について説明した。
 図13を参照して説明した構成では、例えば、周波数成分比率信号(B/A)(=高周波成分/低周波成分)の入力毎に、センサが「人体装着センサ」であるか「人体外装着センサ」であるかを判定する処理を実行し、この判定数をカウント数として蓄積して一定の時間単位でカウント数を比較して判定結果を出力するカウント値の統計処理を実行する構成である。
 この図13を参照して説明したセンサ装着位置判定部157の構成は一例であり、その他にも、様々な構成を適用することができる。
 以下、図13に示す構成とは異なるセンサ装着位置判定部157の構成例について説明する。
 以下の各構成例について、順次、説明する。
 (1)ローパスフィルタを適用した構成例
 (2)移動平均算出部を適用した構成例
 (3)パンドパスフィルタ(BPF)を適用した構成例
 (4)特異点除去処理部を適用した構成例
  [6-(1)ローパスフィルタを適用したセンサ装着位置判定部の構成例ついて]
 まず、図18を参照してローパスフィルタを適用したセンサ装着位置判定部157の構成例ついて説明する。
 図18に示すセンサ装着位置判定部157は、先に図13を参照して説明したセンサ装着位置判定部157と同様、図11、図12に示すセンサ装着位置検出部131内に設定されるセンサ装着位置判定部157であり、センサが「人体装着センサ」であるか。「人体外装着センサ」であるかの判定結果を生成し、判定結果を図11に示すセンサ装着位置対応データ選択部132に出力する処理を実行する。
 図18に示すセンサ装着位置判定部157の静動判定部201、周波数成分比率信号(B/A)記憶部202の構成と処理は、先に図13を参照して説明した構成と処理と同様である。
 センサ装着位置判定部157の静動判定部201は、新規入力したセンサ検出値に基づいて算出したノルム(Norm)の値と、予め規定されたしきい値(静動判定しきい値)とを比較する。
 前述したように、ノルム(Norm)は、センサ出力である角速度(u,v,w)のノルム(Norm)であり、以下の式に従って算出される。
 Norm=SQRT(u+v+w
 センサ装着位置判定部157の静動判定部201は、予め規定されたしきい値(静動判定しきい値)と、ノルムの値を比較する。
 ノルム(Norm)>静動判定しきい値
 上記式が成立した場合は、センサ装着体について、「動きあり」と判定し、新規取得した周波数成分比率(B/A)を装着位置判定に適用する有効値として設定し、信号調整部211に入力する。
 一方、新規センサ検出値に基づく算出ノルムを用いた静動判定処理において、上記式が成立せず、「動きなし」の判定がなされた場合、新規取得した周波数成分比率(B/A)を装着位置判定に適用しない無効値として破棄し、記憶部に格納済みの過去の有効値である周波数成分比率(B/A)を取得し、装着位置判定用データとして設定する。
 本実施例では、センサ装着体について、「動きあり」と判定し、新規取得した周波数成分比率信号(B/A)を装着位置判定に適用する有効値として設定した場合、この周波数成分比率信号(B/A)に対して、ローパスフィルタ(LPF)を適用した信号調整処理を実行する。
 図18に示す信号調整部211の処理である。
 信号調整部211は、1段のLPF(Fc=0.08Hz)によって構成され、0.08Hz以下の低周波信号を抽出するローパスフィルタである。
 すなわち、周波数成分比率信号(B/A)からノイズ信号が多く含まれると判断される高周波成分を取り除く処理を行なう。
 この信号調整結果を、装着位置判定処理部203に出力し、さらに、周波数成分比率信号(B/A)記憶部202に格納する。
 装着位置判定処理部203は、静動判定部201において、「動きあり」の判定がなされた場合は、信号調整部211、すなわちLPFの生成した最新の調整済み周波数成分比率信号(B/A)を用いて、センサ装着位置の判定処理を実行する。
 一方、静動判定部201において、「動きなし」の判定がなされた場合は、最新の周波数成分比率信号(B/A)を用いず、周波数成分比率信号(B/A)記憶部202に格納された中で最も新しい過去の調整済み周波数成分比率信号(B/A)に基づいて、センサ装着位置の判定処理を実行する。
 装着位置判定処理部203は、調整済み周波数成分比率信号(B/A)と、予め設定した装着位置判定しきい値との比較処理を実行し、装着位置判定カウントデータを出力する。
 以下の判定式に基づく判定処理が実行される。
 (判定式):調整済み周波数成分比率信号(B/A)>装着位置判定しきい値
 上記判定式が成立する場合は、センサ装着位置が人体外であると判定し、判定結果を出力する。
 一方、上記判定式が成立しない場合は、センサ装着位置が人体であると判定し、判定結果を出力する。
 判定結果は、図11に示すセンサ装着位置対応データ選択部132に出力され、センサ装着位置(人体装着)に応じた正しいセンサ出力結果に基づくジャンプ検出やターン検出結果を適用したメタデータの生成、記録が実現される。
 なお、図18に示す構成において、装着位置判定処理部203の実行する判定結果出力間隔は、センサ検出間隔(64回/sec)と同様の間隔、またはそれよりも長い間隔、例えば数秒ごと等の設定とする。
 この図18に示す構成では、先に図13を参照して説明したようなカウントデータの蓄積処理や統計処理を省略することが可能となる。
 図19は、図18に示すセンサ装着位置判定部の処理結果の評価を行った試験結果を示す図である。
 図19には以下のデータを示している。
 (1)センサ20の出力に基づいて生成される周波数成分比率信号(B/A)(=高周波成分/低周波成分)の時間推移データ、
 (2b)図18を参照して説明したLPFを適用したセンサ装着位置判定部の処理によって得られる判定結果データ、
 (1)の周波数成分比率信号(B/A)のグラフは、横軸が時間、縦軸が周波数成分比率信号(B/A)の信号値を示している。
 (2b)のLPF適用結果のグラフは、横軸が時間、縦軸が図18に示す信号調整部(LPF)211の出力である調整済み周波数成分比率信号(B/A)の信号値を示している。
 この図19に示すデータは、センサを人体外に装着して実験して得られたデータである。
 図19に示す実験結果から、
 図19(1)に示す周波数成分比率信号(B/A)をそのまま適用してセンサ装着位置を判定するより、図19(2b)に示すLPF適用結果信号である調整済み周波数成分比率信号(B/A)の信号値を用いて判定する方が、エラーの少ない高精度な判定処理が可能となるという結論が得られる。
  [6-(2)移動平均算出部を適用したセンサ装着位置判定部の構成例について]
 次に、図20を参照して移動平均算出部を適用したセンサ装着位置判定部157の構成例ついて説明する。
 図20に示すセンサ装着位置判定部157は、先に図13を参照して説明したセンサ装着位置判定部157と同様、図11、図12に示すセンサ装着位置検出部131内に設定されるセンサ装着位置判定部157であり、センサが「人体装着センサ」であるか。「人体外装着センサ」であるかの判定結果を生成し、判定結果を図11に示すセンサ装着位置対応データ選択部132に出力する処理を実行する。
 図20に示すセンサ装着位置判定部157の静動判定部201、周波数成分比率信号(B/A)記憶部202の構成と処理は、先に図13を参照して説明した構成と処理と同様である。
 センサ装着位置判定部157の静動判定部201は、新規入力したセンサ検出値に基づいて算出したノルム(Norm)の値と、予め規定されたしきい値(静動判定しきい値)とを比較する。
 前述したように、ノルム(Norm)は、センサ出力である角速度(u,v,w)のノルム(Norm)であり、以下の式に従って算出される。
 Norm=SQRT(u+v+w
 センサ装着位置判定部157の静動判定部201は、予め規定されたしきい値(静動判定しきい値)と、ノルムの値を比較する。
 ノルム(Norm)>静動判定しきい値
 上記式が成立した場合は、センサ装着体について、「動きあり」と判定し、新規取得した周波数成分比率(B/A)を装着位置判定に適用する有効値として設定し、信号調整部212に入力する。
 一方、新規センサ検出値に基づく算出ノルムを用いた静動判定処理において、上記式が成立せず、「動きなし」の判定がなされた場合、新規取得した周波数成分比率(B/A)を装着位置判定に適用しない無効値として破棄し、記憶部に格納済みの過去の有効値である周波数成分比率(B/A)を取得し、装着位置判定用データとして設定する。
 本実施例では、センサ装着体について、「動きあり」と判定し、新規取得した周波数成分比率信号(B/A)を装着位置判定に適用する有効値として設定した場合、この周波数成分比率信号(B/A)に対して、移動平均算出処理を適用した信号調整処理を実行する。
 図20に示す信号調整部212の処理である。
 信号調整部212は、データ取得用の観察窓(区間)として設定するタイムフレームを2Secとした移動平均算出処理を実行する。
 すなわち、移動平均算出処理によって、周波数成分比率信号(B/A)からノイズ等の信号を取り除く処理を行なう。
 この信号調整結果を、装着位置判定処理部203に出力し、さらに、周波数成分比率信号(B/A)記憶部202に格納する。
 装着位置判定処理部203は、静動判定部201において、「動きあり」の判定がなされた場合は、信号調整部212、すなわち移動平均算出処理によって調整された最新の調整済み周波数成分比率信号(B/A)を用いて、センサ装着位置の判定処理を実行する。
 一方、静動判定部201において、「動きなし」の判定がなされた場合は、最新の周波数成分比率信号(B/A)を用いず、周波数成分比率信号(B/A)記憶部202に格納された中で最も新しい過去の調整済み周波数成分比率信号(B/A)に基づいて、センサ装着位置の判定処理を実行する。
 装着位置判定処理部203は、調整済み周波数成分比率信号(B/A)と、予め設定した装着位置判定しきい値との比較処理を実行し、装着位置判定カウントデータを出力する。
 以下の判定式に基づく判定処理が実行される。
 (判定式):調整済み周波数成分比率信号(B/A)>装着位置判定しきい値
 上記判定式が成立する場合は、センサ装着位置が人体外であると判定し、判定結果を出力する。
 一方、上記判定式が成立しない場合は、センサ装着位置が人体であると判定し、判定結果を出力する。
 判定結果は、図11に示すセンサ装着位置対応データ選択部132に出力され、センサ装着位置(人体装着)に応じた正しいセンサ出力結果に基づくジャンプ検出やターン検出結果を適用したメタデータの生成、記録が実現される。
 なお、図20に示す構成において、装着位置判定処理部203の実行する判定結果出力間隔は、センサ検出間隔(64回/sec)と同様の間隔、またはそれよりも長い間隔、例えば数秒ごと等の設定とする。
 この図20に示す構成では、先に図13を参照して説明したようなカウントデータの蓄積処理や統計処理を省略することが可能となる。
 図21は、図20に示すセンサ装着位置判定部の処理結果の評価を行った試験結果を示す図である。
 図21には以下のデータを示している。
 (1)センサ20の出力に基づいて生成される周波数成分比率信号(B/A)(=高周波成分/低周波成分)の時間推移データ、
 (2c)図20を参照して説明した移動平均算出処理を適用した信号調整部を有するセンサ装着位置判定部の処理によって得られる判定結果データ、
 (1)の周波数成分比率信号(B/A)のグラフは、横軸が時間、縦軸が周波数成分比率信号(B/A)の信号値を示している。
 (2c)の移動平均適用結果のグラフは、横軸が時間、縦軸が図20に示す信号調整部(移動平均算出部)212の出力である調整済み周波数成分比率信号(B/A)の信号値を示している。
 この図21に示すデータは、センサを人体外に装着して実験して得られたデータである。
 図21に示す実験結果から、
 図21(1)に示す周波数成分比率信号(B/A)をそのまま適用してセンサ装着位置を判定するより、図21(2c)に示す移動平均算出処理の適用結果信号である調整済み周波数成分比率信号(B/A)の信号値を用いて判定する方が、エラーの少ない高精度な判定処理が可能となるという結論が得られる。
  [6-(3)パンドパスフィルタ(BPF)を適用したセンサ装着位置判定部の構成例について]
 次に、図22を参照してパンドパスフィルタ(BPF)を適用したセンサ装着位置判定部157の構成例ついて説明する。
 図22に示すセンサ装着位置判定部157は、先に図13を参照して説明したセンサ装着位置判定部157と同様、図11、図12に示すセンサ装着位置検出部131内に設定されるセンサ装着位置判定部157であり、センサが「人体装着センサ」であるか。「人体外装着センサ」であるかの判定結果を生成し、判定結果を図11に示すセンサ装着位置対応データ選択部132に出力する処理を実行する。
 図22に示すセンサ装着位置判定部157の静動判定部201、周波数成分比率信号(B/A)記憶部202の構成と処理は、先に図13を参照して説明した構成と処理と同様である。
 センサ装着位置判定部157の静動判定部201は、新規入力したセンサ検出値に基づいて算出したノルム(Norm)の値と、予め規定されたしきい値(静動判定しきい値)とを比較する。
 前述したように、ノルム(Norm)は、センサ出力である角速度(u,v,w)のノルム(Norm)であり、以下の式に従って算出される。
 Norm=SQRT(u+v+w
 センサ装着位置判定部157の静動判定部201は、予め規定されたしきい値(静動判定しきい値)と、ノルムの値を比較する。
 ノルム(Norm)>静動判定しきい値
 上記式が成立した場合は、センサ装着体について、「動きあり」と判定し、新規取得した周波数成分比率(B/A)を装着位置判定に適用する有効値として設定し、信号調整部213に入力する。
 一方、新規センサ検出値に基づく算出ノルムを用いた静動判定処理において、上記式が成立せず、「動きなし」の判定がなされた場合、新規取得した周波数成分比率(B/A)を装着位置判定に適用しない無効値として破棄し、記憶部に格納済みの過去の有効値である周波数成分比率(B/A)を取得し、装着位置判定用データとして設定する。
 本実施例では、センサ装着体について、「動きあり」と判定し、新規取得した周波数成分比率信号(B/A)を装着位置判定に適用する有効値として設定した場合、この周波数成分比率信号(B/A)に対して、バンドパスフィルタ(BPF)を適用した信号調整処理を実行する。
 図22に示す信号調整部213の処理である。
 信号調整部213は、1段のBPFを適用した処理により、0.0001Hz~0.08Hzの中間周波数帯の信号を抽出する処理を実行する。
 すなわち、BPF適用処理によって、周波数成分比率信号(B/A)からノイズ等の信号を取り除く処理を行なう。
 この信号調整結果を、装着位置判定処理部203に出力し、さらに、周波数成分比率信号(B/A)記憶部202に格納する。
 装着位置判定処理部203は、静動判定部201において、「動きあり」の判定がなされた場合は、信号調整部213、すなわちBPF適用処理によって調整された最新の調整済み周波数成分比率信号(B/A)を用いて、センサ装着位置の判定処理を実行する。
 一方、静動判定部201において、「動きなし」の判定がなされた場合は、最新の周波数成分比率信号(B/A)を用いず、周波数成分比率信号(B/A)記憶部202に格納された中で最も新しい過去の調整済み周波数成分比率信号(B/A)に基づいて、センサ装着位置の判定処理を実行する。
 装着位置判定処理部203は、調整済み周波数成分比率信号(B/A)と、予め設定した装着位置判定しきい値との比較処理を実行し、装着位置判定カウントデータを出力する。
 以下の判定式に基づく判定処理が実行される。
 (判定式):調整済み周波数成分比率信号(B/A)>装着位置判定しきい値
 上記判定式が成立する場合は、センサ装着位置が人体外であると判定し、判定結果を出力する。
 一方、上記判定式が成立しない場合は、センサ装着位置が人体であると判定し、判定結果を出力する。
 判定結果は、図11に示すセンサ装着位置対応データ選択部132に出力され、センサ装着位置(人体装着)に応じた正しいセンサ出力結果に基づくジャンプ検出やターン検出結果を適用したメタデータの生成、記録が実現される。
 なお、図22に示す構成において、装着位置判定処理部203の実行する判定結果出力間隔は、センサ検出間隔(64回/sec)と同様の間隔、またはそれよりも長い間隔、例えば数秒ごと等の設定とする。
 この図22に示す構成では、先に図13を参照して説明したようなカウントデータの蓄積処理や統計処理を省略することが可能となる。
 図23は、BPFの適用による一般的な信号変換処理例について説明する図である。
 図23には(A)入力信号に対する(B)高速フーリエ変換(FFT)適用結果、(C)BPF適用結果を示している。
 BPF適用結果に示すように、特定の周波数成分のみが抽出されることが分かる。
 図24は、図22に示すセンサ装着位置判定部の処理結果の評価を行った試験結果を示す図である。
 図24には以下のデータを示している。
 (1)センサ20の出力に基づいて生成される周波数成分比率信号(B/A)(=高周波成分/低周波成分)の時間推移データ、
 (2d)図22を参照して説明したBPFを適用した信号調整部を有するセンサ装着位置判定部の処理によって得られる判定結果データ、
 (1)の周波数成分比率信号(B/A)のグラフは、横軸が時間、縦軸が周波数成分比率信号(B/A)の信号値を示している。
 (2d)の移動平均適用結果のグラフは、横軸が時間、縦軸が図22に示す信号調整部(BPF)213の出力である調整済み周波数成分比率信号(B/A)の信号値を示している。
 この図24に示すデータは、センサを人体外に装着して実験して得られたデータである。
 図24に示す実験結果から、
 図24(1)に示す周波数成分比率信号(B/A)をそのまま適用してセンサ装着位置を判定するより、図24(2d)に示すBPF適用結果信号である調整済み周波数成分比率信号(B/A)の信号値を用いて判定する方が、エラーの少ない高精度な判定処理が可能となるという結論が得られる。
  [6-(4)特異点除去処理部を適用したセンサ装着位置判定部の構成例について]
 次に、図25を参照して特異点除去処理部を適用したセンサ装着位置判定部157の構成例ついて説明する。
 図25に示すセンサ装着位置判定部157は、先に図13を参照して説明したセンサ装着位置判定部157と同様、図11、図12に示すセンサ装着位置検出部131内に設定されるセンサ装着位置判定部157であり、センサが「人体装着センサ」であるか。「人体外装着センサ」であるかの判定結果を生成し、判定結果を図11に示すセンサ装着位置対応データ選択部132に出力する処理を実行する。
 図25に示すセンサ装着位置判定部157の静動判定部201、周波数成分比率信号(B/A)記憶部202の構成と処理は、先に図13を参照して説明した構成と処理と同様である。
 センサ装着位置判定部157の静動判定部201は、新規入力したセンサ検出値に基づいて算出したノルム(Norm)の値と、予め規定されたしきい値(静動判定しきい値)とを比較する。
 前述したように、ノルム(Norm)は、センサ出力である角速度(u,v,w)のノルム(Norm)であり、以下の式に従って算出される。
 Norm=SQRT(u+v+w
 センサ装着位置判定部157の静動判定部201は、予め規定されたしきい値(静動判定しきい値)と、ノルムの値を比較する。
 ノルム(Norm)>静動判定しきい値
 上記式が成立した場合は、センサ装着体について、「動きあり」と判定し、新規取得した周波数成分比率(B/A)を装着位置判定に適用する有効値として設定し、信号調整部213に入力する。
 一方、新規センサ検出値に基づく算出ノルムを用いた静動判定処理において、上記式が成立せず、「動きなし」の判定がなされた場合、新規取得した周波数成分比率(B/A)を装着位置判定に適用しない無効値として破棄し、記憶部に格納済みの過去の有効値である周波数成分比率(B/A)を取得し、装着位置判定用データとして設定する。
 本実施例では、センサ装着体について、「動きあり」と判定し、新規取得した周波数成分比率信号(B/A)を装着位置判定に適用する有効値として設定した場合、この周波数成分比率信号(B/A)に対して、特異点除去処理を適用した信号調整処理を実行する。
 図25に示す信号調整部214の処理である。
 信号調整部214は、特異点除去処理を実行する。
 すなわち、特異点除去処理によって、周波数成分比率信号(B/A)からノイズ等の信号を取り除く処理を行なう。
 この信号調整結果を、装着位置判定処理部203に出力し、さらに、周波数成分比率信号(B/A)記憶部202に格納する。
 装着位置判定処理部203は、静動判定部201において、「動きあり」の判定がなされた場合は、信号調整部214、すなわち特異点除去処理によって調整された最新の調整済み周波数成分比率信号(B/A)を用いて、センサ装着位置の判定処理を実行する。
 一方、静動判定部201において、「動きなし」の判定がなされた場合は、最新の周波数成分比率信号(B/A)を用いず、周波数成分比率信号(B/A)記憶部202に格納された中で最も新しい過去の調整済み周波数成分比率信号(B/A)に基づいて、センサ装着位置の判定処理を実行する。
 装着位置判定処理部203は、調整済み周波数成分比率信号(B/A)と、予め設定した装着位置判定しきい値との比較処理を実行し、装着位置判定カウントデータを出力する。
 以下の判定式に基づく判定処理が実行される。
 (判定式):調整済み周波数成分比率信号(B/A)>装着位置判定しきい値
 上記判定式が成立する場合は、センサ装着位置が人体外であると判定し、判定結果を出力する。
 一方、上記判定式が成立しない場合は、センサ装着位置が人体であると判定し、判定結果を出力する。
 判定結果は、図11に示すセンサ装着位置対応データ選択部132に出力され、センサ装着位置(人体装着)に応じた正しいセンサ出力結果に基づくジャンプ検出やターン検出結果を適用したメタデータの生成、記録が実現される。
 なお、図25に示す構成において、装着位置判定処理部203の実行する判定結果出力間隔は、センサ検出間隔(64回/sec)と同様の間隔、またはそれよりも長い間隔、例えば数秒ごと等の設定とする。
 この図25に示す構成では、先に図13を参照して説明したようなカウントデータの蓄積処理や統計処理を省略することが可能となる。
 図26は、特異点除去処理による一般的な信号変換処理例について説明する図である。
 図26には(A)入力信号に対する(B)特異点除去処理結果を示している。
 図26に示すように、例えば、平均値から大きく外れた特異点を平均値に移動させることで、入力データから特異点を除去することが可能となる。
 図27は、図25に示すセンサ装着位置判定部の処理結果の評価を行った試験結果を示す図である。
 図27には以下のデータを示している。
 (1)センサ20の出力に基づいて生成される周波数成分比率信号(B/A)(=高周波成分/低周波成分)の時間推移データ、
 (2e)図25を参照して説明した特異点除去処理を適用した信号調整部を有するセンサ装着位置判定部の処理によって得られる判定結果データ、
 (1)の周波数成分比率信号(B/A)のグラフは、横軸が時間、縦軸が周波数成分比率信号(B/A)の信号値を示している。
 (2e)の特異点除去処理適用結果のグラフは、横軸が時間、縦軸が図25に示す信号調整部(BPF)214の出力である調整済み周波数成分比率信号(B/A)の信号値を示している。
 この図27に示すデータは、センサを人体外に装着して実験して得られたデータである。
 図27に示す実験結果から、
 図27(1)に示す周波数成分比率信号(B/A)をそのまま適用してセンサ装着位置を判定するより、図27(2e)に示すBPF適用結果信号である調整済み周波数成分比率信号(B/A)の信号値を用いて判定する方が、エラーの少ない高精度な判定処理が可能となるという結論が得られる。
  [7.各装置間の通信およびデータ処理シーケンスについて]
 次に、上述した各実施例に従ったセンサ装着位置判定処理を実行して画像に対するメタデータを生成して記録する場合の処理に際して実行される各装置間の通信およびデータ処理シーケンスについて説明する。
 なお、センサ装着位置判定処理等のデータ処理を実行する装置の設定を以下のように異なる設定とした3つのシーケンスについて、順次、無説明する。
 (1)センサ装着位置判定処理等のデータ処理をビデオカメラが実行する例
 (2)センサ装着位置判定処理等のデータ処理をセンサ装置が実行する例
 (3)センサ装着位置判定処理等のデータ処理をサーバが実行する例
  [7-(1)センサ装着位置判定処理等のデータ処理をビデオカメラが実行する例]
 まず、センサ装着位置判定処理等のデータ処理をビデオカメラが実行する場合のシーケンスについて説明する。
 図28は、人体、または人体外に装着され、被写体の動きを検出するセンサ301と、センサ301によって動きが検出される被写体を撮影するビデオカメラ302間の通信と、各装置において実行するデータ処理のシーケンスを説明するシーケンス図である。
 以下、シーケンス図中に示す各ステップの処理について、順次、説明する。
  (ステップS201)
 まず、センサ301と、ビデオカメラ302間において、同期処理が実行される。
 センサ301と、ビデオカメラ302は、Wi-Fi、あるいはブルートゥース(登録商標)(BT)通信等の通信処理による相互通信可能な構成を持つ。
 また、センサ301と、ビデオカメラ302は、それぞれ計時機能を有し、センサ301は、センサ検出時に、検出情報と検出タイミングを対応付けたデータをメモリに記録し、ビデオカメラ302に送信する。
 ビデオカメラ302は、動画等の画像を撮影し、撮影フレームに対して撮影時間情報を対応付けてメモリに記録する。
 ビデオカメラ302は、センサ301から、センサ301の検出情報を入力し、入力検出情報に基づく被写体の動作(ジャンプ、ターン)等の検出を行い、検出情報に基づくメタデータを生成する。
 さらに、メタデータに対応するタイミングの撮影画像、すなわちジャンプヤターンの撮影画像のフレームとともに、生成したメタデータを画像対応メタデータとして記憶部に記録する。
 この処理のためには、センサの検出時間情報と、撮影画像の撮影タイミングとの正確な対応関係を確立することが必要となる。
 ステップS201の同期処理は、このための同期処理であり、双方の装置の計時機能を制御して同期処理を実行するものである。
  (ステップS202)
 ステップS201の同期処理後、ビデオカメラ302は画像撮影処理を開始する。
 また、センサ301はセンサ検出情報を取得する。
 例えばジャイロセンサや、加速度センサを適用してセンサ装着体の動き情報を取得する。
 具体的には、ジャイロセンサによる3軸回りの角速度情報や、加速度センサによる3軸方向の加速度情報等を取得する。
  (ステップS203)
 次に、センサ301は、ステップS203において、センサ検出情報をビデオカメラ302に送信する。
 なお、この送信処理に際して、センサ301は、センサ検出情報と、センサ検出タイミング情報を対応付けたデータを生成して、ビデオカメラ302に送信する。
  (ステップS204)
 ビデオカメラ302は、センサ301から受信したセンサ検出情報を適用して、センサ装着位置判定処理を実行する。
 ビデオカメラ302は、先に図11を参照して説明した構成を有する。
 図11に示すセンサ装着位置検出部131において、このステップ204のセンサ装着位置判定処理を実行する。
 なお、図11に示すセンサ装着位置検出部131は例えば図12に示す構成を有する。
  (ステップS205)
 次に、ビデオカメラ302は、ステップS205において、センサ装着位置判定結果に対応する検出アルゴリズムに従って実行された動作(ジャンプ、ターン等)検出結果を選択する。
 この処理は、図11に示すセンサ装着位置対応データ選択部132の実行する処理である。
 先に図11を参照して説明したように、センサ装着位置対応データ選択部132は、センサ装着位置検出部131におけるセンサ装着位置判定結果(人体or人体外)に応じて、人体装着センサ対応処理部110からの入力と、人体外装着センサ対応処理部120からの入力のいずれかを選択して、選択データをメタデータ生成部133に出力する。
  (ステップS206)
 次に、ビデオカメラ302は、ステップS206において、選択した動作(ジャンプ、ターン等)検出結果を適用して、メタデータを生成する。
 この処理は、図11に示すメタデータ生成部133の実行する処理である。
 先に図11を参照して説明したように、メタデータ生成部133は、センサ装着位置対応データ選択部132からの入力、すなわち、以下のいずれか一方のデータを入力してメタデータを生成する。
 (1)センサが人体に装着されていると仮定して実行されたジャンプ検出結果(人体装着センサ対応ジャンプデータ)と、ターン検出結果(人体装着センサ対応ターンデータ)
 (2)センサが人体外に装着されていると仮定して実行されたジャンプ検出結果(人体外装着センサ対応ジャンプデータ)と、ターン検出結果(人体外装着センサ対応ターンデータ)
  (ステップS207)
 次に、ビデオカメラ302は、ステップS207において、ステップS206で生成したメタデータを、メタデータ生成に適用したセンサ検出情報の取得時間に一致する撮影画像のメタデータとして記録する。
 先にステップS201の処理において説明したように、センサ301とビデオカメラは同期処理がなされ、各計時時間が調整され一致する設定となっている。
 ビデオカメラは、センサ検出時間情報に一致する時間情報を持つ撮影画像に対するメタデータとして、ステップS206で生成したメタデータを画像に対応付けて記憶部に格納する。
 ビデオカメラ302の記憶部に格納される画像データとメタデータの例を図29に示す。
 図29には、以下の画像とメタデータのセットを示している。
 (1)ジャンプ処理に対応する画像とメタデータ
 (2)ターン処理に対応する画像とメタデータ
 (1)ジャンプ処理に対応する画像とメタデータに示す画像データは、撮影時間:2015/12/12,13:21:05~13:21:12のジャンプ処理を実行している画像フレームである。
 メタデータは、これらのジャンプ画像に対応して記録される。
 メタデータには、図に示すように、例えば以下のデータが含まれる。
 (a)アクション種別:ジャンプ
 (b)アクション開始時間:2015/12/12,13:21:05
 (c)アクション終了時間:2015/12/12,13:21:12
 (d)アクションスコア:72
 また、(2)ターン処理に対応する画像とメタデータに示す画像データは、撮影時間:2015/12/12,13:22:18~13:22:22のターン処理を実行している画像フレームである。
 メタデータは、これらのターン画像に対応して記録される。
 メタデータには、図に示すように、例えば以下のデータが含まれる。
 (a)アクション種別:ターン
 (b)アクション開始時間:2015/12/12,13:22:18
 (c)アクション終了時間:2015/12/12,13:22:22
 (d)アクションスコア:81
 これらのメタデータは、先に図3を参照して説明したメタデータと同様のデータである。
 図28を参照して説明したシーケンス図は、ビデオカメラ側でセンサ検出情報に基づくセンサ装着位置判定処理等を実行する場合のシーケンス図であるが、例えば、センサ検出情報に基づくセンサ装着位置判定処理等をセンサ側で実行する構成としてもよい。
 すなわち、図11を参照して説明したビデオカメラの処理構成をセンサ側に設定し、センサ側で、図11に示す処理構成に従ったデータ処理を実行する。
 このような構成とした場合の処理シーケンスについて、図30を参照して説明する。
  [7-(2)センサ装着位置判定処理等のデータ処理をセンサ装置が実行する例]
 次に、センサ装着位置判定処理等のデータ処理をセンサ装置が実行する場合のシーケンスについて説明する。
 図30は、人体、または人体外に装着され、被写体の動きを検出するセンサを内蔵したセンサ内蔵情報処理装置303と、センサ内蔵情報処理装置303内のセンサによって動作が検出される被写体を撮影するビデオカメラ302間の通信と、各装置において実行するデータ処理のシーケンスを説明するシーケンス図である。
 以下、シーケンス図中に示す各ステップの処理について、順次、説明する。
  (ステップS211)
 まず、センサ内蔵情報処理装置303と、ビデオカメラ302間において、同期処理が実行される。
 この処理は、先に図28を参照して説明したステップS201の処理と同様の処理である。
 すなわち、センサの検出時間情報と、撮影画像の撮影タイミングとの正確な対応関係を確立するための同期処理であり、双方の装置の計時機能を制御して同期処理を実行する。
  (ステップS212)
 ステップS211の同期処理後、ビデオカメラ302は画像撮影処理を開始する。
 また、センサ内蔵情報処理装置303はセンサ検出情報を取得する。
 例えばジャイロセンサや、加速度センサを適用してセンサ装着体の動き情報を取得する。
 具体的には、ジャイロセンサによる3軸回りの角速度情報や、加速度センサによる3軸方向の加速度情報等を取得する。
  (ステップS213)
 次に、センサ内蔵情報処理装置303は、ステップS213において、センサ検出情報を適用して、センサ装着位置判定処理を実行する。
 センサ内蔵情報処理装置303は、先に図11を参照して説明したビデオカメラと同様の構成を有する。
 図11に示すセンサ装着位置検出部131がセンサ内蔵情報処理装置303に構成され、センサ内蔵情報処理装置303内のセンサ装着位置検出部131において、このステップ213のセンサ装着位置判定処理を実行する。
 なお、図11に示すセンサ装着位置検出部131は例えば図12に示す構成を有する。
  (ステップS214)
 次に、センサ内蔵情報処理装置303は、ステップS214において、センサ装着位置判定結果に対応する検出アルゴリズムに従って実行された動作(ジャンプ、ターン等)検出結果を選択する。
 この処理は、図11に示すセンサ装着位置対応データ選択部132の実行する処理である。
 本例では、センサ内蔵情報処理装置303が、図11に示すビデオカメラの構成と同様の構成を有する。
 先に図11を参照して説明したように、センサ装着位置対応データ選択部132は、センサ装着位置検出部131におけるセンサ装着位置判定結果(人体or人体外)に応じて、人体装着センサ対応処理部110からの入力と、人体外装着センサ対応処理部120からの入力のいずれかを選択して、選択データをメタデータ生成部133に出力する。
  (ステップS215)
 次に、センサ内蔵情報処理装置303は、ステップS215において、選択した動作(ジャンプ、ターン等)検出結果を適用してメタデータを生成する。
 この処理は、図11に示すメタデータ生成部133の実行する処理である。
 先に図11を参照して説明したように、メタデータ生成部133は、センサ装着位置対応データ選択部132からの入力、すなわち、以下のいずれか一方のデータを入力してメタデータを生成する。
 (1)センサが人体に装着されていると仮定して実行されたジャンプ検出結果(人体装着センサ対応ジャンプデータ)と、ターン検出結果(人体装着センサ対応ターンデータ)
 (2)センサが人体外に装着されていると仮定して実行されたジャンプ検出結果(人体外装着センサ対応ジャンプデータ)と、ターン検出結果(人体外装着センサ対応ターンデータ)
  (ステップS216)
 次に、センサ内蔵情報処理装置303は、生成したメタデータと、メタデータ生成に適用したセンサ検出情報のセンサ検出タイミング情報を対応付けたデータを生成して、ビデオカメラ302に送信する。
  (ステップS217)
 次に、ビデオカメラ302は、ステップS217において、ステップS216で受信したメタデータを、メタデータ生成に適用したセンサ検出情報の取得時間に一致する撮影画像のメタデータとして記録する。
 先にステップS211の処理において説明したように、センサ内蔵情報処理装置303とビデオカメラは同期処理がなされ、各計時時間が調整され一致する設定となっている。
 ビデオカメラは、センサ検出時間情報に一致する時間情報を持つ撮影画像に対するメタデータとして、ステップS216でセンサ内蔵情報処理装置303から受信したメタデータを記録して記憶部に格納する。
  [7-(3)センサ装着位置判定処理等のデータ処理をサーバが実行する例]
 次に、センサ装着位置判定処理等のデータ処理をサーバが実行する場合のシーケンスについて、図31、図32を参照して説明する。
 図31には、人体、または人体外に装着され、被写体の動きを検出するセンサ301と、センサ301によって動きが検出される被写体を撮影するビデオカメラ302と、データ処理を実行するサーバ304間の通信と、各装置において実行するデータ処理のシーケンスを説明するシーケンス図である。
 サーバ304は、例えばクラウド上のサーバや、ホームサーバ等、様々な場所に位置するサーバが利用可能である。
 以下、シーケンス図中に示す各ステップの処理について、順次、説明する。
  (ステップS221)
 まず、センサ301と、ビデオカメラ302間において、同期処理が実行される。
 この処理は、先に図28を参照して説明したステップS201の処理と同様の処理である。
 すなわち、センサの検出時間情報と、撮影画像の撮影タイミングとの正確な対応関係を確立するための同期処理であり、双方の装置の計時機能を制御して同期処理を実行する。
  (ステップS222~S223)
 ステップS211の同期処理後、ビデオカメラ302は、ステップS222において、画像撮影処理を開始し、ステップS223において、撮影画像をサーバ304に送信する。
  (ステップS224)
 サーバ304は、ビデオカメラ302から送信される画像を、記憶部に格納する。なお、ビデオカメラ303からの送信画像の各画像フレームには、画像の撮影時間情報等の基本的なメタデータが予め設定されており、これらのメタデータについても各画像フレームに対応付けて記憶部に格納される。
  (ステップS225)
 一方、センサ301は、ステップS225において、センサ検出情報を取得する。
 例えばジャイロセンサや、加速度センサを適用してセンサ装着体の動き情報を取得する。
 具体的には、ジャイロセンサによる3軸回りの角速度情報や、加速度センサによる3軸方向の加速度情報等を取得する。
  (ステップS226)
 次に、センサ301は、ステップS226において、センサ検出情報をサーバ304に送信する。
 なお、この送信処理に際して、センサ301は、センサ検出情報と、センサ検出タイミング情報を対応付けたデータを生成して、サーバ304に送信する。
  (ステップS227)
 サーバ304は、センサ301から受信したセンサ検出情報を適用して、センサ装着位置判定処理を実行する。
 サーバ304は、先に図11を参照して説明したビデオカメラ10と同様の構成を有する。
 サーバ304内に構成された図11に示すセンサ装着位置検出部131において、このステップS227のセンサ装着位置判定処理を実行する。
 なお、図11に示すセンサ装着位置検出部131は例えば図12に示す構成を有する。
  (ステップS228)
 次に、サーバ304は、ステップS228において、センサ装着位置判定結果に対応する検出アルゴリズムに従って実行された動作(ジャンプ、ターン等)検出結果を選択する。
 この処理は、図11に示すセンサ装着位置対応データ選択部132の実行する処理である。
 先に図11を参照して説明したように、センサ装着位置対応データ選択部132は、センサ装着位置検出部131におけるセンサ装着位置判定結果(人体or人体外)に応じて、人体装着センサ対応処理部110からの入力と、人体外装着センサ対応処理部120からの入力のいずれかを選択して、選択データをメタデータ生成部133に出力する。
  (ステップS229)
 次に、サーバ304は、ステップS228において、選択した動作(ジャンプ、ターン等)検出結果を適用して、メタデータを生成する。
 この処理は、図11に示すメタデータ生成部133の実行する処理である。
 先に図11を参照して説明したように、メタデータ生成部133は、センサ装着位置対応データ選択部132からの入力、すなわち、以下のいずれか一方のデータを入力してメタデータを生成する。
 (1)センサが人体に装着されていると仮定して実行されたジャンプ検出結果(人体装着センサ対応ジャンプデータ)と、ターン検出結果(人体装着センサ対応ターンデータ)
 (2)センサが人体外に装着されていると仮定して実行されたジャンプ検出結果(人体外装着センサ対応ジャンプデータ)と、ターン検出結果(人体外装着センサ対応ターンデータ)
  (ステップS230)
 次に、サーバ304は、ステップS230において、ステップS229で生成したメタデータを、メタデータ生成に適用したセンサ検出情報の取得時間に一致する撮影画像のメタデータとして記録する。
 ステップS231以下の処理は、サーバ304に格納されたデータを適用した画像の再生や編集処理のシーケンスである。
  (ステップS231)
 ステップS231の処理は、ビデオカメラ302がサーバ304から、サーバ内に格納された画像とメタデータを取得する処理である。
  (ステップS232)
 次に、ビデオカメラ302は、ステップS232において、メタデータを適用した画像再生、編集等を実行する。具体的には、センサを適用した検出対象動作であるジャンプや、ターン等のシーンを中心として再生、または編集する処理を実行する。
 ステップS233~S234の処理は、サーバ304に格納された画像データの再生、編集をビデオカメラ以外の装置、例えばPC等の画像再生編集装置305を用いて実行する処理を説明するシーケンスである。
  (ステップS233)
 ステップS233の処理は、画像再生編集装置305がサーバ304から、サーバ内に格納された画像とメタデータを取得する処理である。
  (ステップS234)
 次に、画像再生編集装置305は、ステップS234において、メタデータを適用した画像再生、編集等を実行する。具体的には、センサを適用した検出対象動作であるジャンプや、ターン等のシーンを中心として再生、または編集する処理を実行する。
 なお、ステップS231~232、あるいはステップS233~S234において説明した画像の再生、編集処理は、先に説明した図28や、図29の処理シーケンスにおいても実行可能である。
 すなわち、メタデータの設定された画像を利用して、ジャンプや、ターン等のシーンを中心として再生、または編集する処理は、以下のいずれの処理例においても実行可能である。
 (1)センサ装着位置判定処理等のデータ処理をビデオカメラが実行する例(図28)
 (2)センサ装着位置判定処理等のデータ処理をセンサ装置が実行する例(図30)
 (3)センサ装着位置判定処理等のデータ処理をサーバが実行する例(図31~図32)
  [8.センサをビデオカメラに装着した例について]
 上述した実施例ては、センサは、ビデオカメラによって撮影される被写体としての人体または被写体となる人体とほぼ同様の動きをする人体外のボード等の物体に装着した例として説明した。
 センサの装着構成は、これらの例に限らない。例えば図33に示すように、センサをビデオカメラに装着する構成としてもよい。
 図33に示すセンサ付きカメラ350は、ビデオカメラ内にセンサ351を装着した構成である。
 センサは、例えば、X,Y,Z3軸を中心とする回転方向の角速度を計測可能なジャイロセンサ、さらに、3軸方向の加速度を計測可能な加速度センサ等から構成される。
 このような構成において、図33に示すようにセンサ付きカメラ350を、例えばユーザの頭等に装着し、ユーザの動きに応じた風景等を撮影することができる。
 図34には、以下の2つのセンサ付きカメラ装着例を示している。
 (1)人体に対するセンサ付きカメラ装着例
 (2)人体外に対するセンサ付きカメラ装着例
 図34に示す(1)人体に対するセンサ付きカメラ装着例は、センサ付きカメラ350を人体に直接、装着した例である。
 一方、(2)人体外に対するセンサ付きカメラ装着例は、スノーボードに装着した例である。
 このような設定とした場合、センサ付きカメラ350の撮影画像は、ユーザやボーードの動きに応じた風景となる。
 ユーザが、ジャンプや、ターンを行うと、より激しい動きの迫力のある風景が撮影されることになる。
 このように、センサをカメラに一体化した構成において、センサ検出情報を用いて、上述した実施例と同様のジャンプ検出や、ターン検出を実行することで、激しい動きのある迫力のある動きの画像フレームの検出が可能となる。
 この検出処理に際して、センサ装着位置、すなわちセンサ付きカメラが人体に直接装着されているか、あるいは、人体外のボード等に装着されているかの装着位置判別処理を、上述した実施例に従って実行することが可能となる。
 このような装着位置判定処理を伴う動き検出、すなわちジャンプ検出やターン検出処理を実行することで、センサ付きカメラの装着位置(人体、または人体外)に応じた正確な動き検出処理が可能となる。
 すなわち、先に説明したジャンプ検出やターン検出と同様、センサ付きカメラ350の特定の動きを解析することができる。この動き解析に基づいて、ビデオカメラの撮影方向や、ビデオカメラの動きが正確に把握可能となり、画像撮影位置や方向の解析処理、さらに撮影画像のブレ補正等を正しく行うことが可能となる。
 例えば、センサ検出情報に基づいて、ビデオカメラの移動方向や移動速度、さらに回転方向や回転速度を取得することが可能であり、これらの解析結果に基づく画像編集や撮影画像のブレ補正等を効率的に、かつ正しく行うことができる。
  [9.その他の実施例について]
 次に、上述したビデオカメラとセンサを利用した処理を、医療関連のカメラに適用した実施例について、図35を参照して説明する。
 図35には、人が呑み込み可能なカプセルに画像撮影可能なカメラにセンサを装着したセンサ付きビデオカメラ内蔵カプセル400と、このセンサ付きビデオカメラ内蔵カプセル400と通信を実行するPC450を示している。
 センサは、例えば、X,Y,Z3軸を中心とする回転方向の角速度を計測可能なジャイロセンサ、さらに、3軸方向の加速度を計測可能な加速度センサ等から構成される。
 PC450と、センサ付きビデオカメラ内蔵カプセル400は、Wi-Fi通信やブルートゥース(登録商標)(BT)通信を利用して様々な通信処理を実行する。
 具体的には、以下の各通信処理を実行する。
 (a)センサ付きビデオカメラ内蔵カプセル400のビデオカメラの撮影した画像をPC450に送信する。
 (b)センサ付きビデオカメラ内蔵カプセル400のセンサ検出情報をPC450に送信する。
 (c)PC450からのコマンド(画像撮影開始、停止、ズーム、フラッシュ撮影等のコマンド)をセンサ付きビデオカメラ内蔵カプセル450内のビデオカメラに送信する。
 センサ付きビデオカメラ内蔵カプセル400と、PC450間では、これらの様々なデータ通信が実行される。
 このようなデータ通信において、PC450は、センサ付きビデオカメラ内蔵カプセル400のセンサ検出情報に基づいて、先に説明したジャンプ検出やターン検出と同様、センサ付きビデオカメラ内蔵カプセル400の特定の動きを解析することができる。
 この動き解析に基づいて、ビデオカメラの撮影方向や、ビデオカメラの動きを解析し、画像撮影位置の特定処理や、撮影画像のブレ補正等を正しく行うことが可能となる。
 例えば、センサ検出情報に基づいて、ビデオカメラの移動方向や移動速度、さらに回転方向や回転速度の解析が可能であり、これらの解析結果に基づく画像編集や撮影画像のブレ補正等の画像処理を効率的に、かつ正しく行うことができる。
  [10.ビデオカメラ、センサ他の情報処理装置の構成について]
 次に、ビデオカメラ、センサ他、本開示の情報処理システムを構成する各情報処理装置のハードウェア構成例について、図36以下を参照して説明する。
 図36は、図1他を参照して説明したビデオカメラ500の具体的構成例と、図1他を参照して説明したセンサや、図30のシーケンス図において説明したセンサ内蔵情報処理装置に対応する情報処理装置(センサorセンサ内蔵情報処理装置)600の具体的な構成例を示すブロック図である。
 図36に示すビデオカメラ500は、制御部501、撮像部502、表示部503、入力部(操作部)504、出力部505、記憶部506、通信部507、計時部508を有する。
 制御部501は、画像の撮影制御、表示制御、データ送受信制御等、ビデオカメラ10において実行するデータ処理の制御を実行する。制御部501は、プログラム実行機能を有するCPUを有し、記憶部506に格納されたアプリケーション(プログラム)に従った処理等を実行する。
 具体的には、例えば先に説明したシーケンスに従った処理等を行なう。
 撮像部502は、画像撮影用の撮像部であり、動画や静止画の撮影を行う。撮影処理に際しては、制御部501の制御下で撮影開始タイミングや終了タイミングが制御される。
 表示部503は、例えば撮影画像の表示や、センサとの通信状況の情報、バッテリ残量情報等の表示に利用される。さらに、撮影済みの画像を記憶部506から読み出して表示する処理などにも利用される。
 入力部504は、ユーザ操作可能な入力部であり、様々な操作指示などを行うための入力部である。タッチパネル形式の表示部も入力部の一部である。
 出力部505は、画像出力、音声出力、その他、外部機器に対するデータ出力部等によって構成される。表示部503も出力部505の構成要素の1つである
 記憶部506は、RAM、ROM、その他の記録メディア等によって構成される。撮影画像の記憶領域として利用され、さらに、制御部501の実行するアプリケーションプログラムの格納領域としても利用される。さらに制御部501の実行するデータ処理に適用するパラメータ等の記憶領域、ワーク領域としても利用される。
 通信部507は、例えばセンサ等の外部機器との通信処理に利用される通信部であり、Wi-Fi、ブルートゥース(登録商標)(BT)等の無線通信の他、通信ケーブル等を利用した有線通信等、各種の通信経路を介したデータ通信に利用される。
 図36に示す例には、情報処理装置(センサorセンサ内蔵情報処理装置)600の通信部606との通信経路を示している。
 先に説明した実施例のように、これらの2つの装置の通信部を介して、様々な通信が実行される。
 例えば、センサのセンサ検出情報等がビデオカメラに送信され、ビデオカメラにおいて、センサ検出情報に基づくセンサ装着位置判定処理、被写体の動作(ジャンプ、ターン等)検出処理、メタデータ生成、記録処理等の様々なデータ処理が実行される。計時部508は、例えば、画像撮影時間情報を得るために利用される。
 情報処理装置(センサorセンサ内蔵情報処理装置)600は、制御部601、センサ素子602、入力部(操作部)603、出力部604、記憶部605、通信部606、計時部607を有する。
 制御部601は、センサ素子602において実行されるセンシング処理、センサ検出情報の送信処理等、情報処理装置(センサorセンサ内蔵情報処理装置)600において実行するデータ処理の制御を実行する。制御部601は、プログラム実行機能を有するCPUを有し、記憶部605に格納されたアプリケーション(プログラム)に従った処理等を実行する。
 具体的には、例えば先に説明したシーケンスに従った処理等を行なう。
 センサ素子602は、例えばX,Y,Z3軸を中心とする回転方向の角速度を計測可能なジャイロセンサ、さらに、3軸方向の加速度を計測可能な加速度センサ等から構成される。
 入力部603は、ユーザ操作可能な入力部であり、様々な操作指示などを行うための入力部である。タッチパネル形式の表示部も入力部の一部である。
 出力部604は、画像出力、音声出力、その他、外部機器に対するデータ出力部等によって構成される。
 記憶部605は、RAM、ROM、その他の記録メディア等によって構成される。撮影画像の記憶領域として利用され、さらに、制御部601の実行するアプリケーションプログラムの格納領域としても利用される。さらに制御部601の実行するデータ処理に適用するパラメータ等の記憶領域、ワーク領域としても利用される。
 通信部606は、例えばビデオカメラ10等の外部機器との通信処理に利用される通信部であり、Wi-Fi、ブルートゥース(登録商標)(BT)等の無線通信の他、通信ケーブル等を利用した有線通信等、各種の通信経路を介したデータ通信に利用される。
 図36に示す例には、ビデオカメラ500の通信部507との通信経路を示している。
 計時部607は、例えば、センサ検出時間情報を得るため等に用いられる。
 図37は、図1に示すビデオカメラやセンサ、さらに、図30~図32を参照して説明したセンサ内蔵情報処理装置、サーバ、PCとして適用可能な情報処理装置のハードウェア構成例を示す図である。
 CPU(Central Processing Unit)701は、ROM(Read Only Memory)702、または記憶部708に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)703には、CPU701が実行するプログラムやデータなどが記憶される。これらのCPU701、ROM702、およびRAM703は、バス704により相互に接続されている。
 CPU701はバス704を介して入出力インタフェース705に接続され、入出力インタフェース705には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部706、ディスプレイ、スピーカなどよりなる出力部707が接続されている。CPU701は、入力部706から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部707に出力する。
 入出力インタフェース705に接続されている記憶部708は、例えばハードディスク等からなり、CPU701が実行するプログラムや各種のデータを記憶する。通信部709は、Wi-Fi通信、ブルートゥース(登録商標)(BT)通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
 入出力インタフェース705に接続されているドライブ710は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア711を駆動し、データの記録あるいは読み取りを実行する。
 撮像部721は、装置が例えばビデオカメラの場合に構成される。
 撮像部721は、静止画や、動画を撮影可能な撮像部である。
 また、センサ722は、センサ装置である場合に構成される。センサ722は、例えばX,Y,Z3軸を中心とする回転方向の角速度を計測可能なジャイロセンサ、さらに、3軸方向の加速度を計測可能な加速度センサ等から構成される。
  [11.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) 装置に備えられたセンサのセンサデータに基づいて、装置の装着位置を検出する装着位置検出部を備えた情報処理装置。
 (2) 前記装着位置検出部の出力に基づいて、前記センサ装着体のアクションを検出するアクション検出部をさらに備える(1)に記載の情報処理装置。
 (3) 前記アクション検出部は、前記センサデータに基づいて、前記センサ装着体のアクションを検出する(2)に記載の情報処理装置。
 (4) 前記装着位置検出部は、画像撮影対象となる被写体であるユーザの人体、または人体外に装着されたセンサから、センサ装着体の動きに応じたセンサ検出情報を入力し、センサ装着位置判定処理を実行し、
 前記アクション検出部は、前記センサからセンサ検出情報を入力して前記ユーザの動きを解析する構成であり、
 前記情報処理装置は、さらに、
 前記アクション検出部の検出情報を入力し、撮影画像対応のメタデータを生成するメタデータ生成部を有し、
 前記装着位置検出部は、
 センサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行し、
 前記メタデータ生成部は、
 前記装着位置検出部の検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報を入力し、撮影画像対応のメタデータを生成する(3)に記載の情報処理装置。
 (5) 前記装着位置検出部は、
 センサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、
 算出比率が既定しきい値より大きい場合は、センサが人体外に装着されていると判定し、
 算出比率が既定しきい値以下の場合は、センサが人体に装着されていると判定する(4)に記載の情報処理装置。
 (6) 前記情報処理装置は、
 撮影画像と、撮影画像対応のメタデータを記憶部から読み出し、画像再生または編集処理を実行する編集部を有し、
 前記編集部は、メタデータを参照し、前記ユーザが特定の動きを行った画像フレームを抽出する処理を実行する(4)または(5)に記載の情報処理装置。
 (7) 前記アクション検出部は、
 ユーザのジャンプ処理、またはターン処理の少なくともいずれかの処理を検出する(4)~(6)いずれかに記載の情報処理装置。
 (8) 前記アクション検出部は、
 前記センサが人体に装着されていると想定した検出アルゴリズムを実行して、ユーザのジャンプ処理、またはターン処理の少なくともいずれかの処理を検出する人体装着センサ対応処理部と、
 前記センサが人体外に装着されていると想定した検出アルゴリズムを実行して、ユーザのジャンプ処理、またはターン処理の少なくともいずれかの処理を検出する人体外装着センサ対応処理部を有し、
 前記メタデータ生成部は、
 前記装着位置検出部が、センサ装着位置が人体であるとの検出結果を出力した場合、前記人体装着センサ対応処理部による動き検出結果を入力してメタデータ生成処理を実行し、
 前記装着位置検出部が、センサ装着位置が人体外であるとの検出結果を出力した場合、前記人体外装着センサ対応処理部による動き検出結果を入力してメタデータ生成処理を実行する(4)~(7)いずれかに記載の情報処理装置。
 (9) 前記装着位置検出部は、
 センサ検出情報として、ジャイロセンサ出力であるXYZ3軸回りの回転速度情報を入力し、該回転速度情報を利用してセンサ装着位置判別処理を実行する(1)~(8)いずれかに記載の情報処理装置。
 (10) 前記装着位置検出部は、
 ジャイロセンサ出力であるXYZ3軸回りの回転速度情報(u,v,w)のノルム(Norm)を算出する特徴量抽出部と、
 前記ノルムの時間推移信号中に含まれる高周波成分信号と、低周波成分信号の比率を算出する周波数成分比率算出部と、
 前記周波数成分比率算出部の算出した周波数成分比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行するセンサ装着位置判定部を有する(1)~(9)いずれかに記載の情報処理装置。
 (11) 前記センサ装着位置判定部は、
 前記特徴量抽出部の抽出したノルムに基づいてセンサ装着体に動きががあったか否かを判定する静動判定部と、
 前記静動判定部において動きありの判定がなされた場合の周波数成分比率と、既定しきい値との比較処理を実行し、比較結果に基づいてセンサが人体に装着されているか、人体外に装着されているかの判別処理を実行する装着位置判定処理部を有する(10)に記載の情報処理装置。
 (12) 前記装着位置検出部は、
 前記装着位置判定処理部が、順次出力する判定結果をカウントデータとして蓄積するカウントデータ蓄積部と、
 前記カウントデータ蓄積部の所定期間内蓄積データである、
 (1)センサが人体に装着されていると判定した人体装着判定カウントデータと、
 (2)センサが人体外に装着されていると判定した人体外装着カウントデータを比較し、
 より多いカウント値を有するカウントデータを選択して、センサが人体に装着されているか、人体外に装着されているかの判定結果を出力する統計処理部を有する(11)に記載の情報処理装置。
 (13) 前記情報処理装置は、ビデオカメラであり、
 画像を撮影する撮像部を有し、
 前記メタデータ生成部は、
 前記撮像部の撮影画像対応のメタデータを生成する(4)~(12)いずれかに記載の情報処理装置。
 (14) 前記情報処理装置は、センサ内蔵情報処理装置であり、
 前記センサ内蔵情報処理装置は、
 前記メタデータ生成部の生成したメタデータを、画像撮影を実行するビデオカメラに送信する通信部を有する(4)~(13)いずれかに記載の情報処理装置。
 (15) 前記情報処理装置は、
 センサ素子を有するセンサ内蔵情報処理装置、および画像撮影を実行するビデオカメラとの通信処理を実行するサーバであり、
 該サーバは、
 前記センサ内蔵情報処理装置から受信するセンサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行し、
 センサ装着位置検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報に基づいて、前記ビデオカメラから受信する撮影画像対応のメタデータを生成する(4)~(14)いずれかに記載の情報処理装置。
 (16) 画像撮影対象となる被写体であるユーザの人体、または人体外に装着され、装着体の動きに応じたセンサ検出情報を出力するセンサと、
 画像撮影を実行するビデオカメラを有する情報処理システムであり、
 前記ビデオカメラは、
 前記センサから、センサ検出情報を入力し、センサ装着位置判定処理を実行する装着位置検出部と、
 前記センサ検出情報を入力して前記ユーザの動きを解析するアクション検出部と、
 前記アクション検出部の検出情報を入力し、撮影画像対応のメタデータを生成するメタデータ生成部を有し、
 前記装着位置検出部は、
 センサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行し、
 前記メタデータ生成部は、
 前記装着位置検出部の検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報を入力し、撮影画像対応のメタデータを生成する情報処理システム。
 (17) 画像撮影対象となる被写体であるユーザの人体、または人体外に装着され、装着体の動きに応じたセンサ検出情報を出力するセンサと、
 画像撮影を実行するビデオカメラと、
 前記センサから、センサ検出情報を受信するとともに、前記ビデオカメラから撮影画像を受信するサーバを有する情報処理システムであり、
 前記サーバは、
 前記センサから、センサ検出情報を入力し、センサ装着位置判定処理を実行する装着位置検出部と、
 前記センサ検出情報を入力して前記ユーザの動きを解析するアクション検出部と、
 前記アクション検出部の検出情報を入力し、撮影画像対応のメタデータを生成するメタデータ生成部を有し、
 前記装着位置検出部は、
 センサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行し、
 前記メタデータ生成部は、
 前記装着位置検出部の検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報を入力し、前記ビデオカメラから受信する撮影画像対応のメタデータを生成する情報処理システム。
 (18) 情報処理装置において実行する情報処理方法であり、
 前記情報処理装置は、
 装置に備えられたセンサのセンサデータに基づいて、装置の装着位置を検出する情報処理方法。
 (19) 前記情報処理装置は、
 画像撮影対象となる被写体であるユーザの人体、または人体外に装着されたセンサから、センサ装着体の動きに応じたセンサ検出情報を入力し、センサ装着位置判定処理を実行する装着位置検出部と、
 前記センサからセンサ検出情報を入力して前記ユーザの動きを解析するアクション検出部と、
 前記アクション検出部の検出情報を入力し、撮影画像対応のメタデータを生成するメタデータ生成部を有し、
 前記装着位置検出部が、
 センサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行し、
 前記メタデータ生成部が、
 前記装着位置検出部の検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報を入力し、撮影画像対応のメタデータを生成する(18)に記載の情報処理方法。
 (20) 情報処理装置において情報処理を実行させるプログラムであり、
 前記情報処理装置は、
 画像撮影対象となる被写体であるユーザの人体、または人体外に装着されたセンサから、センサ装着体の動きに応じたセンサ検出情報を入力し、センサ装着位置判定処理を実行する装着位置検出部と、
 前記センサからセンサ検出情報を入力して前記ユーザの動きを解析するアクション検出部と、
 前記アクション検出部の検出情報を入力し、撮影画像対応のメタデータを生成するメタデータ生成部を有し、
 前記プログラムは、前記装着位置検出部に、
 センサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行させ、
 前記メタデータ生成部に、
 前記装着位置検出部の検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報を入力し、撮影画像対応のメタデータを生成する処理を実行させるプログラム。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、被写体動きを検出するセンサが人体に装着されているか人体外に装着されているかを判別して正確な動き検出を行い、検出結果に基づくメタデータの生成記録処理が実現される。
 具体的には、撮影対象ユーザの人体、または人体外に装着されたセンサから、動きに応じたセンサ情報を入力し、センサ装着位置を判定する。さらに、センサ情報を入力してユーザ動きを解析し、撮影画像対応のメタデータを生成する。センサ装着位置検出部は、センサ情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体装着か、人体外装着かを判別する。メタデータ生成部は、センサ装着位置検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報を入力し、撮影画像対応のメタデータを生成する。
 本構成により、被写体動きを検出するセンサが人体に装着されているか人体外に装着されているかを判別して正確な動き検出を行い、検出結果に基づくメタデータの生成記録処理が実現される。
  10 ビデオカメラ
  20 センサ
 101 特徴量抽出部
 102 ジャンプ検出部
 103 ターン検出部
 104 メタデータ生成部
 105 記憶部
 106 編集部
 107 出力部
 110 人体装着センサ対応処理部
 111 特徴量抽出部
 112 ジャンプ検出部
 113 ターン検出部
 120 人体外装着センサ対応処理部
 121 特徴量抽出部
 122 ジャンプ検出部
 123 ターン検出部
 131 センサ装着位置検出部
 132 センサ装着位置対応データ選択部
 133 メタデータ生成部
 134 記憶部
 135 編集部
 136 出力部
 151 特徴量抽出部
 152 LPF
 153 振幅検出部
 154 HPF
 155 振幅検出部
 156 周波数成分比率算出部
 157 センサ装着位置判定部
 201 静動判定部
 202 周波数成分比率信号記憶部
 203 装着位置判定処理部
 204 カウントデータ記憶部
 205 統計処理部
 211 信号調整部(LPF)
 212 信号調整部(移動平均算出部)
 213 信号調整部(BPF)
 214 信号調整部(特異点除去処理部)
 301 センサ
 302 ビデオカメラ
 303 センサ内蔵情報処理部
 304 サーバ
 305 画像再生編集装置(PC等)
 500 ビデオカメラ
 501 制御部
 502 撮像部
 503 表示部
 504 入力部(操作部)
 505 出力部
 506 記憶部
 507 通信部
 508 計時部
 600 センサorセンサ内蔵情報処理装置
 601 制御部
 602 センサ素子
 603 入力部(操作部)
 604 出力部
 605 記憶部
 606 通信部
 607 計時部
 701 CPU
 702 ROM
 703 RAM
 704 バス
 705 入出力インタフェース
 706 入力部
 707 出力部
 708 記憶部
 709 通信部
 710 ドライブ
 711 リムーバブルメディア
 721 撮像部
 722 センサ

Claims (20)

  1.  装置に備えられたセンサのセンサデータに基づいて、装置の装着位置を検出する装着位置検出部を備えた情報処理装置。
  2.  前記装着位置検出部の出力に基づいて、前記センサ装着体のアクションを検出するアクション検出部をさらに備える請求項1に記載の情報処理装置。
  3.  前記アクション検出部は、前記センサデータに基づいて、前記センサ装着体のアクションを検出する請求項2に記載の情報処理装置。
  4.  前記装着位置検出部は、画像撮影対象となる被写体であるユーザの人体、または人体外に装着されたセンサから、センサ装着体の動きに応じたセンサ検出情報を入力し、センサ装着位置判定処理を実行し、
     前記アクション検出部は、前記センサからセンサ検出情報を入力して前記ユーザの動きを解析する構成であり、
     前記情報処理装置は、さらに、
     前記アクション検出部の検出情報を入力し、撮影画像対応のメタデータを生成するメタデータ生成部を有し、
     前記装着位置検出部は、
     センサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行し、
     前記メタデータ生成部は、
     前記装着位置検出部の検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報を入力し、撮影画像対応のメタデータを生成する請求項3に記載の情報処理装置。
  5.  前記装着位置検出部は、
     センサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、
     算出比率が既定しきい値より大きい場合は、センサが人体外に装着されていると判定し、
     算出比率が既定しきい値以下の場合は、センサが人体に装着されていると判定する請求項4に記載の情報処理装置。
  6.  前記情報処理装置は、
     撮影画像と、撮影画像対応のメタデータを記憶部から読み出し、画像再生または編集処理を実行する編集部を有し、
     前記編集部は、メタデータを参照し、前記ユーザが特定の動きを行なった画像フレームを抽出する処理を実行する請求項4に記載の情報処理装置。
  7.  前記アクション検出部は、
     ユーザのジャンプ処理、またはターン処理の少なくともいずれかの処理を検出する請求項4に記載の情報処理装置。
  8.  前記アクション検出部は、
     前記センサが人体に装着されていると想定した検出アルゴリズムを実行して、ユーザのジャンプ処理、またはターン処理の少なくともいずれかの処理を検出する人体装着センサ対応処理部と、
     前記センサが人体外に装着されていると想定した検出アルゴリズムを実行して、ユーザのジャンプ処理、またはターン処理の少なくともいずれかの処理を検出する人体外装着センサ対応処理部を有し、
     前記メタデータ生成部は、
     前記装着位置検出部が、センサ装着位置が人体であるとの検出結果を出力した場合、前記人体装着センサ対応処理部による動き検出結果を入力してメタデータ生成処理を実行し、
     前記装着位置検出部が、センサ装着位置が人体外であるとの検出結果を出力した場合、前記人体外装着センサ対応処理部による動き検出結果を入力してメタデータ生成処理を実行する請求項4に記載の情報処理装置。
  9.  前記装着位置検出部は、
     センサ検出情報として、ジャイロセンサ出力であるXYZ3軸回りの回転速度情報を入力し、該回転速度情報を利用してセンサ装着位置判別処理を実行する請求項1に記載の情報処理装置。
  10.  前記装着位置検出部は、
     ジャイロセンサ出力であるXYZ3軸回りの回転速度情報(u,v,w)のノルム(Norm)を算出する特徴量抽出部と、
     前記ノルムの時間推移信号中に含まれる高周波成分信号と、低周波成分信号の比率を算出する周波数成分比率算出部と、
     前記周波数成分比率算出部の算出した周波数成分比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行するセンサ装着位置判定部を有する請求項1に記載の情報処理装置。
  11.  前記センサ装着位置判定部は、
     前記特徴量抽出部の抽出したノルムに基づいてセンサ装着体に動きががあったか否かを判定する静動判定部と、
     前記静動判定部において動きありの判定がなされた場合の周波数成分比率と、既定しきい値との比較処理を実行し、比較結果に基づいてセンサが人体に装着されているか、人体外に装着されているかの判別処理を実行する装着位置判定処理部を有する請求項10に記載の情報処理装置。
  12.  前記装着位置検出部は、
     前記装着位置判定処理部が、順次出力する判定結果をカウントデータとして蓄積するカウントデータ蓄積部と、
     前記カウントデータ蓄積部の所定期間内蓄積データである、
     (1)センサが人体に装着されていると判定した人体装着判定カウントデータと、
     (2)センサが人体外に装着されていると判定した人体外装着カウントデータを比較し、
     より多いカウント値を有するカウントデータを選択して、センサが人体に装着されているか、人体外に装着されているかの判定結果を出力する統計処理部を有する請求項11に記載の情報処理装置。
  13.  前記情報処理装置は、ビデオカメラであり、
     画像を撮影する撮像部を有し、
     前記メタデータ生成部は、
     前記撮像部の撮影画像対応のメタデータを生成する請求項4に記載の情報処理装置。
  14.  前記情報処理装置は、センサ内蔵情報処理装置であり、
     前記センサ内蔵情報処理装置は、
     前記メタデータ生成部の生成したメタデータを、画像撮影を実行するビデオカメラに送信する通信部を有する請求項4に記載の情報処理装置。
  15.  前記情報処理装置は、
     センサ素子を有するセンサ内蔵情報処理装置、および画像撮影を実行するビデオカメラとの通信処理を実行するサーバであり、
     該サーバは、
     前記センサ内蔵情報処理装置から受信するセンサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行し、
     センサ装着位置検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報に基づいて、前記ビデオカメラから受信する撮影画像対応のメタデータを生成する請求項4に記載の情報処理装置。
  16.  画像撮影対象となる被写体であるユーザの人体、または人体外に装着され、装着体の動きに応じたセンサ検出情報を出力するセンサと、
     画像撮影を実行するビデオカメラを有する情報処理システムであり、
     前記ビデオカメラは、
     前記センサから、センサ検出情報を入力し、センサ装着位置判定処理を実行する装着位置検出部と、
     前記センサ検出情報を入力して前記ユーザの動きを解析するアクション検出部と、
     前記アクション検出部の検出情報を入力し、撮影画像対応のメタデータを生成するメタデータ生成部を有し、
     前記装着位置検出部は、
     センサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行し、
     前記メタデータ生成部は、
     前記装着位置検出部の検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報を入力し、撮影画像対応のメタデータを生成する情報処理システム。
  17.  画像撮影対象となる被写体であるユーザの人体、または人体外に装着され、装着体の動きに応じたセンサ検出情報を出力するセンサと、
     画像撮影を実行するビデオカメラと、
     前記センサから、センサ検出情報を受信するとともに、前記ビデオカメラから撮影画像を受信するサーバを有する情報処理システムであり、
     前記サーバは、
     前記センサから、センサ検出情報を入力し、センサ装着位置判定処理を実行する装着位置検出部と、
     前記センサ検出情報を入力して前記ユーザの動きを解析するアクション検出部と、
     前記アクション検出部の検出情報を入力し、撮影画像対応のメタデータを生成するメタデータ生成部を有し、
     前記装着位置検出部は、
     センサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行し、
     前記メタデータ生成部は、
     前記装着位置検出部の検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報を入力し、前記ビデオカメラから受信する撮影画像対応のメタデータを生成する情報処理システム。
  18.  情報処理装置において実行する情報処理方法であり、
     前記情報処理装置は、
     装置に備えられたセンサのセンサデータに基づいて、装置の装着位置を検出する情報処理方法。
  19.  前記情報処理装置は、
     画像撮影対象となる被写体であるユーザの人体、または人体外に装着されたセンサから、センサ装着体の動きに応じたセンサ検出情報を入力し、センサ装着位置判定処理を実行する装着位置検出部と、
     前記センサからセンサ検出情報を入力して前記ユーザの動きを解析するアクション検出部と、
     前記アクション検出部の検出情報を入力し、撮影画像対応のメタデータを生成するメタデータ生成部を有し、
     前記装着位置検出部が、
     センサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行し、
     前記メタデータ生成部が、
     前記装着位置検出部の検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報を入力し、撮影画像対応のメタデータを生成する請求項18に記載の情報処理方法。
  20.  情報処理装置において情報処理を実行させるプログラムであり、
     前記情報処理装置は、
     画像撮影対象となる被写体であるユーザの人体、または人体外に装着されたセンサから、センサ装着体の動きに応じたセンサ検出情報を入力し、センサ装着位置判定処理を実行する装着位置検出部と、
     前記センサからセンサ検出情報を入力して前記ユーザの動きを解析するアクション検出部と、
     前記アクション検出部の検出情報を入力し、撮影画像対応のメタデータを生成するメタデータ生成部を有し、
     前記プログラムは、前記装着位置検出部に、
     センサ検出情報に含まれる高周波成分と低周波成分の比率を算出し、算出比率に基づいて、センサが人体に装着されているか、人体外に装着されているかの判別処理を実行させ、
     前記メタデータ生成部に、
     前記装着位置検出部の検出結果に一致するセンサ装着位置を想定した動き検出アルゴリズムを実行して得られたユーザ動き検出情報を入力し、撮影画像対応のメタデータを生成する処理を実行させるプログラム。
PCT/JP2016/086061 2016-01-15 2016-12-05 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム WO2017122456A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/781,232 US10771683B2 (en) 2016-01-15 2016-12-05 Information processor, information processing system, and information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-005829 2016-01-15
JP2016005829A JP2017126935A (ja) 2016-01-15 2016-01-15 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
WO2017122456A1 true WO2017122456A1 (ja) 2017-07-20

Family

ID=59311232

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086061 WO2017122456A1 (ja) 2016-01-15 2016-12-05 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Country Status (3)

Country Link
US (1) US10771683B2 (ja)
JP (1) JP2017126935A (ja)
WO (1) WO2017122456A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102125640B1 (ko) * 2019-01-29 2020-06-22 서울과학기술대학교 산학협력단 사용자 제스처를 이용한 개인방송 제어 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014073454A1 (ja) * 2012-11-09 2014-05-15 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2014183931A (ja) * 2013-03-22 2014-10-02 Sony Corp 情報処理装置、センサ装置、情報処理システムおよび記録媒体

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4182315A (en) * 1977-07-21 1980-01-08 Diamond George A Apparatus and method for detection of body tissue movement
US6741652B1 (en) * 1992-02-21 2004-05-25 Canon Kabushiki Kaisha Movement vector detecting device
GB9217098D0 (en) * 1992-08-12 1992-09-23 British Broadcasting Corp Derivation of studio camera position and motion from the camera image
US5617143A (en) * 1993-03-29 1997-04-01 Canon Kabushiki Kaisha Movement detection device and encoding apparatus using the same
WO1996024216A1 (en) * 1995-01-31 1996-08-08 Transcenic, Inc. Spatial referenced photography
US5881321A (en) * 1997-05-09 1999-03-09 Cammotion, Inc.. Camera motion sensing system
JP3980234B2 (ja) * 2000-01-07 2007-09-26 ペンタックス株式会社 デジタルカメラ
US20030043369A1 (en) * 2001-08-28 2003-03-06 Honeywell Advanced Circuits, Inc. Automated optical inspection and marking systems and methods
IES20020808A2 (en) * 2001-10-12 2003-04-16 Hi Key Ltd A method and apparatus for analysing a signal from a movement detector for determining if movement has been detected in an area under surveillence, and an anti-theft system
JP3867627B2 (ja) * 2002-06-26 2007-01-10 ソニー株式会社 観客状況推定装置と観客状況推定方法および観客状況推定プログラム
US7535515B2 (en) * 2003-12-23 2009-05-19 Ravi Ananthapur Bacche Motion detection in video signals
JP4093971B2 (ja) * 2004-02-12 2008-06-04 シャープ株式会社 光学式移動情報検出装置および移動情報検出システムおよび電子機器およびエンコーダ
US8081682B1 (en) * 2005-10-13 2011-12-20 Maxim Integrated Products, Inc. Video encoding mode decisions according to content categories
KR100809041B1 (ko) * 2006-06-20 2008-03-03 삼성전자주식회사 수면 상태 감지 장치 및 그 방법
US20080146366A1 (en) * 2006-12-13 2008-06-19 Edward Miesak Motion monitor
JP4933406B2 (ja) * 2007-11-15 2012-05-16 キヤノン株式会社 画像処理装置、画像処理方法
EP2330558B1 (en) * 2008-09-29 2016-11-02 Panasonic Intellectual Property Corporation of America User interface device, user interface method, and recording medium
US20100103173A1 (en) * 2008-10-27 2010-04-29 Minkyu Lee Real time object tagging for interactive image display applications
JP5649808B2 (ja) 2009-01-28 2015-01-07 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP5401420B2 (ja) * 2009-09-09 2014-01-29 パナソニック株式会社 撮像装置
US20110075042A1 (en) * 2009-09-30 2011-03-31 Dongjian Wang Method and System for Advanced Motion Detection and Decision Mechanism for a Comb Filter in an Analog Video Decoder
JP5659304B2 (ja) * 2011-11-07 2015-01-28 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP6213146B2 (ja) * 2013-10-24 2017-10-18 ソニー株式会社 情報処理装置、記録媒体、および情報処理方法
CN105301771B (zh) * 2014-06-06 2020-06-09 精工爱普生株式会社 头部佩戴型显示装置、检测装置、控制方法以及计算机程序
CN107408354B (zh) * 2015-03-05 2019-12-20 日本电气方案创新株式会社 动作评估装置、动作评估方法和计算机可读存储介质
US20180001141A1 (en) * 2016-06-13 2018-01-04 Jerome Curry Motion interactive video recording for fighters in a mixed martial arts and boxing match
US11295140B2 (en) * 2018-03-14 2022-04-05 Comcast Cable Communications, Llc Methods and systems for determining object activity within a region of interest

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014073454A1 (ja) * 2012-11-09 2014-05-15 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2014183931A (ja) * 2013-03-22 2014-10-02 Sony Corp 情報処理装置、センサ装置、情報処理システムおよび記録媒体

Also Published As

Publication number Publication date
US10771683B2 (en) 2020-09-08
US20200014845A1 (en) 2020-01-09
JP2017126935A (ja) 2017-07-20

Similar Documents

Publication Publication Date Title
CN105749548B (zh) 信息处理装置、信息处理方法以及程序
US8125314B2 (en) Distinguishing between user physical exertion biometric feedback and user emotional interest in a media stream
US9666232B2 (en) Scene and activity identification in video summary generation based on motion detected in a video
CN109737952B (zh) 跳绳数据处理方法、装置及可穿戴设备
KR101690649B1 (ko) 다축 활동 모니터 디바이스로의 활동 분류
US20160065984A1 (en) Systems and methods for providing digital video with data identifying motion
US20160225410A1 (en) Action camera content management system
US20160225405A1 (en) Variable playback speed template for video editing application
JP6318784B2 (ja) 回転数検出装置及び回転数検出方法並びにプログラム
JP2006345270A (ja) 情報処理装置および方法、撮影装置、並びにプログラム
EP3678364B1 (en) Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence
KR20180057543A (ko) 화상 처리 장치, 해석 시스템, 화상 처리 방법 및 프로그램
US11305171B2 (en) Motion evaluation device using angular speed measured by a wearable sensor
WO2017122456A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN110460809A (zh) 一种婴儿哭声侦测方法、装置及智能摄像头设备
Zhao et al. Periodicity-based swimming performance feature extraction and parameter estimation
US10569135B2 (en) Analysis device, recording medium, and analysis method
JP2012059167A (ja) 情報処理方法,情報処理システム,情報処理装置,表示装置,情報処理用プログラムおよび同プログラムを記録したコンピュータ読み取り可能な記録媒体
JP7400937B2 (ja) 情報処理プログラム、装置、及び方法
CN108079548B (zh) 运动分析装置、运动分析方法以及记录介质
CN109213207B (zh) 云台镜头调整方法、装置及手持云台
JP7069953B2 (ja) 電子機器、動作データの部分特定方法、及び、プログラム
Gomes et al. Detection and characterization of surfing events with smartphones’ embedded sensors
CN111840948B (zh) 检测羽毛球挥拍次数的方法、装置及可穿戴设备
CN115171886B (zh) 一种基于随机森林算法的冻结步态检测方法、装置、设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16885059

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16885059

Country of ref document: EP

Kind code of ref document: A1