JP7161684B2 - データ取得装置、及びデータ処理方法 - Google Patents

データ取得装置、及びデータ処理方法 Download PDF

Info

Publication number
JP7161684B2
JP7161684B2 JP2017184197A JP2017184197A JP7161684B2 JP 7161684 B2 JP7161684 B2 JP 7161684B2 JP 2017184197 A JP2017184197 A JP 2017184197A JP 2017184197 A JP2017184197 A JP 2017184197A JP 7161684 B2 JP7161684 B2 JP 7161684B2
Authority
JP
Japan
Prior art keywords
image data
data
image
information processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017184197A
Other languages
English (en)
Other versions
JP2019061385A (ja
Inventor
比呂史 黒沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2017184197A priority Critical patent/JP7161684B2/ja
Priority to US16/137,373 priority patent/US10742883B2/en
Publication of JP2019061385A publication Critical patent/JP2019061385A/ja
Application granted granted Critical
Publication of JP7161684B2 publication Critical patent/JP7161684B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、情報処理装置に好適なデータを供給するデータ取得装置、データ取得装置におけるデータ処理方法に関する。
特許文献1にあるように、四則演算に加え、様々な関数計算が可能な電子式卓上計算機(いわゆる、関数電卓)が知られている。近年においては、外部接続したセンサ機器により検出されるデータや、パーソナルコンピュータから送信されるデータに基づいて、グラフや数表を自動的に作成して表示する機能や、数式処理機能、作図機能等を備えた多機能型の関数電卓(以下、「多機能関数電卓」と記す)も知られている。
多機能関数電卓機能を有する情報処理装置には、外部接続されたセンサ機器により検出された対象物の位置の時間変化を示す計測データ等に基づいて、対象物の状態の変化等を示すグラフや数表を作成して表示部に表示するものがある。
このような情報処理装置は、例えば学校教育の数理分野における理解を深めるための学習教材として、或いは、研究開発の現場における簡易な計測装置として利用されている。
特開2001-154992号公報
外部接続されたセンサ機器やカメラ等により取得された計測データや画像データがそのまま多機能関数電卓機能を有する機器に取り込まれて、自動的に、又は、ユーザの指示や操作に従ってグラフ化等の処理が行われて表示される。そのため、多機能関数電卓がセンサ機器やカメラ等との間で送受信するデータ量や、グラフ化等の処理で扱うデータ量が増加すると、多機能関数電卓における処理負担が増大するという問題を有していた。
そこで、本発明は、情報処理装置に好適なデータを供給するデータ取得装置、及びデータ処理方法を提供することを利点とする。
本発明に係るデータ取得装置は、
移動する対象物の移動速度を判定する判定部と、
情報処理装置からのモード通知信号にしたがって、前記対象物の互いに異なる位置を示す複数の位置データを間引く処理を行って、第1の時間間隔で撮影された複数の画像データから、一部を間引いて前記対象物の位置の変化を示す合成画像データ及び前記合成画像データにおける前記対象物の位置を示す前記位置データを作成する演算処理部と、
前記演算処理部で間引き処理された前記位置データ及び前記合成画像データを前記情報処理装置に送信する通信部と、
を備え、
前記判定部によって前記合成画像中に配置される前記対象物の最低移動速度が予め設定された第一のしきい値より高いと判定された場合には、前記演算処理部は、前記合成画像データによる合成画像中に配置される前記対象物の画像を、垂直方向に極大となる座標、及び、当該座標に配置される前記対象物の画像を中心にして水平方向に略線対称の、低い山なりの形状を有する移動軌跡が表現されるように抽出して配置する。
また、本発明に係るデータ取得装置は、
移動する対象物の移動速度を判定する判定部と、
情報処理装置からのモード通知信号にしたがって、前記対象物の互いに異なる位置を示す複数の位置データを間引く処理を行って、第1の時間間隔で撮影された複数の画像データから、一部を間引いて前記対象物の位置の変化を示す合成画像データ及び前記合成画像データにおける前記対象物の位置を示す前記位置データを作成する演算処理部と、
前記演算処理部で間引き処理された前記位置データ及び前記合成画像データを前記情報処理装置に送信する通信部と、
を備え、
前記判定部によって前記合成画像中に配置される前記対象物の最低移動速度が予め設定された第一のしきい値より低いと判定された場合には、前記演算処理部は、前記合成画像データにおける、前記対象物の移動速度が前記第一のしきい値以上の値に設定された第二のしきい値以上となる領域での前記対象物の画像の抽出時間間隔を、上記領域以外の領域での前記対象物の画像の抽出時間間隔よりも短く設定し、前記対象物の画像及びその位置データを追加抽出して、前記合成画像データを作成する。
本発明に係るデータ取得装置におけるデータ処理方法であって、
情報処理装置からのモード通知信号にしたがって、移動する対象物の互いに異なる位置を示す複数の位置データを間引く処理を行って、第1の時間間隔で撮影された複数の画像データから、一部を間引いて前記対象物の位置の変化を示す合成画像データ及び前記合成画像データにおける前記対象物の位置を示す前記位置データを作成し、
前記対象物の移動速度を判定し、当該判定の判定結果に応じて前記合成画像データによる合成画像中に配置される前記対象物の画像の位置及び数を調整し、
前記間引き処理された前記位置データ及び前記合成画像データを前記情報処理装置に送信するデータ処理方法。
本発明によれば、好適なデータを得ることができる。
本発明に係る学習支援装置の一実施形態を示す概略図である。 一実施形態に係る学習支援装置に適用される機能構成の一例を示すブロック図である。 一実施形態に係る学習支援装置の制御方法の一例を示すフローチャートである。 一実施形態に係る学習支援装置を用いた対象物の撮影動作の一例を示す概略図である。 一実施形態に係る学習支援装置の制御方法に適用される合成画像作成処理(画像調整処理を含む)を説明するための概略図である。 一実施形態に係る学習支援装置の制御方法に適用される推定軌跡作成処理、及び、推定軌跡と実測軌跡との比較処理を説明するための概略図である。 一実施形態に係る合成画像作成処理に適用される調整処理を説明するための概略図である。
以下、本発明に係る学習支援装置、その情報処理方法及び情報処理プログラムについて、実施形態を示して詳しく説明する。
(学習支援装置)
図1は、本発明に係る学習支援装置の一実施形態を示す概略図である。図1(a)は、本実施形態に適用される情報処理装置の一例を示し、図1(b)、(c)は、本実施形態に適用される撮像機器の一例(レンズ搭載面側、モニタ搭載面側)を示す外観図である。図2は、本実施形態に係る学習支援装置に適用される機能構成の一例を示すブロック図である。図2(a)は、情報処理装置の機能ブロックの一例であり、図2(b)は、撮像機器の機能ブロックの一例である。
図1に示すように、本発明に係る学習支援装置は、少なくとも、情報処理装置100と、データ取得装置としての撮像機器200と、を有し、双方が設定された通信方式によりデータ通信が可能なように接続されている。
情報処理装置100は、四則演算や関数計算機能に加え、数式処理機能、グラフや数表の作成機能、作図機能等を備えている。特に、本実施形態に係る情報処理装置100は、撮像機器200や各種のセンサ機器との間でデータ通信が可能なように接続され、撮像機器200により取得された画像データやセンサ機器により取得された計測データに基づいて、グラフを作成して表示する機能を備えている。ここで、情報処理装置100は、例えば背景技術に示した多機能関数電卓を良好に適用することができるほか、高機能携帯電話機(いわゆる、スマートフォン)やタブレット端末、パーソナルコンピュータ等の、情報処理機能を備えた汎用の電子機器を適用することができる。
情報処理装置100は、例えば図2(a)に示すように、概略、表示部110と、入力操作部120と、通信部(以下、「通信部」と略記する)130と、演算処理部140と、メモリ部150と、電源供給部160と、を有している。
表示部110は、文字や数式、グラフ、数表、図形等を表示可能な液晶ディスプレイ(LCD)や有機ELディスプレイ(ELD)、電子ペーパーディスプレイ等を有し、ユーザが入力操作部120を介して行った操作や、情報処理装置100の内部での演算処理等に基づいて、各種の情報が表示される。
入力操作部120は、例えば図1(a)に示すように、表示部110の周辺や情報処理装置100の筐体の側部等に配置されたハードウェアキーによるボタンスイッチ12、14や、表示部110と一体的に形成されたタッチパネルを適用したソフトウェアキーによるタッチスイッチ16、18等を有している。ここで、図1(a)に示すように、情報処理装置100として汎用の多機能関数電卓を適用した場合には、入力操作部120として、テンキーや各種の関数計算のための演算キー、グラフや数表の表示に関連する機能を実現又は設定するための機能キーやメニューキー等が、ハードウェアキーやソフトウェアキーの形態で配置されている。例えば、テンキーや演算キーはボタンスイッチ12を有し、機能キーはボタンスイッチ14やタッチスイッチ16、18を有し、メニューキーはタッチスイッチ16、18を有している。ユーザはこれらのスイッチ類を操作して、四則演算や関数計算等を行ったり、表示部110にグラフや数表等を表示したりする。なお、情報処理装置100は、入力キーがハードウェアキーのみであってもソフトウェアキーのみであってもよい。
通信部130は、少なくとも、情報処理装置100に接続された撮像機器200との間でデータ通信を行うためのインターフェースとして機能し、撮像機器200により取得された画像データ、又は、画像処理が施された画像データ等を受信する。ここで、通信部130は、例えば通信ケーブルを介してデータ通信を行う有線通信方式や、Wi-Fi(wirelessfidelity(登録商標))やブルートゥース(登録商標)(Bluetooth(登録商標))、非接触通信としての近距離無線通信(NFC)等の汎用の無線通信規格によりデータ通信を行う無線通信方式が適用される。また、通信部130は、撮像機器200のほかに、各種のセンサ機器が接続されている場合にも、センサ機器との間でデータ通信を行うためのインターフェースとして機能する。なお、通信部130は、例えばインターネット等の公衆利用が可能なネットワークや、企業や教育機関等の特定の団体による限定的に利用可能なネットワークに接続され、ネットワーク上のサーバ等との間で、メモリ部150に保存されたデータや、サーバに保存されたデータ等を送受信するためのインターフェースとして機能するものであってもよい。
演算処理部140は、CPU(中央演算処理装置)やMPU(マイクロプロセッサ)等のプロセッサ或いはプロセッサを備えたコンピュータを有し、メモリ部150に格納された制御プログラムを実行する。これにより、演算処理部140は、ユーザによる入力操作部120の操作に応じた四則演算や関数計算、グラフや数表の作成等の処理を実行して、入力操作された数字や数式、その演算結果、作成されたグラフや数表、或いは、それらの処理の経過等の情報を表示部110に表示する制御を行う。
また、演算処理部140は、通信部130を介して接続された撮像機器200やセンサ機器等から取り込まれた画像データや計測データに基づいて、グラフや数表等を作成して表示部110に表示する制御を行う。このとき、演算処理部140は、ユーザがグラフや数表等の作成を指示する際に、視覚的に認識しやすい適切なグラフや数表等が作成されるように、表示部110に画像調整処理が施された情報を表示する。なお、表示情報(合成画像)の画像調整処理については後述する。
メモリ部150は、RAM(Random Access Memory)及びROM(Read Only Memory)を有し、RAMには、入力操作部120の操作により入力された数字や数式、その演算結果、情報処理装置100に接続された撮像機器200から受信した画像データやセンサ機器により取得された計測データ、当該画像データや計測データに基づいて作成されたグラフや数表等が保存される。また、ROMには、演算処理部140で実行する制御プログラム等が格納されている。ここで、メモリ部150は、少なくともROMの一部が演算処理部140に内蔵されて、制御プログラムが予め演算処理部140に組み込まれているものであってもよい。また、メモリ部150は、その一部又は全部が、例えばメモリカード等のリムーバブル記憶媒体としての形態を有し、情報処理装置100に対して着脱可能に構成されているものであってもよい。
電源供給部160は、情報処理装置100の各部に駆動用電力を供給する。情報処理装置100が汎用の多機能関数電卓のような携帯型の電子機器である場合には、電源供給部160は、動作電源として例えば汎用の一次電池や二次電池を適用することができるほか、振動や光、熱、電磁波等のエネルギーにより発電する環境発電(エナジーハーベスト)技術による電源等を適用することもできる。また、情報処理装置100がパーソナルコンピュータのような比較的消費電力が大きい電子機器である場合には、動作電源として例えば商用電源を適用することができる。
撮像機器200は、移動する対象物の位置の変化を撮影する撮像機能に加え、撮影された画像に基づいて画像処理(画像調整処理を含む合成画像データ作成処理)を実行する機能等を備えている。特に、本実施形態に係る撮像機器200は、検出や分析の対象となる対象物の位置の時間的変化を、高速連写撮影(又は、高速スチル画像撮影)して設定された時間間隔で連続する静止画像として取得、或いは、高速動画撮影(又はハイスピード撮影)して動画像として取得し、当該複数の静止画像又は動画像に対して、画像処理を実行して、対象物の位置の変化(移動軌跡)が表現された合成画像の画像データを作成する。作成された合成画像を含む画像データは、撮像機器200に接続された情報処理装置100に送信されて、グラフや数表等の作成処理に使用される。ここで、撮像機器200は、例えば、上記の撮像機能及び画像処理機能を備えた汎用のデジタルスチルカメラやデジタルビデオカメラ(以下、「デジタルカメラ」と総称する)を適用することができるほか、当該撮像機能及び画像処理機能を備えた(又は、両機能に対応するアプリケーションプログラムがインストールされた)スマートフォンやタブレット端末等の汎用の電子機器を適用することができる。なお、撮像機器200が備える撮像機能及び画像処理機能については詳しく後述する。
撮像機器200は、例えば図2(b)に示すように、概略、撮影部210と、表示部220と、入力操作部230と、通信部240と、演算処理部250と、メモリ部260と、電源供給部270と、を有している。ここで、上述した情報処理装置100と同等の構成については、その説明を簡略化する。
撮影部210は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサを有し、レンズを通過した背景を含む対象物(被写体)の光学像を走査して1画面(フレーム)分の画像データを取得する撮影動作を実行する。本実施形態に係る撮影部210は、演算処理部250からの指示に基づいて、設定された時間間隔(周期)で上記の撮影動作を繰り返すことにより高速連写撮影を行って連続する静止画像を取得する。或いは、演算処理部250からの指示に基づいて、高速動画撮影を行って動画像を取得する。撮影部210により取得された静止画像又は動画像の画像データは、後述するメモリ部260の記憶領域に保存される。
ここで、撮影部210において実行される高速連写撮影又は高速動画撮影の撮影スピード(フレームレート;1秒間当たりに撮影されるフレーム数)は、撮影部210により取得された画像データに基づいて対象物の移動軌跡を表すグラフを作成する際に、短い時間での対象物の位置の変化が大きく、位置変化を十分捉えきれない場合があるため、対象物の移動速度に対して十分速く設定されている必要がある。近年、汎用の撮像機器(デジタルカメラ)においては、旧来の1秒間に30フレーム又は60フレームの撮影スピードに加え、1秒間に数百フレーム以上のハイスピード撮影が可能な撮像機器もあり、本実施形態においては、このようなハイスピード撮影が可能な撮像機器を良好に適用することができる。
表示部220は、液晶ディスプレイ(LCD)や有機ELディスプレイ(ELD)等を有し、撮影部210により取得された背景を含む対象物(被写体)のライブビュー画像や、撮影部210により撮影されてメモリ部260に保存されている静止画像や動画像を表示する。また、表示部220は、ユーザが入力操作部230を介して行った操作や、撮像機器200の内部での画像処理等に基づいて、各種の情報が表示される。
入力操作部230は、例えば図1(b)、(c)に示すように、表示部220の周辺や撮像機器200の筐体の側部等に配置されたハードウェアキーによるボタンスイッチ22、24、26、28や、表示部220と一体的に形成されたタッチパネルを適用したソフトウェアキーによるタッチスイッチ30等を有している。ここで、図1(b)、(c)に示すように、撮像機器200として汎用のデジタルカメラを適用した場合には、入力操作部230として、撮影部210に撮影を指示するためのシャッターボタンや、画像や設定メニュー等を選択するための選択ボタン、表示部220に撮影した画像等を表示させるための再生ボタン、上述した情報処理装置100との間のデータ通信や画像処理等の各種機能を実現又は設定するための機能キーやメニューキー等が、ハードウェアキーやソフトウェアキーの形態で配置されている。例えば、シャッターボタンはボタンスイッチ22を有し、選択ボタンはボタンスイッチ24を有し、再生ボタンはボタンスイッチ26を有し、機能キーやメニューキーはボタンスイッチ28やタッチスイッチ30を有している。ユーザはこれらのスイッチ類を操作して、移動する対象物の撮影を行ったり、撮影された画像を表示したり、画像処理等を指示したりする。
通信部240は、少なくとも、撮像機器200に接続された情報処理装置100との間でデータ通信を行う機能を有し、メモリ部260に保存された画像データ等を、上述した有線通信方式又は無線通信方式を適用して情報処理装置100に送信する。
演算処理部250は、CPUやMPU等のプロセッサ或いはコンピュータを有し、メモリ部260に格納された制御プログラムを実行する。これにより、演算処理部250は、ユーザによる入力操作部230の操作や情報処理装置100から送信される制御信号に基づいて、撮影部210における撮影動作や、当該撮影動作により取得した画像データに基づいて対象物の移動軌跡が表現された合成画像データを作成する画像処理動作、通信部240における画像データ等を情報処理装置100に送信するデータ通信動作等の、各構成における動作を制御する。
メモリ部260は、RAM及びROMを有し、RAMには、撮影部210により取得された対象物の連続する静止画像又は動画像の画像データや、当該画像データに基づいて作成された対象物の移動軌跡が表現された合成画像の画像データ等が保存される。また、ROMには、演算処理部250で実行する制御プログラム等が格納されている。ここで、メモリ部260は、少なくともROMの一部が演算処理部250に内蔵されて、制御プログラムが予め演算処理部250に組み込まれているものであってもよい。また、メモリ部260は、その一部又は全部がリムーバブル記憶媒体としての形態を有し、撮像機器200に対して着脱可能に構成されているものであってもよい。
電源供給部270は、撮像機器200の各部に駆動用電力を供給する。電源供給部270は、動作電源として例えば汎用の一次電池や二次電池を適用することができる。
(学習支援装置の制御方法)
次に、本実施形態に係る学習支援装置の情報処理方法を含む制御方法及び情報処理プログラムについて、図面を参照して説明する。ここでは、例えば図4に示すように、ボールをA位置からB位置へ投げる場合のように、対象物が移動して位置が変化する事象に対して検出や分析を行う場合について説明する。
図3は、本実施形態に係る学習支援装置の制御方法の一例を示すフローチャートである。また、図4は、本実施形態に係る学習支援装置を用いた対象物の撮影動作の一例を示す概略図であり、図5は、本実施形態に係る学習支援装置の制御方法に適用される合成画像データ作成処理(画像調整処理を含む)を説明するための概略図であり、図6は、本実施形態に係る学習支援装置の制御方法に適用される推定軌跡作成処理、及び、推定軌跡と実測軌跡との比較処理を説明するための概略図である。
本実施形態に係る学習支援装置の制御方法においては、撮像機器200により、検出や分析の対象となる移動する対象物を高速連写撮影又は高速動画撮影して画像データとして取得する処理と、取得した画像データに基づいて対象物の位置の時間的変化(移動軌跡)が表現された合成画像データを作成する処理(画像調整処理を含む)と、が実行される。また、情報処理装置100により、撮像機器200から受信した合成画像データに基づいて対象物の移動軌跡のユーザ推定値(推定軌跡)と実測値(実測軌跡)とを演算する処理と、演算されたこれらの軌跡を比較可能な状態で表示する処理と、が実行される。これらの処理は、情報処理装置100及び撮像機器200の各演算処理部140、250において、それぞれ特定のプログラムを実行することにより実現される。
本実施形態に係る学習支援装置の制御方法は、図3のフローチャートに示すように、まず、ユーザは、情報処理装置100及び撮像機器200を起動し、情報処理装置100と撮像機器200との間でデータ通信が可能な状態に設定する(ステップS102)。ここで、情報処理装置100と撮像機器200との間のデータ通信は、例えば双方の通信部130、240に通信ケーブルを接続することにより確立されるものであってもよいし、ユーザが入力操作部120、230を操作して無線通信用のプログラムを起動することにより確立されるものであってもよい。
次いで、ユーザが情報処理装置100の入力操作部120を操作して、移動する対象物の位置変化の検出や分析を行うモーションセンシングモードを設定すると(ステップS104)、演算処理部140は、通信部130を介して、撮像機器200に対してモード通知信号を送信する。
撮像機器200の演算処理部250は、通信部240を介して、情報処理装置100からのモード通知信号を受信すると、撮影部210に対して制御信号を出力して、例えば図4(a)に示すように、背景BGを含む、A位置からB位置に移動する対象物OBを被写体として設定された撮影スピード(フレームレート)で高速連写撮影、又は、高速動作撮影を実行する(ステップS106)。
ここで、撮影部210における撮影動作は、演算処理部250から出力される制御信号に基づいて、特定のタイミングで(例えば制御信号を受信した10秒後に)撮影が開始され、予め設定された撮影スピード(フレームレート)及び撮影時間で実行されるものであってもよいし、撮影開始タイミングをユーザがシャッターボタン等で決定するものであってもよい。また、撮像機器200が動体検知機能を備えている場合には、対象物の動きを検知して撮影を開始するものであってもよい。なお、ユーザは、例えば図4(a)に示すように、この撮影動作の開始に先立って、移動する対象物OBの位置の変化の全体、又は、一部が撮影部210による撮影範囲内に含まれるように、対象物OBと撮像機器200の位置関係や、撮影部210における画角等を表示部220の表示により調整、確認する。
そして、図4(b)に示すように、この撮影動作により一定の時間間隔(第1の時間間隔)で時刻T=1、2、・・・n(nは撮影時間中の最後の画像の通し番号)で取得された、連続する複数の静止画像又は動画像の画像データは、メモリ部260の記憶領域に保存される。
次いで、撮像機器200の演算処理部250は、上記の撮影動作の終了後、取得された画像データに基づいて、対象物の移動軌跡(図4(a)に示した「TRa」に対応する)が表現された合成画像データを作成する合成画像データ作成処理を実行する(ステップS108)。
具体的には、演算処理部250は、メモリ部260に保存された、一定の時間間隔で連続する複数の静止画像又は動画像の複数のフレームを読み出して、例えば図5(a)に示すように、連続する時刻の画像相互又はフレーム相互を比較することにより当該画像中に含まれる変位を特徴点(xy平面における座標のデータ)として抽出する。ここで、抽出される特徴点は、移動する対象物OBの位置の変化に対応し、当該特徴点に対応する対象物OBの画像とその位置データ(例えば、対象物OBの重心座標のデータ)とが相互に関連付けられて、メモリ部260の記憶領域に保存される。
また、演算処理部250は、一定の時間間隔で連続する複数の静止画像又は動画像の複数のフレームの比較において、各画像中に含まれる特徴点(変位)である対象物OBを除いた共通する画像成分を背景BGと判断して、その画像データをメモリ部260の記憶領域に保存する。
次いで、演算処理部250は、例えば図5(b)に示すように、メモリ部260から特徴点である対象物OBの画像とその位置データ、背景BGの画像データを読み出して、背景BGの画像上の特徴点の各座標に対象物OBの画像を重ね合わせるように配置することにより、一画面(すなわち、1枚の静止画像又は1フレーム)中に対象物OBの画像が移動軌跡TRaに沿って配置された合成画像IMaを作成する。作成された合成画像IMaの画像データはメモリ部260の記憶領域に保存される。
ここで、上述した合成画像データ作成処理においては、撮影部210における撮影動作により取得した全ての画像から特徴点を抽出して合成画像IMaを作成している。そのため、被写体となる対象物OBの移動速度が、撮影部210に設定された撮影スピードに比較して過度に遅い場合には、位置変化に対して、撮影動作により取得される画像数や、特徴点として抽出される対象物OBの位置データの量が膨大になり情報処理装置100への送信時間が必要以上に長くなったり、合成画像IMa中に表示される対象物OBの画像同士が過度に重なり合ったり、混み合ったりして、個々の対象物OBの画像の位置が視覚的に認識しづらい状態になる場合がある。
そこで、本実施形態においては、被写体となる対象物OBの移動速度に基づいて合成画像IMa中に表示される対象物OBの画像同士が過度に重なり合って認識しづらいと判断された場合には、演算処理部250は、図5(c)に示すように、既に撮影された画像の抽出時間間隔を、撮影部210における撮影スピードで規定される連続する画像又はフレーム間の時間間隔(例えば0.01sec)よりも長い、一定の時間間隔(例えば0.02sec;第2の時間間隔)に設定することによって、抽出される対象物の数を合成画像IMa中の対象物の数よりも減らす合成画像データ処理を実行する。そして、複数の対象物OBの中から一部を間引かれた特徴点に対応する対象物OBaの画像及び位置データに基づいて再度合成処理を行うことにより、対象物OBaの画像相互の間隔(離間距離)が略均等になるように配置されて、対象物OBaの画像の位置やその変化が視覚的に認識しやすいように調整された合成画像IMbが作成される。本実施形態においては、特徴点を間引いた再抽出により対象物OBの画像の配置を調整する処理を、「画像調整処理」と記す。
なお、上述した画像調整処理は、合成画像データ作成処理において作成された合成画像IMaにおいて、対象物OBの画像同士が過度に重なり合って認識しづらい場合に良好に適用されるものである。したがって、演算処理部250は、例えば対象物OBの移動速度と撮影スピードとの比較や、上記の特徴点として抽出された連続する時刻の対象物OB間の距離等に基づいて、画像調整処理の実行の可否を判断するものであってもよい。
次いで、演算処理部250は、上記の合成画像IMa又はIMbの作成後、通信部240を介して、間引きされた合成画像IMbの画像データ、及び、合成画像IMbの各特徴点である対象物OBaの全位置データに加え、合成画像IMbの作成に使用していない任意の対象物OBの位置データを、情報処理装置100に送信する(ステップS110)。位置データはxy平面の二次元座標値のデータであるため合成画像IMbと比べて極めて少ないデータ量なので、送信遅延の影響がほとんどない。なお、送信される対象物OBの位置データは、合成画像IMaの各特徴点の全位置データであっても、合成画像IMaの各特徴点の全位置データよりもデータ量より少ない位置データであってもよい。
すなわち、上述した画像調整処理を実行した場合には、演算処理部250は、当該画像調整処理により再抽出され、合成画像IMbに配置された特徴点である対象物OBaの数よりも多い数の位置データを合成画像IMbの画像データとともに情報処理装置100に送信する。具体的には、例えば撮影部210における撮影動作により取得された全ての画像中に含まれる対象物OBの位置データのデータ量が、設定されたしきい値未満であれば、取得された全ての画像中に含まれる対象物OBの位置データ及び合成画像IMbの画像データを送信し、撮影部210における撮影動作により取得された全ての画像中に含まれる対象物OBの位置データのデータ量が、設定されたしきい値以上であれば、取得された全ての画像中に含まれる対象物OBの位置データのデータ量より少ない位置データとして、合成画像IMbの作成に使用した全ての対象物OBaの位置データに加え、合成画像IMbの作成に使用していない対象物OBのうち、任意の時間間隔で抽出された対象物OBの位置データを合成画像IMbの画像データとともに送信する。また合成画像IMaの各特徴点の位置データに極大値や極小値といった変化点があった場合、送信する対象物OBの位置データは変化点の対象物OBの位置データを含むように設定される。
次いで、情報処理装置100の演算処理部140は、通信部130を介して、撮像機器200からの合成画像IMbの画像データと対象物OBaの全位置データ並びに対象物OBaの以外の対象物OBの位置データを受信すると、メモリ部150の記憶領域に保存するとともに、当該合成画像IMbを表示部110に表示する(ステップS112)。図6(a)においては、後述する対象物の推定軌跡の作成処理において、対象物OBaの画像の位置やその変化が視覚的に認識しやすくなるように画像調整処理を施した合成画像IMbを示す。
次いで、ユーザが、情報処理装置100の表示部110に表示された合成画像IMbに基づいて、対象物OBaの位置を表示部110においてプロッティングすることにより、演算処理部140は、プロットされた点にしたがった線形回帰を行うことで、移動する対象物OBaの移動軌跡として推定される推定軌跡(回帰線)TRbを示す数式Xを算出する推定軌跡作成処理を実行する(ステップS114)。情報処理装置100のグラフ作成機能により作成された対象物OBaの推定軌跡TRb、及び、演算された推定軌跡TRbの数式Xは、メモリ部150の記憶領域に保存される。
具体的には、演算処理部140は、図6(a)に示すように、ユーザが、表示部110に表示された合成画像IMb中の複数の対象物OBaの位置を、スタイラスペンPNや指先等でタッチしてプロッティングすることにより、プロットされた点から最小自乗法等の線形回帰を行い、数式Xを算出する。演算処理部140は、図6(b)に示すように、数式Xから導かれる推定軌跡TRbを合成画像IMbに重ねて表示部110に表示させる。このとき、推定軌跡TRbは、必ずしも対象物OBaの重心座標を通過しなければならないわけではない。
次いで、演算処理部140は、撮像機器200から受信した、対象物OBaの数よりも多い数の位置データに基づいて、最小自乗法等の線形回帰を行い、数式Yを算出する。演算処理部140は、図6(c)に示すように、数式Yから導かれる推定軌跡TRc(図中破線)を、推定軌跡TRbとともに合成画像IMbに重ねて表示部110に表示させる推定軌跡作成処理を実行する(ステップS116)。情報処理装置100のグラフ作成機能により作成された対象物OBの推定軌跡TRc、及び数式Yは、メモリ部150の記憶領域に保存される。
すなわち、演算処理部140は、撮像機器200における撮影動作により取得された全ての画像中に含まれる対象物OBの位置データ、又は、合成画像IMbの作成に使用した全ての対象物OBaの位置データを含む、任意の数の対象物OBの位置データ(重心座標のデータ)に基づいて算出された数式Yによって推定軌跡TRcを作成しているので、推定軌跡TRcは、数式Xから導かれる推定軌跡TRbよりも真値に近い確率が高い。
次いで、ユーザは、ステップS118で、情報処理装置100の表示部110に表示された合成画像IMb上に、ユーザのプロッティングによる推定された推定軌跡TRb、及び、位置データに基づいて推定された推定軌跡TRcが重ね合わされた画像を視認することにより、移動する対象物OBの位置変化に対するユーザによるプロッティングの精度を、グラフや数式により視覚を通して直接比較、分析することができる。ここで、推定軌跡TRbが、推定軌跡TRcと乖離していた場合、推定軌跡TRbを削除してからプロッティングし直して推定軌跡TRbを再度作成してもよい。また、対象物OBaの位置をプロッティングすること無しに隣接する対象物OBa間の位置をプロッティングすることで推定軌跡TRbを作成してもよい。
これにより、本実施形態に係る学習支援装置によれば、送信又は受信するデータ量を抑制しているので合成画像、合成画像に基づく数式、並びに数式から導かれる軌跡を速やかに表示することができ、対象物の位置が変化する事象に対して、対象物の移動軌跡の特徴の把握や、数式の係数が変化すると軌跡の画像にどのように反映されるのかといった、数理的な理解を体験を通して適切に深めることができる。
次に、上述した実施形態に係る学習支援装置の制御方法(情報処理方法)において実行される合成画像データ作成処理に適用可能な調整処理について説明する。
図7は、本実施形態に係る合成画像データ作成処理に適用される調整処理を説明するための概略図である。ここで、上述した実施形態と同等の構成については、同一の符号を付してその説明を簡略化する。
上述した実施形態において、図4(a)に示したように、重力が存在する環境下で、対象物OBであるボールをA位置からB位置に投げるような場合には、対象物OBの移動軌跡TRaの形状や移動速度の違いによって、撮影時間中に取得される画像数や、上述した合成画像中に配置される対象物OBの画像の数や位置が異なることになる。
例えば、対象物OBであるボールを、初速Vで略水平方向に直線的な移動軌跡、又は、低い山なりの移動軌跡を有するように投げた場合には、対象物OBの移動速度が略一定、又は、一定の範囲内に保持されるため、図4、図5に示したように、上述した合成画像IMa又はIMb中に、一定の時間間隔で抽出された複数の対象物OB又はOBaの画像が略均等な間隔(離間距離)を有して配置される。一方、対象物OBであるボールを、初速Vで略垂直方向(高さ方向)に上下する移動軌跡、又は、高い山なりの移動軌跡を有するように投げた場合には、対象物OBの移動速度が初速Vから例えば初速Vよりも十分遅い速度程度まで大きく変化するため、図7(a)、(b)に示すように、合成画像中に配置される、一定の時間間隔で抽出された複数の対象物OB又はOBaの画像の間隔(離間距離)が不均等になる。そのため、推定軌跡作成処理において、ユーザが合成画像に基づいて対象物OBの推定軌跡を作成する際に、対象物OBaの位置の変化が認識しづらい場合がある。
そこで、本実施形態においては、撮像機器200において合成画像データ作成処理を実行する際に、演算処理部250が対象物OBの移動速度を監視し、その最低値(最低移動速度)に基づいて対象物OBが略水平方向に直線的、又は、低い山なりの移動軌跡を有するように投げられた状態(すなわち、投擲された状態)であるか、略垂直方向に上下、又は、高い山なりの移動軌跡を有するように投げられた状態であるかを判断する。そして、演算処理部250は、その判断結果に応じて合成画像中に配置される対象物OBの画像の位置及び数を調整する。本実施形態においては、対象物OBの移動速度や移動軌跡の形状の違いに応じて合成画像中の対象物OBの画像の配置を調整する処理を、「均等調整処理」と記す。ここで、対象物OBの最低移動速度は、撮影部210に設定された撮影スピード(フレームレート)及び撮影時間、取得された連続する複数の画像中の特徴点である対象物OBの位置の変化に基づいて算出される。ここでの移動速度は実際の時速(単位;km/hr)でもよく、複数の画素ドットを有する表示部110における単位時間あたりの対象物OBの位置変化分の画素ドットの数(単位;dot/msec)であってもよい。
具体的には、全取得画像での対象物OBの最低移動速度が、予め設定したしきい値V1より高い場合には、演算処理部250は、図4(a)に示したように、対象物OBが略一定の速度で、略水平方向に直線的、又は、低い山なりの移動軌跡を有するように投げられた(投擲されている)状態であるため、単位時間あたりの対象物OBの画像の位置の変化が略均等であると判断する。この場合には演算処理部250は、合成画像中に配置される対象物の画像として、例えば図5(c)に示したように、垂直方向(画面垂直方向またはy軸方向;図面上下方向)に極大となる座標(極大値座標)、及び、当該座標に配置される対象物の画像を中心にして水平方向(画面水平方向またはx軸方向;図中左右方向)に略線対称の、低い山なりの形状を有する移動軌跡が表現されるように対象物の画像を抽出して配置する(図中、「画像調整処理後の合成画像」参照)。
この合成画像においては、対象物の移動軌跡上に略均等な間隔で対象物の画像が配置されているので、ユーザは対象物の移動軌跡(すなわち、位置の変化)の特徴を視覚を通して適切に把握して、対象物の推定軌跡を作成するためのプロッティング操作等を適切に行うことができる。
一方、取得画像中での対象物OBの最低移動速度が、予め設定したしきい値V1以下になる場合には、演算処理部250は、例えば図7(a)に示すように、対象物OBの移動速度が大きく減衰し、略垂直方向に上下、又は、高い山なりの移動軌跡を有するように投げられた状態であるため、単位時間あたりの対象物OBの画像の位置の変化が不均等であると判断する。ここで仮に、図5(c)と同様に、等しい時間間隔で複数の対象物OBaの画像を抽出すると、例えば図7(b)に示すように、垂直方向(図面上下方向)に極大となる座標(極大値座標)、及び、当該座標に配置される対象物の画像を中心にして水平方向(図中左右方向)に略線対称の、高い山なりの形状を有する移動軌跡が表現されるような配置になる(図中、「画像調整処理後の合成画像)参照)。
この合成画像においては、対象物の移動速度が例えば初速Vから極大点等の変化点付近の最低移動速度まで大きく変化するため、配置される対象物の画像相互の間隔(離間距離)が著しく不均等になる。すなわち、対象物の移動速度の違いにより、移動軌跡上に配置された対象物の画像相互の間隔が過度に大きくなる領域RGが生じることになる。そのため、ユーザは対象物の位置の変化による軌跡を適切に把握することができにくい或いは演算処理部140が実態と異なる数式を算出してしまう場合がある。
本実施形態に適用される調整処理においては、対象物の移動速度の変化が大きく不均一な場合には、演算処理部250は、例えば図7(c)に示すように、領域RG以外での画像の抽出時間間隔を例えば0.1secに設定し、また対象物の移動速度が、しきい値V1以上の値に設定されたしきい値V2以上となる領域や最高となる座標の周辺の領域(領域RGに対応する)での画像の抽出時間間隔を、領域RG以外での抽出時間間隔よりも短い時間間隔(例えば0.05sec)に設定し、特徴点である対象物OBbの画像及びその位置データを追加抽出して、合成画像中に表示される対象物OBa、OBbの画像相互の間隔(離間距離)が略均等になるように配置する。ここで、対象物OBbの画像の抽出を、領域RGの時間間隔、領域RG以外の時間間隔をそれぞれ一定としたが、これに限らず位置座標が極値に近いほど抽出する時間間隔を長くしてもよい。また、時間間隔によって抽出するのではなく、取得された対象物OBの各位置データに基づいて、対象物OBa同士が重ならず且つ対象物OBa同士の離間距離が略均等になるような複数の対象物OBaの画像を抽出するようにしてもよい。いずれの場合も極値又は極値に最も近い位置データを一番先に抽出し、次いでこの抽出された座標を中心に対称となるような座標を抽出していくことが好ましい。
このような調整処理が施された合成画像においては、対象物の移動軌跡上に略均等な間隔で対象物の画像が配置されることになるので、ユーザは対象物の移動軌跡(すなわち、位置の変化)の特徴を視覚を通して適切に把握しやすく、また演算処理部140が実態に近い数式を算出し、より正確な移動軌跡を作成することが可能となる。
したがって、本実施形態においては、撮像機器200により全画像のうち一部が間引かれて作成された合成画像の画像データ及び対象物の位置データが情報処理装置100に送信されて、表示部110に表示されるので、撮像機器200から情報処理装置100に送信されるデータ量を抑制することができる。また、情報処理装置100においてユーザが合成画像に基づいて対象物OBの推定軌跡を作成する際に、対象物の移動軌跡の特徴を適切に把握することができる合成画像データを、撮像機器200により作成することができるので、情報処理装置100における処理負担を軽減することができる。また、撮像機器200において合成画像データを作成する際に使用した対象物の位置データのほかに、合成画像の作成に使用しなかった位置データも情報処理装置100に送信されて、対象物OBのより詳細な軌跡が特定されるので、対象物OBの位置変化に対するユーザによる推定値との差異の程度を視覚を通して正確に比較、分析することができ、ユーザの数理的な学習を適切に行うことができる。
なお、上述した実施形態においては、情報処理装置100として汎用の多機能関数電卓を適用し、撮像機器200として汎用のデジタルカメラを適用した例を示したが、本発明はこれに限定されるものではなく、上述した情報処理装置100及び撮像機器200が有する各機能を備えた、又は、両機能に対応するアプリケーションプログラムがインストールされた電子機器であればよい。したがって、本発明に係る学習支援装置は、情報処理装置及び撮像機器からなる別体の構成により実現されるものに限らず、例えば、これらの機能を併せ持ったスマートフォンやタブレット端末等の、単一の電子機器により実現されるものであってもよい。この場合には、図2に示した機能ブロックのうちの、表示部110、220や、入力操作部120、230、演算処理部140、250、メモリ部150、260、電源供給部160、270が、それぞれ兼用(共有化)されるとともに、通信部130、240が省略、又は、機能の一部が簡略化される。
上記実施形態では、データ取得装置として撮像機器を適用したが、これに限らず、移動する対象物の相対的な位置を測定する測距センサと、情報処理装置からのモード通信信号の受信にしたがって、変位する複数の位置データの一部を適宜間引いた非連続の位置データを作成する演算処理部とを備えたデータ取得装置が、情報処理装置に非連続の位置データを送信するようにしてもよい。
以上、本発明のいくつかの実施形態について説明したが、本発明は、上述した実施形態に限定されるものではなく、実行可能な範囲で上記複数の実施形態の各構成を組合せしてなしたものを含み、また特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
(付記)
[1]
情報処理装置からのモード通知信号にしたがって、移動する対象物の互いに異なる位置を示す複数の位置データを間引く処理を行う演算処理部と、
前記演算処理部で間引き処理された前記位置データを前記情報処理装置に送信する通信部と、
を備えるデータ取得装置。
[2]
前記移動する対象物を第1の時間間隔で撮影する撮影部を備え、
前記演算処理部は、前記撮影部により前記第1の時間間隔で撮影された複数の画像データから、一部を間引いて前記対象物の位置の変化を示す合成画像データ及び前記合成画像データにおける前記対象物の位置を示す前記位置データを作成する[1]に記載のデータ取得装置。
[3]
前記演算処理部は、間引かれた前記合成画像データにおける前記対象物の位置以外の前記対象物の位置を示す位置データを前記複数の画像データから作成する[2]に記載のデータ取得装置。
[4]
前記演算処理部は、前記第1の時間間隔で撮影された複数の画像データから、前記第1の時間間隔よりも長い第2の時間間隔に対応した画像データを抽出するように間引く処理を行う[2]又は[3]に記載のデータ取得装置。
[5]
前記演算処理部は、前記第1の時間間隔で撮影された複数の画像データから、前記対象物の位置間の距離が略均等且つ前記対象物が互いに重ならない位置の画像データを抽出するように間引く処理を行う[2]又は[3]に記載のデータ取得装置。
[6]
移動する対象物の互いに異なる位置を示す複数の位置データを取得するデータ取得装置に、前記複数の位置データを間引くためのモード通知信号を送信する指示をする演算処理部と、
前記モード通知信号を送信し、前記データ取得装置で間引き処理された前記位置データを受信する通信部と、
を備える情報処理装置。
[7]
移動する対象物を第1の時間間隔で撮影する撮影部を備え、
情報処理装置からのモード通知信号にしたがって、前記撮影部により前記第1の時間間隔で撮影された複数の画像データから、一部を間引いて前記対象物の位置の変化を示す合成画像データを作成する演算処理部と、
前記合成画像データを前記情報処理装置に送信する通信部と、
を備えるデータ取得装置。
[8]
前記演算処理部は、前記合成画像データにおける前記対象物の位置を示す前記位置データを作成し、
前記通信部は、前記位置データを情報処理装置に送信する[7]に記載のデータ取得装置。
[9]
前記演算処理部は、前記位置データが示す位置以外の位置であって且つ前記対象物の位置を示す他の位置データを作成し、
前記通信部は、前記他の位置データを情報処理装置に送信する[8]に記載のデータ取得装置。
[10]
前記演算処理部は、前記第1の時間間隔で撮影された複数の画像データから、前記第1の時間間隔よりも長い第2の時間間隔に対応した画像データを抽出するように間引く処理を行う[7]~[9]のいずれかに記載のデータ取得装置。
[11]
前記演算処理部は、前記第1の時間間隔で撮影された複数の画像データから、前記対象物の位置間の距離が略均等且つ前記対象物が互いに重ならない位置の画像データを抽出するように間引く処理を行う[7]~[9]のいずれかに記載のデータ取得装置。
[12]
移動する対象物が第1の時間間隔で撮影された複数の画像データを取得するデータ取得装置に、前記複数の画像データを間引くためのモード通知信号を送信する指示をする演算処理部と、
前記モード通知信号を送信し、前記データ取得装置で間引き処理された前記複数の画像データを受信する通信部と、
を備える情報処理装置。
[13]
データ取得装置におけるデータ処理方法であって、
情報処理装置からのモード通知信号にしたがって、移動する対象物の互いに異なる位置を示す複数の位置データを間引く処理を行い、
前記間引き処理された前記位置データを前記情報処理装置に送信するデータ処理方法。
[14]
情報処理装置におけるデータ処理方法であって、
移動する対象物の互いに異なる位置を示す複数の位置データを取得するデータ取得装置に、前記複数の位置データを間引くためのモード通知信号を送信する指示し、
前記モード通知信号を送信し、前記データ取得装置で間引き処理された前記位置データを受信する情報処理装置。
[15]
データ取得装置におけるデータ処理方法であって、
移動する対象物を第1の時間間隔で撮影し、
情報処理装置からのモード通知信号にしたがって、前記撮影部により前記第1の時間間隔で撮影された複数の画像データから、一部を間引いて前記対象物の位置の変化を示す合成画像データを作成し、
前記合成画像データを前記情報処理装置に送信するデータ処理方法。
[16]
情報処理装置におけるデータ処理方法であって、
移動する対象物が第1の時間間隔で撮影された複数の画像データを取得するデータ取得装置に、前記複数の画像データを間引くためのモード通知信号を送信し、前記データ取得装置で間引き処理された前記複数の画像データを受信するデータ処理方法。
100 情報処理装置
110 表示部
120 入力操作部
130 通信部
140 演算処理部
200 撮像機器
210 撮影部
220 表示部
230 入力操作部
240 通信部
250 演算処理部
IMa、IMb 合成画像
OB、OBa、OBb 対象物
BG 背景
TRa 移動軌跡
TRb ユーザプロッティングに基づいた推定軌跡
TRc 座標データに基づいた推定軌跡

Claims (7)

  1. 移動する対象物の移動速度を判定する判定部と、
    情報処理装置からのモード通知信号にしたがって、前記対象物の互いに異なる位置を示す複数の位置データを間引く処理を行って、第1の時間間隔で撮影された複数の画像データから、一部を間引いて前記対象物の位置の変化を示す合成画像データ及び前記合成画像データにおける前記対象物の位置を示す前記位置データを作成する演算処理部と、
    前記演算処理部で間引き処理された前記位置データ及び前記合成画像データを前記情報処理装置に送信する通信部と、
    を備え、
    前記判定部によって前記合成画像中に配置される前記対象物の最低移動速度が予め設定された第一のしきい値より高いと判定された場合には、前記演算処理部は、前記合成画像データによる合成画像中に配置される前記対象物の画像を、垂直方向に極大となる座標、及び、当該座標に配置される前記対象物の画像を中心にして水平方向に略線対称の、低い山なりの形状を有する移動軌跡が表現されるように抽出して配置する、
    データ取得装置。
  2. 移動する対象物の移動速度を判定する判定部と、
    情報処理装置からのモード通知信号にしたがって、前記対象物の互いに異なる位置を示す複数の位置データを間引く処理を行って、第1の時間間隔で撮影された複数の画像データから、一部を間引いて前記対象物の位置の変化を示す合成画像データ及び前記合成画像データにおける前記対象物の位置を示す前記位置データを作成する演算処理部と、
    前記演算処理部で間引き処理された前記位置データ及び前記合成画像データを前記情報処理装置に送信する通信部と、
    を備え、
    前記判定部によって前記合成画像中に配置される前記対象物の最低移動速度が予め設定された第一のしきい値より低いと判定された場合には、前記演算処理部は、前記合成画像データにおける、前記対象物の移動速度が前記第一のしきい値以上の値に設定された第二のしきい値以上となる領域での前記対象物の画像の抽出時間間隔を、上記領域以外の領域での前記対象物の画像の抽出時間間隔よりも短く設定し、前記対象物の画像及びその位置データを追加抽出して、前記合成画像データを作成する、
    データ取得装置。
  3. 前記演算処理部は、間引かれた前記合成画像データにおける前記対象物の位置以外の前記対象物の位置を示す位置データを前記複数の画像データから作成する請求項1又は2に記載のデータ取得装置。
  4. 前記演算処理部は、前記第1の時間間隔で撮影された複数の画像データから、前記第1の時間間隔よりも長い第2の時間間隔に対応した画像データを抽出するように間引く処理を行う請求項1-3のいずれか一項に記載のデータ取得装置。
  5. 前記演算処理部は、前記第1の時間間隔で撮影された複数の画像データから、前記対象物の位置間の距離が略均等且つ前記対象物が互いに重ならない位置の画像データを抽出するように間引く処理を行う請求項1-3のいずれか一項に記載のデータ取得装置。
  6. データ取得装置におけるデータ処理方法であって、
    情報処理装置からのモード通知信号にしたがって、移動する対象物の互いに異なる位置を示す複数の位置データを間引く処理を行って、第1の時間間隔で撮影された複数の画像データから、一部を間引いて前記対象物の位置の変化を示す合成画像データ及び前記合成画像データにおける前記対象物の位置を示す前記位置データを作成し、
    前記間引き処理された前記位置データ及び前記合成画像データを前記情報処理装置に送信し、更に、
    前記移動する対象物の移動速度が予め設定された第一のしきい値より高いと判定された場合には、前記合成画像データによる合成画像中に配置される前記対象物の画像を、垂直方向に極大となる座標、及び、当該座標に配置される前記対象物の画像を中心にして水平方向に略線対称の、低い山なりの形状を有する移動軌跡が表現されるように抽出して配置するデータ処理方法。
  7. データ取得装置におけるデータ処理方法であって、
    情報処理装置からのモード通知信号にしたがって、移動する対象物の互いに異なる位置を示す複数の位置データを間引く処理を行って、第1の時間間隔で撮影された複数の画像データから、一部を間引いて前記対象物の位置の変化を示す合成画像データ及び前記合成画像データにおける前記対象物の位置を示す前記位置データを作成し、
    前記間引き処理された前記位置データ及び前記合成画像データを前記情報処理装置に送信し、更に、
    前記移動する対象物の移動速度が予め設定された第一のしきい値より低いと判定された場合には、前記合成画像データにおける、前記対象物の移動速度が前記第一のしきい値以上の値に設定された第二のしきい値以上となる領域での前記対象物の画像の抽出時間間隔を、上記領域以外の領域での前記対象物の画像の抽出時間間隔よりも短く設定し、前記対象物の画像及びその位置データを追加抽出して、前記合成画像データを作成するデータ処理方法。
JP2017184197A 2017-09-25 2017-09-25 データ取得装置、及びデータ処理方法 Active JP7161684B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017184197A JP7161684B2 (ja) 2017-09-25 2017-09-25 データ取得装置、及びデータ処理方法
US16/137,373 US10742883B2 (en) 2017-09-25 2018-09-20 Data processing method for generating composite image data indicating positional changes of an object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017184197A JP7161684B2 (ja) 2017-09-25 2017-09-25 データ取得装置、及びデータ処理方法

Publications (2)

Publication Number Publication Date
JP2019061385A JP2019061385A (ja) 2019-04-18
JP7161684B2 true JP7161684B2 (ja) 2022-10-27

Family

ID=65808594

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017184197A Active JP7161684B2 (ja) 2017-09-25 2017-09-25 データ取得装置、及びデータ処理方法

Country Status (2)

Country Link
US (1) US10742883B2 (ja)
JP (1) JP7161684B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4248354A1 (en) * 2020-11-17 2023-09-27 Fyusion, Inc. Damage detection portal

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021110A (ja) 2006-07-12 2008-01-31 Sony Corp 画像処理装置、画像処理手順およびプログラム
JP2014164652A (ja) 2013-02-27 2014-09-08 Casio Comput Co Ltd 画像編集装置、画像編集方法、および画像編集プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001154992A (ja) 1999-11-30 2001-06-08 Sharp Corp 関数電卓及び関数電卓プログラムを記録した記録媒体
US6351545B1 (en) * 1999-12-14 2002-02-26 Dynapel Systems, Inc. Motion picture enhancing system
US10089330B2 (en) * 2013-12-20 2018-10-02 Qualcomm Incorporated Systems, methods, and apparatus for image retrieval

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021110A (ja) 2006-07-12 2008-01-31 Sony Corp 画像処理装置、画像処理手順およびプログラム
JP2014164652A (ja) 2013-02-27 2014-09-08 Casio Comput Co Ltd 画像編集装置、画像編集方法、および画像編集プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高橋 正樹,外6名,オブジェクト抽出技術による投球軌跡作画システムの開発,映像情報メディア学会 2004年年次大会講演予稿集 [CD-ROM] 映像情報メディア学会 2004年年次大会講演予稿集 PROCEEDINGS OF THE 2004 ITE ANNUAL CONVENTION PROCEEDINGS OF THE 2004 ITE ANNUAL CONVENTION,2004年

Also Published As

Publication number Publication date
US10742883B2 (en) 2020-08-11
US20190098214A1 (en) 2019-03-28
JP2019061385A (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
US10531069B2 (en) Three-dimensional image sensors
CN107635101B (zh) 拍摄方法、装置、存储介质和电子设备
US20140037135A1 (en) Context-driven adjustment of camera parameters
CN106170978B (zh) 深度图生成装置、方法和非短暂性计算机可读介质
KR102111935B1 (ko) 표시 제어장치, 표시 제어방법 및 프로그램
US9529428B1 (en) Using head movement to adjust focus on content of a display
CN105190482A (zh) 缩放手势的检测
CN110868550B (zh) 一种拍照方法及终端设备电子设备
JP6244061B2 (ja) 距離画像取得装置及び距離画像取得方法
US10812705B2 (en) Imaging apparatus, imaging method, and imaging program
JP7067604B2 (ja) イベント監視システム、イベント監視方法、およびプログラム
KR20130081458A (ko) 영상 표시 장치에서 응용 프로그램의 레이아웃을 스케일링하기 위한 장치 및 방법
US9268408B2 (en) Operating area determination method and system
CN108271012A (zh) 一种深度信息的获取方法、装置以及移动终端
CN104866103B (zh) 一种相对位置确定方法、穿戴式电子设备及终端设备
EP4012654A3 (en) Feature determination, measurement, and virtualization from 2-d image capture
KR101503017B1 (ko) 모션 검출 방법 및 장치
JP7161684B2 (ja) データ取得装置、及びデータ処理方法
EP3477544A1 (en) Information processing apparatus, information processing method, imaging apparatus, network camera system, and program
US20180220066A1 (en) Electronic apparatus, operating method of electronic apparatus, and non-transitory computer-readable recording medium
WO2015118756A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN108550182B (zh) 一种三维建模方法和终端
US20160073087A1 (en) Augmenting a digital image with distance data derived based on acoustic range information
CN114863478A (zh) 牲畜体重识别方法、装置、存储介质及终端设备
CN109257543B (zh) 拍摄模式控制方法及移动终端

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220916

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220929

R150 Certificate of patent or registration of utility model

Ref document number: 7161684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150