JP7222391B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP7222391B2
JP7222391B2 JP2020504851A JP2020504851A JP7222391B2 JP 7222391 B2 JP7222391 B2 JP 7222391B2 JP 2020504851 A JP2020504851 A JP 2020504851A JP 2020504851 A JP2020504851 A JP 2020504851A JP 7222391 B2 JP7222391 B2 JP 7222391B2
Authority
JP
Japan
Prior art keywords
light
position detection
information processing
captured image
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020504851A
Other languages
English (en)
Other versions
JPWO2019171827A1 (ja
Inventor
文彦 飯田
健太郎 井田
拓也 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019171827A1 publication Critical patent/JPWO2019171827A1/ja
Application granted granted Critical
Publication of JP7222391B2 publication Critical patent/JP7222391B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/0048Training appliances or apparatus for special sports for mountaineering, e.g. climbing-walls, grip elements for climbing-walls
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F7/00Indoor games using small moving playing bodies, e.g. balls, discs or blocks
    • A63F7/06Games simulating outdoor ball games, e.g. hockey or football
    • A63F7/0604Type of ball game
    • A63F7/0632Hockey
    • A63F7/0636Ice-hockey
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0025Tracking the path or location of one or more users, e.g. players of a game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2209/00Characteristics of used materials
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/10Positions
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/805Optical or opto-electronic sensors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/20Miscellaneous features of sport apparatus, devices or equipment with means for remote communication, e.g. internet or the like
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50Wireless data transmission, e.g. by radio transmitters or telemetry
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/74Miscellaneous features of sport apparatus, devices or equipment with powered illuminating means, e.g. lights
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/24Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401Detail of input, input devices
    • A63F2009/2436Characteristics of the input
    • A63F2009/2442Sensors or detectors
    • A63F2009/2444Light detector
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/24Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401Detail of input, input devices
    • A63F2009/2436Characteristics of the input
    • A63F2009/2442Sensors or detectors
    • A63F2009/2444Light detector
    • A63F2009/2445Light detector detecting reflected light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F7/00Indoor games using small moving playing bodies, e.g. balls, discs or blocks
    • A63F7/22Accessories; Details
    • A63F7/36Constructional details not covered by groups A63F7/24 - A63F7/34, i.e. constructional details of rolling boards, rims or play tables, e.g. frame, game boards, guide tracks
    • A63F7/3603Rolling boards with special surface, e.g. air cushion boards

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
従来、赤外光等の特定の波長の発光を用いて位置を検出する手法が、ペン入力装置などに導入されてきた。
例えば下記特許文献1では、背面投写型表示装置などの画像表示用の透過型スクリーン上に座標入力機能を与える座標入力システムにおいて、ライトペンよりも小型軽量である光反射型指示具を用いることが開示されている。
特開平11-224160号公報
しかしながら、外光などの検出波長を含む環境においては、環境光と検出対象の位置を判別することが困難な場合があった。
そこで、本開示では、検出波長が外光に含まれる環境においても安定した位置検出を行うことが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行う制御部を備え、前記制御部は、前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整する、情報処理装置を提案する。
本開示によれば、プロセッサが、発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行うこと、前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整すること、を含む、情報処理方法を提案する。
本開示によれば、コンピュータを、発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行う制御部として機能させ、前記制御部は、前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整する、プログラムを提案する。
以上説明したように本開示によれば、検出波長が外光に含まれる環境においても安定した位置検出を行うことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本開示による情報処理システムをエアホッケーに適応した場合の配置構成について説明する図である。 本実施形態による情報処理装置の構成の一例を示すブロック図である。 本実施形態による輝点に基づく位置検出アルゴリズムの一例について説明する図である。 本実施形態による影と輝点の位置関係に基づく位置検出アルゴリズムの一例について説明する図である。 本実施形態による領域毎に異なる位置検出アルゴリズムを用いる場合について説明する図である。 本実施形態による位置検出処理の流れの一例を示すフローチャートである。 本実施形態による情報処理システムをスポーツクライミングに適用した例について説明する図である。 本実施形態による情報処理システムを生活環境に適用した例について説明する図である。 図9に示す配置構成における各カメラから取得される撮像画像の一例を示す図である。 図9に示す生活環境への適用例における対象物の配置が設置物の陰に位置する場合について説明する図である。 図11に示す場合における撮像装置から取得した撮像画像の一例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.情報処理装置10の構成例
3.動作処理
4.応用例
4-1.スポーツクライミングへの適応例
4-2.ホームユースへの適応例
4-3.その他
5.まとめ
<1.本開示の一実施形態による情報処理システムの概要>
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。図1に示すように、本実施形態による情報処理システム1は、周辺環境を測定する外部センサ20と、発光素子42が設けられた対象物40の位置を検出する情報処理装置10と、対象物40を発光素子42が設けられた側から撮像する撮像装置30と、を含む。
情報処理装置10は、撮像装置30により撮像された撮像画像に基づいて、対象物40の位置を検出する。
ここで、外光などの検出波長を含む環境では、環境光と検出対象の位置を判別することが困難な場合があった。すなわち、対象物に設けた発光素子を撮像した撮像画像から発光素子の輝点を検出して対象物の位置を検出する手法を用いる場合、発光素子の発光波長(検出波長)を含む外光の照度が高いと、輝点の照度に比べて周囲の外光の照度が十分に高く検出されてしまい、輝点の検出や検出対象の位置の判別を行うことが難しい。
そこで、本実施形態では、図1に示すように、対象物40の底面の一部(好ましくは底面の外郭に接地しない位置)に発光素子42を設け、対象物40が置かれた板状部材50を介して下側から、すなわち、発光素子42が設けられた底面に対向する方向から撮像するよう撮像装置30を配置して撮像画像を取得し、当該撮像画像から対象物40の位置を検出する。この際、情報処理装置10は、外部センサ20により検知した外光環境に応じて、対象物40の位置を検出する際に用いるアルゴリズムを調整することで、検出波長が外光に含まれる環境においても安定した位置検出を行うことを可能とする。
なお、図1に示す対象物40は、固定されていてもよいし、ユーザや自立動作によって位置を変更してもよい。対象物40に設けられる発光素子42は、特定の波長を発光するものであり、例えばLEDや有機ELなど自発光するものであってもよいし、微粒子やプリズムを用いた再帰性材料やミラーなど、別光源を反射させる反射材であってもよい。また、発光素子42は、対象物40に対して、単一でも複数個であってもよい。また、発光素子42は、発光特性の異なる素子を組み合わせて配置されてもよい。対象物40を形成する筐体は、発光素子を固定することや別の機能を目的にしたものであってもよい。
外部センサ20は、対象物40と撮像装置30の周辺環境、特に対象物40の検出に影響する照度環境を把握するために用いられる。外部センサ20は、特定の波長での画像を取得するカメラや、照度センサにより実現される。取得する波長は、複数でも単一でもよい。また、外部センサ20は、単一でも複数であってもよい。なお、撮像装置30が、外部センサ20の機能を兼ねてもよい。
対象物40が載置される板状部材50は、発光素子42の発光波長を透過する部材である。また、板状部材50は、対象物40と撮像装置30の間に位置する。
情報処理装置10は、上述したように、撮像装置30による撮像画像に基づいて対象物40の位置を検出する。具体的には、情報処理装置10は、外部センサ20による検知結果に基づいて、位置検出に用いるアルゴリズムを調整し得る。より具体的には、情報処理装置10は、例えば発光素子42の発光強度に対する外光照度環境に応じて、利用する位置検出アルゴリズムを切り替えたり、利用する位置検出アルゴリズムで用いるパラメータを変更したりする。
以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムの構成および動作処理について具体的に説明するが、本実施形態では、一例としてエアホッケーへの適応例を用いて説明する。
図2は、本開示による情報処理システム1をエアホッケーに適応した場合の配置構成について説明する図である。エアホッケーは、マレットと呼ばれる器具(以下、マレット401)をユーザが把持し、盤上でプラスチック製等のパックと呼ばれる円盤(以下、パック431)を打ち合う遊戯であり、パック431は盤面上に噴出したエアーによって浮上している。図2に示すように、複数ユーザで対戦する場合、各ユーザ(ユーザA、ユーザB)が、マレット401A、マレット401Bをそれぞれ把持して操作し、パック431を打ち合う。
また、本実施例においては、ユーザの把持するマレット401が対象物40に該当し、図2に示すように、マレット401の底面部に発光素子421を設置する。本実施形態では、例えば発光素子421には、赤外線(IR) LEDを用いる。この際、盤面501は、可視光領域を透過せず、IRを透過する材質(白PMMA(Polymethyl methacrylate)や布など)により形成する。これにより、ユーザからは検出用のカメラ(撮像装置30)などの設置治具類を目視されないようにすることができ、エアホッケー遊戯装置の見栄えを損なわないようにすることができる。また、可視光を透過しない盤面501にすることで、盤面501上に、プロジェクタ52により映像等を投影することが可能となる。情報処理装置10は、本システムにより検出したマレット401の位置情報に合わせて、プロジェクタ52により適宜盤面501に映像等を投影することが可能である。
また、マレット401が載置される盤面501の下側において、盤面501に対向して設置される撮像装置30の画角は、盤面501の全体が撮影可能な画角になっていることが好ましい。また、撮像装置30は、発光素子421の発光波長のみを検出するバンドパスフィルタなどによって、撮影波長が制限されていてもよい。
続いて、本実施形態による情報処理装置10の具体的な構成について説明する。
<2.情報処理装置10の構成例>
図3は、本実施形態による情報処理装置10の構成の一例を示すブロック図である。図3に示すように、情報処理装置10は、制御部100、通信部110、操作入力部120、表示部130、および記憶部140を有する。
制御部100は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置10内の動作全般を制御する。制御部100は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部100は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
また、本実施形態による制御部100は、位置検出部101、および、位置検出アルゴリズム調整部102としても機能する。
位置検出部101は、撮像装置30により取得された撮像画像に基づいて、位置検出アルゴリズム調整部102により調整された位置検出アルゴリズムを用いて、マレット401の位置検出を行う。
位置検出アルゴリズム調整部102は、外部センサ20の外光照度検知結果に基づいて、位置検出アルゴリズムを調整する。位置検出アルゴリズムの調整は、複数の位置検出アルゴリズムの切り替えと、位置検出アルゴリズムのパラメータ変更が想定される。
ここで、外光照度検知結果に応じた複数の位置検出アルゴリズムの切り替えについて説明する。
まず、第1の位置検出アルゴリズムとして、外光照度が発光素子421の輝度(照度)に対して十分小さい場合に用いるアルゴリズムについて説明する。
本実施形態において、「外光照度」とは、撮像装置30が検出する波長(検出波長であって、発光素子421の発光波長に対応する)の照度を意味する。外光照度が十分低い場合の例としては、例えば、照明がない場合や照明類が赤外線を含まない場合などが想定される。この場合、外光照度が十分低いため、撮像装置30で取得した撮像画像において、IR LED(発光素子421)の輝点が最も輝度が高い状態となる。
位置検出アルゴリズム調整部102は、例えば、発光素子421の輝度に応じて設定された所定の閾値を外光照度が下回る場合に、外光照度が十分小さいと判断してもよい。
この場合、撮像装置30により取得される撮像画像は、例えば図4に示すように、マレット401A、401Bに対応する各輝点601、602を検出できる撮像画像60となるため、位置検出部101は、輝度の高い輝点601、602を検出し、検出された輝点の位置からマレット401A、401Bの位置を算出することが可能となる。
なお、照度環境の検知は、外部センサ20に限定されず、撮像装置30により取得された撮像画像から判断することも可能である(すなわち、撮像装置30が外部センサ20の機能を兼ねる)。例えば、撮像装置30により取得された撮像画像から、所定サイズの輝点(発光素子421に対応する輝点の大きさが既知とする)が検出できる場合、位置検出アルゴリズム調整部102は、外光照度が発光素子421の輝度(照度)に対して十分小さいと判断し、上記第1の位置検出アルゴリズムを選択する。
次に、第2の位置検出アルゴリズムとして、外光照度が発光素子421の輝度(照度)に対して大きい場合に用いるアルゴリズムについて説明する。
外光照度が発光素子421の輝度に対して大きい場合の例としては、例えば、太陽光が直接照射している環境や水銀ランプなど赤外線を発生する照明環境の場合が想定される。この場合、外光照度が十分高いため、撮像装置30で取得した撮像画像において、IR LED(発光素子421)の輝点の照度に比べて、外光による照度が十分高く検出され、上記第1のアルゴリズムでは輝点検出を行うことができない。なお、位置検出アルゴリズム調整部102は、例えば、発光素子421の輝度に応じて設定された所定の閾値を外光照度が上回る場合に、発光素子421の輝度に対して外光照度が大きいと判断してもよい。
この場合、位置検出アルゴリズム調整部102は、第2の位置検出アルゴリズムとして、撮像画像から取得した輝度情報に基づいて輝度の低いエリア(マレット401によって影になっている部分)と、その中の輝度の高い位置(輝点)とを組み合わせることで、マレット401(対象物)の位置を判断する手段を選択する。具体的には、例えば図5に示すように、撮像画像61において、影領域611、612の中に輝点601、602が位置するという位置関係が得られた場合、輝点601、602はマレット401A、401Bに対応するものであると判断し、マレット401A、401Bの位置算出を行うことが可能となる。また、マレット401の形状をした影領域の位置を検出し、その位置を直接マレット401の位置として出力してもよい。このようなマレット401の影を含む撮像画像61は、撮像装置30が、マレット401を発光素子421が設けられた面と対向する方向から撮像することで得られるものである。
以上、複数の位置検出アルゴリズムと、その選択について説明した。
なお、外光照度がエリア内(撮像装置30による検出範囲内)で均一ではない場合も想定される。例えば、庇などによって一部の領域に外光が当たらなくなっている場合などが考え得る。そこで、位置検出アルゴリズム調整部102は、撮像画像の輝度情報に基づいて、撮像装置30により取得した撮像画像内の輝度が異なる領域毎に異なる位置検出アルゴリズムを選択するようにしてもよい。例えば、図6に示すように、撮像画像62のうち、輝度が所定値よりも低い第1の領域621と、輝度が所定値よりも高い第2の領域623とが検出された場合、位置検出アルゴリズム調整部102は、第1の領域621については、輝点622のみに基づいて位置検出が可能であるため、上記第1の位置検出アルゴリズムを用い、第2の領域623については、影領域624と輝点625の位置関係に基づいて位置検出が可能であるため、上記第2の位置検出アルゴリズムを用いるよう設定してもよい。このように、本実施形態では、位置検出アルゴリズムを照度条件によってエリアごとに選択することが可能である。
さらに、本実施形態による位置検出アルゴリズム調整部102は、外光照度検知結果に応じた位置検出アルゴリズムの調整として、所定の位置検出アルゴリズムのパラメータを変更することも可能である。
例えば、上記第2の位置検出アルゴリズムを常に使用している状況において、位置検出アルゴリズム調整部102は、当該アルゴリズム内で使用する影位置パラメータに照度に応じた重み係数を乗算するようにしてもよい。これにより、例えば、照度が0であれば、照度を乗算した影位置のパラメータも0になり、結果として輝点位置のみに基づく検出となる。また上述したように外光照度がエリア内で均一でない場合には、撮像画像の輝度情報に基づいて輝度が異なる領域を設定し、撮像装置30により取得した撮像画像内の領域毎に異なるパラメータを適用しても良い。
以上、情報処理装置10の各機能について説明した。なお、情報処理装置10は、位置検出部101により検出したマレット401の位置情報に基づいて板状部材50への所定の映像の投影を制御する投影制御信号を生成し、通信部110を介してプロジェクタ52に送信するよう制御してもよい。
(通信部110)
通信部110は、他の装置との間で情報の送受信を行う。例えば、通信部110は、外部センサ20から外光照度の検知結果を受信したり、撮像装置30から撮像画像を受信したりする。また、通信部110は、位置検出部101により検出された位置情報や、当該位置情報に応じた投影制御信号をプロジェクタ52に送信することも可能である。
通信部110は、例えば有線/無線LAN(Local Area Network)、またはWi-Fi(登録商標)、Bluetooth(登録商標)、近距離無線通信、携帯通信網(LTE(Long Term Evolution)、または3G(第3世代の移動体通信方式))等により他の装置と通信接続する。
(操作入力部120)
操作入力部120は、ユーザによる操作指示を受付け、その操作内容を制御部100に出力する。操作入力部120は、タッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部120は、キーボード、マウス、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。
(表示部130)
表示部130は、各種表示画面を出力する表示装置である。例えば表示部130は、知覚位置情報(移動経路を含む)や、生成した触覚提示信号を表示してもよい。この表示部130は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(Electro Luminescence)ディスプレイなどの表示装置であってもよい。
(記憶部140)
記憶部140は、制御部100の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。
以上、本実施形態による情報処理装置10の構成について具体的に説明した。なお情報処理装置10の構成は、図3に示す例に限定されない。例えば、情報処理装置10は、複数の装置により構成されていてもよい。また、情報処理装置10は、音声入力部および音声出力部をさらに有していてもよい。
また、情報処理装置10は、PC、スマートフォン、携帯電話端末、タブレット端末、または専用端末等により実現されてもよい。また、情報処理装置10の制御部100の少なくとも一部が、ネットワーク上のサーバにより実現されていてもよい。
<3.動作処理>
続いて、本実施形態による情報処理システムの動作処理について図7を用いて具体的に説明する。図7は、本実施形態による位置検出処理の流れの一例を示すフローチャートである。
図7に示すように、まず、情報処理装置10は、撮像装置30から撮像画像を取得する(ステップS103)。
次いで、情報処理装置10は、外部センサ20から外光照度を取得する(ステップS106)。
次に、位置検出アルゴリズム調整部102は、外光照度が閾値以上であるか否かを判断する(ステップS109)。
次いで、外光照度が閾値以上である場合(ステップS109/Yes)、情報処理装置10は、位置検出アルゴリズム調整部102により、LED(発光素子421)の輝点位置と影の位置の組み合わせ(位置関係)に基づく位置検出アルゴリズムを選択し、位置検出部101により、当該選択した位置検出アルゴリズムを用いてマレット401の位置検出を行う(ステップS112)。
一方、外光照度が閾値以上ではない場合(ステップS109/No)、情報処理装置10は、位置検出アルゴリズム調整部102により、LED(発光素子421)の輝点位置のみに基づく位置検出アルゴリズムを選択し、位置検出部101により、当該選択した位置検出アルゴリズムを用いてマレット401の位置検出を行う(ステップS115)。
以上、本実施形態による動作処理の一例を説明した。なお図7に示す動作処理は一例であって、本開示は図7に示す例に限定されない。例えば、本開示は、図7に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。例えば、ステップS103の処理とステップS106の処理は並列に処理されてもよいし、逆の順番で処理されてもよい。
(補足)
上記ステップS109において、外光照度と閾値との比較を行っているが、かかる処理は、主に外光照度と発光素子421の照度との関係を評価するものである。ここで、他の評価方法(位置検出アルゴリズムを選択する判断基準)としては、以下のような例も挙げられる。
・発光素子421への投入電流や発光特性から導き出された推定値と、検知された外光照度とを比較
・初期設定時に取得した発光素子421の照度情報に基づいて、検知された外光照度を評価
また、撮像装置30が外部センサ20の機能を兼ねる場合、位置検出アルゴリズム調整部102は、撮像画像において、発光素子42に対応するサイズに比べて輝度の高い観測エリアが大きい場合、閾値以上である(外光照度が閾値より高い)と判断してもよい(すなわち、上記第2の位置検出アルゴリズムを選択する)。また、位置検出アルゴリズム調整部102は、撮像画像から取得した輝度情報に基づいて、撮像画像から影領域が検出できた場合、閾値以上である(外光照度が閾値より高い)と判断してもよい(すなわち、上記第2の位置検出アルゴリズムを選択する)。
また、外部にIR投光器など、別途照明装置がある場合には、当該照明装置を連動させることで、マレット401による影をより強調するようにしてもよい。
また、IR LED(発光素子421)を取り付けた筐体(マレット401)の材質が、検出波長を透過する材質であった場合、筐体によって影が発生しないことが想定されるため、筐体内部に、検出波長を透過しない材質部品を取り付けるようにしてもよい。若しくは、筐体を透過しない波長体により撮像装置30による撮影を行い、撮像画像から得た影のデータと、(発光素子421の)検出波長での撮影波長(輝点位置に相当)とを組み合わせて位置検出を行ってもよい。
<4.適用例>
以上、本実施形態による情報処理システム1をエアホッケーに適用する例(情報処理システム1a)について説明したが、本実施形態はこれに限定されず、例えば以下のような適用例も可能である。
(4-1.スポーツクライミングへの適応例)
図8は、本実施形態による情報処理システム1をスポーツクライミングに適用した例(情報処理システム1b)について説明する図である。
スポーツクライミングは、図8に示すように、ウォールと称される壁70に取り付けられた突起物(ホールド701~703)を競技者が掴み、登っていく競技である。情報処理システム1bでは、壁70におけるユーザ(競技者)の位置を検出する。
具体的には、発光素子71がユーザに取り付けられ、ユーザの手足などの検出に使用される。発光素子71はユーザの身体に1以上取り付けられていてもよい。
また、壁70は、発光素子71の波長を透過する特性を有している。また、壁70は、多孔質素材であってもよい。
撮像装置30は、ユーザが登る壁70の裏側から、すなわち、壁70を介してユーザに対向する方向から撮像を行う。ここでは、ユーザの身体は、情報処理システム1aにおけるマレット401の筐体に該当し、撮像画像からユーザの影が抽出できる場合、ユーザの身体に取り付けられた発光素子71に対応する輝点が、ユーザの影の中に位置することとなる。
位置検出アルゴリズム調整部102は、外光照度が十分低い場合(例えば所定の閾値を下回る場合)には、発光素子71の輝点のみにより位置検出を行う上記第1の位置検出アルゴリズムを選択し、一方、外光照度が所定の閾値より高い場合には、ユーザの影と発光素子の輝点位置を組み合わせる上記第2の位置検出アルゴリズムを選択する。
また、ユーザの影情報からユーザの骨格推定ができる場合には、位置検出部101は、ユーザへの発光素子71の取り付け位置によってユーザの個別識別を行うことも可能である。
また、発光素子の波長を透過する床の上をユーザが歩いている際に、ユーザの足裏や靴裏などに発光素子を設けて、裏面から検出して人位置検出などを行うことも可能である。
(4-2.ホームユースへの適応例)
続いて、図9~図12を参照して、生活環境への適応例について説明する。
図9は、本実施形態による情報処理システム1を生活環境に適用した例(情報処理システム1c)について説明する図である。
図9に示す例では、生活環境において、複数のIR LED(発光素子801、802)を実装した対象物80(物体または人)を検出するため、複数の検出用カメラ(撮像装置30A~30C)が設置される。生活環境は、上述したエアホッケーやスポーツクライミングの例に比べて死角になる場所が多く想定されるため、複数の検出用カメラを用いることが好ましい。また、複数の検出用カメラにより多方向から撮影されるため、対象物80には複数のIR LED(発光素子)を実装することが好ましい。
なお、本実施例では、各撮像装置30A~30Cは、上述した例と異なり、部材等を介さずに対象物80に対向する方向から撮像を行っている。
図9に示すような配置構成において対象物80に十分に外光が当たっている場合、対象物80は撮像装置30Aおよび撮像装置30Bにより撮像可能である。ここで、かかる撮像装置30Aおよび撮像装置30Bから取得される撮像画像の一例を図10に示す。図10に示す撮像画像820は、図9に示す撮像装置30Aの画角から取得された画像、撮像画像830は撮像装置30Bの画角から取得された画像である。
撮像装置30Bの画角では、発光素子801、802の輝度に比べて外光が強いため、撮像画像830に示すように発光素子801、802の輝点を検出することができない。また、図9に示す対象物80と撮像装置30Bと外光の入射方向の関係から、撮像画像830では、対象物80の影も生じない。
一方、撮像装置30Aの画角では、発光素子801、802の輝度に比べて外光が強い場合であっても、撮像画像830では、対象物80の影が生じるため、情報処理装置10は、上記第2の位置検出アルゴリズムを用いて、影と輝点との組み合わせ(位置関係)により位置検出が可能である。
また、図11に示すように、対象物80が、テーブル等の設置物の影に位置している場合には、撮像装置30Cから、図12に示すような撮像画像840が取得され得る。この場合、情報処理装置10は、上記第1の位置検出アルゴリズムを用いて、輝点のみの検出によって位置検出を行うことが可能である。
以上説明したように、情報処理装置10は、外光照度の他、外光の入射方向(例えば窓81の位置から特定可能)や各撮像装置30の位置、および設置物の位置等の環境などに応じて、位置検出アルゴリズムを適宜選択して安定した位置検出を行うことを可能とする。
(4-3.その他)
以上、本開示による情報処理システム1について具体例を用いて説明した。
なお、本開示による情報処理システム1は上述した例に限定されず、例えば、情報処理装置10は、対象物の影の形状によって各対象物の個別認識を行ってもよい。
また、情報処理装置10は、輝点の形状や数、配置等によって各対象物の個別認識を行ってもよい。
または、検出波長に可視光を用いてもよい。
<5.まとめ>
上述したように、本開示の実施形態による情報処理システムでは、検出波長が外光に含まれる環境においても安定した位置検出を行うことが可能となる。
また、影の形状を識別することで、複数の対象物を固体識別することが可能である。
また、発光素子42の発光波長を透過する板状部材50を介して検出する場合、板状部材50上に載置された対象物40の底面に発光素子42を設け、検出エリアの裏側から板状部材50を介して検出することで、オクルージョンのない検出が可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理装置10に内蔵されるCPU、ROM、およびRAM等のハードウェアに、情報処理装置10の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行う制御部を備え、
前記制御部は、前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整する、情報処理装置。
(2)
前記制御部は、
前記アルゴリズムの調整として、前記照度検知結果に応じて、複数のアルゴリズムを切り替える、前記(1)に記載の情報処理装置。
(3)
前記複数のアルゴリズムは、前記撮像画像から検出した輝点の位置に基づく第1の位置検出アルゴリズムを含む、前記(2)に記載の情報処理装置。
(4)
前記複数のアルゴリズムは、前記撮像画像から検出した影領域に対する輝点の位置に基づく第2の位置検出アルゴリズムを含む、前記(3)に記載の情報処理装置。
(5)
前記第2の位置検出アルゴリズムは、前記影領域の内側に前記輝点が位置する場合、当該輝点が前記対象物の位置であると推定するアルゴリズムである、前記(4)に記載の情報処理装置。
(6)
前記制御部は、
前記照度検知結果が所定の閾値を超えない場合、前記第1の位置検出アルゴリズムを用い、
前記照度検知結果が所定の閾値を超える場合、前記第2の位置検出アルゴリズムを用いる、前記(4)または(5)に記載の情報処理装置。
(7)
前記制御部は、
前記撮像画像のうち、前記照度検知結果が所定値より低い領域については、前記第1の位置検出アルゴリズムを用い、前記照度検知結果が所定値より高い領域については、前記第2の位置検出アルゴリズムを用いる、前記(4)または(5)に記載の情報処理装置。
(8)
前記情報処理装置は、
前記外光の前記照度検知結果を外光照度センサから取得する、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(9)
前記外光の前記照度検知結果は、前記撮像画像から取得される、前記(4)または(5)に記載の情報処理装置。
(10)
前記制御部は、
前記撮像画像のうち、所定の閾値を超える輝度の領域が、前記発光部または前記反射材に対応する所定の大きさ以上である場合、前記第2の位置検出アルゴリズムを用いる、前記(9)に記載の情報処理装置。
(11)
前記制御部は、
前記撮像画像から抽出した輝度情報に基づいて、所定の影領域が検出できた場合、前記第2の位置検出アルゴリズムを用いる、前記(9)に記載の情報処理装置。
(12)
前記制御部は、
前記アルゴリズムの調整として、前記照度検知結果に応じて、前記アルゴリズムで用いるパラメータを変更する、前記(1)に記載の情報処理装置。
(13)
前記撮像画像は、前記発光または前記反射光の波長を透過する部材を介して、前記対象物の前記発光部または前記反射材が設けられた側から撮像された画像である、前記(1)~(12)のいずれか1項に記載の情報処理装置。
(14)
プロセッサが、
発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行うこと、
前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整すること、
を含む、情報処理方法。
(15)
コンピュータを、
発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行う制御部として機能させ、
前記制御部は、前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整する、プログラム。
1、1a、1b、1c 情報処理システム
10 情報処理装置
100 制御部
101 位置検出部
102 位置検出アルゴリズム調整部
110 通信部
120 操作入力部
130 表示部
140 記憶部
20 外部センサ
30 撮像装置
30A 撮像装置
30B 撮像装置
30C 撮像装置
40 対象物
42 発光素子
50 板状部材
52 プロジェクタ
60、61、62 撮像画像
70 壁
71 発光素子
80 対象物
401、401A、401B マレット
421 発光素子
431 パック
501 盤面
601、602 輝点
611、612 影領域
622、625 輝点
624 影領域
801、802 発光素子
820、830、840 撮像画像

Claims (12)

  1. 発光部または反射材
    が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行う制御部を備え、
    前記制御部は、前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整し、
    前記制御部は、
    前記アルゴリズムの調整として、前記照度検知結果に応じて、複数のアルゴリズムを切り替え、
    前記複数のアルゴリズムは、前記撮像画像から検出した輝点の位置に基づく第1の位置検出アルゴリズム及び前記撮像画像から検出した影領域に対する輝点の位置に基づく第2の位置検出アルゴリズムを含む、
    情報処理装置。
  2. 前記第2の位置検出アルゴリズムは、前記影領域の内側に前記輝点が位置する場合、当該輝点が前記対象物の位置であると推定するアルゴリズムである、請求項に記載の情報処理装置。
  3. 前記制御部は、
    前記照度検知結果が所定の閾値を超えない場合、前記第1の位置検出アルゴリズムを用い、
    前記照度検知結果が所定の閾値を超える場合、前記第2の位置検出アルゴリズムを用いる、請求項に記載の情報処理装置。
  4. 前記制御部は、
    前記撮像画像のうち、前記照度検知結果が所定値より低い領域については、前記第1の位置検出アルゴリズムを用い、前記照度検知結果が所定値より高い領域については、前記第2の位置検出アルゴリズムを用いる、請求項に記載の情報処理装置。
  5. 前記情報処理装置は、
    前記外光の前記照度検知結果を外光照度センサから取得する、請求項1に記載の情報処理装置。
  6. 前記外光の前記照度検知結果は、前記撮像画像から取得される、請求項に記載の情報処理装置。
  7. 前記制御部は、
    前記撮像画像のうち、所定の閾値を超える輝度の領域が、前記発光部または前記反射材に対応する所定の大きさ以上である場合、前記第2の位置検出アルゴリズムを用いる、請求項に記載の情報処理装置。
  8. 前記制御部は、
    前記撮像画像から抽出した輝度情報に基づいて、所定の影領域が検出できた場合、前記第2の位置検出アルゴリズムを用いる、請求項に記載の情報処理装置。
  9. 前記制御部は、
    前記アルゴリズムの調整として、前記照度検知結果に応じて、前記アルゴリズムで用いるパラメータを変更する、請求項1に記載の情報処理装置。
  10. 前記撮像画像は、前記発光または前記反射光の波長を透過する部材を介して、前記対象物の前記発光部または前記反射材が設けられた側から撮像された画像である、請求項1に記載の情報処理装置。
  11. プロセッサが、
    発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行うこと、
    前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整すること、
    を含
    前記アルゴリズムの調整として、前記照度検知結果に応じて、複数のアルゴリズムを切り替え、
    前記複数のアルゴリズムは、前記撮像画像から検出した輝点の位置に基づく第1の位置検出アルゴリズム及び前記撮像画像から検出した影領域に対する輝点の位置に基づく第2の位置検出アルゴリズムを含む、
    情報処理方法。
  12. コンピュータを、
    発光部または反射材が設けられた対象物の前記発光部または前記反射材が設けられた側と対向する方向から前記対象物の発光または反射光を撮像した撮像画像に基づいて、前記対象物の位置検出を行う制御部として機能させ、
    前記制御部は、前記発光または前記反射光の波長を少なくとも含む外光の照度検知結果に応じて、前記対象物の位置検出のアルゴリズムを調整
    前記アルゴリズムの調整として、前記照度検知結果に応じて、複数のアルゴリズムを切り替え、
    前記複数のアルゴリズムは、前記撮像画像から検出した輝点の位置に基づく第1の位置検出アルゴリズム及び前記撮像画像から検出した影領域に対する輝点の位置に基づく第2の位置検出アルゴリズムを含む、
    プログラム。
JP2020504851A 2018-03-08 2019-01-29 情報処理装置、情報処理方法、およびプログラム Active JP7222391B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018041393 2018-03-08
JP2018041393 2018-03-08
PCT/JP2019/002840 WO2019171827A1 (ja) 2018-03-08 2019-01-29 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019171827A1 JPWO2019171827A1 (ja) 2021-04-22
JP7222391B2 true JP7222391B2 (ja) 2023-02-15

Family

ID=67847186

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020504851A Active JP7222391B2 (ja) 2018-03-08 2019-01-29 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US11944887B2 (ja)
JP (1) JP7222391B2 (ja)
WO (1) WO2019171827A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2747893C1 (ru) * 2020-10-05 2021-05-17 Общество с ограниченной ответственностью «Универсальные терминал системы» Устройство для игры в аэрохоккей

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007155370A (ja) 2005-12-01 2007-06-21 Shimadzu Corp ヘッドモーショントラッカ
JP2008026236A (ja) 2006-07-24 2008-02-07 Olympus Corp 位置姿勢測定装置および位置姿勢測定方法
JP2013195626A (ja) 2012-03-19 2013-09-30 Casio Comput Co Ltd 楽音発生装置
JP2016091423A (ja) 2014-11-07 2016-05-23 ソニー株式会社 情報処理装置、情報処理システム、実物体システム、および情報処理方法
US20170274275A1 (en) 2016-03-25 2017-09-28 Zero Latency PTY LTD Interference damping for continuous game play

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03125905A (ja) * 1989-10-11 1991-05-29 Toshiba Corp 輝点位置測定装置
JP3810023B2 (ja) * 1995-12-14 2006-08-16 株式会社東芝 位置計測用マーカ
US6069967A (en) * 1997-11-04 2000-05-30 Sensar, Inc. Method and apparatus for illuminating and imaging eyes through eyeglasses
JP3794180B2 (ja) 1997-11-11 2006-07-05 セイコーエプソン株式会社 座標入力システム及び座標入力装置
JP3426953B2 (ja) * 1998-03-05 2003-07-14 三菱重工業株式会社 セグメント位置検知装置
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
US7744480B2 (en) * 2004-01-20 2010-06-29 Acushnet Company One camera club monitor
US8872914B2 (en) * 2004-02-04 2014-10-28 Acushnet Company One camera stereo system
US20060141433A1 (en) * 2004-12-28 2006-06-29 Hing Cheung C Method of detecting position of rectangular object and object detector
US8016688B2 (en) * 2005-08-15 2011-09-13 Acushnet Company Method and apparatus for measuring ball launch conditions
US8610670B2 (en) * 2006-08-31 2013-12-17 Japan Display West Inc. Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
JP2010244484A (ja) * 2009-04-10 2010-10-28 Funai Electric Co Ltd 画像表示装置、画像表示方法および画像表示プログラム
JP5423222B2 (ja) * 2009-08-07 2014-02-19 ソニー株式会社 位置検出装置および位置検出方法
JP2012208926A (ja) * 2011-03-15 2012-10-25 Nikon Corp 検出装置、入力装置、プロジェクタ、及び電子機器
TWI450150B (zh) * 2011-12-21 2014-08-21 Wistron Corp 觸控方法及觸控系統
CA2862470C (en) * 2012-01-11 2018-10-23 Smart Technologies Ulc Calibration of an interactive light curtain
JP6135239B2 (ja) * 2012-05-18 2017-05-31 株式会社リコー 画像処理装置、画像処理プログラム、画像処理方法
US20140111479A1 (en) * 2012-10-24 2014-04-24 Apple Inc. Interactive Three-Dimensional Display System
JP6075122B2 (ja) * 2013-03-05 2017-02-08 株式会社リコー システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
JP6044403B2 (ja) * 2013-03-18 2016-12-14 富士通株式会社 撮像装置、撮像方法、および撮像プログラム
JP6128008B2 (ja) * 2013-08-26 2017-05-17 ソニー株式会社 投射型表示装置
WO2015037340A1 (ja) * 2013-09-10 2015-03-19 ソニー株式会社 画像処理装置、画像処理方法、プログラム
WO2015052765A1 (ja) * 2013-10-08 2015-04-16 日立マクセル株式会社 投射型映像表示装置、操作検出装置及び投射型映像表示方法
TWI534687B (zh) * 2014-01-24 2016-05-21 原相科技股份有限公司 光學觸控系統及其物件分析方法
US20150362989A1 (en) * 2014-06-17 2015-12-17 Amazon Technologies, Inc. Dynamic template selection for object detection and tracking
GB2528446B (en) * 2014-07-21 2021-08-04 Tobii Tech Ab Method and apparatus for detecting and following an eye and/or the gaze direction thereof
JP6392044B2 (ja) * 2014-09-12 2018-09-19 株式会社ミツトヨ 位置計測装置
TWI521413B (zh) * 2014-11-14 2016-02-11 廣達電腦股份有限公司 光學式觸控裝置
JP2016186674A (ja) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
US20160335492A1 (en) * 2015-05-15 2016-11-17 Everready Precision Ind. Corp. Optical apparatus and lighting device thereof
US10614291B2 (en) * 2015-06-08 2020-04-07 Beijing Kuangshi Technology Co., Ltd. Living body detection method, living body detection system and computer program product
US20180239979A1 (en) * 2015-09-03 2018-08-23 Nec Corporation Living body recognition device, living body recognition method, and living body recognition program
US9928441B2 (en) * 2015-11-20 2018-03-27 Infinity Augmented Reality Israel Ltd. Method and a system for determining radiation sources characteristics in a scene based on shadowing analysis
US10421012B2 (en) 2016-03-25 2019-09-24 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
US10717001B2 (en) 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
US9916496B2 (en) 2016-03-25 2018-03-13 Zero Latency PTY LTD Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects
WO2018002698A1 (en) 2016-06-30 2018-01-04 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
JP2018044828A (ja) * 2016-09-13 2018-03-22 株式会社東芝 物体認識方法、プログラム、および光学システム
WO2018224870A1 (en) 2017-06-05 2018-12-13 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
WO2019107150A1 (ja) * 2017-11-30 2019-06-06 株式会社ニコン 検出装置、処理装置、装着物、検出方法、及び検出プログラム
CN107944422B (zh) * 2017-12-08 2020-05-12 业成科技(成都)有限公司 三维摄像装置、三维摄像方法及人脸识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007155370A (ja) 2005-12-01 2007-06-21 Shimadzu Corp ヘッドモーショントラッカ
JP2008026236A (ja) 2006-07-24 2008-02-07 Olympus Corp 位置姿勢測定装置および位置姿勢測定方法
JP2013195626A (ja) 2012-03-19 2013-09-30 Casio Comput Co Ltd 楽音発生装置
JP2016091423A (ja) 2014-11-07 2016-05-23 ソニー株式会社 情報処理装置、情報処理システム、実物体システム、および情報処理方法
US20170274275A1 (en) 2016-03-25 2017-09-28 Zero Latency PTY LTD Interference damping for continuous game play

Also Published As

Publication number Publication date
US20210004632A1 (en) 2021-01-07
WO2019171827A1 (ja) 2019-09-12
US11944887B2 (en) 2024-04-02
JPWO2019171827A1 (ja) 2021-04-22

Similar Documents

Publication Publication Date Title
JP4764832B2 (ja) 光入力デバイス用の装置及びその方法
JP6139017B2 (ja) 光源の特性を決定する方法及びモバイルデバイス
EP3192330B1 (en) Lighting preference arbitration.
EP2092734B1 (en) Camera and method in a camera
JP5080196B2 (ja) プログラム、情報処理装置、情報処理システムおよび情報処理方法
US7652236B2 (en) Lighting system for color control
TWI551192B (zh) 光源控制系統與控制光源的方法
CN110012572B (zh) 一种亮度控制方法及装置、设备、存储介质
US9978000B2 (en) Information processing device, information processing method, light-emitting device regulating apparatus, and drive current regulating method
JP5255789B2 (ja) 画像処理プログラムおよび画像処理装置
JP2014096000A (ja) 画像処理装置および方法、並びに、プログラム
WO2009120299A2 (en) Computer pointing input device
JP2009092452A (ja) 荷重検出プログラムおよび荷重検出装置
KR20090101272A (ko) 두 명 이상의 플레이어가 즐길 수 있는 장난감 총
JP7222391B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US9058064B2 (en) Interactive image system, interactive control device and operation method thereof
JP3625349B2 (ja) 画像入力装置および画像入力方法
JP3785148B2 (ja) 画像抽出装置
JP2006127539A (ja) 画像抽出装置
JP2017083396A (ja) 照明環境の評価方法
JP2021072486A (ja) 撮影システム
Papisyan Ambient and infrared light sensing for body position monitoring

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20201124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230117

R151 Written notification of patent or utility model registration

Ref document number: 7222391

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151