JPWO2019130696A1 - 情報処理装置、情報処理方法および情報処理システム - Google Patents

情報処理装置、情報処理方法および情報処理システム Download PDF

Info

Publication number
JPWO2019130696A1
JPWO2019130696A1 JP2019562759A JP2019562759A JPWO2019130696A1 JP WO2019130696 A1 JPWO2019130696 A1 JP WO2019130696A1 JP 2019562759 A JP2019562759 A JP 2019562759A JP 2019562759 A JP2019562759 A JP 2019562759A JP WO2019130696 A1 JPWO2019130696 A1 JP WO2019130696A1
Authority
JP
Japan
Prior art keywords
information
input device
light emitting
information processing
light emission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019562759A
Other languages
English (en)
Other versions
JP7230829B2 (ja
Inventor
健太郎 井田
健太郎 井田
佑理 日下部
佑理 日下部
拓也 池田
拓也 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019130696A1 publication Critical patent/JPWO2019130696A1/ja
Application granted granted Critical
Publication of JP7230829B2 publication Critical patent/JP7230829B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542Light pens for emitting or receiving light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0382Plural input, i.e. interface arrangements in which a plurality of input device of the same type are in communication with a PC
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0384Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】コストを低減しつつ、入力装置を識別することが可能な技術が提供されることが望まれる。【解決手段】第1の入力装置から第1の識別情報が受信された場合、前記第1の入力装置に対して第1の発光指示が出力されるように制御する発光制御部と、前記第1の入力装置の第1の発光部によって発光された位置を示す第1の発光位置情報が取得された場合、前記第1の発光位置情報と前記第1の識別情報とを紐付ける処理部と、を備える、情報処理装置が提供される。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法および情報処理システムに関する。
近年、入力装置の例としてのペンによって入力を行う技術が知られている。例えば、複数のペンが使用される場合があり得る。複数のペンを見分けるための技術として、複数のペンそれぞれに設けられた軌跡検出用のIR LED(infrared Light Emitting Diode)を、異なる波長によって発光させることによって、検出されるIRの波長によって複数のペンを見分ける技術が知られている。しかし、かかる技術では、同じ波長のIRを発光する2つのペンを識別するのは困難である。
また、必ずしもペンを識別する必要はなく、複数のペンが同時に使用されたときのみ、複数のペンそれぞれを識別するために、各ペンに対して個別に制御信号をシステム側から送信することによって、ペンに設けられたIR LEDの発光を制御する技術が開示されている(例えば、特許文献1参照)。かかる技術によれば、座標Aと座標Bとにおいて同時に光った場合、ペンAの光として2つのセンサでマッチングを取った場合に、実際には存在しない虚座標A’と虚座標B’にマッチングされてしまう問題が解決される。
特開2016−18455号公報
しかし、かかる技術では、各々のペンに固有の機能(例えば、軌跡の色、太さ、カスレ具合など)を割り当てることができない。また、ペンを個別に識別できるペンが用いられる場合であっても、各機能に対してハードウェア的に異なるペンを用意する必要があるため、ペンを用意するために多くのコストを要してしまう。そこで、コストを低減しつつ、入力装置を識別することが可能な技術が提供されることが望まれる。
本開示によれば、第1の入力装置から第1の識別情報が受信された場合、前記第1の入力装置に対して第1の発光指示が出力されるように制御する発光制御部と、前記第1の入力装置の第1の発光部によって発光された位置を示す第1の発光位置情報が取得された場合、前記第1の発光位置情報と前記第1の識別情報とを紐付ける処理部と、を備える、情報処理装置が提供される。
本開示によれば、第1の入力装置から第1の識別情報が受信された場合、前記第1の入力装置に対して第1の発光指示が出力されるように制御することと、プロセッサにより、前記第1の入力装置の第1の発光部によって発光された位置を示す第1の発光位置情報が取得された場合、前記第1の発光位置情報と前記第1の識別情報とを紐付けることと、を含む、情報処理方法が提供される。
本開示によれば、入力装置と情報処理装置とを有する情報処理システムであって、前記入力装置は、識別情報の送信を制御する制御部を備え、前記制御部は、前記入力装置から発光指示が受信された場合、発光部が発光するように制御し、前記情報処理装置は、前記識別情報が受信された場合、前記発光指示が出力されるように制御する発光制御部と、前記発光部によって発光された位置を示す発光位置情報が取得された場合、前記発光位置情報と前記識別情報とを紐付ける処理部と、を備える、情報処理システムが提供される。
以上説明したように本開示によれば、コストを低減しつつ、入力装置を識別することが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係るシステムがペンを識別する処理の流れを示す図である。 ペンによって書き込まれるスクリーンの可視光画像および赤外光画像それぞれの例を示す図である。 本開示の実施形態に係る情報処理システムの概略構成図である。 入力装置の機能構成例を示す図である。 本開示の実施形態に係る情報処理システムの機能構成例を示す図である。 本開示の実施形態に係る情報処理システムによるペアリング動作時における状態遷移図である。 通信管理部によって管理されるキューの例を示す図である。 順次に実行されるキューのイメージを示す図である。 ペアリング状態の提示例を示す図である。 筆跡に関する情報の提示例を示す図である。 筆跡に関する情報の提示例を示す図である。 本技術の応用例を示す図である。 本技術の応用例を示す図である。 本技術の応用例を示す図である。 本技術の応用例を示す図である。 本技術の応用例を示す図である。 本技術の応用例を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、同一または類似する機能構成を有する複数の構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、同一または類似する機能構成を有する複数の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
0.概要
1.実施形態の詳細
1.1.システム構成例
1.2.ペアリング動作の詳細
1.3.各種の変形例
1.4.効果
1.5.拡張機能の例
1.6.応用例
1.7.ハードウェア構成例
2.むすび
<0.概要>
昨今、各団体によって販売されているインタラクティブプロジェクタにおいて、デジタルペンによる入力がサポートされている。しかし、複数のペンが同時に使用されている状況において、各団体によるペンの識別手法は異なっている。例えば、複数のペンを個別に認識することにより、各ペンの筆跡に関する情報(例えば、鉛筆調、筆調、ブラシ調や、軌跡の太さなど)をペンの筆跡に反映したり、筆跡の色を変えたり、先生のペンでは書き込みが可能であるが、生徒のペンでは書き込みが不可能であるといったように、書き込み可能なセキュリティレベルの割り当てなどをペンのハードウェアに紐づけることができる。
本開示の実施形態に係るペンの識別手法では、(例えば、Bluetooth(登録商標)による)通信機能(以下、Bluetooth(登録商標)を、単に「BT」と表記する場合がある。)と、ペン先検出用の赤外光LEDの点灯/消灯コントロール機能とを用いて、各ペンを逐次的に認識することにより、原理的には無限個のペンを識別することを可能とする技術を提案する。以下では、本開示の実施形態に係るペンの識別手法による主な識別手順を説明する。
図1は、本開示の実施形態に係るシステムがペンを識別する処理の流れを示す図である。図1に示されるように、2本のペン(第1のペンおよび第2のペン)が存在する場合を想定する(時刻T0)。2本のペンそれぞれには、識別情報が記憶されている。ここでは、識別情報の例として、BT IDが利用される場合を想定する。具体的に、図1に示される例では、第1のペンのBT IDが「AAA」であり、第2のペンのBT IDが「BBB」である。
第1のペンによって書き始められると(時刻T1)、第1のペンのペン先端のスイッチが入り、(例えば、BTによる)通信機能により、第1のペンからシステムに情報(BT ID「AAA」を含む)が送られる。システムは、第1のペンから送られてきた情報から第1のペンのBT ID「AAA」を取得し、BT ID「AAA」を用いた通信によって、IR LEDをOnにする要求を第1のペンに送る。これにより、第1のペンは、IR LEDをOnにする要求を受け取ると、IR LEDをOnにし、カメラ画像に第1のペンのペン先において発光しているIRが検出される(時刻T2)。
システムは、検出されたIR LEDによる輝点(発光位置)と通信において第1のペンから受け取った情報(BT ID「AAA」を含む)とを紐付けて、第1のペンの情報として保存する。以降では、システムは、カメラによって検出されたIR LEDによる輝点、第1のペンから受け取る情報(BT ID「AAA」、すなわち、第1のペンのハードウェアの識別情報を含む)、および、システムのアプリケーションにおいて管理されているペンの機能(軌跡の色、太さ、カスレなど)を紐付けて扱うことが可能となる。
図2は、ペンによって書き込まれるスクリーンの可視光画像および赤外光画像それぞれの例を示す図である。図2に示されるように、可視光画像G10は、可視光カメラによって撮像された画像であり、可視光画像G10には、スクリーンScとユーザU10とユーザU10がスクリーンScへの書き込みに利用している入力装置200とが写っている。一方、赤外光画像g10は、赤外光カメラによって撮像された画像であり、赤外光画像g10には、入力装置200によって発光されたIRの輝点p10が写っている。
例えば、全てを統括する情報処理装置側からは、カメラを通した画像によってしか環境を理解することができない。その一例として、情報処理装置は、赤外光画像g10から輝点p10を捉えることによって、IRを発光しているペンを識別する。一方、人間の視覚によっては、どのペンが発光しているかを識別することが困難である。そこで、本開示の実施形態においては、このようなカメラによる撮像技術と通信機能とを併用することにより、構造が同じ複数のペン(原理的には無限個のペン)を個別に識別し、各々のペンに割り振られた機能をペンの筆跡に反映することを可能とする技術を提案する。
<1.実施形態の詳細>
[1.1.システム構成例]
続いて、図3を参照しながら、本開示の実施形態に係る情報処理システム1の構成例について説明する。図3は、本開示の実施形態に係る情報処理システム1の概略構成図である。図3に示されるように、情報処理システム1は、情報処理装置100、入力装置200、カメラ300、および、出力装置の例としてのプロジェクタ410を備える。図3に示された例では、カメラ300およびプロジェクタ410が床面に設置されているが、カメラ300およびプロジェクタ410が設置される位置は限定されない(床面よりも上方に設置されていてもよい)。
図4は、入力装置200の機能構成例を示す図である。図4に示されるように、本開示の実施形態においては、入力装置200の例として、ペン(ペン型の入力装置)が利用される場合を主に想定する。しかし、本開示の実施形態に係る入力装置200は、ペン(ペン型の入力装置)に限定されない。
図4を参照すると、入力装置200は、筆跡検出に利用される発光部の例としてのIR LED210と、入力状態を検出する検出部の例としてのペン先スイッチ220と、入力装置200の全体動作を制御する制御部の例としてのCPU(Central Processing Unit;中央演算処理装置)と、情報処理装置100と通信を行う通信部の例としての通信モジュール240とを備える。
図5は、本開示の実施形態に係る情報処理システム1の機能構成例を示す図である。図5に示したように、情報処理システム1は、情報処理装置100と、入力装置200と、カメラ300と、出力装置400とを備える。
カメラ300は、入力装置200(ペン)のIR LEDによる発光位置(IRの輝点)を検出する機能を有する。ここでは、カメラ300は、赤外光カメラを含む場合を想定する。カメラ300によって検出されたIRの輝点は、入力装置200(ペン)のBT IDと紐付けられる。あるいは、カメラ300によって検出されたIRの輝点は、入力装置200(ペン)の軌跡(筆跡)としても利用され得る。
情報処理装置100は、I/F部110を備える。I/F部110は、入力装置200と通信を行う通信モジュールとして機能し得る。かかる通信モジュールは、カメラ300によって検出されたIRの輝点と、入力装置200(ペン)のBT IDとの紐付け(以下、単に「ペアリング」とも言う。)に際して、ペン先スイッチのOn/Off通知の受信、IR LEDのOn/Off通知の送信などを行う。なお、本開示の実施形態においては、通信モジュールによって、入力装置200との間でBTによる無線通信が行われる場合を主に想定する。しかし、通信モジュールは、入力装置200との間で有線による通信を行ってもよい。
また、情報処理装置100は、ID管理部121、通信管理部122、発光認識部123、座標変換部124、および、制御部130を有する。ID管理部121、通信管理部122、発光認識部123、座標変換部124、および、制御部130は、例えば、CPU(Central Processing Unit;中央演算処理装置)などといった処理装置によって構成されてよい。かかる制御部がCPUなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。
ID管理部121は、I/F部110を介して通信制御部132によって入力装置200から取得された入力装置200(ペン)の固有ID(BT ID)を管理する。すなわち、ID管理部121は、現在までに認識された入力装置200(ペン)の固有ID(BT ID)を管理する。通信管理部122は、各入力装置200(ペン)の通信デバイス情報(例えば、第1のペンのBT IDは「AAA」であり、第2のペンのBT IDは「BBB」であるなど)を管理する。
発光認識部123は、カメラ300によって撮像された画像(例えば、赤外光画像)からIR LEDの輝点を認識する。座標変換部124は、発光認識部123によって認識された輝点をカメラ座標系からスクリーン座標系に変換する。記憶部140は、各入力装置200(ペン)のBT IDとIRの輝点(IR LEDの発光位置を示す情報)とが紐付けられた情報を記憶する。
制御部130は、発光制御部131、通信制御部132、および、処理部133を有する。発光制御部131は、カメラ300によって検出されたIRの輝点と、入力装置200(ペン)のBT IDとの紐付けに際して、IR LEDの発光制御(IR LEDのOn/Off通知の送信制御)を行う。通信制御部132は、カメラ300によって検出されたIRの輝点と、入力装置200(ペン)のBT IDとの紐付けに際して、ペン先スイッチのOn/Off通知の受信を制御する。処理部133は、カメラ300によって検出されたIRの輝点と、入力装置200(ペン)のBT IDとを紐付けて、記憶部140に記憶させる。
入力装置200は、ユーザによる入力に用いられるデバイスである。上記したように、本開示の実施形態においては、先端にLED210(IR LED)が搭載されたペン型のデバイスが用いられる場合を主に想定する。例えば、入力装置200は、ユーザによってスクリーンに押し付けられると、ペン先スイッチ220がOnとなり、LED210が発光する機構を持つ。LED210による発光位置(輝点)は、カメラ300によって検出され、情報処理装置100に送られる。
出力装置400は、映像(例えば、入力装置200の軌跡)を出力する機能を有する。本開示の実施形態においては、出力装置400として、プロジェクタ410を有し、ユーザが入力を行っているスクリーンに対して映像を投影できるプロジェクタ410が利用される場合を主に想定する。しかし、出力装置400は、プロジェクタ410に限定されず、TV420が利用されてもよいし、タブレット430が利用されてもよいし、スマートフォン440が利用されてもよいし、PC(Personal Computer)450が利用されてもよい。
以上、本開示の実施形態に係る情報処理システム1の構成例について説明した。
[1.2.ペアリング動作の詳細]
続いて、本開示の実施形態に係る情報処理システム1によるペアリング動作の詳細について説明する。
図6は、本開示の実施形態に係る情報処理システム1によるペアリング動作時における状態遷移図である。図6に示されるように、情報処理システム1の電源がoffにされている初期状態において(状態S0)、情報処理システム1の電源がonにされると、情報処理装置100と入力装置200(ペン)との間のBT コネクションがonとなる。これによって、IR LEDはoffのままであり、入力装置200のBT ID(以下、「ペンID」とも言う。)は不定のままである(状態S1)。
入力装置200(ペン)によって書き込みが始まり、入力装置200(ペン)において、ペン先スイッチ220がonとなると(ペン先スイッチ220によって所定の操作の例としてのOn操作が検出された場合)、CPU230は、通信モジュール240を介して、BT Event(ペンIDを含むペン先スイッチのOn通知)が情報処理装置100に送信されるように制御する(状態S2)。情報処理装置100においては、I/F部110によってBT Event(ペンIDを含む)が受信された場合、発光制御部131は、入力装置200(ペン)に対して発光指示が出力されるように制御する。入力装置200(ペン)において、通信モジュール240を介して発光指示が入力されると、CPU230は、IR LED210を発光させる。これによって、IR LEDはonとなるが、入力装置200のペンIDは不定のままである(状態S3)。
情報処理装置100において、発光認識部123は、入力装置200(ペン)のIR LED210によって発光された位置を示す発光位置情報を取得できるかを試みる。例えば、カメラ300による撮像画像から、発光位置情報を取得できるかを試みる。処理部133は、発光認識部123によって発光位置情報が取得された場合、発光位置情報とペンIDとを紐付ける。一方、処理部133は、発光認識部123によって発光位置情報が取得されない場合、発光位置情報とペンIDとの紐付けを行わない。
ここでは、処理部133は、発光指示の出力から第1の時間内に、発光位置情報が取得された場合(IR Detect)、発光位置情報とペンIDとを紐付ける。これによって、IR LEDのonは継続され、入力装置200のペンIDは確定される(図6に示された例では「1」)(状態S4)。発光位置情報とペンIDとが紐付けられた後は、逐次的に認識される発光位置情報(ペンの軌跡)がペンIDに紐付けられ、プロジェクタ410によって発光位置に映像(筆跡)が投影されることによって、描画がなされる(状態S7)。
しかし、処理部133は、発光位置情報の取得後に発光位置情報が取得されない時間が第4の時間を超えて継続した場合、入力装置200(ペン)に対して発光停止指示が出力されるように制御する。入力装置200(ペン)において、通信モジュール240を介して発光停止指示が入力されると、CPU230は、IR LED210による発光を停止させる。これによって、状態S7から状態S5に状態遷移される。
一方、処理部133は、発光指示の出力から第1の時間内に、発光位置情報が取得されない場合(Time out)、発光位置情報とペンIDとの紐付けを行わない。これによって、IR LEDのonは継続され、入力装置200のペンIDの不定は継続される(状態S5)。そして、発光制御部131は、発光位置情報が取得されない場合には、入力装置200(ペン)に対して発光停止指示が出力されるように制御する。入力装置200(ペン)において、通信モジュール240を介して発光停止指示が入力されると、CPU230は、IR LED210による発光を停止させる。これによって、IR LEDはoffとなり、入力装置200のペンIDは不定のままである(状態S6、状態S1)。
ここで、複数の入力装置200(ペン)が存在する場合があり得る。かかる場合には、情報処理装置100において、BT Event(ペンIDを含むペン先スイッチのOn通知)が複数受信される場合も想定される(状態S2)。かかる場合には、複数のBT Event(ペン先スイッチのOn通知)が通信管理部122によってキューイングされ、順次に処理される。
例えば、第1の入力装置および第2の入力装置が存在する場合を想定する。かかる場合、発光制御部131は、第1の入力装置から第1の識別情報が受信されてから第2の時間内に、第1の入力装置とは異なる第2の入力装置から第2の識別情報(第2の入力装置のペンID)が受信された場合、第1の識別情報が受信されてから第2の時間が経過した後に、第2の入力装置に対して第2の発光指示が出力されるように制御する。ここで、第1の識別情報が受信されてから第2の時間が経過した時点は、第1の発光位置情報が取得された時点、および、第1の発光指示の出力から第1の時間が経過した時点のうち、より早い時点であってよい。
そして、処理部133は、第2の発光指示の出力から第3の時間内に、第2の入力装置の第2の発光部(第2の入力装置のIR LED210)によって発光された位置を示す第2の発光位置情報が取得された場合、第2の発光位置情報と第2の識別情報(第2の入力装置のペンID)とを紐付ける。ここで、第3の時間は、上記した第1の時間と同じであってもよいし、第1の時間と異なっていてもよい。
図7は、通信管理部122によって管理されるキューの例を示す図である。図7を参照すると、情報処理装置100において、BT Event(ペン先スイッチのOn通知)およびBT Event(ペン先スイッチのOff通知)がキューイングされている。ペンID「AAA」から受信されたBT Event(ペン先スイッチのOn通知)は、1番目のキューに該当するため、かかるイベントに対する処理は「済」となっている。ペンID「BBB」から受信されたBT Event(ペン先スイッチのOn通知)は、2番目のキューに該当するため、かかるイベントに対する処理は「処理中」となっている。
図8は、順次に実行されるキューのイメージを示す図である。図8を参照すると、1番目のキューに該当するペンID「AAA」の処理が最初に実行され、その後、2番目のキューに該当するペンID「BBB」の処理が実行されている。また、図7を参照すると、3番目以降のキューに対する処理は「待機」となっている。
[1.3.各種の変形例]
ここでは、本技術に適用可能な各種の変形例について述べる。
上記では、発光部の例として、赤外光LED(IR LED210)が用いられる場合を説明した。しかし、発光部は、かかる例に限定されない。例えば、発光部は、可視光LEDであってもよい。このとき、可視光LEDは、単色LED(赤色、青色など)であってもよいし、フルカラーLEDであってもよい。
また、上記では、検出部の例としてペン先スイッチ220が用いられる場合を主に説明した。しかし、検出部は、かかる例に限定されない。例えば、検出部は、感圧センサ、電磁誘導方式のセンサ、または、静電容量方式のセンサを含んでもよい。例えば、検出部として、感圧センサが利用される場合には、ペンによる筆跡だけではなく、ペンによる筆圧も取得され得る。
また、上記では、入力装置200のID(ペンID)が、Bluetooth(登録商標)によって通信される場合を主に説明した。しかし、入力装置200のID(ペンID)は、他の通信方式によって通信されてもよい。例えば、入力装置200のID(ペンID)は、Wi−Fi(登録商標)、Zigbee(登録商標)、赤外線通信、または、超音波通信を用いて、通信されてもよい。
また、上記では、撮像用デバイスとしてカメラが用いられる場合を主に説明した。しかし、撮像用デバイスとしてカメラ以外の装置が用いられてもよい。例えば、撮像用デバイスとして、二次元PSD(Position Sensitive Device)などが用いられてもよい。
[1.4.効果]
ここでは、本技術が奏する効果について述べる。
一般には、複数のペンそれぞれを識別するために、ペン側に識別のためのハードウェア的な仕組みを組み込む必要がある。この場合、個々のペンの実装を変える必要があるため、コストが高くなるだけでなく、ユーザ側も異なる仕様の複数のペンを購入する必要があるため、複数のユーザがペンを持ち合って利用しようとした場合にも、ペン同士で仕様が競合してしまった場合には、複数のユーザによってペンが利用され得ないといった欠点があった。
本技術が用いられた場合には、同じ仕様のペンを利用してペンを識別することが可能であり、生産コストの低下だけでなく、複数のユーザがペンを持ち合って利用しようとする場合であっても、ペンの仕様の制約を排除することができる。また、ハードウェア的な個別の対応が必要ないため、原理的には無限本数のペンを識別することが可能である。学校において複数のユーザによって書き込みが行われる場合のように、大人数(例えば、数十人)が大きなスクリーンに書き込む場合などにも、本技術の優位性が発揮される。
[1.5.拡張機能の例]
ここでは、本技術に適用可能な拡張機能の例について述べる。上記したように、入力装置200と情報処理装置100との間においては、双方向通信が可能である場合を主に想定している。かかる場合には、情報処理装置100によって管理されている入力装置200(ペン)の状態情報を、入力装置200(ペン)側にフィードバックすることによって、入力装置200(ペン)は、入力装置200(ペン)の状態情報をユーザに提示することが可能である。
より具体的に、情報処理装置100の発光制御部131は、入力装置200(ペン)の図示しない提示部によって、入力装置200(ペン)の状態情報に応じた提示が実行されるように制御する提示制御部として機能してよい。ここでは、入力装置200(ペン)の図示しない提示部は、IR LED210とは異なる状態提示用のLEDである場合を想定するが、入力装置200(ペン)の図示しない提示部は、状態提示用のLEDに限定されず、スピーカなどであってもよい。
状態情報は、特に限定されないが、ペアリング状態を示す情報であってもよい。このとき、状態情報は、発光指示の出力前(すなわち、不定状態(S1))、発光指示の出力後かつ発光位置情報の取得前(すなわち、輝点の検出中(S3))、発光位置情報とBT IDとが紐付けられた状態(すなわち、ペアリング完了状態(S4))の少なくともいずれか一つを含んでよい。また、状態情報は、発光位置情報が取得されない時間が第2の時間を超えて継続した場合(すなわち、入力装置のロスト状態(S6))を含んでもよい。
また、状態情報に応じた提示は、どのようになされてもよい。例えば、状態情報に応じた提示が、状態提示用のLEDによってなされる場合には、状態情報に応じた提示は、状態提示用のLEDの点滅パターンによって実行されてもよい。あるいは、状態情報に応じた提示は、状態提示用のLEDの色によって実行されてもよい。
図9は、ペアリング状態の提示例を示す図である。図9には、ペアリング状態の例として、輝点の検出中(S3)、ペアリング完了状態(S4)、入力装置のロスト状態(S6)、不定状態(S1)が示されている。また、図9の上端には、ペアリング状態に応じて、状態提示用のLEDの点滅パターンを変更する場合が示されている。一方、図9の下端には、ペアリング状態に応じて、状態提示用のLEDの色を変更する場合が示されている。なお、点滅パターンおよび色は、単独で用いられてもよいし、組み合わされて用いられてもよい。
また、例えば、ユーザは、入力装置200(ペン)を用いた描画のために、アプリケーションとして筆跡に関する情報(例えば、筆跡の色、太さ、カスレなど)を選択可能であってもよい。このとき、処理部133は、入力装置200(ペン)の発光位置情報が取得された場合、発光位置情報とBT IDと入力装置200(ペン)の筆跡に関する情報とを紐付けてもよい。そして、状態情報は、筆跡に関する情報であってもよく、状態情報に応じた提示は、状態提示用のLEDの点滅パターンによって実行されてもよいし、状態提示用のLEDの色によって実行されてもよい。
図10および図11は、筆跡に関する情報の提示例を示す図である。図10および図11には、筆跡に関する情報に応じた提示が状態提示用のLEDの色によって実行される場合が示されている。状態S11〜S14、状態S21〜S27、状態S31〜S32に示されるように、パレット上において入力装置200(ペン)によって色選択が実行されると、BTによる通信機能によって色情報が情報処理装置100から入力装置200(ペン)に送信され、入力装置200(ペン)において、色情報を受信すると、受信した色情報に基づいて、状態提示用のLEDを発光させることが可能である。
[1.6.応用例]
ここでは、本技術の応用例について述べる。本技術はペン以外のデバイスにも応用可能である。すなわち、任意空間において、空間座標検出機能と通信機能とを併せ持つコントローラ形式のデバイスが利用可能であれば、そのデバイスの3次元座標と任意の通信コネクションとをペアリングすることによって、そのデバイスを上記したペンと同様に入力装置として扱うことが可能である。
図12〜図17は、本技術の応用例を示す図である。図12を参照すると、ユーザU10とユーザU20とがゲームをプレイしている。ユーザU10は、ディスプレイD10を装着し、AR/VRコントローラの例として銃J10を持っている。また、ユーザU20は、ディスプレイD20を装着し、AR/VRコントローラの例として銃J20を持っている。例えば、銃J10および銃J20それぞれに、上記した入力装置200(ペン)が有するような、IR LEDと通信機能とを持たせ、IR LEDを検出するためのカメラを環境に設けることによって、銃J10および銃J20が識別可能となる。
図13を参照すると、道路を車M10と車M20とが走行している。例えば、車M10および車M20それぞれに、上記した入力装置200(ペン)が有するような、IR LEDと通信機能とを持たせ、IR LEDを検出するためのカメラ(例えば、車が走行する道路を俯瞰的に撮像するカメラ)を環境に設けることによって、車M10および車M20が識別可能となる。車M10および車M20それぞれに、前面投影プロジェクタ(あるいはARグラスなど)が搭載されていれば、前面投影プロジェクタへの表示映像によって、他方の車に対する攻撃エフェクトやパワーアップエフェクトなどの効果が演出され得る。
図14を参照すると、道路を車M30と車M40とが走行している。例えば、車M30および車M40それぞれに、上記した入力装置200(ペン)が有するような、IR LEDと通信機能とを持たせ、IR LEDを検出するためのカメラ(例えば、車が走行する道路を俯瞰的に撮像するカメラ)を環境に設けることによって、車M30および車M40が識別可能となる。車M30および車M40それぞれに、前面投影プロジェクタ(あるいはARグラスなど)が搭載されていれば、前面投影プロジェクタへの表示映像によって、車の映像が表示される他、攻撃エフェクトやパワーアップエフェクトなどの効果が演出され得る。
図15を参照すると、ユーザがボルダリングをプレイしている。例えば、コース背景やキャラクタに関係したエフェクトにより、一部のホールドが利用できないエフェクトが発生されてよい。情報処理装置100は、手足に付けたバンド型コントローラB10〜B40(上記のようにペアリングされたコントローラ)により、そのホールドが利用されたことを認識し、触覚フィードバックなどをユーザに提示することにより、ダメージ表現をおこなってよい。
また、図16を参照すると、複数のユーザがボルダリングをプレイしている。情報処理装置100は、各ユーザが手足に付けたバンド型コントローラB51〜B54、B61〜B64(上記のようにペアリングされたコントローラ)により、複数のユーザを識別し、各ユーザが登った場所を陣取りゲームのように識別してもよい。この場合、どちらのユーザが陣を取ったのかを認識する必要があるため、両手・両足の計4点をユーザ1名の手足として認識する必要がある。このため、ペアリングができた時点で、両手・両足のIDの組み合わせがどのユーザのIDかを事前に登録する。例えば、ペアリングされたIDから4点を選択してユーザとして登録するGUIを準備することが想定される。
図17を参照すると、複数の個体群R10(個体R11、R12、R13、・・・)が集団として行動している。個体は、図17に示されるように、ロボットであってもよいし、ドローンなどの他の機器であってもよいし、人間などの生物であってもよい。例えば、個体群R10を構成する各個体に、上記した入力装置200(ペン)が有するような、IR LEDと通信機能とを持たせ、IR LEDを検出するためのカメラを環境に設けることによって、個体群R10を構成する各個体が識別可能となる。
[1.7.ハードウェア構成例]
次に、図18を参照して、本開示の実施形態に係る情報処理装置100のハードウェア構成について説明する。図18は、本開示の実施形態に係る情報処理装置100のハードウェア構成例を示すブロック図である。
図18に示すように、情報処理装置100は、CPU(Central Processing unit)801、ROM(Read Only Memory)803、およびRAM(Random Access Memory)805を含む。また、情報処理装置100は、ホストバス807、ブリッジ809、外部バス811、インターフェース813、ストレージ装置819、ドライブ821、接続ポート823、通信装置825を含んでもよい。情報処理装置100は、CPU801に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU801は、演算処理装置および制御装置として機能し、ROM803、RAM805、ストレージ装置819、またはリムーバブル記録媒体827に記録された各種プログラムに従って、情報処理装置100内の動作全般またはその一部を制御する。ROM803は、CPU801が使用するプログラムや演算パラメータなどを記憶する。RAM805は、CPU801の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。CPU801、ROM803、およびRAM805は、CPUバスなどの内部バスにより構成されるホストバス807により相互に接続されている。さらに、ホストバス807は、ブリッジ809を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス811に接続されている。
ストレージ装置819は、情報処理装置100の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置819は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置819は、CPU801が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ821は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体827のためのリーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ821は、装着されているリムーバブル記録媒体827に記録されている情報を読み出して、RAM805に出力する。また、ドライブ821は、装着されているリムーバブル記録媒体827に記録を書き込む。
接続ポート823は、機器を情報処理装置100に直接接続するためのポートである。接続ポート823は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート823は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポートなどであってもよい。接続ポート823に外部接続機器829を接続することで、情報処理装置100と外部接続機器829との間で各種のデータが交換され得る。
通信装置825は、例えば、ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置825は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置825は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置825は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置825に接続されるネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
<2.むすび>
以上説明したように、本開示の実施形態によれば、第1の入力装置から第1の識別情報が受信された場合、前記第1の入力装置に対して第1の発光指示が出力されるように制御する発光制御部と、前記第1の入力装置の第1の発光部によって発光された位置を示す第1の発光位置情報が取得された場合、前記第1の発光位置情報と前記第1の識別情報とを紐付ける処理部と、を備える、情報処理装置が提供される。かかる構成によれば、コストを低減しつつ、入力装置を識別することが可能な技術が提供される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1の入力装置から第1の識別情報が受信された場合、前記第1の入力装置に対して第1の発光指示が出力されるように制御する発光制御部と、
前記第1の入力装置の第1の発光部によって発光された位置を示す第1の発光位置情報が取得された場合、前記第1の発光位置情報と前記第1の識別情報とを紐付ける処理部と、
を備える、情報処理装置。
(2)
前記処理部は、前記第1の発光指示の出力から第1の時間内に、前記第1の発光位置情報が取得された場合、前記第1の発光位置情報と前記第1の識別情報とを紐付ける、
前記(1)に記載の情報処理装置。
(3)
前記発光制御部は、前記第1の発光指示の出力から前記第1の時間内に、前記第1の発光位置情報が取得されなかった場合、前記第1の入力装置に対して発光停止指示が出力されるように制御する、
前記(2)に記載の情報処理装置。
(4)
前記発光制御部は、前記第1の識別情報が受信されてから第2の時間内に、前記第1の入力装置とは異なる第2の入力装置から第2の識別情報が受信された場合、前記第1の識別情報が受信されてから前記第2の時間が経過した後に、前記第2の入力装置に対して第2の発光指示が出力されるように制御する、
前記(3)に記載の情報処理装置。
(5)
前記処理部は、前記第2の発光指示の出力から第3の時間内に、前記第2の入力装置の第2の発光部によって発光された位置を示す第2の発光位置情報が取得された場合、前記第2の発光位置情報と前記第2の識別情報とを紐付ける、
前記(4)に記載の情報処理装置。
(6)
前記処理部は、前記第1の発光位置情報の取得後に前記第1の発光位置情報が取得されない時間が第4の時間を超えて継続した場合、前記第1の入力装置に対して発光停止指示が出力されるように制御する、
前記(1)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記情報処理装置は、前記第1の入力装置の提示部によって、前記第1の入力装置の状態情報に応じた提示が実行されるように制御する提示制御部を備える、
前記(1)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記状態情報は、前記第1の発光指示の出力前、前記第1の発光指示の出力後かつ前記第1の発光位置情報の取得前、前記第1の発光位置情報と前記第1の識別情報とが紐付けられた状態の少なくともいずれか一つを含む、
前記(7)に記載の情報処理装置。
(9)
前記提示は、LEDの点滅パターンまたは前記LEDの色によって実行される、
前記(7)または(8)に記載の情報処理装置。
(10)
前記情報処理装置は、前記第1の入力装置の提示部によって、前記第1の入力装置の筆跡に関する情報に応じた提示が実行されるように制御する提示制御部を備える、
前記(1)〜(6)のいずれか一項に記載の情報処理装置。
(11)
前記処理部は、撮像画像に基づいて前記第1の発光位置情報が取得された場合、前記第1の発光位置情報と前記第1の識別情報とを紐付ける、
前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記第1の入力装置は、ペン型の入力装置である、
前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記処理部は、前記第1の発光位置情報が取得された場合、前記第1の発光位置情報と前記第1の識別情報と前記第1の入力装置の筆跡に関する情報とを紐付ける、
前記(1)〜(12)のいずれか一項に記載の情報処理装置。
(14)
前記第1の発光部は、赤外光LEDまたは可視光LEDである、
前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記第1の入力装置の検出部によって、所定の操作が検出された場合に、前記第1の入力装置から前記第1の識別情報が送信される、
前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記検出部は、スイッチ、感圧センサ、電磁誘導方式のセンサ、または、静電容量方式のセンサを含む、
前記(15)に記載の情報処理装置。
(17)
前記第1の識別情報は、Bluetooth(登録商標)、Wi−Fi(登録商標)、Zigbee(登録商標)、赤外線通信、または、超音波通信を用いて、前記第1の入力装置から受信される、
前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
第1の入力装置から第1の識別情報が受信された場合、前記第1の入力装置に対して第1の発光指示が出力されるように制御することと、
プロセッサにより、前記第1の入力装置の第1の発光部によって発光された位置を示す第1の発光位置情報が取得された場合、前記第1の発光位置情報と前記第1の識別情報とを紐付けることと、
を含む、情報処理方法。
(19)
入力装置と情報処理装置とを有する情報処理システムであって、
前記入力装置は、
識別情報の送信を制御する制御部を備え、
前記制御部は、前記入力装置から発光指示が受信された場合、発光部が発光するように制御し、
前記情報処理装置は、
前記識別情報が受信された場合、前記発光指示が出力されるように制御する発光制御部と、
前記発光部によって発光された位置を示す発光位置情報が取得された場合、前記発光位置情報と前記識別情報とを紐付ける処理部と、
を備える、情報処理システム。
(20)
前記情報処理システムは、撮像装置を有し、
前記処理部は、前記撮像装置による撮像画像に基づいて前記発光位置情報が取得された場合、前記発光位置情報と前記識別情報とを紐付ける、
前記(19)に記載の情報処理システム。
1 情報処理システム
100 情報処理装置
110 I/F部
121 ID管理部
122 通信管理部
123 発光認識部
124 座標変換部
130 制御部
131 発光制御部
132 通信制御部
133 処理部
140 記憶部
210 LED
220 ペン先スイッチ
230 CPU
240 通信モジュール
300 カメラ
400 出力装置
410 プロジェクタ
430 タブレット
440 スマートフォン

Claims (20)

  1. 第1の入力装置から第1の識別情報が受信された場合、前記第1の入力装置に対して第1の発光指示が出力されるように制御する発光制御部と、
    前記第1の入力装置の第1の発光部によって発光された位置を示す第1の発光位置情報が取得された場合、前記第1の発光位置情報と前記第1の識別情報とを紐付ける処理部と、
    を備える、情報処理装置。
  2. 前記処理部は、前記第1の発光指示の出力から第1の時間内に、前記第1の発光位置情報が取得された場合、前記第1の発光位置情報と前記第1の識別情報とを紐付ける、
    請求項1に記載の情報処理装置。
  3. 前記発光制御部は、前記第1の発光指示の出力から前記第1の時間内に、前記第1の発光位置情報が取得されなかった場合、前記第1の入力装置に対して発光停止指示が出力されるように制御する、
    請求項2に記載の情報処理装置。
  4. 前記発光制御部は、前記第1の識別情報が受信されてから第2の時間内に、前記第1の入力装置とは異なる第2の入力装置から第2の識別情報が受信された場合、前記第1の識別情報が受信されてから前記第2の時間が経過した後に、前記第2の入力装置に対して第2の発光指示が出力されるように制御する、
    請求項3に記載の情報処理装置。
  5. 前記処理部は、前記第2の発光指示の出力から第3の時間内に、前記第2の入力装置の第2の発光部によって発光された位置を示す第2の発光位置情報が取得された場合、前記第2の発光位置情報と前記第2の識別情報とを紐付ける、
    請求項4に記載の情報処理装置。
  6. 前記処理部は、前記第1の発光位置情報の取得後に前記第1の発光位置情報が取得されない時間が第4の時間を超えて継続した場合、前記第1の入力装置に対して発光停止指示が出力されるように制御する、
    請求項1に記載の情報処理装置。
  7. 前記情報処理装置は、前記第1の入力装置の提示部によって、前記第1の入力装置の状態情報に応じた提示が実行されるように制御する提示制御部を備える、
    請求項1に記載の情報処理装置。
  8. 前記状態情報は、前記第1の発光指示の出力前、前記第1の発光指示の出力後かつ前記第1の発光位置情報の取得前、前記第1の発光位置情報と前記第1の識別情報とが紐付けられた状態の少なくともいずれか一つを含む、
    請求項7に記載の情報処理装置。
  9. 前記提示は、LEDの点滅パターンまたは前記LEDの色によって実行される、
    請求項7に記載の情報処理装置。
  10. 前記情報処理装置は、前記第1の入力装置の提示部によって、前記第1の入力装置の筆跡に関する情報に応じた提示が実行されるように制御する提示制御部を備える、
    請求項1に記載の情報処理装置。
  11. 前記処理部は、撮像画像に基づいて前記第1の発光位置情報が取得された場合、前記第1の発光位置情報と前記第1の識別情報とを紐付ける、
    請求項1に記載の情報処理装置。
  12. 前記第1の入力装置は、ペン型の入力装置である、
    請求項1に記載の情報処理装置。
  13. 前記処理部は、前記第1の発光位置情報が取得された場合、前記第1の発光位置情報と前記第1の識別情報と前記第1の入力装置の筆跡に関する情報とを紐付ける、
    請求項1に記載の情報処理装置。
  14. 前記第1の発光部は、赤外光LEDまたは可視光LEDである、
    請求項1に記載の情報処理装置。
  15. 前記第1の入力装置の検出部によって、所定の操作が検出された場合に、前記第1の入力装置から前記第1の識別情報が送信される、
    請求項1に記載の情報処理装置。
  16. 前記検出部は、スイッチ、感圧センサ、電磁誘導方式のセンサ、または、静電容量方式のセンサを含む、
    請求項15に記載の情報処理装置。
  17. 前記第1の識別情報は、Bluetooth(登録商標)、Wi−Fi(登録商標)、Zigbee(登録商標)、赤外線通信、または、超音波通信を用いて、前記第1の入力装置から受信される、
    請求項1に記載の情報処理装置。
  18. 第1の入力装置から第1の識別情報が受信された場合、前記第1の入力装置に対して第1の発光指示が出力されるように制御することと、
    プロセッサにより、前記第1の入力装置の第1の発光部によって発光された位置を示す第1の発光位置情報が取得された場合、前記第1の発光位置情報と前記第1の識別情報とを紐付けることと、
    を含む、情報処理方法。
  19. 入力装置と情報処理装置とを有する情報処理システムであって、
    前記入力装置は、
    識別情報の送信を制御する制御部を備え、
    前記制御部は、前記入力装置から発光指示が受信された場合、発光部が発光するように制御し、
    前記情報処理装置は、
    前記識別情報が受信された場合、前記発光指示が出力されるように制御する発光制御部と、
    前記発光部によって発光された位置を示す発光位置情報が取得された場合、前記発光位置情報と前記識別情報とを紐付ける処理部と、
    を備える、情報処理システム。
  20. 前記情報処理システムは、撮像装置を有し、
    前記処理部は、前記撮像装置による撮像画像に基づいて前記発光位置情報が取得された場合、前記発光位置情報と前記識別情報とを紐付ける、
    請求項19に記載の情報処理システム。
JP2019562759A 2017-12-27 2018-09-25 情報処理装置、情報処理方法および情報処理システム Active JP7230829B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017250391 2017-12-27
JP2017250391 2017-12-27
PCT/JP2018/035490 WO2019130696A1 (ja) 2017-12-27 2018-09-25 情報処理装置、情報処理方法および情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2019130696A1 true JPWO2019130696A1 (ja) 2020-12-17
JP7230829B2 JP7230829B2 (ja) 2023-03-01

Family

ID=67063454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019562759A Active JP7230829B2 (ja) 2017-12-27 2018-09-25 情報処理装置、情報処理方法および情報処理システム

Country Status (7)

Country Link
US (1) US11402932B2 (ja)
EP (1) EP3734422B1 (ja)
JP (1) JP7230829B2 (ja)
KR (1) KR102511791B1 (ja)
CN (1) CN111512275B (ja)
CA (1) CA3085906A1 (ja)
WO (1) WO2019130696A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021140921A1 (ja) 2020-01-09 2021-07-15 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
JP2023142263A (ja) * 2022-03-24 2023-10-05 富士フイルム株式会社 指示装置、画像生成装置、描画システム、通信方法、及び通信プログラム
JP2024043321A (ja) * 2022-09-16 2024-03-29 株式会社東芝 軌跡入力システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189706A (ja) * 2005-01-07 2006-07-20 Fujinon Corp ライトペン
JP2008077168A (ja) * 2006-09-19 2008-04-03 Fuji Xerox Co Ltd 筆記情報処理システム、筆記情報生成装置およびプログラム
WO2014091225A1 (en) * 2012-12-12 2014-06-19 Modular Software Limited T/A Reflective Thinking Method and apparatus for tracking the movement of a plurality of tracked devices within a scene
JP2014230034A (ja) * 2013-05-21 2014-12-08 シャープ株式会社 電子情報機器およびその操作権制限方法
JP2016066521A (ja) * 2014-09-25 2016-04-28 国立研究開発法人産業技術総合研究所 イベント用発光装置及び該装置を用いた情報処理システム
JP2017098268A (ja) * 2017-01-30 2017-06-01 株式会社東芝 同定装置
JP2018132799A (ja) * 2017-02-13 2018-08-23 Necディスプレイソリューションズ株式会社 電子黒板システム、電子ペン、表示装置及び電子ペン位置検出方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441539B (zh) * 2008-12-30 2013-06-12 华为终端有限公司 电子白板系统、输入装置、处理装置及处理方法
JP2011239319A (ja) * 2010-05-13 2011-11-24 Panasonic Corp 遠隔指示送受信システム
TW201349029A (zh) * 2012-05-21 2013-12-01 Everest Display Inc 具光點辨識之互動投影系統以及控制方法
JP2016018455A (ja) 2014-07-09 2016-02-01 キヤノン株式会社 座標入力装置及びその制御方法、コンピュータプログラム
JP2017117312A (ja) * 2015-12-25 2017-06-29 株式会社リコー 情報処理装置、情報入力システム、情報処理方法およびプログラム
KR102451687B1 (ko) * 2016-02-19 2022-10-07 삼성전자주식회사 디바이스 대 디바이스 방식을 지원하는 통신 시스템에서 위치 검출 장치 및 방법
US11258880B2 (en) * 2019-06-24 2022-02-22 Amazon Technologies, Inc. Wearable device for controlling endpoint devices

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189706A (ja) * 2005-01-07 2006-07-20 Fujinon Corp ライトペン
JP2008077168A (ja) * 2006-09-19 2008-04-03 Fuji Xerox Co Ltd 筆記情報処理システム、筆記情報生成装置およびプログラム
WO2014091225A1 (en) * 2012-12-12 2014-06-19 Modular Software Limited T/A Reflective Thinking Method and apparatus for tracking the movement of a plurality of tracked devices within a scene
JP2014230034A (ja) * 2013-05-21 2014-12-08 シャープ株式会社 電子情報機器およびその操作権制限方法
JP2016066521A (ja) * 2014-09-25 2016-04-28 国立研究開発法人産業技術総合研究所 イベント用発光装置及び該装置を用いた情報処理システム
JP2017098268A (ja) * 2017-01-30 2017-06-01 株式会社東芝 同定装置
JP2018132799A (ja) * 2017-02-13 2018-08-23 Necディスプレイソリューションズ株式会社 電子黒板システム、電子ペン、表示装置及び電子ペン位置検出方法

Also Published As

Publication number Publication date
CA3085906A1 (en) 2019-07-04
KR102511791B1 (ko) 2023-03-21
US11402932B2 (en) 2022-08-02
EP3734422A4 (en) 2021-01-27
US20210117015A1 (en) 2021-04-22
WO2019130696A1 (ja) 2019-07-04
CN111512275A (zh) 2020-08-07
JP7230829B2 (ja) 2023-03-01
KR20200100056A (ko) 2020-08-25
EP3734422B1 (en) 2023-11-01
CN111512275B (zh) 2024-05-31
EP3734422A1 (en) 2020-11-04

Similar Documents

Publication Publication Date Title
JP6214828B1 (ja) ドッキング・システム
JP6968154B2 (ja) 制御システムならびに制御処理方法および装置
JP7230829B2 (ja) 情報処理装置、情報処理方法および情報処理システム
JP5410596B2 (ja) 仮想ポート管理方法及びシステム
CN104871170B (zh) 隐私察觉的相机和设备状态指示器系统
JP2020091904A (ja) システムおよびコントローラ
JP6000929B2 (ja) 情報処理装置
JP5826408B2 (ja) ジェスチャー・コントロールのための方法、ジェスチャー・サーバ・デバイス、およびセンサ入力デバイス
JP6000805B2 (ja) 情報処理装置
EP3103527B1 (en) Information processing device and assignment method for input device
US20180033195A1 (en) Information processing apparatus, information processing method, and program
JP2015201131A (ja) 情報処理装置
US20210160150A1 (en) Information processing device, information processing method, and computer program
KR20190000372U (ko) 열 이미지 기능을 구비하는 웨어러블 디바이스
TW202211001A (zh) 頭戴式顯示器和其控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230130

R151 Written notification of patent or utility model registration

Ref document number: 7230829

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151