JP6445025B2 - ジェスチャ制御 - Google Patents

ジェスチャ制御 Download PDF

Info

Publication number
JP6445025B2
JP6445025B2 JP2016549085A JP2016549085A JP6445025B2 JP 6445025 B2 JP6445025 B2 JP 6445025B2 JP 2016549085 A JP2016549085 A JP 2016549085A JP 2016549085 A JP2016549085 A JP 2016549085A JP 6445025 B2 JP6445025 B2 JP 6445025B2
Authority
JP
Japan
Prior art keywords
user
gesture
detected
control
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016549085A
Other languages
English (en)
Other versions
JP2017506794A5 (ja
JP2017506794A (ja
Inventor
ジュリアン チャールズ ノーラン
ジュリアン チャールズ ノーラン
マシュー ジョン ローレンセン
マシュー ジョン ローレンセン
エーウヴェイク アレクサンダー ヘンリカス ヴァルテルス ファン
エーウヴェイク アレクサンダー ヘンリカス ヴァルテルス ファン
ヴァインハールト ヒルブランド ヴァンデン
ヴァインハールト ヒルブランド ヴァンデン
ウィリアム ネイサン シェルトン
ウィリアム ネイサン シェルトン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signify Holding BV
Original Assignee
Signify Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Signify Holding BV filed Critical Signify Holding BV
Publication of JP2017506794A publication Critical patent/JP2017506794A/ja
Publication of JP2017506794A5 publication Critical patent/JP2017506794A5/ja
Application granted granted Critical
Publication of JP6445025B2 publication Critical patent/JP6445025B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/175Controlling the light source by remote control
    • H05B47/19Controlling the light source by remote control via wireless transmission
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/175Controlling the light source by remote control
    • H05B47/196Controlling the light source by remote control characterised by user interface arrangements
    • H05B47/1965Controlling the light source by remote control characterised by user interface arrangements using handheld communication devices
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/32Remote control based on movements, attitude of remote control device
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Selective Calling Equipment (AREA)

Description

本開示は、ユーザによって行われる身体ジェスチャの検出による照明等のユーティリティの制御に関する。
ここ数年にわたって、ゲームコンソール及び最近には移動電話等の製品が、消費者のためにジェスチャ制御機能を導入している。例えば、ジェスチャ制御は、ハンドジェスチャを使用してデバイスのオンオフを切り替えるために、又はユーザ自身の身体運動に基づいてビデオゲーム内のキャラクタを制御するために使用され得る。
ジェスチャ制御はジェスチャ認識に基づき、ジェスチャ認識は、様々な技術の1つ又は組合せを使用して実施され得る。1つのそのような技術は、深度認識画像検知であり、深度認識画像検知は、飛行時間情報に基づいて3D画像を生成することが可能である。例えば、3Dカメラは、2次元画素アレイにわたって可視光を捕捉するだけでなく、更に、この可視光を、画素の幾つか又は全てで受信される光に関する飛行時間情報によって増強する。別の可能性は、画像認識アルゴリズムを使用して、従来の2Dカメラから捕捉される画像内のジェスチャを認識することである。更なる別の可能性は、ユーザによって着用されるものであれ保持されるものであれ、ユーザ人物の周りに配設されたジャイロスコープ又は磁力計等、1つ又は複数の加速度計及び/又は回転センサに基づいて運動を検出することである。
ジェスチャは、何らかのシステム又は装置を制御しようとする意思を信号伝送する目的で人間ユーザによって明示的に行われるアクションである。更に、本明細書で使用される用語「ジェスチャ」は、空気(又はユーザが居る空間の他の流体媒体、例えば水)中での少なくとも1つの身体部位の運動を表す。従って、これは、(直接的であれ、スタイラス等の器具によって間接的であれ)ボタン、又はタッチスクリーン、圧力パッド、若しくはトラックパッド等の制御面に対して対象の身体部位が押圧又は保持されていることを単に検出することによって検出されるアクションを除外する。また、検知デバイス(例えばマウス)を表面に接触させながらその表面にわたって移動させることに単に基づく検出も除外する。そうではなく、ジェスチャの検出は、無接触又は非触覚検知原理によってユーザの運動を検出することを意味する。2次元又は3次元画像認識の場合、ユーザが制御装置デバイスに必ずしも触れる必要なく検出が実現され得る。ユーザ人物の周りに配設される1つ又は複数のセンサ、例えばリストバンドに装着される又はハンドヘルド制御装置の一部として携帯される1つ又は複数の加速度計の場合、ユーザは、センサを収容しているデバイスに触れるが、検知メカニズム自体は非触覚原理に基づき、このとき、例えばジェスチャベースのゲームコントローラの場合にそうであるように、デバイス及びセンサは、ユーザの身体部位によって成されたジェスチャと共に移動する。これは、検知の触覚原理と対照的であり得る。触覚原理では、アクションは、身体部位又は器具がセンサ表面にわたって接触状態で移動すること及び/又はセンサに対して押圧されることによって検出され、その一方で、ボタンの押下又はタッチスクリーンの操作の場合にそうであるように、センサを収容するデバイスは、その圧力を受けても動かない又はその圧力に耐えるように補強されている。
ジェスチャ制御の1つの適用例は、部屋等の空間内の照明を制御することである。米国特許出願公開第2012/0019168号(以下、「US’168号」と呼ぶ)は、ジェスチャ又は他のタイプのアクションに基づいて照明が制御されるシステムの実施形態を開示している。US’168号によれば、あるタイプのアクションがユーザによって行われていると判断するため、及びまた部屋内のユーザの座標を決定するために、カメラからの画像が解析される。US’168号の一実施形態では、検出されたアクションは、明示的なジェスチャではなく、ユーザが歩いている、読んでいる、書いている、又はパーソナルコンピュータを操作していることである。この実施形態では、ライトは、ユーザが検出された区域内でのみオンに切り替えられ、又はライトは、ユーザの検出された座標からのライトの距離と共に様々なライトの輝度が減少するように、ユーザの周りでの或る分布様式でオンに切り替えられる。区域内の輝度又は上記分布様式の全体的な輝度は、歩いているか又はPCの前に座っているか等、アクションのタイプに依存する。US’168号の別の実施形態では、システムは、ジェスチャ制御に基づいて動作する。ユーザは、手を上げてライトをオンに切り替え、手を下げてライトをオフに切り替える。この実施形態では、ユーザの検出された座標は、システムがジェスチャを学習する助けとなるように「マーカ情報」として使用される。
ユーザの周りでの或る分布様式でライトが減光される等の特定の応答とジェスチャ制御を組み合わせる場合でさえ、所与のジェスチャは、ユーザが対象の空間内に入ったときには、同じ応答又は機能を常に変わらずに有する。例えば、手の上げ下げは、ユーザが対象の空間内に入ったときには、ユーザの位置の周りでの或る分布様式でライトを増光又は減光するという同じ機能を常に変わらずに実施するに過ぎない。
他方、ジェスチャ及びポジションに基づいて照明自体が制御されるだけでなく、ジェスチャが照明を制御する仕方もユーザのポジションに応じて変化し得る場合に望ましいことが、本願では認識されている。従って、以下の開示では、ユーザ位置のポジションに応じて異なる制御ポリシーが適用され、ここで、各ポリシーは、ジェスチャに対する照明の異なるそれぞれの応答を定義する。即ち、各制御ポリシーが、ジェスチャの別の機能としてシステムの出力を制御し、異なるユーザポジションに関してジェスチャの異なる機能が提供される。本明細書で使用する用語「ポジション」は、位置及び/又は向きを表すことがあり、従って例えば、部屋又は他の空間内の異なる区域に異なる応答が割り当てられてよく、及び/又はユーザが向いている方向に応答が依存してよい。
従って、有利には、ジェスチャは、ユーザがジェスチャを行う現在のポジションに最も適した意味を割り当てるように、ユーザの検出されたポジションに応じて解釈され得る。例えば、部屋の入口で特定のジェスチャを行うユーザは、部屋内の光源全てを均一に減光することを望むことがあり、一方、デスクに座っているユーザは、デスクの周りの光源のみを減光する、及び/又はデスクの周りで輝度分布に従って光源を減光することを望むことがある。或いは、別の例として、ユーザは、ユーザの視野内に光源が1つもない場合を除き、自分の視野内にある光源のみを減光することを望むことがある。光源が1つもない場合には、代替のポリシーが適用され得る。他の応答を定義するポリシーも提供され得る。更に、同様の原理は、加熱又は空気調和等、他のユーティリティの制御にも適用され得る。
従って、本明細書で開示される一態様によれば、1人又は複数のユーザが居る空間内にユーティリティを提供するためにユーティリティの1つ又は複数の放射源を制御するための制御装置が提供される。幾つかの実施形態では、1つ又は複数の放射源は光源であり、それらが提供するユーティリティは空間の照光である。制御装置は、以下のように動作するように構成された運動検出ロジック、位置決めロジック、制御ポリシー選択ロジック、及びコマンドロジックを備える。
運動検出ロジックが、センサからの入力を処理して、前記空間内でのユーザの運動を検出し、また、ユーザによって行われた所定のジェスチャに上記運動が対応することを検出する。例えば、ジェスチャは、手を上げ下げすること又はある形状を空中で描くことを含むことがある。
更に、ジェスチャは、前記空間内の様々なポジションそれぞれから行われ、位置決めロジックは、センサからの入力を処理して、前記ジェスチャそれぞれがユーザによって行われたポジションを検出する。このポジションは、例えば、ユーザがジェスチャを行うときに立っている又は座っていることが検出される大凡の位置及び/又は向きである。
制御ポリシー選択ロジックは、ルックアップテーブル、アルゴリズム、又は他のロジック等、関連付けの手段に基づいて動作するように構成され、この手段は、複数の個別の制御ポリシーそれぞれを、所定のジェスチャと前記空間内の位置的境界設定とのそれぞれの組合せと関連付ける。各制御ポリシーは、それぞれの関連のジェスチャに対する前記ユーティリティのそれぞれの応答を定義する。この関連付けに基づいて、ロジックは、検出されたジェスチャ及び検出されたポジションに関連付けられる1つの制御ポリシーを選択し、異なる検出されたポジションそれぞれから行われる検出されたジェスチャに関しては、それぞれの検出されたポジションに応じて別の制御ポリシーが選択される。次いで、コマンドロジックが、選択された制御ポリシーのそれぞれの応答に従ってユーティリティを提供するために1つ又は複数の放射源を制御する。
放射源が光源である場合、提供されるユーティリティは空間の照光であり、空間は、例えば、1つ又は複数の部屋及び/又は廊下を含む屋内空間、又は庭や公園等の屋外空間である。
幾つかの実施形態では、制御ポリシーの少なくとも1つによって定義される応答は、検出されたジェスチャの大きさに応じた程度の問題である。例えば、ユーザが腕を上げ下げする距離は、1つ又は複数の光源の強度が増光又は減光される量に対応し得る。別の例は、ユーザが空中で円運動を描く際の弧の角度であり、この角度が、減光量又は何らかの他の変数(色温度等)の変化を制御することができる。
幾つかの実施形態では、制御ポリシーの選択が上記検出されたポジションに基づくだけでなく、制御ポリシーの少なくとも1つによって定義される応答がそれぞれ、前記空間内での前記ユーティリティの提供における空間分布を含み、空間分布も、検出されたポジションに応じる。即ち、どのポリシーが選択されるかという問題がポジションに応じることに加えて、ポリシーの少なくとも1つによって定義される応答は、ジェスチャとユーザポジションとの両方に応じる。例えば、少なくとも1つのポリシーが、ユーザの位置の周りでの或る分布様式で複数の光源が減光されるという応答を定義してよく、この分布様式は、ユーザのポジションからの放射源の離隔距離と共に放射源の輝度が減少するようなものである。1つ又は複数の他のポリシーは、そのような空間分布を定義することができず、例えば、少なくとも1つのポリシーは、関連の空間内の光源全てを均一に変える。
幾つかの実施形態では、少なくとも2つの異なる制御ポリシーが、同じ所定のジェスチャに関連付けられるが、異なるそれぞれの位置的境界設定に関連付けられてよく、それにより、同じジェスチャが、ポジションに応じて異なった解釈を成される。例えば、ユーザが1つの区域内に居る及び/又は一方向を向いているときには、手の上げ下げが、そのジェスチャの1つの機能に従ってライトを増光又は減光することがあり、その一方で、ユーザが異なる区域内に居る又は異なる方向を向いているときには、同じジェスチャが、そのジェスチャの異なる機能に従ってライトを増光又は減光することがある。
前述のように、位置的境界設定は、ユーザの位置及び/又は向きでの境界設定を含んでいてよい。例えば、様々な区域が画定され得て、そのような区域は、例えば、光源を均一に制御する及び/又は空間内の全てのライトを制御するマクロ区域と、ユーザのポジションの特定の範囲内にある光源のサブセットのみを制御する、及び/又はユーザのポジションからの離隔距離と共に強度が減少するような空間分布に従って光源を制御する非マクロ区域とである。代替として又は追加として、ユーザの視野に基づく境界設定等、異なる方向的境界設定が画定され得る。例えば、空間内の1つ又は複数の光源がユーザの視野内にあるとき、ジェスチャは、それらの光源を(ユーザの視野内にない光源よりもそれらを優先して)制御してよく、一方、光源がユーザの視野内にないときには、デフォルト制御ポリシーが適用され得る(例えば、ユーザに最も近い光源の1つ又はサブセットのみがジェスチャによって制御される)。幾つかの実施形態では、ユーザの視野内の光源の制御は、空間分布に基づいて行われてよく、ここでは、ユーザからの離隔距離と共に強度が低下する。
更なる代替又は追加の実施形態では、他の応答、位置的境界設定、及び/又はジェスチャを関連付ける他の制御ポリシーが提供され得る。更に、ポリシーは、(コミッショニングユーザ又はエンドユーザによって)事前設定又はユーザ定義されてもよい。例えば、ユーザは、1つの制御機能を、部屋の一部分で又は一方向を向いて空中で特定の形状(例えば正方形)を描くことに関連付け、異なる制御機能を、部屋の別の部分で又は別の方向を向きながら同じ又は異なる形状(例えば三角形)が描かれることに関連付けることを選択することができる。
本明細書で開示される更なる態様によれば、1つ又は複数の処理ユニット上で実行されるときに上述されたロジック又は操作の任意のものを実現する操作を実施するように構成されたコンピュータプログラム製品が提供される。
本開示をより良く理解するため、及び本開示がどのように実施され得るかを示すために、添付図面を例として参照する。
ユーザが居る空間を含む環境を概略的に示す図である。 飛行時間ベースの検知システムの概略図である。 ユーザが居る空間の別の概略図である。 照明システムの概略ブロック図である。 飛行時間ベースの検知システムの概略ブロック図である。 ジェスチャベースの制御方法の概略流れ図である。
以下に、様々な制御ポリシー(即ち、ユーザがジェスチャを行っていることを検知されるポジションに応じて、1つ又は複数のジェスチャが照明を制御する様々な様式)の中から自動的に選択する照明システムの幾つかの実施形態を述べる。制御ポリシーの選択は、複数の所定の区域のどこにユーザが位置していると判明したか、及び/又はユーザがどの方向を向いているかに応じたものでよい。更に、1つ又は複数の区域において、及び/又はユーザが1つ又は複数の特定の方向を向いているとき、制御は2値ではなく、ジェスチャが照明システムに及ぼす効果は、ジェスチャの大きさ及び/又は制御される光源の1つ又は複数からのユーザの距離に関係する。例えば、ユーザのジェスチャがシステムの複数の光源に及ぼすことができる影響は、各光源がユーザの位置での照光にどれほど影響するかに従って徐々に変化し得る(ユーザからより離れた光源は、ユーザの位置に提供される照光に対する寄与がより小さく、従ってシステムは、それに対応して、ユーザのジェスチャが、より近い光源に比べてより離れた光源に対して小さい影響を及ぼすように構成される)。幾つかの実施形態では、制御ポリシーの1つ又は複数は、同じ空間内の他のユーザの位置に対するユーザの位置を考慮に入れてもよく、それにより、ユーザのジェスチャが各光源に及ぼす影響は、1人又は複数人の他のユーザに対するユーザの位置、並びに光源に対する位置、及びジェスチャの大きさに依存する。更に、1つ又は複数の光源からのユーザの距離は、どの機能に対してユーザがアクセス権を与えられるかについても影響を及ぼし得る。
幾つかの実施形態では、システムは、照明システムCによって含まれるランプBからのユーザAの位置を決定する。システムはまず、コミッショニングプロセス又は三角測量等の技法によって、照明システムCによって含まれる全てのランプYのそれぞれの位置を決定する。以下の項目の間のマッピングを指定するポリシーが作成される:(i)ユーザAのポジション、(ii)各ランプBからのユーザの距離、(iii)ユーザによって行われるジェスチャ、及び(iv)行われるべきランプ特性の変更。また、システムは、複数人のユーザ(例えばユーザA1とA2)の間での仲裁を適用し得る。
照明システムは、飛行時間(ToF: time of flight)検知及び/又は任意の他の適切なタイプの検知技術に基づく検知システムを備える。これは、光源に対するユーザの相対位置を検出するため、及び行われているジェスチャを検出するために使用される。次いで、この情報は、時間と共にどのポリシーが採用されるべきかを決定するために、光源の位置と組み合わされ得る。ポリシーで定義される特性は、変更が行われるときに、照明制御装置にアップロードされ得る。
ToF手段又は他の手段、例えばユーザ人物の周りに配設されたモバイルユーザ端末若しくは他のデバイスによって、空間内でのユーザの絶対位置も検出され得る。この絶対位置は、特定の割り振られた区域、例えば「マクロ区域」内にユーザが居るかどうか判断するために使用され得る。マクロ区域は、照明システムからのユーザの距離に関係なく「マクロ」機能を有するように確保され得る、本明細書で開示される区域である。マクロ区域内でユーザによって行われるアクションは、マクロ区域に関連付けられる領域全体に適用される。例えば、オフィスの入口に立っている人は、オフィスのメインフロアの外に居るにも関わらず、全てのオフィスライトの完全な制御権を有していてよい。メインフロアでは、ユーザによって行われるジェスチャは、システムの光源に対するユーザの近位性及び/又は向きに従って、比例する様式で解釈され得る。また、マクロ区域でも比例区域でも、照明は、ジェスチャの大きさに比例して制御され得る。本明細書で使用される「比例」は、厳密な数学的な意味での比例を必ずしも意味せず、即ち、任意の2つの量の間、例えば強度と手が動かされる距離との線形関係を必ずしも意味しない(ただし、そのような関係も1つの可能性ではある)ことに留意されたい。
システムは、(リモートコントロールの場合にそうであり得るように)信号の受信の有無に単に基づくものではないことに留意されたい。そうではなく、システムは、飛行時間(ToF)又は同様の技術に基づくジェスチャ制御を提供し、従って、信号(照光源から放出される光子)が光子検出器によって受信され、伝播時間がToF光子源/センサに対する物体の深度に比例すると予測される。この実装形態では、光源からの様々な区域又はユーザの距離と、様々なジェスチャとに関係するライト設定を記憶するために、ルックアップテーブルが使用され得る。従って、ルックアップテーブル内で参照される特定の位置は、一部は光源からのユーザの相対位置に依存し、一部は制御要求(ジェスチャ)に依存し得る。
図1及び図3は、環境2の概略図を提供し、環境2は、屋内環境(オフィス等の建造物の1つ又は複数の部屋4及び/又は廊下6等)及び/又は屋外環境(例えば庭や公園)を含む。環境2は、複数の光源8を備える照明システムを設置されている。光源8は、1つ又は複数のランプを備える照明器具を表すことも、照明器具の個々のランプを表すこともある。例えば、光源は、天井、壁、床、若しくは地面に取り付けられてよく、又は自立式ユニット内等、他の場所に配設されてもよい。
環境2は、ユーザ12が居る空間を提供し、その空間が、光源8の少なくとも幾つかによって照光される。対象の空間は、環境2全体を表すことも、その環境内のある領域を表すこともある。例えば、建造物の室内の場合、対象の空間は、単一の部屋4若しくは廊下、部屋4若しくは廊下6内部の領域、又は1つ又は複数の部屋4及び/又は廊下6、若しくはそれら内部の領域の任意の組合せでよい。例示のために、以下の論述では空間は部屋4とし、従って、空間内の全ての光源又は空間を照光する全ての光源等について言及が成される場合、これは、関連の部屋4内の全ての光源又は関連の部屋4を照光する全ての光源を表す。しかし、他の実施形態では、環境2内の又は環境2全体にわたる任意の他の空間的配分に基づいて機能するように制御が設定され得ることを理解されたい。
また、照明システムは、少なくとも1つのセンサ14の形態での検知システム、幾つかの実施形態では飛行時間撮像センサを備える。1つ又は複数のセンサ14は、空間4(例えば部屋)内部でのユーザ12のポジションを検出するように、及び空間4内部のそのポジションでユーザ12によって行われるジェスチャを検出するように構成される。更に、空間4は、空間4の異なるサブ領域に対応する複数の個別の区域16、18に細分化され得て、センサ14による検知に基づいて、ユーザがそれらのサブ領域内に居ることが検出され得る。例えば、一実施形態では、これらの区域は第1の区域16を備え、第1の区域16は、部屋4への入口10周囲のサブ領域内の「マクロ」区域としての役割を果たし、部屋4の残りの部分は第2の区域18として表され、第2の区域18は、「比例」又は「選択」区域としての役割を果たす。これらは、以下でより詳細に論じる。
図2を参照すると、幾つかの実施形態では、センサ14は飛行時間センサを備え、飛行時間センサは飛行時間検知素子42を備える。飛行時間検知素子42は、放出器から放出される放射線を検知することが可能であり、この検知は、放出器からの放射線の放出と同期される。放出器は専用放出器20でよく、この放出器20は、(図示されるように)センサ14の一部と考えられ得る。この場合、放出される放射線は、空間4内に侵入しないように又は空間4内の可視光と混同されないように、可視光以外の放射線、例えば赤外、RF、又は超音波でよい。或いは、放射線は、空間4内の他の光と区別できるように、識別可能な信号によって変調された可視光でよい。代替として、飛行時間検知で使用される放射線は、照光のために空間内に可視光を既に放出している光源8の1つ又は複数等、付随的な放射源からのものでよい。
放出される放射線の幾らかは、ユーザ12からセンサ14に向けて反射されて戻る。センサ14は、放出と同期されるとき、放出器20からの放出と検知素子42での受信との間の時間量、即ち飛行時間情報を決定するために使用され得る。更に、検知素子42は、2次元画素アレイの形態を取り、飛行時間測定を、個々の画素の幾つか又は全てによって捕捉される放射線の測定と相関させることが可能である。従って、飛行時間センサ14は、ユーザ12及びそのユーザのジェスチャを含めた、空間4の深度認識又は3次元画像を捕捉するように動作可能である。検知素子42が可視光を捕捉する場合、飛行時間センサは、深度認識又は3Dカメラとも称され得る。センサ14によって捕捉された深度認識又は3D画像に画像認識を適用することによって、空間4内のユーザ12の位置、そのユーザ12が向いている方向、及び/又はそのユーザ12が行っているジェスチャ等の情報を検出することが可能である。飛行時間ベースの画像検知自体の詳細は、当業者によく知られている。
幾つかの実施形態では、検知システム14は、代替として又は追加として、1つ又は複数の他のセンサを備えていてよい。例えば、検知システムは、空間4内の他の点に配設された1つ又は複数の更なる飛行時間撮像センサを備えていてよく、それらのセンサからの情報が、ユーザのポジション及び/又はジェスチャを検出するためにまとめて使用され得る。代替として又は追加として、検知システム14は、1つ又は複数の他のタイプのセンサを備えていてよい。例えば、ユーザのポジション及び/又は運動を検出するために、1つ又は複数の2次元カメラが、画像認識技術と共に使用され得る。別の例として、ユーザ人物の周りに配設された1つ又は複数の加速度計及び/又は回転センサが、ジェスチャを検出するために使用され得て、検知された情報が、センサからBluetooth(登録商標)やWi-Fi(登録商標)等の無線接続を介して照明システムに中継されて戻される。
更に別の例では、測位システムが、ユーザ人物の周りに配設されたデバイス(例えば移動電話等のユーザ端末)の位置を検出することによって、ユーザの位置を検出するために使用され得る。そのような測位システムは、飛行時間及び/又は信号強度等の測定に基づいて、典型的には三角測量又はより全般的にはマルチラテレーションに基づいて、複数の無線ノードに対するモバイルデバイスの位置を検出することによって動作する。例えば、ポジションは、GPS等の衛星測位システムの場合には衛星に対して決定され得て、及び/又はセルラ基地局、WLANアクセスポイント、若しくは専用アンカノード等、地上ベースのアンカノードに対して決定され得る。別の例は、GPS等の測位システムを加速度計と組み合わせる慣性航法システムを使用するものである。ここで、この慣性航法システムは、ユーザが最もよく移動する(進む)方向を決定してシステムを較正し、次いでそこから、制御ジェスチャの時点でのユーザの正面方向を決定するために使用され得る。
運動及びポジション検出のために使用されるセンサ14は、同じセンサ(例えば飛行時間センサ)若しくは画像認識機能を備えるカメラ又は異なるセンサ(例えば、位置決め用のGPSと、ジェスチャ用の加速度計)の1つ又は複数を備えていてよい。一般に、ユーザのポジション、及びユーザ12によって行われるジェスチャを検出するために、上記の任意の技術の任意の組合せがセンサシステム14で採用され得る。
図4は、制御機能を含む照明システムの概略ブロック図である。照明システムは、1つ又は複数のセンサ14と、光源8と、制御装置22とを備え、これらは、適切な相互接続システム24によって一体に接続され、相互接続システム24は、1つ又は複数の有線又は無線チャネル、例えばI2Cバス、DMXバス、DALIバス、Ethernet(登録商標)接続、Wi-Fi(登録商標)接続、又はZigBee(登録商標)接続を備える。制御装置22は、検知された情報を相互接続システム24を介してセンサ14から受信し、制御コマンドを相互接続システム24を介して光源8に出力して、光源8を制御するように構成される。幾つかの実施形態では、光源8は、周囲照明8a(空間8全体を照光する)とタスク照明8b(作業面、例えばデスク等、空間4内部の特定の領域に照準される)等、異なる種類の光源を備えていてよい。
制御装置22は、運動検出ロジック36と、位置決めロジック38と、制御ポリシー選択ロジック40と、コマンド生成ロジック41とを備える。幾つかの実施形態では、これらはそれぞれ、1つ又は複数の記憶媒体を備えるメモリ28に記憶されたコードの一部として実装され、1つ又は複数の処理ユニットを備えるプロセッサ26上で実行されるように構成される。従って、用語「ロジック」は、ハードウェア回路構成を示唆しない(ただし、ロジックの幾つか又は全てに関しては、ハードウェア回路構成も1つの代替実装形態ではある)ことに留意されたい。
位置決めロジック38は、検知された情報を1つ又は複数のセンサ14の少なくとも1つから受信し、その情報を処理して空間4内のユーザ12のポジション(位置及び/又は向き)を決定し、検出されたポジションの標示を制御ポリシー選択ロジック40に出力するように構成される。運動検出ロジック36は、検知された情報を1つ又は複数のセンサ14の少なくとも1つから受信し、その情報を処理して、ユーザ12によって行われるジェスチャを検出し、検出されたジェスチャの標示を制御ポリシー選択ロジック40に出力するように構成される。センサからの信号を処理するという意味での処理は、プロセッサ上でのソフトウェアの実行を必ずしも示唆しない(ただし、当然それも1つの実装形態ではある)ことに留意されたい。
図5は、ユーザのポジションを決定するため及び/又はジェスチャを認識するために使用され得る飛行時間(ToF)センサ14の更なる詳細を示す。ToFセンサ14は、放出器20を備える。また、ToFセンサ14は、検知素子とインターフェースするアナログフロントエンドと、適切な電力管理構成要素とを含めた、3D ToF受信トランスデューサ(例えばTI OPT8140)の形態での検知素子42も備える。3D ToF検知素子42は、画素素子の2Dアレイを備え、各画素素子は、画像データのそれぞれの画素を捕捉するように動作可能であり、また、画素素子の少なくとも幾つかは、それぞれの画素をそれぞれの飛行時間に関連付けて捕捉するように動作可能であり、それにより3D画像データを捕捉する。更に、ToFセンサはToF制御装置48(例えばTI OPT9110)を備え、ToF制御装置48は、出力インターフェース52及び相互接続システム24を介して照明制御システムのホストプロセッサ26と通信する。ToF制御装置は、ToFセンサ14のローカルメモリ50に記憶された専用コードを実行するマイクロコントローラの形態でよい。受信された3D ToF画像情報は、受信インターフェース46を介して検知素子42からToF制御装置48に提供される。
ToF制御装置48の制御下で、放出器20からの放出を検知素子42による検出と同期させるためにタイミングジェネレータ44が使用される。この同期は、検知素子42の捕捉レートと同期して放出するように放出器20を制御することによって行われるか、放出器20からの放射線の変調と同期してデータを捕捉するように検知素子42を制御することによって行われるか、又は検知素子と放出器との両方を共に制御することによって行われる。従って、放出と捕捉の相対タイミングが既知となり、それにより、ToF制御装置は、捕捉されたデータに飛行時間情報を関連付けることが可能である。
幾つかの実施形態では、飛行時間を検知するために使用される放射線は、赤外線、RF、又は超音波等の非可視放射線を含んでいても、可視光を含んでいてもよい。飛行時間を検知するために使用される放射線は、環境内の他の放射線と区別され得るように特定の識別子又はシグネチャを備えていてよく、例えば特定のコードを埋め込まれてよく、又は特徴的な波形、周波数、若しくはスペクトルを与えられてよい。例えば、放射線が可視光である場合、放射線は、コード化光技術に従って変調されることによって識別子を埋め込まれ得て(例えば国際公開第127439号参照)、それにより、ToF制御装置48は、その放射線が受信されたときに、様々な他の光源からの光の中からその放射線を認識することができる。代替として、空間4を照光する全ての光源8が捕捉と同期される場合、そのような識別子又はシグネチャは必要とされないことがある。別の代替形態では、放出器20は、ToF検知を光源8の1つ又は複数によるパルス放出と同期させるのに適したインターフェース(相互接続システム24を介する又は個別の専用リンクを介する)で置き換えられ得る。
ToF制御装置48は、飛行時間情報を含む検知された情報を、出力インターフェース52及び相互接続システム24を介してホストプロセッサ26に出力する。ホストプロセッサ26は、例えば顔認識及び/又は他の画像認識技法によって様々なジェスチャを認識するため、及びまた空間4内の人々12の位置を識別するために、ミドルウェア(運動検出ロジック36及び位置決めロジック38)を実行してよい。幾つかの実施形態では、顔特徴部を追跡することによって、又はユーザの手足の動きを分析することによって、検知された情報は、ユーザ12の向きを決定するためにも使用され得る。
前述のように、ユーザのポジション及びジェスチャの検出に使用するための他の技術も存在し、例えば、位置を検出するためのGPS及び/又はジェスチャを検出するための加速度計である。
図4に戻ると、制御ポリシー選択ロジック40は、検出されたポジションを位置決めロジック38から受信し、検出されたジェスチャを運動検出ロジック36から受信するように構成される。また、制御ポリシー選択ロジック40は、制御ポリシーデータベース30及びコミッショニングデータベース32にアクセスするように構成され、これらのデータベースは、ローカルに(ローカルメモリ28に)、遠隔に(例えば、インターネット等のネットワークを介してアクセスされる1つ又は複数のサーバに)、又はローカルと遠隔の記憶装置の組合せで記憶され得る。コミッショニングデータベース32は、光源8のそれぞれの位置を、それらの光源8のそれぞれの識別子に対してマッピングする。制御ポリシーデータベース30は、制御ポリシーを、ジェスチャとユーザのポジションとのそれぞれの組合せにマッピングする。各データベース30、32は、任意のデータ構造の形態でよく、より小さい照明システムの場合には比較的小さいルックアップテーブルで十分であり得る。代替として又は追加として、幾つかの実装形態では、これらのデータベース30、32の一方又は両方の代わりに、マッピングの分析手段、即ちアルゴリズム又は公式が使用され得る。以下の説明はデータベース実装形態に関して述べるが、その教示が他の実装形態まで及ぶことを理解されたい。
幾つかの実施形態では、制御ポリシーデータベース30は、照明制御装置22によって利用される動作区域を画定する。これらの動作区域は、以下のような幾つかの形で表現され得る。(i)ユーザと、照明システムによって含まれる光源8の1つの既知の位置との間の距離の尺度として、(ii)ユーザ12と、ToF放出器20(若しくは8)及び/又は受信機42との間の距離の尺度として、(iii)ユーザによって保持されるハンドヘルドデバイス(例えばスマートフォン)によって受信される輝度の尺度として、及び/又は(iv)ユーザのスマートフォン(等)によって獲得される画像であって、ユーザの取り得るポジション及び向きが計算され得るように処理される画像を使用して照明システムによって制御される、光源8に対するユーザの距離及び向きの尺度として。例えば、制御ポリシーデータベース30は、ToF放出器及び/又は検出器からの1つ又は複数の距離での1つ又は複数のジェスチャに関連付けられる照明制御機能を定義してよい。
コミッショニングデータベース32は、ToF放出器20(若しくは8)及び/又は検出器42に対するコミッショニング済みの光源8のそれぞれの位置を含む。ToF放出器及び/又は検出器に関する既知の絶対位置及び光源8に関する既知の絶対位置を元に、相対距離が計算され得ることを理解されたい。コミッショニングデータベース32における光源8の位置は、制御ポリシーロジック40によって、位置的境界設定を決定するため、又は光源8の1つ又は複数に対するユーザのポジションに基づくポリシーを実施するために使用され得る。任意選択的に、コミッショニングデータベースはまた、空間4のレイアウト又は空間4内の障害物に関する情報を含んでいてよく、その情報は、ユーザの視野内にどの光源があるかに基づいて特定される位置的境界設定を評価する際に使用される。
管理者がシステムを構成してよい。システムの構成は、管理モードに入るステップと、既存の制御ポリシーをポリシーデータベース30にロードするステップと、新たな制御ポリシーをポリシーデータベース30に作成するステップとを含む幾つかのステップから構成され得る。例えば、新たな制御ポリシーは、グラフィカルユーザインターフェースを使用して管理者によって作成され得て、その際、管理者は、様々なジェスチャ並びにそれらのジェスチャの大きさ及び他の特性を表す様々なアイコンの中から選択し、これらを、ユーザが照明システムの制御権を有することになる領域内の様々な区域と関連付けることができる。区域又は他の位置的境界設定は、幾つかの方法で、例えばユーザの視野内の光源8に基づいて、及び/又は最も近い光源8への近位性に基づいて画定され得る。また、1つ又は複数のジェスチャは、例えばユーザが照明強度を上げるために腕を上に振り、照明強度を下げるために腕を下に振る等、幾つかの形で定義され得る。そのような設定は、ポリシーデータベース30に記憶される。
制御ポリシーデータベース30内のマッピング、位置決めロジック38からの検出されたポジション、及び運動検出ロジック36からの検出されたジェスチャに基づいて、制御ポリシー選択ロジック40は、検出されたポジション及びジェスチャにマッピングされたポリシーをポリシーデータベース30から選択する。更に、選択ロジック40は、動作コンテキストに応じて(ユーザが区域間を移動する、異なる方向を向く、及び/又は異なるジェスチャを行うときに)制御ポリシーを動的に切り替え得る。制御ポリシー選択ロジック40は、選択されたポリシーのパラメータの標示をコマンド生成ロジック41に適切に出力し、コマンド生成ロジック41は、1つ又は複数のコマンドを相互接続システム24を介して送出して、選択されたポリシーに従って、並びに検出されたポジション及びジェスチャに従って照明8を制御する。
理解を助けるために、以下に、制御ポリシーの幾つかの単純化された例を示す。様々な実施形態において、これらの制御ポリシーは、ポリシーデータベース30によって含まれ得る。
上で定義された比例区域18に関する照明制御ポリシーによって生み出される効果の一例が、図1に概略的に示されている。ここで、ライトは、ユーザの位置及び方向に応じた分布様式で制御される。ユーザは、図1に陰影付きで示されている自分の視野内の光源8のみを制御する。任意選択的に、ユーザからの距離に対して範囲限度が課されてもよく、従って、特定の半径を超える光源は制御されない。更に、ライトは、徐々に変化する空間分布に従って減光され、それにより、視野内の光源8は、ユーザ12からの距離に関して、それらの離隔距離に比例して減光される。即ち、ジェスチャの所与の大きさに関して、ユーザは、視野内光源8のうち、ユーザに物理的により近い光源に対して、より離れた光源に比べて大きい影響を及ぼす。これは図1にも概略的に示されており、最も大きい影響を受ける光源の陰影は最も濃く示されており、最も小さい影響を受ける光源8の陰影は最も薄く示されている。この影響はまた、ユーザが向いている方向からの角度的離隔距離と共に変化し得る。
比例区域18内で適用され得る代替の制御ポリシーの一例が、図3に概略的に示されている。ここで、比例区域内で適用される照明分布は、視野には応じていないが、上記の分布と同様にユーザ位置には応じている。ユーザは、所定の範囲閾値、例えばユーザ12からの半径に関する閾値内にある光源8全て(のみ)を制御し、それにより、制御される光源8は、ユーザ12の周りで概して円又はリングを成す。この範囲内にある各光源8は、ユーザ12からのそれらそれぞれの距離に比例して減光される。図1と同様に、制御される光源8、及び影響の度合いは、図3に陰影付けによって概略的に表されている。
例示的な使用事例では、ユーザAが部屋4内に居る。ユーザは、照明器具8の真下に立ちながら、「輝度」ジェスチャを取る。ユーザが下に立っている照明器具8は強度を変えるが、部屋内の全ての他の照明器具は変わらない。次いで、ユーザAは、部屋4の一端に移動し、廊下6の方を向く。次いで、ユーザAは、廊下6の方を向きながら輝度ジェスチャ(ポリシーデータベース30内で定義されているものに応じて同じ又は異なるジェスチャ)を再び行う。廊下6での光の強度が変えられる。次いで、ユーザAは振り返り、複数の照明器具8によって照光されている部屋4の方を向く。ユーザは再び輝度ジェスチャを行う。部屋4内で、全てのライトの強度が変えられる。
別の例示的な使用事例では、ユーザBが部屋4から出ようとしており、部屋4内の全てのライトをオフに切り替えることを望むが、部屋が非常に広い。これは、その部屋4内の光源の多くがそのユーザの特定の位置での照光に影響を及ぼさず、従って、部屋の大半で適用される「比例ポリシー」の下では、ユーザのジェスチャが部屋4内の光源8を全ては制御しないことを意味する。従って、ユーザは、ドア10に隣接するマクロ区域18に移動して「オフジェスチャ」を行う。部屋4内の全てのライトがオフに切り替えられる。
本開示の実施形態を実装するための例示的なアルゴリズムを、図6の流れ図を参照しながら以下に述べる。
ステップS10で、飛行時間撮像センサからの画像データ、及び/又はユーザによって着用された1つ又は複数の加速度計からのデータ等、1つ又は複数のセンサ14からデータが獲得される。別の例は、GPS及び加速度計を使用する慣性航法デバイス等のデバイスから受信されるデータである。
ステップS20で、運動検出ロジック36は、検知されたデータの幾つか又は全てを処理して、識別可能なジェスチャがユーザによって行われているかどうか判断する。これは、運動検出ロジック36が認識できるように構成されている1組の所定のジェスチャの中からの1つのジェスチャとデータが一致するかどうか判断することを含んでいてよい。一致がない場合には、ステップS10で、運動検出ロジックが、検知されたデータの処理を続けるが、一致した場合には、ステップS30で、制御ポリシー選択ロジック40が、識別されたジェスチャが照明制御ポリシーに関連付けられるジェスチャと合致するかどうか判断する。この判断は、ポリシーデータベース30内の複数の制御ポリシーに関連付けられる1つ又は複数のジェスチャの中に合致するものが存在するかどうかを含むことがある。存在しない場合、アルゴリズムは、ステップS10にループして戻る。存在する場合、アルゴリズムは、ステップS40に進む。
ステップS40で、制御ポリシー選択ロジック40は、あるタイプのジェスチャを決定し、このジェスチャは、例えばライトを増光又は減光するための信号であり、例えば手を上げ下げすることによって、又は空中で想像円の円周の一部若しくは全周を「なぞる(dialling)」ことによるものである。ステップS50で、選択ロジック40はまた、ジェスチャの大きさ、例えば手の上げ下げの大きさや、想像円がなぞられる弧の角度等、ジェスチャの任意の関連の特性を決定する。従って、制御ポリシー選択ロジック40は、ユーザのジェスチャによって要求される照明アクション及び大きさを決定する。
ステップS60で、位置決めロジック38は、検知されたデータの幾つか又は全てを処理して、空間4内のユーザ12の座標を決定し、この座標は、例えば、デカルトX及びY座標等で表した床に平行な水平面内の点である。例えば、これは、飛行時間撮像センサからのデータに基づいて、及び/又はGPS衛星若しくは陸上ベースのアンカノード等の参照ノード間のマルチラテレーションに基づいて行われ得る。ステップS70で、制御ポリシー選択ロジック40は、これらの座標を使用して、ユーザの現在の位置が、ポリシーデータベース30内で指定される複数の区域(例えば16又は18)のどれに含まれているかを判断する。
ステップS80で、制御ポリシー選択ロジック40は、制御ポリシーデータベース30を参照して、検出されたジェスチャタイプ及び区域にどの制御ポリシーが関連付けられるかを判断する。
ユーザがマクロ区域16内に居ると判断された場合、アルゴリズムは、ステップS90に分岐し、ここで、制御ポリシー選択ロジック40は、マクロ区域制御ポリシーを適用することを選択する。例えば、マクロ区域は、ドア10に隣接する1mの領域でよい。この選択に基づいて、コマンドロジック41が、(相互接続システム24のプロトコルに応じて)適切な1つ又は複数のコマンドを作成し、このコマンドにより、関連の空間4内の光源8が全て、選択された制御ポリシーによって定義される応答に従って制御され、例えば、ユーザのジェスチャの大きさに比例してそれらの光源全てを均一に増光又は減光する。
ユーザが比例区域18内に居ると判断された場合、アルゴリズムは、ステップS100に分岐し、ここで、位置決めロジックは、例えばToF画像データに基づいて、及び/又はユーザ人物の周りに配設された磁力計等の別のタイプのセンサに基づいて、ユーザ12の向きを決定する。ユーザの検出された向きと、特定の視野(例えば水平面内で120°の広がり)の仮定とに基づいて、次いでステップS110で、制御ポリシー選択ロジック40は、コミッショニングデータベース32に記憶されているどの光源8がユーザの視野内にあるかを計算する。
ステップS120で、選択ロジック40は、任意の光源8が視野内に現在あるかどうか判断する。視野内にない場合、アルゴリズムはステップS130に分岐し、ここで、制御ポリシー選択ロジック40は、デフォルト制御ポリシーを適用することを選択し、例えば、どの光源8(又は光源8のどの小さなサブセット)がユーザ12の最も近位にあるかを判断し、その光源8のみをジェスチャが制御できるようにする。従って、コマンドロジック41は、関連の光源8を制御する1つ又は複数のコマンドを作成し、例えばユーザのジェスチャの大きさに比例して(小さなサブセットの場合には均一に又は何らかの分布様式で)光源8を増光又は減光する。
他方、1つ又は複数の光源8がユーザの視野内にあると判断された場合、制御ポリシー選択ロジック40は、それらの光源8のリストを記憶し、このリストは、視野内の光源の一時的なデータベースを提供する。ステップS150で、ポリシーロジック40はまた、光源XY座標からユーザのXY座標の大きさを差し引くことによって、ユーザに対するこのリスト内の光源8の距離を決定し、それらの結果をリスト内の各エントリ毎の追加のフィールドとして記憶する。ステップS160で、制御ポリシー選択ロジック40は、比例制御ポリシーを適用することを選択し、例えば、影響の度合いは、ジェスチャの大きさに比例するだけでなく、ユーザの位置からの制御された光源8の距離、及び/又はユーザの向きからの角度偏差にも比例する。コマンドロジック41は、選択された制御ポリシーに従って視野内の光源8のみを制御するように1つ又は複数のコマンドを作成する。
上のステップは、時間駆動式に定期的に繰り返されても、イベント駆動式に繰り返されてもよい。
これらのステップは全て、上に列挙された順序で行われる必要は必ずしもない(ただし、それも1つの可能な実施形態ではある)ことに留意されたい。また、幾つかの実施形態では、必ずしも上記の全てのステップが含まれる必要はない(ただし、それもまた1つの可能な実施形態ではある)。例えば1つの代替実施形態では、異なる区域が実装される必要は必ずしもなく、この場合、ステップS60〜S90が省略され得て、それによりステップS50にステップS100が続く。代替として、必ずしも視野が考慮に入れられる必要はなく、この場合、ステップS100〜160が省略されてよく、ステップS80は、マクロポリシーと1つ又は複数の代替ポリシーとの間での選択でよい。その代わりに、例えば、比例区域18において、光源8は、例えば図3に概略的に示されるようにユーザの位置の周りでの或るパターンで制御されてよい。
比例区域18内で適用される位置中心又は視野中心分布に関する別の可能性は、空間4内の全ての光源8が制御されるが、(マクロ区域16内とは異なり)均一ではないことである。即ち、空間4内の光源8は、ここでも、ユーザのポジションからの光源の離隔距離と共にジェスチャの影響が低減するように制御されるが、空間4(例えば部屋)内部で絶対距離閾値又は角度閾値が課され、その閾値を超えるとジェスチャは何ら影響を有さない。例えば、強度は、ユーザの位置から部屋4の縁部に達するまで放射状に減少することがあり、又は視野内の光源8が選択的又は優先的に、しかし排他的にではなく制御され得て、それにより、ジェスチャは、視野外の光源よりも視野内の光源8に大きな影響を及ぼす。
更なる実施形態では、制御ポリシー選択ロジック40は、追加として、1つ又は複数のマルチユーザ仲裁規則を適用するように構成され得て、2人以上のユーザが同じ空間4(例えば同じ部屋)内で検出されて、競合する操作をユーザが同時にジェスチャで行うことを試みる可能性に対処する。上記の検知及び検出操作の任意のものが、空間4内の1人又は複数の他のユーザの位置及び/又はそれらのユーザによって実施されるジェスチャを検出するために適用され得る。これに基づいて、制御ポリシー選択ロジック40は、ジェスチャを行う2人以上のユーザ間の相対ポジション(相対距離及び/又は向き)を決定し、1つ又は複数の仲裁規則に従って制御ポリシーの適用を調整するように構成され得る。例えば、ユーザ12が比例区域18内に居て、複数の光源8を観察することができる場合、他のユーザに影響を及ぼす光源8に対してユーザ12が有する制御権は、(i)ジェスチャを行うユーザと(ii)他のユーザとに対してライトが及ぼす相対的な効果に従って狭められ得る。例えば、1人又は複数の他のユーザが、それらの光源の1つ又は幾つかの動作によってより大きく影響を及ぼされる(例えば光源がより近くにあるので)場合、そのような光源は、空間4内で制御される光源から除外され得るか、又は通常それらに及ぼされるよりも低い度合いで影響を及ぼされ得る。
上の実施形態は例として説明されているにすぎないことを理解されたい。実施形態を図面及び前述の説明で詳細に図示して説明してきたが、そのような図示及び説明は例示又は例説とみなすべきであり、本発明は、開示される実施形態に限定されない。
例えば、本開示の範囲は、上に例示された特定のポリシー及び関連付けに限定されない。幾つかの実施形態では、以下の幾つか又は全ての事項の様々な組合せが、制御ポリシーデータベース30(又は制御ポリシーを指定し、ポリシーをポジション及びジェスチャに関連付ける他の手段)内に実装され得る。
1つ又は複数の光源8からのユーザの相対距離、又は照明システムの他の特徴(例えば、システムの光源位置の幾つか又は全ての平均からのユーザの距離)。例:ユーザが離れれば離れるほど、ユーザがタスク特化ライト8bに及ぼす影響は小さくなるが、全体的な周囲照明8aに対してユーザが及ぼす影響はより大きくなる。
ユーザの位置に対する光源8又は照明システムの効果。
例:ライトがユーザの位置に及ぼす効果が小さければ小さいほど、ユーザがライトに対して有する制御権が小さくなる。
ユーザの向き。例:ユーザが向いている方向、即ち光源8の方を向いているか、それとも光源8とは逆を向いているかが、光源8によって提供される照光のユーザ知覚に影響を及ぼす。
他のユーザの位置に対する光源8又は照明システムの効果。
ユーザのジェスチャの大きさ。
空間4内部のユーザの絶対位置、及び任意選択的に空間4内の他のユーザの絶対位置。例:マクロ区域16内のユーザは、他のユーザとは無関係に、対応する空間内の全ての照明の制御権を与えられてよく、一方、2人以上のユーザが比例区域18内で制御を試みているときには、仲裁規則が適用され得る。
更なる実施形態では、他のジェスチャが認識され、制御ポリシーに関連付けられ得る。例えば、ユーザによって、そのユーザの嗜好に従って、ユーザ定義された形状が制御ポリシーデータベースにプログラムされ得て、例えば、それにより、正方形、三角形、及び/又は円形等の形状を描くことが、照明の色温度の変更、ステータス読取値の要求、照明システムのリセット等、様々な機能を引き起こすように構成され得る。これらのジェスチャの機能は、ポジションに応じたものにされ得る。例えば、特定の機能は、例えば特定の方向を向いて若しくは特定の区域内に立っているとき、又は適切な部屋内で適切なジェスチャを使用することによってのみ引き起こされるようにされ得る。
更に、本明細書で開示される技法は、照明の制御に限定されない。他の用途では、制御されるユーティリティは、例えば加熱又は空気調和を含むことがある。例えば、加熱ユニット又は空気調和ユニットが、ユーザのポジションの周りでの或る分布様式で制御され得るか、視野内にあるユニットのみが制御され得るか、又は建築物内の全てのユニットが、マクロ区域でジェスチャを行うという条件で制御され得る。
開示される実施形態に対する他の変形は、図面、本開示、及び添付の特許請求の範囲の検討から当業者によって理解され、特許請求される発明を実践する際に実施され得る。特許請求の範囲において、用語「備える」は、他の要素又はステップを除外せず、「1つの」は、複数を除外しない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載される幾つかの要素の機能を実現することができる。特定の手段が相互に異なる従属請求項に記載されていることだけでは、これらの手段の組合せが有利に使用され得ないことを示さない。コンピュータプログラムは、他のハードウェアと共に供給される、又は他のハードウェアの一部として供給される光記憶媒体やソリッドステート媒体等の適切な媒体に記憶/分散されてよいが、インターネット又は他の有線若しくは無線電気通信システムを介する形態等、他の形態で分散されてもよい。特許請求の範囲内の任意の参照符号は、範囲を限定するものとみなされるべきではない。

Claims (14)

  1. 1人又は複数のユーザが居る空間内にユーティリティを提供するために、前記ユーティリティの1つ又は複数の放射源を制御するための制御装置であって、
    センサからの入力を処理して、前記空間内でのユーザの運動を検出し、前記ユーザによって行われた所定のジェスチャに前記運動が対応することを検出する運動検出ロジックであって、前記ジェスチャが、前記空間内の異なるそれぞれのポジションから行われる運動検出ロジックと、
    センサからの入力を処理して、各前記ジェスチャが前記ユーザによって行われたそれぞれのポジションを検出する位置決めロジックと、
    複数の個別の制御ポリシーそれぞれを、所定のジェスチャと前記空間内の位置的境界設定とのそれぞれの組合せに関連付ける関連付けに基づいて、異なる検出されたポジションそれぞれから行われた前記検出されたジェスチャに関連付けられる前記制御ポリシーの異なるポリシーを、それぞれの検出されたポジションに応じて選択する制御ポリシー選択ロジックであって、各制御ポリシーが、前記それぞれの関連付けられたジェスチャに対する前記ユーティリティのそれぞれの応答を定義する制御ポリシー選択ロジックと、
    前記選択された制御ポリシーの前記それぞれの応答に従って前記ユーティリティを提供するために前記1つ又は複数の放射源を制御するコマンドロジックと
    を備え
    前記検出されたポジションは、前記ユーザが前記検出されたジェスチャを行った際の前記ユーザの向きを少なくとも含み、前記制御ポリシーの1つ、幾つか、又は全てに関連付けられる前記位置的境界設定が、それぞれの方向的境界設定を含み、前記制御ポリシー選択ロジックが、前記検出されたジェスチャと、前記向きが含まれていることが検出された前記方向的境界設定とに関連付けられる前記制御ポリシーの1つを選択する、制御装置。
  2. 前記制御ポリシーの前記選択が前記検出されたポジションに基づくだけでなく、前記制御ポリシーの少なくとも1つによって定義される前記応答がそれぞれ、前記空間内での前記ユーティリティの前記提供における空間分布を含み、前記空間分布も、前記検出されたポジションに応じる、請求項1に記載の制御装置。
  3. 前記検出されたポジションは、前記ユーザが前記検出されたジェスチャを行った前記空間内の位置を少なくとも含み、前記制御ポリシーの1つ、幾つか、又はそれぞれに関連付けられた前記位置的境界設定が、前記空間内部のそれぞれの区域を含み、前記制御ポリシー選択ロジックが、前記検出されたジェスチャと、前記位置が含まれていることが検出された前記区域とに関連付けられる前記制御ポリシーの1つを選択する、請求項1又は2に記載の制御装置。
  4. 前記関連付けは、同じジェスチャが、ポジションに応じて異なった解釈を成されるように、同じ所定のジェスチャに関連付けられるが、異なるそれぞれの位置的境界設定に関連付けられる前記制御ポリシーのうちの少なくとも2つの異なる制御ポリシーを含む、請求項1乃至の何れか一項に記載の制御装置。
  5. 前記制御ポリシーの少なくとも1つによって定義される前記応答が、前記検出されたジェスチャの大きさに応じた程度の問題である、請求項1乃至の何れか一項に記載の制御装置。
  6. 前記1つ又は複数の放射源が、前記空間を照光する1つ又は複数の光源であり、前記ユーティリティが前記照光である、請求項1乃至の何れか一項に記載の制御装置。
  7. 前記検出されたポジションは、前記ユーザが前記検出されたジェスチャを行った前記空間内の位置を少なくとも含み、前記制御ポリシーの1つ、幾つか、又はそれぞれに関連付けられた前記位置的境界設定が、前記空間内部のそれぞれの区域を含み、前記制御ポリシー選択ロジックが、前記検出されたジェスチャと、前記位置が含まれていることが検出された前記区域とに関連付けられる前記制御ポリシーの1つを選択し、前記放射源が、前記空間を照光する複数の光源であり、前記区域が、
    前記検出されたジェスチャに応答して前記空間を照光する前記光源全てが制御される制御ポリシーに関連付けられる第1の区域と、
    前記検出されたジェスチャに応答して、前記検出された位置の指定された近傍領域内にある前記光源のサブセットのみが制御される制御ポリシーに関連付けられる第2の区域と
    を含む、請求項に記載の制御装置。
  8. 前記制御ポリシーの前記選択が前記検出されたポジションに基づくだけでなく、前記制御ポリシーの少なくとも1つによって定義される前記応答がそれぞれ、前記空間内に提供される前記照光における空間分布を含み、前記空間分布も、前記検出されたポジションに応じ、それに従って、前記検出されたポジションからの離隔距離と共に前記照光が減少する、
    請求項又はに記載の制御装置。
  9. 前記検出されたポジションは、前記ユーザが前記検出されたジェスチャを行った前記空間内の位置を少なくとも含み、前記制御ポリシーの1つ、幾つか、又はそれぞれに関連付けられた前記位置的境界設定が、前記空間内部のそれぞれの区域を含み、前記制御ポリシー選択ロジックが、前記検出されたジェスチャと、前記位置が含まれていることが検出された前記区域とに関連付けられる前記制御ポリシーの1つを選択し、前記区域が、
    前記検出されたジェスチャに応答して前記光源からの前記照光が均一に制御される制御ポリシーに関連付けられる第1の区域と、
    前記空間分布に従って前記光源の幾つか又は全てからの前記照光が制御される制御ポリシーに関連付けられる第2の区域と
    を含む、請求項に記載の制御装置。
  10. 前記検出されたポジションが、前記ユーザが前記検出されたジェスチャを行った際の前記ユーザの向きを少なくとも含み、前記制御ポリシーの1つ、幾つか、又は全てに関連付けられる前記位置的境界設定が、それぞれの方向的境界設定を含み、前記制御ポリシー選択ロジックが、前記検出されたジェスチャと、前記向きが含まれていることが検出された前記方向的境界設定とに関連付けられる前記制御ポリシーの1つを選択し、前記方向的境界設定が、
    前記ユーザの視野内に前記光源の1つ又は複数があるような向きに対応する第1の方向的境界設定であって、前記視野内の前記光源の1つ又は複数が前記検出されたジェスチャに応答して制御される制御ポリシーに関連付けられる第1の方向的境界設定と、
    前記視野内に前記光源が前記ユーザの1つもないような向きに対応する第2の方向的境界設定であって、デフォルト照明器具が前記検出されたジェスチャに応答して制御される制御ポリシーに関連付けられる第2の方向的境界設定と
    を含む、請求項又はに記載の制御装置。
  11. 前記制御ポリシーの前記選択が前記検出されたポジションに基づくだけでなく、前記制御ポリシーの少なくとも1つによって定義される前記応答がそれぞれ、前記空間内に提供される前記照光における空間分布を含み、前記空間分布も、前記検出されたポジションに応じ、それに従って、前記検出されたポジションからの離隔距離と共に前記照光が減少し、
    前記第1の方向的境界設定に関連付けられる前記制御ポリシーの下で、前記空間分布に従って前記視野内の複数の前記光源が制御される、
    請求項10に記載の制御装置。
  12. 前記運動を検出するために処理される前記入力が、飛行時間撮像センサ、カメラ、ユーザ人物の周りに配設される1つ又は複数の加速度計、及び/又はユーザ人物の周りに配設される1つ若しくは複数の回転センサからの入力を含み、及び/又は
    前記ポジションを検出するために処理される前記入力が、飛行時間撮像センサ、前記飛行時間撮像センサ、カメラ、前記カメラ、及び/又はユーザ人物の周りに配設されるユーザデバイスを位置特定するための測位システムからの入力を含む、
    請求項1乃至11の何れか一項に記載の制御装置。
  13. 請求項1乃至12の何れか一項に記載の制御装置と、前記1つ又は複数の放射源と、前記1つ又は複数のセンサとを備える、システム。
  14. 1人又は複数のユーザが居る空間内にユーティリティを提供するために前記ユーティリティの1つ又は複数の放射源を制御するためのコンピュータプログラムであって、コンピュータ可読媒体上に具現化されるコードを備え、1つ又は複数の処理ユニット上で実行されるときに、
    センサからの入力を処理して、前記空間内でのユーザの運動を検出し、前記ユーザによって行われた所定のジェスチャに前記運動が対応することを検出する操作であって、前記ジェスチャが、前記空間内の異なるそれぞれのポジションから行われる操作と、
    センサからの入力を処理して、各前記ジェスチャが前記ユーザによって行われたそれぞれのポジションを検出する操作と、
    複数の個別の制御ポリシーそれぞれを、所定のジェスチャと前記空間内の位置的境界設定とのそれぞれの組合せに関連付ける関連付けに基づいて、異なる検出されたポジションそれぞれから行われた前記検出されたジェスチャに関連付けられる制御ポリシーの異なるポリシーを、検出されたポジションに応じて選択する操作であって、各制御ポリシーが、前記それぞれの関連付けられたジェスチャに対する前記ユーティリティのそれぞれの応答を定義する操作と、
    前記選択された制御ポリシーの前記それぞれの応答に従って前記ユーティリティを提供するために前記1つ又は複数の放射源を制御する操作と
    を行い、
    前記検出されたポジションは、前記ユーザが前記検出されたジェスチャを行った際の前記ユーザの向きを少なくとも含み、前記制御ポリシーの1つ、幾つか、又は全てに関連付けられる前記位置的境界設定が、それぞれの方向的境界設定を含み、前記制御ポリシーの異なるポリシーを、検出されたポジションに応じて選択する操作が、前記検出されたジェスチャと、前記向きが含まれていることが検出された前記方向的境界設定とに関連付けられる前記制御ポリシーの1つを選択することを含む
    コンピュータプログラム。
JP2016549085A 2014-01-30 2015-01-16 ジェスチャ制御 Active JP6445025B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14153288.7 2014-01-30
EP14153288 2014-01-30
PCT/EP2015/050721 WO2015113833A1 (en) 2014-01-30 2015-01-16 Gesture control

Publications (3)

Publication Number Publication Date
JP2017506794A JP2017506794A (ja) 2017-03-09
JP2017506794A5 JP2017506794A5 (ja) 2018-02-22
JP6445025B2 true JP6445025B2 (ja) 2018-12-26

Family

ID=50064432

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016549085A Active JP6445025B2 (ja) 2014-01-30 2015-01-16 ジェスチャ制御

Country Status (6)

Country Link
US (1) US9872362B2 (ja)
EP (1) EP3100249B1 (ja)
JP (1) JP6445025B2 (ja)
CN (1) CN106164995B (ja)
ES (1) ES2936342T3 (ja)
WO (1) WO2015113833A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3338517B1 (en) 2015-08-20 2023-06-07 Signify Holding B.V. Spatial light effects based on lamp location
US10057078B2 (en) 2015-08-21 2018-08-21 Samsung Electronics Company, Ltd. User-configurable interactive region monitoring
DE102015218844A1 (de) * 2015-09-30 2017-03-30 Tridonic Gmbh & Co Kg Verfahren zum Steuern einer Beleuchtungsvorrichtung und Beleuchtungssystem
JP6611038B2 (ja) * 2015-10-06 2019-11-27 パナソニックIpマネジメント株式会社 照明制御装置及び照明システム
US11206728B2 (en) 2016-05-30 2021-12-21 Signify Holding B.V. Lighting control
DE102016212234A1 (de) * 2016-07-05 2018-01-11 Siemens Aktiengesellschaft Verfahren zur Interaktion eines Bedieners mit einem technischen Objekt
KR20180062036A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 조명 제어장치 및 방법
WO2018206359A1 (en) * 2017-05-08 2018-11-15 Philips Lighting Holding B.V. Voice control
EP3445138A1 (en) * 2017-08-17 2019-02-20 Philips Lighting Holding B.V. Storing a preference for a light state of a light source in dependence on an attention shift
WO2019034542A1 (en) * 2017-08-17 2019-02-21 Philips Lighting Holding B.V. CONTROL OF LIGHTING SYSTEM
EP3782439B1 (en) 2018-04-19 2021-11-10 Signify Holding B.V. A method of selecting a controllable lighting device from a plurality of lighting devices
WO2020035429A1 (en) * 2018-08-14 2020-02-20 Signify Holding B.V. A device for providing an action upon detecting an object in a space
EP3626166A1 (en) * 2018-09-19 2020-03-25 Koninklijke Philips N.V. Device, system and method for providing a skeleton model
DK3987891T3 (da) 2019-06-18 2023-03-20 Signify Holding Bv System og fremgangsmåder til at tilvejebringe gruppebelysningsinteraktion

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69830295T2 (de) 1997-11-27 2005-10-13 Matsushita Electric Industrial Co., Ltd., Kadoma Steuerungsverfahren
JP4304337B2 (ja) 2001-09-17 2009-07-29 独立行政法人産業技術総合研究所 インタフェース装置
US9213324B2 (en) 2009-06-30 2015-12-15 Koninklijke Philips N.V. Systems and methods for managing interaction with controllable lighting networks
CN102055735A (zh) * 2009-11-04 2011-05-11 中国移动通信集团山东有限公司 防火墙访问控制策略的配置方法及装置
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US9477324B2 (en) * 2010-03-29 2016-10-25 Hewlett-Packard Development Company, L.P. Gesture processing
CN102812416B (zh) * 2010-06-17 2015-10-07 松下电器(美国)知识产权公司 指示输入装置、指示输入方法、程序、记录介质以及集成电路
DE102010027491A1 (de) 2010-07-16 2012-01-19 Schaeffler Technologies Gmbh & Co. Kg Überwachungssystem für einen schienengebundenen Waren- oder Personentransport in einem Waggon
JP2012028015A (ja) 2010-07-20 2012-02-09 Toshiba Corp 照明制御システムおよび照明制御方法
DE102010032761A1 (de) 2010-07-29 2012-02-02 E:Cue Control Gmbh Verfahren zur Steuerung einer Beleuchtungsanlage, Steuerung für eine Beleuchtungsanlage und Beleuchtungsanlage
US8659230B2 (en) 2011-06-16 2014-02-25 Panasonic Corporation Illumination control system
WO2013014582A1 (en) * 2011-07-22 2013-01-31 Koninklijke Philips Electronics N.V. Control unit and method for lighting control
WO2013175341A2 (en) * 2012-05-24 2013-11-28 Koninklijke Philips N.V. Method and apparatus for controlling multiple devices
WO2014026226A1 (en) * 2012-08-13 2014-02-20 Organic Response Investors Pty Ltd A lighting control apparatus and process
US9430044B2 (en) * 2013-03-15 2016-08-30 Lutron Electronics Co., Inc. Gesture-based load control
CN103532945B (zh) * 2013-09-30 2017-01-18 华为技术有限公司 分享控制方法和相关设备及通信系统

Also Published As

Publication number Publication date
EP3100249A1 (en) 2016-12-07
CN106164995A (zh) 2016-11-23
ES2936342T3 (es) 2023-03-16
CN106164995B (zh) 2019-07-12
JP2017506794A (ja) 2017-03-09
EP3100249B1 (en) 2022-12-21
WO2015113833A1 (en) 2015-08-06
US9872362B2 (en) 2018-01-16
US20160345407A1 (en) 2016-11-24

Similar Documents

Publication Publication Date Title
JP6445025B2 (ja) ジェスチャ制御
EP3511918B1 (en) Controlling a lighting system using a mobile terminal
EP3192330B1 (en) Lighting preference arbitration.
US9247620B2 (en) Controlling light source(s) via a portable device
US9301372B2 (en) Light control method and lighting device using the same
CN108605400B (zh) 一种控制照明设备的方法
JP6603241B2 (ja) 照明システム
CN107950078B (zh) 具有基于背景的光输出的照明设备
CN109417843B (zh) 照明控制的设备和方法
US20200265647A1 (en) Augmented Reality-Based Lighting System Design And Commissioning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181128

R150 Certificate of patent or registration of utility model

Ref document number: 6445025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250