WO2018150569A1 - ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 - Google Patents
ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 Download PDFInfo
- Publication number
- WO2018150569A1 WO2018150569A1 PCT/JP2017/006121 JP2017006121W WO2018150569A1 WO 2018150569 A1 WO2018150569 A1 WO 2018150569A1 JP 2017006121 W JP2017006121 W JP 2017006121W WO 2018150569 A1 WO2018150569 A1 WO 2018150569A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- gesture recognition
- person
- gesture
- specific part
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Definitions
- the person detection method is not particularly defined, but in general, for example, a feature amount common to a person is prepared in advance as a person model, and the feature amount is extracted from the image and compared. There is a method to detect.
- the previous person thermal image storage unit 6 stores the position of each person area shown in the person thermal image S2.
- the TOF method is a method of performing three-dimensional measurement by projecting light toward an object and measuring the time until the projected light is reflected by the object and returned.
- Examples of the triangulation method include a passive triangulation method and an active triangulation method.
- the passive triangulation method the object is photographed simultaneously by two cameras arranged side by side on the left and right, and the three-dimensional measurement is performed using the principle of triangulation from the difference in the position of the object obtained by each camera on the captured image. And is also called a stereo camera system.
- the active triangulation method is a method of irradiating light on an object and performing three-dimensional measurement using the principle of triangulation based on information on reflected light from the object.
- the gesture recognition apparatus shown in each embodiment includes a thermal image sensor that acquires thermal image data provided in the projection direction of the projector, a three-dimensional sensor that can measure a three-dimensional position, and A camera is provided.
- a person who performs hand / finger gestures by gestures using his / her arms recognizes the person's hand / finger gestures, and recognizes the recognition result to a device connected to the gesture recognition device, such as a projector or PC Output to.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
ジェスチャーの認識を迅速に行うもので、撮像した画像内の人物を示す第1の画像を出力する第1の画像取得部と、前記第1の画像に示される人物の第1の特定部位を検出する第1特定部位検出部と、前記第1の画像の前記第1の特定部位におけるジェスチャーから前記第1の画像に示される人物のうちの一人を特定する第1特定部位ジェスチャー認識部と、前記第1特定部位ジェスチャー認識部により特定された人物の第2の特定部位を検出する第2特定部位検出部と、第2の画像を取得して出力する第2の画像取得部と、前記第2の画像の前記第2の特定部位におけるジェスチャーを検出する第2特定部位ジェスチャー認識部と、を有する。
Description
本発明は、ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置に関する。
近年、特許文献1(特表2013-541747号公報)に開示されるように、デジタルサイネージやPCなどを操作するためのユーザーインターフェースとしてジェスチャーが使われるようになってきている。ジェスチャー操作においては、ジェスチャーで操作する人が1人だけ、ディスプレイやPCに比較的近距離で正対し、ディスプレイやPC備えられたカメラに向かって操作するためのジェスチャーを行っている。
プロジェクタの操作は主にリモコンによって行われているが、プレゼンターがプレゼンテーションを円滑に行いながら操作するために、プレゼンターのジェスチャーによってプロジェクタを操作することが求められてきている。
プロジェクタの操作は主にリモコンによって行われているが、プレゼンターがプレゼンテーションを円滑に行いながら操作するために、プレゼンターのジェスチャーによってプロジェクタを操作することが求められてきている。
プロジェクタの操作に、操作者の手、指などの動作によるジェスチャー認識を用いる場合、手、指などの動作をカメラにより認識することが必要となる。プロジェクタを用いてプレゼンテーションを行い、プロジェクタの操作をプレゼンターが行う場合には、プレゼンターが存在することが推定される、映像が投写されるスクリーンの周辺を含む広範囲の領域がカメラの認識対象となる。この場合、使用するカメラには高解像度のものであることが要求されるため、手の位置の検出に時間がかかることからリアルタイムで手、指の動作を認識するのが難しいという問題がある。
また、プロジェクタからスクリーンなどへ投写された映像の中に人物の映像があると、映像中の人物の手、指を操作者の手、指と誤検出する可能性がある。
また、プロジェクタからスクリーンなどへ投写された映像の中に人物の映像があると、映像中の人物の手、指を操作者の手、指と誤検出する可能性がある。
誤検出に対しては、熱画像センサや3次元センサで検出することにより、映像中の人物を除いて検出する方法がある。
熱画像センサおよび3次元センサのいずれも解像度が低いため、上記のような広範囲の領域で手、指を検出するには解像度が足りない。
さらに、上記のようなプレゼンテーションではプレゼンターが2人以上いることもあり、プレゼンターが2人以上いる場合にはジェスチャーによりプロジェクタを操作する人物を特定する必要がある。また、操作を行う人物が変更される場合には特定する人物の切替えを行わなければならない。ジェスチャー操作する人物の切替えるときに、ある人物の手、指のジェスチャー認識を行いつつ、他の人物によるジェスチャー操作者切替えのためのジェスチャーを認識したりすることが必要で時間がかかるという問題がある。
熱画像センサおよび3次元センサのいずれも解像度が低いため、上記のような広範囲の領域で手、指を検出するには解像度が足りない。
さらに、上記のようなプレゼンテーションではプレゼンターが2人以上いることもあり、プレゼンターが2人以上いる場合にはジェスチャーによりプロジェクタを操作する人物を特定する必要がある。また、操作を行う人物が変更される場合には特定する人物の切替えを行わなければならない。ジェスチャー操作する人物の切替えるときに、ある人物の手、指のジェスチャー認識を行いつつ、他の人物によるジェスチャー操作者切替えのためのジェスチャーを認識したりすることが必要で時間がかかるという問題がある。
本発明はジェスチャーの認識を迅速に行うジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置を実現する。
本発明のジェスチャー認識装置は、撮像した画像内の人物を示す第1の画像を出力する第1の画像取得部と、
前記第1の画像に示される人物の第1の特定部位を検出する第1特定部位検出部と、
前記第1の画像の前記第1の特定部位におけるジェスチャーから前記第1の画像に示される人物のうちの一人を特定する第1特定部位ジェスチャー認識部と、
前記第1特定部位ジェスチャー認識部により特定された人物の第2の特定部位を検出する第2特定部位検出部と、
第2の画像を取得して出力する第2の画像取得部と、
前記第2の画像の前記第2の特定部位におけるジェスチャーを検出する第2特定部位ジェスチャー認識部と、
を有する。
本発明のプロジェクタは、上記のジェスチャー認識装置を備え、前記第2特定部位ジェスチャー認識部にて検出されたジェスチャーに応じて動作を切替える。
前記第1の画像に示される人物の第1の特定部位を検出する第1特定部位検出部と、
前記第1の画像の前記第1の特定部位におけるジェスチャーから前記第1の画像に示される人物のうちの一人を特定する第1特定部位ジェスチャー認識部と、
前記第1特定部位ジェスチャー認識部により特定された人物の第2の特定部位を検出する第2特定部位検出部と、
第2の画像を取得して出力する第2の画像取得部と、
前記第2の画像の前記第2の特定部位におけるジェスチャーを検出する第2特定部位ジェスチャー認識部と、
を有する。
本発明のプロジェクタは、上記のジェスチャー認識装置を備え、前記第2特定部位ジェスチャー認識部にて検出されたジェスチャーに応じて動作を切替える。
本発明の映像信号供給装置は、上記のジェスチャー認識装置を備え、前記第2特定部位ジェスチャー認識部にて検出されたジェスチャーに応じて出力する映像の変更や動作を切替える。
本発明のジェスチャー認識方法は、撮像した画像内の人物を示す第1の画像を取得し、
前記第1の画像に示される人物の第1の特定部位を検出し、
前記第1の画像の前記第1の特定部位におけるジェスチャーから前記第1の画像に示される人物のうちの一人を特定し、
前記特定された人物の第2の特定部位を検出し、
第2の画像を取得し、
前記第2の画像の前記第2の特定部位におけるジェスチャーを検出する。
本発明のジェスチャー認識方法は、撮像した画像内の人物を示す第1の画像を取得し、
前記第1の画像に示される人物の第1の特定部位を検出し、
前記第1の画像の前記第1の特定部位におけるジェスチャーから前記第1の画像に示される人物のうちの一人を特定し、
前記特定された人物の第2の特定部位を検出し、
第2の画像を取得し、
前記第2の画像の前記第2の特定部位におけるジェスチャーを検出する。
上記の構成を備える本発明は、ジェスチャーの認識を迅速に行うジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置を実現する。
第1の実施形態
次に、本発明の実施形態について図面を参照して説明する。図1は、本発明によるジェスチャー認識装置の一実施形態の構成を示すブロック図である。本実施形態のジェスチャー認識装置は、第1の特定部位としての腕によるジェスチャーにより操作を行う人物を認識し、第2の特定部位としての手、および、指のジェスチャーにより操作内容を認識するものである。
図1に示すジェスチャー認識装置は、熱画像センサ1、人物熱画像抽出部2、人物検出部3、腕位置検出部4、腕ジェスチャー認識部5、前人物熱画像格納部6、人物追跡部7、前人物位置格納部8、手位置検出部9、キャリブレーションデータ格納部10、手位置カメラ座標変換部11、カメラ12、手指ジェスチャー認識部13、および、制御部14から構成されている。
次に、本発明の実施形態について図面を参照して説明する。図1は、本発明によるジェスチャー認識装置の一実施形態の構成を示すブロック図である。本実施形態のジェスチャー認識装置は、第1の特定部位としての腕によるジェスチャーにより操作を行う人物を認識し、第2の特定部位としての手、および、指のジェスチャーにより操作内容を認識するものである。
図1に示すジェスチャー認識装置は、熱画像センサ1、人物熱画像抽出部2、人物検出部3、腕位置検出部4、腕ジェスチャー認識部5、前人物熱画像格納部6、人物追跡部7、前人物位置格納部8、手位置検出部9、キャリブレーションデータ格納部10、手位置カメラ座標変換部11、カメラ12、手指ジェスチャー認識部13、および、制御部14から構成されている。
熱画像センサ1および人物熱画像抽出部2は第1の画像取得部を構成し、人物検出部3および腕位置検出部4は第1特定部位検出部を構成する。腕ジェスチャー認識部5は第1特定部位ジェスチャー認識部を構成し、前人物熱画像格納部6、人物追跡部7、前人物位置格納部8、手位置検出部9、キャリブレーションデータ格納部10、手位置カメラ座標変換部11は第2特定部位検出部を構成する。カメラ12は第2の画像取得部を構成し、手指ジェスチャー認識部13は第2特定部位ジェスチャー認識部を構成する。
以下に、本実施形態の各部の動作について説明する。
熱画像センサ1はカメラ12と同様の撮影範囲の熱画像を撮影し、撮影内容を示す熱画像S1を人物熱画像抽出部2へ出力する。
人物熱画像抽出部2は、熱画像S1に示される熱画像の中で、人間の体温に近い領域を人物領域として抽出し、抽出した人物領域を示す人物熱画像S2を、人物検出部3、腕位置検出部4、腕ジェスチャー認識部5、前人物熱画像格納部6、人物追跡部7、および、手位置検出部9へ出力する。
人物検出部3は、人物熱画像S2に示される人物領域の全ての位置を検出し、人物位置信号S3として腕位置検出部4、および、人物追跡部7へ出力する。
熱画像センサ1はカメラ12と同様の撮影範囲の熱画像を撮影し、撮影内容を示す熱画像S1を人物熱画像抽出部2へ出力する。
人物熱画像抽出部2は、熱画像S1に示される熱画像の中で、人間の体温に近い領域を人物領域として抽出し、抽出した人物領域を示す人物熱画像S2を、人物検出部3、腕位置検出部4、腕ジェスチャー認識部5、前人物熱画像格納部6、人物追跡部7、および、手位置検出部9へ出力する。
人物検出部3は、人物熱画像S2に示される人物領域の全ての位置を検出し、人物位置信号S3として腕位置検出部4、および、人物追跡部7へ出力する。
腕位置検出部4は、人物検出部3からの人物位置信号S3と人物熱画像抽出部2からの人物熱画像S2から、検出された全ての人物の両腕の位置を検出し、その検出内容を示す腕位置検出信号S4を腕ジェスチャー認識部5へ出力する。
腕ジェスチャー認識部5は腕位置検出部4から送られてくる腕位置検出信号S4に示される腕位置検出部4で検出された全ての人物の両腕の位置と、人物熱画像抽出部2から送られてくる人物熱画像S2から、すべての人物領域で行われる腕によるジェスチャーおよび該ジェスチャーが示す操作内容を認識する。ここで、認識した操作内容が手指ジェスチャーの対象となる人物を切替えるものである場合には、ジェスチャーを認識する対象人物を切替る旨を示す対象人物切替信号S5と対象人物の位置を示す対象人物位置信号S6を人物追跡部7へ出力する。
腕ジェスチャー認識部5は腕位置検出部4から送られてくる腕位置検出信号S4に示される腕位置検出部4で検出された全ての人物の両腕の位置と、人物熱画像抽出部2から送られてくる人物熱画像S2から、すべての人物領域で行われる腕によるジェスチャーおよび該ジェスチャーが示す操作内容を認識する。ここで、認識した操作内容が手指ジェスチャーの対象となる人物を切替えるものである場合には、ジェスチャーを認識する対象人物を切替る旨を示す対象人物切替信号S5と対象人物の位置を示す対象人物位置信号S6を人物追跡部7へ出力する。
本実施形態では、人物検出の方法は特に規定しないが、一般的には、たとえば、人物に共通の特徴量をあらかじめ人物モデルとして用意しておき、画像から特徴量を抽出し比較することにより人物を検出する方法などがある。前人物熱画像格納部6は人物熱画像S2に示される各人物領域の位置を格納する。
人物追跡部7は、人物熱画像抽出部2からの人物熱画像S2、人物検出部3からの人物位置信号S3、前人物熱画像格納部6に格納されている前フレームの人物熱画像、8に格納されている前フレームの対象人物の位置を示す対象人物位置追跡信号S8により対象人物を追跡し、現フレームでの位置を取得するとともに、その対象人物の位置を対象人物位置追跡信号S8として前人物位置格納部8、および、手位置検出部9へ出力する。また、腕ジェスチャー認識部5からの対象人物切替信号S5により対象人物の切替を認識したときには、追跡する対象人物を腕ジェスチャー認識部5からの対象人物位置信号S6で示される人物に切り替え、次のフレーム以降は新しい人物の位置を追跡する。なお、一番初めは、腕ジェスチャーにより対象人物を決め、追跡を開始する。
人物追跡部7は、人物熱画像抽出部2からの人物熱画像S2、人物検出部3からの人物位置信号S3、前人物熱画像格納部6に格納されている前フレームの人物熱画像、8に格納されている前フレームの対象人物の位置を示す対象人物位置追跡信号S8により対象人物を追跡し、現フレームでの位置を取得するとともに、その対象人物の位置を対象人物位置追跡信号S8として前人物位置格納部8、および、手位置検出部9へ出力する。また、腕ジェスチャー認識部5からの対象人物切替信号S5により対象人物の切替を認識したときには、追跡する対象人物を腕ジェスチャー認識部5からの対象人物位置信号S6で示される人物に切り替え、次のフレーム以降は新しい人物の位置を追跡する。なお、一番初めは、腕ジェスチャーにより対象人物を決め、追跡を開始する。
各信号S2~S8は、熱画像S1に示される熱画像のフレームごとに更新され、人物検出部3、腕位置検出部4、腕ジェスチャー認識部5、前人物熱画像格納部6、人物追跡部7、および、前人物位置格納部8への入力内容や出力内容、もしくは、格納内容も熱画像S1に示される熱画像のフレームごとに更新される。
手位置検出部9は、人物追跡部7から出力された対象人物位置追跡信号S8に示される対象人物の位置から、人物熱画像S2における対象人物の両手の位置を検出し、手位置信号S9として手位置カメラ座標変換部11へ出力する。
キャリブレーションデータ格納部10は、熱画像センサ1の座標系とカメラ12の座標系の位置関係を計測した結果により得られた、熱画像センサ1の座標系をカメラ12の座標系に変換するキャリブレーションを行うためのパラメータを格納する。
手位置検出部9は、人物追跡部7から出力された対象人物位置追跡信号S8に示される対象人物の位置から、人物熱画像S2における対象人物の両手の位置を検出し、手位置信号S9として手位置カメラ座標変換部11へ出力する。
キャリブレーションデータ格納部10は、熱画像センサ1の座標系とカメラ12の座標系の位置関係を計測した結果により得られた、熱画像センサ1の座標系をカメラ12の座標系に変換するキャリブレーションを行うためのパラメータを格納する。
手位置カメラ座標変換部11は、キャリブレーションデータ格納部10に格納されているパラメータを使用して手位置検出部9から送られてきた手位置信号S9に示される、対象人物の両手の位置をカメラ座標系の位置に変換し、カメラ座標信号S10として手指ジェスチャー認識部13へ出力する。
手指ジェスチャー認識部13には、カメラ12により撮影された映像を示す映像信号S11が入力されており、手指ジェスチャー認識部13はカメラ座標信号S10に示される位置で行われている手指によるジェスチャー、および、該手指によるジェスチャーに示される内容を認識し、手指によるジェスチャーに示される内容を制御部14へ出力する。
手指ジェスチャー認識部13には、カメラ12により撮影された映像を示す映像信号S11が入力されており、手指ジェスチャー認識部13はカメラ座標信号S10に示される位置で行われている手指によるジェスチャー、および、該手指によるジェスチャーに示される内容を認識し、手指によるジェスチャーに示される内容を制御部14へ出力する。
制御部14では、手指ジェスチャー認識部13から送られてきた該認識内容に応じた制御信号S12を出力する。
本実施形態のジェスチャー認識装置は、PC(Personal Computer:パーソナル コンピュータ)やプロジェクタなどと組み合わされるもので、PCやプロジェクタの内部に組み込まれる形態も含まれる。
図2は、図1に示したジェスチャー認識装置が組み込まれたプロジェクタ101とその投写対象物における投写エリア、および、プレゼンターの移動エリアとの関係を示す図である。
本実施形態のジェスチャー認識装置は、PC(Personal Computer:パーソナル コンピュータ)やプロジェクタなどと組み合わされるもので、PCやプロジェクタの内部に組み込まれる形態も含まれる。
図2は、図1に示したジェスチャー認識装置が組み込まれたプロジェクタ101とその投写対象物における投写エリア、および、プレゼンターの移動エリアとの関係を示す図である。
図2に示すようにプロジェクタ101では、プロジェクタの投写対象物であるスクリーン106における投写エリア104だけでなく、映像が投写されるスクリーン106、および、投写映像によるプレゼンテーション実行時にプレゼンターが立つことが予想されるスクリーン106の両側の領域を含むプレゼンターの移動エリア105をカバーする形で、プロジェクタ101に設けられた熱画像センサ102およびカメラ103の撮像範囲が設定されている。熱画像センサ102でスクリーン106の前や周辺にいる人物、および、その腕や手の位置を検出するとともに腕を使ったジェスチャーを認識でき、カメラ103により、手、指によるジェスチャーを認識できるようになっている。
熱画像センサ102とカメラ103の撮像範囲の設定にあたっては、図3に示すように投写対象物であるスクリーン109A,112Bまでの距離により投写対象物における投写エリア107A,110Bや必要なスクリーン109A,112Bの大きさは変わるが、プレゼンターの大きさや投写対象物であるスクリーン109A,112Bなどの両側のプレゼンターの立つ移動エリア108A,111Bの大きさは投写距離に関わらず一定なので、想定される最小の投写距離のプレゼンターの移動エリアに合わせて範囲を設定する必要がある。
熱画像センサ102とカメラ103の撮像範囲の設定にあたっては、図3に示すように投写対象物であるスクリーン109A,112Bまでの距離により投写対象物における投写エリア107A,110Bや必要なスクリーン109A,112Bの大きさは変わるが、プレゼンターの大きさや投写対象物であるスクリーン109A,112Bなどの両側のプレゼンターの立つ移動エリア108A,111Bの大きさは投写距離に関わらず一定なので、想定される最小の投写距離のプレゼンターの移動エリアに合わせて範囲を設定する必要がある。
図4はジェスチャー認識装置が組み込まれたプロジェクタが、PCと接続した例を示す図である。図4においては、PC113の映像出力115がプロジェクタ101に入力され、PC113からの映像115がプロジェクタ101から投写されるとともに、PC113とプロジェクタ101が通信手段により接続され、データ114のやりとりが相互に行えるように構成されている。
図4に示す例においては、制御部14は、手指ジェスチャー認識部13で認識された手指によるジェスチャーの内容に応じて制御出力を行い、プロジェクタ101を制御するか、あるいは、通信手段を介して接続されているPC113を制御する。
図4に示す例においては、制御部14は、手指ジェスチャー認識部13で認識された手指によるジェスチャーの内容に応じて制御出力を行い、プロジェクタ101を制御するか、あるいは、通信手段を介して接続されているPC113を制御する。
以上により、ジェスチャー操作を行う人物が高速に切替えられ、また、その人物の手指によるジェスチャーが高速に検出される。
上記のように構成される本実施形態においては、熱画像センサで人物を検出することにより、プロジェクタからスクリーンなどへ投写された映像の中の人物を誤検出することなく手指ジェスチャー認識することができる。
また、熱画像センサであらかじめ手の位置を検出することにより、カメラによる手指ジェスチャー認識を高速に認識することができる。
さらに、カメラよる手指ジェスチャー認識と並行して熱画像センサにより腕ジェスチャー認識を行うことから、手指ジェスチャーの対象となる人物の切替を高速に行うことができる。
上記のように構成される本実施形態においては、熱画像センサで人物を検出することにより、プロジェクタからスクリーンなどへ投写された映像の中の人物を誤検出することなく手指ジェスチャー認識することができる。
また、熱画像センサであらかじめ手の位置を検出することにより、カメラによる手指ジェスチャー認識を高速に認識することができる。
さらに、カメラよる手指ジェスチャー認識と並行して熱画像センサにより腕ジェスチャー認識を行うことから、手指ジェスチャーの対象となる人物の切替を高速に行うことができる。
第2の実施形態
図5は本発明によるジェスチャー認識装置の第2の実施形態の構成を示すブロック図である。
本実施形態は、第1の実施形態における熱画像センサの代わりに3次元センサを使用するもので、図1に示した熱画像センサ1の代わりに3次元センサ16が設けられ、人物熱画像抽出部2の代わりに人物3次元位置データ格納部18、前人物熱画像格納部6の代わりに前3次元位置データ格納部19が設けられ、新たに背景3次元位置データ格納部17が設けられている。
本実施例では、あらかじめスクリーンの周辺に人物がいないときに3次元センサ16によって3次元位置データを取得して背景の3次元データとして背景3次元位置データ格納部17に格納しておく。その後、3次元センサ16により、人物を含む3次元位置データを取得したときに、人物3次元位置データ格納部18において、取得した3次元位置データと背景3次元位置データ格納部17に格納されている背景の3次元位置データと異なる部分を人物領域として抽出し、人物3次元位置データとして出力する。その後の処理は、人物熱画像が人物3次元位置データに代わっただけで図1に示した第1の実施形態と同じである。
図5は本発明によるジェスチャー認識装置の第2の実施形態の構成を示すブロック図である。
本実施形態は、第1の実施形態における熱画像センサの代わりに3次元センサを使用するもので、図1に示した熱画像センサ1の代わりに3次元センサ16が設けられ、人物熱画像抽出部2の代わりに人物3次元位置データ格納部18、前人物熱画像格納部6の代わりに前3次元位置データ格納部19が設けられ、新たに背景3次元位置データ格納部17が設けられている。
本実施例では、あらかじめスクリーンの周辺に人物がいないときに3次元センサ16によって3次元位置データを取得して背景の3次元データとして背景3次元位置データ格納部17に格納しておく。その後、3次元センサ16により、人物を含む3次元位置データを取得したときに、人物3次元位置データ格納部18において、取得した3次元位置データと背景3次元位置データ格納部17に格納されている背景の3次元位置データと異なる部分を人物領域として抽出し、人物3次元位置データとして出力する。その後の処理は、人物熱画像が人物3次元位置データに代わっただけで図1に示した第1の実施形態と同じである。
3次元センサ16としては、例えば、TOF(Time of Flight)方式や三角測量方式の3次元センサを用いることができるが、これらの方式に限定されることはない。TOF方式は、光を対象物に向けて投射し、その投射光が対象物で反射されて戻ってくるまでの時間を計測することで3次元計測を行う方式である。三角測量方式には、例えば、パッシブ三角測量方式やアクティブ三角測量方式などがある。パッシブ三角測量方式は、左右に並べて配置された2台のカメラで同時に対象物を撮影し、各カメラで得られる対象物の撮像画像上の位置の違いから三角測量の原理を用いて3次元計測を行う方式であり、ステレオカメラ方式とも呼ばれている。アクティブ三角測量方式は、対象物に光を照射し、対象物からの反射光の情報に基づいて、三角測量の原理を用いて3次元計測を行う方式である。
第3の実施形態
図6は本発明によるジェスチャー認識装置の第3の実施形態の構成を示すブロック図である。本実施形態は、図1におけるカメラとして、スクリーン、および、その周辺を撮像範囲とし、かつ、手指部分に対する十分な解像度が取れる高解像度のカメラが使用できないときに、低解像度のカメラを使用し、その向きを対象人物の手の位置に合わせて変えるものである。
本実施形態では、図1におけるカメラ10の代わりに、カメラ10よりも低解像度の低解像度カメラ20が設けられ、新たに低解像度カメラ20の向きを変えるためのパン・チルト機構21と、パン・チルト機構21を制御するためのパン・チルト駆動部22が設けられている。
図6は本発明によるジェスチャー認識装置の第3の実施形態の構成を示すブロック図である。本実施形態は、図1におけるカメラとして、スクリーン、および、その周辺を撮像範囲とし、かつ、手指部分に対する十分な解像度が取れる高解像度のカメラが使用できないときに、低解像度のカメラを使用し、その向きを対象人物の手の位置に合わせて変えるものである。
本実施形態では、図1におけるカメラ10の代わりに、カメラ10よりも低解像度の低解像度カメラ20が設けられ、新たに低解像度カメラ20の向きを変えるためのパン・チルト機構21と、パン・チルト機構21を制御するためのパン・チルト駆動部22が設けられている。
本実施形態においても、第1の実施形態および第2の実施形態と同様に、キャリブレーションデータ格納部10には熱画像センサ1の座標系を、低解像度カメラ20の座標系に変換するためのパラメータがあらかじめ格納されている。このパラメータは、低解像度カメラ20の撮影方向が上下角0、左右角0のときに対応している。手位置カメラ座標変換部11は、手位置検出部9で検出された両手の位置を、キャリブレーションデータ格納部10に格納されているパラメータによりカメラ画像座標系における両手の位置に変換して低解像度カメラ20の座標系における両手の位置を示すカメラ座標信号S10として手指ジェスチャー認識部13へ出力する。また、パン・チルト駆動部22に対しては、低解像度カメラ20による画像における両手の位置を出力する。パン・チルト駆動部22はパン・チルト機構21を駆動し、低解像度カメラ20の撮像画像の左右、上下方向を調整することにより、カメラ画像座標系における両手の位置に低解像度カメラ20が向くように制御を行う。手指ジェスチャー認識部13でカメラ画像中のカメラ座標系における両手に位置にある指を検出し、手指によるジェスチャーを認識する。
第4の実施形態
図7は本発明によるジェスチャー認識装置の第4の実施形態の構成を示すブロック図である。
本実施形態は、第2の実施形態と同様に、第1の実施形態における熱画像センサの代わりに3次元センサを使用するもので、図1に示した熱画像センサ1の代わりに3次元センサ16が設けられ、人物熱画像抽出部2の代わりに人物3次元位置データ格納部18、前人物熱画像格納部6の代わりに前3次元位置データ格納部19が設けられ、新たに背景3次元位置データ格納部17が設けられている。
図7は本発明によるジェスチャー認識装置の第4の実施形態の構成を示すブロック図である。
本実施形態は、第2の実施形態と同様に、第1の実施形態における熱画像センサの代わりに3次元センサを使用するもので、図1に示した熱画像センサ1の代わりに3次元センサ16が設けられ、人物熱画像抽出部2の代わりに人物3次元位置データ格納部18、前人物熱画像格納部6の代わりに前3次元位置データ格納部19が設けられ、新たに背景3次元位置データ格納部17が設けられている。
また、第2の実施形態と同様に、図1におけるカメラとして、スクリーン、および、その周辺を撮像範囲とし、かつ、手指部分に対する十分な解像度が取れる高解像度のカメラが使用できないときに、低解像度のカメラを使用し、その向きを対象人物の手の位置に合わせて変えるものである。
本実施形態では、図1におけるカメラ10の代わりに、カメラ10よりも低解像度の低解像度カメラ20が設けられ、新たに低解像度カメラ20の向きを変えるためのパン・チルト機構21と、パン・チルト機構21を制御するためのパン・チルト駆動部22が設けられている。
本実施形態では、図1におけるカメラ10の代わりに、カメラ10よりも低解像度の低解像度カメラ20が設けられ、新たに低解像度カメラ20の向きを変えるためのパン・チルト機構21と、パン・チルト機構21を制御するためのパン・チルト駆動部22が設けられている。
本実施例では、あらかじめスクリーンの周辺に人物がいないときに3次元センサ16によって3次元位置データを取得して背景の3次元データとして背景3次元位置データ格納部17に格納しておく。その後、3次元センサ16により、人物を含む3次元位置データを取得したときに、人物3次元位置データ格納部18において、取得した3次元位置データと背景3次元位置データ格納部17に格納されている背景の3次元位置データと異なる部分を人物領域として抽出し、人物3次元位置データとして出力する。
本実施形態においても、第1の実施形態ないし第3の実施形態と同様に、キャリブレーションデータ格納部10には熱画像センサ1の座標系を、低解像度カメラ20の座標系に変換するためのパラメータがあらかじめ格納されている。このパラメータは、低解像度カメラ20の撮影方向が上下角0、左右角0のときに対応している。手位置カメラ座標変換部11は、手位置検出部9で検出された両手の位置を、キャリブレーションデータ格納部10に格納されているパラメータによりカメラ画像座標系における両手の位置に変換して低解像度カメラ20の座標系における両手の位置を示すカメラ座標信号S10として手指ジェスチャー認識部13へ出力する。また、パン・チルト駆動部22に対しては、低解像度カメラ20による画像における両手の位置を出力する。パン・チルト駆動部22はパン・チルト機構21を駆動し、低解像度カメラ20の撮像画像の左右、上下方向を調整することにより、カメラ画像座標系における両手の位置に低解像度カメラ20が向くように制御を行う。手指ジェスチャー認識部13でカメラ画像中のカメラ座標系における両手に位置にある指を検出し、手指によるジェスチャーを認識する。
上記のように、各実施形態に示されるジェスチャー認識装置は、プロジェクタの投写方向に向けて備えられた熱画像データを取得する熱画像センサ、あるいは、3次元位置を計測できる3次元センサ、および、カメラを具備する。熱画像センサ、あるいは、3次元センサによりプロジェクタにより映像が投写されるスクリーンなどの前や周辺にいる人物、および、その腕や手の位置を検出するとともに腕を使ったジェスチャーを認識し、カメラにより手、指によるジェスチャーを認識する。腕を使ったジェスチャーにより、手、指ジェスチャーを行う人物を切替え、その人物の、手、指のジェスチャーを認識し、認識結果をジェスチャー認識装置に接続された装置、たとえば、プロジェクタ、あるいは、PCなどへ出力する。
低解像度の熱画像センサ、あるいは、3次元センサで誤検出することなく人物の手の位置を高速に検出し、カメラでは、熱画像センサ、あるいは、3次元センサで検出された手の位置にある手、指のジェスチャー認識だけを行うことにより、認識を迅速に行うことができる。
また、カメラによる手、指のジェスチャー認識を行いつつ、並行して、熱画像センサ、あるいは、3次元センサにより得られた画像から、腕によるジェスチャー認識を行い、ジェスチャー操作する人物の切替えを行うので、ジェスチャー操作する人物の切替えが高速に行われる。
また、熱画像センサ、あるいは、3次元センサを使うことにより、プロジェクタにより投写されている映像中の人物と実際の人物を区別できるので、誤検出を回避することができる。
また、カメラによる手、指のジェスチャー認識を行いつつ、並行して、熱画像センサ、あるいは、3次元センサにより得られた画像から、腕によるジェスチャー認識を行い、ジェスチャー操作する人物の切替えを行うので、ジェスチャー操作する人物の切替えが高速に行われる。
また、熱画像センサ、あるいは、3次元センサを使うことにより、プロジェクタにより投写されている映像中の人物と実際の人物を区別できるので、誤検出を回避することができる。
各実施形態のジェスチャー認識装置は、認識結果をプロジェクタ、あるいは、PCなどへ出力するものであり、その形態には図4に示したようなプロジェクタに組み込まれる形態、あるいは、PCに組み込まれる形態も含まれる。
図8はジェスチャー認識装置701がプロジェクタ702に組み込まれた形態を示している。ジェスチャー認識装置701は第1ないし第3の実施形態のいずれかに示した構成を備えている。プロジェクタ702は映像信号供給装置703より供給される映像信号に示される映像を投写しており、ジェスチャー認識装置701からの認識結果に応じて電源のオンオフ、投写映像の輝度の調整などを行う。映像信号供給装置303としては、PC、ゲーム機器、映像ディスク再生装置などが挙げられる。
図8はジェスチャー認識装置701がプロジェクタ702に組み込まれた形態を示している。ジェスチャー認識装置701は第1ないし第3の実施形態のいずれかに示した構成を備えている。プロジェクタ702は映像信号供給装置703より供給される映像信号に示される映像を投写しており、ジェスチャー認識装置701からの認識結果に応じて電源のオンオフ、投写映像の輝度の調整などを行う。映像信号供給装置303としては、PC、ゲーム機器、映像ディスク再生装置などが挙げられる。
図9はジェスチャー認識装置801が認識結果を映像信号供給装置803およびプロジェクタ802へ出力する形態を示している。ジェスチャー認識装置801は第1ないし第3の実施形態のいずれかに示した構成を備えている。プロジェクタ802は映像信号供給装置803からの映像信号に応じた映像に示される映像を投写している。映像信号供給装置803は、PC、ゲーム機器などであり、ジェスチャー認識装置801からの認識結果に応じて映像信号の切替えや映像信号の内容の変更を行う。また、プロジェクタ802は、ジェスチャー認識装置801からの認識結果に応じて、輝度、ズーム動作など、プロジェクタ82の本体もしくリモコンに備えられている投写映像の調整を行う。
図10はジェスチャー認識装置901が映像信号供給装置903に組み込まれた形態を示している。ジェスチャー認識装置901は第1ないし第3の実施形態のいずれかに示した構成を備えている。プロジェクタ902は映像信号供給装置903からの映像信号に応じた映像に示される映像を投写している。映像信号供給装置903は、PC、ゲーム機器などであり、ジェスチャー認識装置901からの認識結果に応じて映像信号の切替えや映像信号の内容の変更を行う。
図10はジェスチャー認識装置901が映像信号供給装置903に組み込まれた形態を示している。ジェスチャー認識装置901は第1ないし第3の実施形態のいずれかに示した構成を備えている。プロジェクタ902は映像信号供給装置903からの映像信号に応じた映像に示される映像を投写している。映像信号供給装置903は、PC、ゲーム機器などであり、ジェスチャー認識装置901からの認識結果に応じて映像信号の切替えや映像信号の内容の変更を行う。
上述したジェスチャー認識装置801からの認識結果に応じて行われる動作は一例であり、この他にもプロジェクタの操作内容としては、例えば、映像信号入力の端子切り換え、ズーム、描画(アンダーラインなど)など、映像信号供給装置の操作内容としては、pdfやパワーポイントのページ送り、マウスとしての操作などが挙げられ、これら以外にも様々な応用が考えられる。
1 熱画像センサ
2 人物熱画像抽出部
3 人物検出部
4 腕位置検出部
5 腕ジェスチャー認識部
6 前人物熱画像格納部
7 人物追跡部
8 前人物位置格納部
9 手位置検出部
10 キャリブレーションデータ格納部
11 手位置カメラ座標変換部
12 カメラ
13 手指ジェスチャー認識部
14 制御部
2 人物熱画像抽出部
3 人物検出部
4 腕位置検出部
5 腕ジェスチャー認識部
6 前人物熱画像格納部
7 人物追跡部
8 前人物位置格納部
9 手位置検出部
10 キャリブレーションデータ格納部
11 手位置カメラ座標変換部
12 カメラ
13 手指ジェスチャー認識部
14 制御部
Claims (8)
- 撮像した画像内の人物を示す第1の画像を出力する第1の画像取得部と、
前記第1の画像に示される人物の第1の特定部位を検出する第1特定部位検出部と、
前記第1の画像の前記第1の特定部位におけるジェスチャーから前記第1の画像に示される人物のうちの一人を特定する第1特定部位ジェスチャー認識部と、
前記第1特定部位ジェスチャー認識部により特定された人物の第2の特定部位を検出する第2特定部位検出部と、
第2の画像を取得して出力する第2の画像取得部と、
前記第2の画像の前記第2の特定部位におけるジェスチャーを検出する第2特定部位ジェスチャー認識部と、
を有するジェスチャー認識装置。 - 請求項1記載のジェスチャー認識装置において、
前記第1の画像取得部は、熱画像を撮影する熱画像センサと、前記熱画像の中で人間の体温に近い領域を示す前記第1の画像を出力する人物熱画像抽出部と、を有し、
前記第2の画像取得部は、撮像範囲が前記熱画像センサと同じであり、前記熱画像センサよりも解像度が高いカメラである、ジェスチャー認識装置。 - 請求項1記載のジェスチャー認識装置において、
前記第1の画像取得部は、3次元位置データを取得する3次元センサと、前記3次元センサにより取得された人物がいないときの3次元位置データを格納する背景3次元位置データ格納部と、前記3次元センサにより取得された人物がいるときの3次元位置データと前記背景3次元位置データ格納部に格納された背景3次元位置データとの異なる部分を前記第1の画像として出力する人物3次元位置データ抽出部と、を有し、
前記第2の画像取得部は、撮像範囲が前記3次元センサと同じであり、前記3次元センサよりも解像度が高いカメラである、ジェスチャー認識装置。 - 請求項1記載のジェスチャー認識装置において、
前記第1の画像取得部は、熱画像を撮影する熱画像センサと、前記熱画像の中で人間の体温に近い領域を示す前記第1の画像を出力する人物熱画像抽出部と、を有し、
前記第2の画像取得部は、前記熱画像センサよりも解像度が低いカメラと、前記カメラの撮影画像の左右、上下方向を調整するパン・チルト機構と、前記パン・チルト機構により前記カメラを前記第2の特定部位に向かせるパン・チルト駆動部と、を有する、ジェスチャー認識装置。 - 請求項1記載のジェスチャー認識装置において、
前記第1の画像取得部は、3次元位置データを取得する3次元センサと、前記3次元センサにより取得された人物がいないときの3次元位置データを格納する背景3次元位置データ格納部と、前記3次元センサにより取得された人物がいるときの3次元位置データと前記背景3次元位置データ格納部に格納された背景3次元位置データとの異なる部分を前記第1の画像として出力する人物3次元位置データ抽出部と、を有し、
前記第2の画像取得部は、前記熱画像センサよりも解像度が低いカメラと、前記カメラの撮影画像の左右、上下方向を調整するパン・チルト機構と、前記パン・チルト機構により前記カメラを前記第2の特定部位に向かせるパン・チルト駆動部と、を有する、ジェスチャー認識装置。 - 請求項1ないし請求項5のいずれかに記載のジェスチャー認識装置を備え、前記第2特定部位ジェスチャー認識部にて検出されたジェスチャーに応じて動作を切替えるプロジェクタ。
- 請求項1ないし請求項5のいずれかに記載のジェスチャー認識装置を備え、前記第2特定部位ジェスチャー認識部にて検出されたジェスチャーに応じて出力する映像の変更や動作を切替える映像信号供給装置。
- 撮像した画像内の人物を示す第1の画像を取得し、
前記第1の画像に示される人物の第1の特定部位を検出し、
前記第1の画像の前記第1の特定部位におけるジェスチャーから前記第1の画像に示される人物のうちの一人を特定し、
前記特定された人物の第2の特定部位を検出し、
第2の画像を取得し、
前記第2の画像の前記第2の特定部位におけるジェスチャーを検出する、
を有するジェスチャー認識方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/006121 WO2018150569A1 (ja) | 2017-02-20 | 2017-02-20 | ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 |
JP2019500150A JP6866467B2 (ja) | 2017-02-20 | 2017-02-20 | ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/006121 WO2018150569A1 (ja) | 2017-02-20 | 2017-02-20 | ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018150569A1 true WO2018150569A1 (ja) | 2018-08-23 |
Family
ID=63169192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/006121 WO2018150569A1 (ja) | 2017-02-20 | 2017-02-20 | ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6866467B2 (ja) |
WO (1) | WO2018150569A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113348487A (zh) * | 2019-01-29 | 2021-09-03 | 埃韦视觉有限公司 | 眼睛跟踪设备及其方法 |
CN114401371A (zh) * | 2020-08-05 | 2022-04-26 | 深圳市浩瀚卓越科技有限公司 | 追踪控制方法、装置、对象追踪部件和存储介质 |
CN115052103A (zh) * | 2021-03-08 | 2022-09-13 | 本田技研工业株式会社 | 处理装置、移动体、处理方法及存储介质 |
KR102559138B1 (ko) * | 2022-12-28 | 2023-07-25 | 에이아이다이콤 (주) | 차량용 비 접촉식 제어 시스템 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009104297A (ja) * | 2007-10-22 | 2009-05-14 | Mitsubishi Electric Corp | 操作入力装置 |
JP2010036762A (ja) * | 2008-08-06 | 2010-02-18 | Denso Corp | 行動推定装置、プログラム |
JP2013541747A (ja) * | 2010-07-20 | 2013-11-14 | プライムセンス リミテッド | 自然な相互作用のための相互作用現実拡大 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6381361B2 (ja) * | 2014-08-20 | 2018-08-29 | キヤノン株式会社 | データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム |
-
2017
- 2017-02-20 WO PCT/JP2017/006121 patent/WO2018150569A1/ja active Application Filing
- 2017-02-20 JP JP2019500150A patent/JP6866467B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009104297A (ja) * | 2007-10-22 | 2009-05-14 | Mitsubishi Electric Corp | 操作入力装置 |
JP2010036762A (ja) * | 2008-08-06 | 2010-02-18 | Denso Corp | 行動推定装置、プログラム |
JP2013541747A (ja) * | 2010-07-20 | 2013-11-14 | プライムセンス リミテッド | 自然な相互作用のための相互作用現実拡大 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113348487A (zh) * | 2019-01-29 | 2021-09-03 | 埃韦视觉有限公司 | 眼睛跟踪设备及其方法 |
JP2022523306A (ja) * | 2019-01-29 | 2022-04-22 | アイウェイ ビジョン リミテッド | アイトラッキングデバイスおよび方法 |
US12056274B2 (en) | 2019-01-29 | 2024-08-06 | Eyeway Vision Ltd. | Eye tracking device and a method thereof |
CN114401371A (zh) * | 2020-08-05 | 2022-04-26 | 深圳市浩瀚卓越科技有限公司 | 追踪控制方法、装置、对象追踪部件和存储介质 |
CN114401371B (zh) * | 2020-08-05 | 2024-03-26 | 深圳市浩瀚卓越科技有限公司 | 追踪控制方法、装置、对象追踪部件和存储介质 |
CN115052103A (zh) * | 2021-03-08 | 2022-09-13 | 本田技研工业株式会社 | 处理装置、移动体、处理方法及存储介质 |
KR102559138B1 (ko) * | 2022-12-28 | 2023-07-25 | 에이아이다이콤 (주) | 차량용 비 접촉식 제어 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JP6866467B2 (ja) | 2021-04-28 |
JPWO2018150569A1 (ja) | 2019-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11470377B2 (en) | Display apparatus and remote operation control apparatus | |
JP6372487B2 (ja) | 情報処理装置、制御方法、プログラム、および記憶媒体 | |
US20220122279A1 (en) | Imaging method and imaging control apparatus | |
JP5412227B2 (ja) | 映像表示装置、および、その表示制御方法 | |
US20130135199A1 (en) | System and method for user interaction with projected content | |
JP2013076924A5 (ja) | ||
JP6075122B2 (ja) | システム、画像投影装置、情報処理装置、情報処理方法およびプログラム | |
US20090073117A1 (en) | Image Processing Apparatus and Method, and Program Therefor | |
WO2018150569A1 (ja) | ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 | |
TW201426413A (zh) | 三維互動裝置及其操控方法 | |
JP2012238293A (ja) | 入力装置 | |
JP6381361B2 (ja) | データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム | |
US20190369807A1 (en) | Information processing device, information processing method, and program | |
JP2008181198A (ja) | 画像表示システム | |
JP2011095985A (ja) | 画像表示装置 | |
KR101426378B1 (ko) | 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법 | |
JP6452658B2 (ja) | 情報処理装置、およびその制御方法ならびにプログラム | |
KR20160055407A (ko) | 홀로그래피 터치 방법 및 프로젝터 터치 방법 | |
JP2020149336A (ja) | 情報処理装置、表示制御方法、及びプログラム | |
JP2005190283A (ja) | 情報入力装置 | |
JP2013109590A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
WO2015156068A1 (ja) | 画像処理装置及び画像処理方法 | |
JP2018173907A (ja) | 情報処理装置、および情報処理装置の制御方法、プログラム | |
KR20150137908A (ko) | 홀로그래피 터치 방법 및 프로젝터 터치 방법 | |
KR20160017020A (ko) | 홀로그래피 터치 방법 및 프로젝터 터치 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17896662 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019500150 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17896662 Country of ref document: EP Kind code of ref document: A1 |