JP6074494B2 - 形状認識装置、形状認識プログラム、および形状認識方法 - Google Patents
形状認識装置、形状認識プログラム、および形状認識方法 Download PDFInfo
- Publication number
- JP6074494B2 JP6074494B2 JP2015501083A JP2015501083A JP6074494B2 JP 6074494 B2 JP6074494 B2 JP 6074494B2 JP 2015501083 A JP2015501083 A JP 2015501083A JP 2015501083 A JP2015501083 A JP 2015501083A JP 6074494 B2 JP6074494 B2 JP 6074494B2
- Authority
- JP
- Japan
- Prior art keywords
- hand
- chord
- depth
- shape
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 108
- 238000001514 detection method Methods 0.000 claims description 108
- 238000000605 extraction Methods 0.000 claims description 68
- 230000008569 process Effects 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000012417 linear regression Methods 0.000 claims description 7
- 210000003811 finger Anatomy 0.000 description 100
- 238000010586 diagram Methods 0.000 description 47
- 210000004247 hand Anatomy 0.000 description 26
- 210000003813 thumb Anatomy 0.000 description 20
- 230000006870 function Effects 0.000 description 15
- 239000011521 glass Substances 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 10
- 210000000323 shoulder joint Anatomy 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 210000004932 little finger Anatomy 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000004397 blinking Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 244000060701 Kaempferia pandurata Species 0.000 description 1
- 235000016390 Uvaria chamae Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/11—Hand-related biometrics; Hand pose recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
- H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Position Input By Displaying (AREA)
- Eyeglasses (AREA)
- Controls And Circuits For Display Device (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
特許文献1に記載の高速画像生成表示方法においては、立体構造をもつ対象を2次元画面に投影して表示する高速画像生成表示方法であって、対象の構成面は、対象座標系において、領域の大きさを少なくとも1つの要素として階層的に記述され、任意の視点から見た時の該対象の構成面を2次元画面へ投影するに際して、表示基準座標系原点または視点から対象座標系で表される該対象の任意の点までの距離を少なくとも1つのパラメータとして階層度を設定することを特徴とする。
特許文献2に記載の立体視画像生成方法は、三次元座標を有するポリゴンで構成されるオブジェクトのうち、平面視表示させるオブジェクトデータを基準カメラを原点とする基準カメラ座標系データに、立体視表示させるオブジェクトのデータを所定の視差角を有する右眼用及び左眼用視差カメラをそれぞれ原点とする右眼用及び左眼用視差カメラ座標系データに変換し、基準カメラ座標系のオブジェクトのデータと、右眼用視差カメラ座標系のオブジェクトのデータを右眼用画像データとして、ビデオメモリに描画し、基準カメラ座標系のオブジェクトのデータと、左眼用視差カメラ座標系のオブジェクトのデータを左眼用画像データとして、ビデオメモリに描画し、ビデオメモリに描画された右眼用画像データと左眼用画像データを合成して、立体視オブジェクトと平面視オブジェクトの混在する画像を立体視表示装置に表示することを特徴とする。
特許文献3に記載の方法は、ユーザの気質を示す属性を視覚表示に適用するための方法であって、ユーザの視覚表示をレンダリングするステップと、物理的な空間のデータを受信するステップであって、データが、物理的な空間内のユーザを代表しているものと、ユーザの気質を推論するために、少なくとも1つの検出可能な特徴を解析するステップと、ユーザの気質を示す属性を視覚表示に適用するステップと、を含む。
特許文献4に記載のシステムは、入力デバイスと、プロセッサに結合され、入力デバイスの方位を検出する検出器と、を備えているシステムであって、入力デバイスが、方位に対応する複数のモード方位を有し、複数のモード方位が、ジェスチャ制御システムの複数の入力モードに対応し、検出器が、ジェスチャ制御システムに結合され、方位に応答して、複数の入力モードからの入力モードの選択を自動的に制御する。
一局面に従う形状認識装置は、外形検知部と、抽出点設定部と、深度検知部と、向き認識部とを含む。外形検知部は、手の外形を検知する。抽出点設定部は、検知された外形の内部における複数の点を抽出点として設定する。深度検知部は、複数の抽出点にそれぞれ対応する手の表面上の対象点までの空間距離を深度として測定する。向き認識部は、計測された深度のばらつきを示す尺度に基づいて、手が掌側および背側のいずれを向いているかを判断する。
第2の発明に従う形状認識装置においては、第1の発明に従う形状認識装置において、基準点抽出部をさらに含む。基準点抽出部においては、検知された外形から、当該外形の最大内接円の中心点を基準点として抽出する。さらに、抽出点設定部は、基準点を通る最大内接円の弦を設定し、設定された弦上に所定の間隔で複数の抽出点を設定する。
第3の発明に従う形状認識装置においては、第2の発明に従う形状認識装置において、基準点を通る最大内接円の弦として、水平方向の弦および垂直方向の弦の少なくともいずれかを設定する。
第4の発明に従う形状認識装置においては、第2または第3の発明に従う形状認識装置において、基準点を通る最大内接円の弦として、手の遠位および近位を結んだ方向を有する弦と、手の撓側および尺側を結んだ方向を有する弦との少なくともいずれかを設定する。
第5の発明に従う形状認識装置においては、一局面から第4の発明のいずれかに従う形状認識装置において、深度のばらつきを示す尺度が、標準偏差、分散、範囲、四分位数範囲、平均差、および平均絶対偏差の少なくともいずれかである。
第6の発明に従う形状認識装置においては、第2から第5の発明のいずれかに従う形状認識装置において、深度の線形回帰分析の結果に基づいて、手が右手および左手のいずれであるかを判断する左右認識部をさらに含む。
したがって、たとえ手が握りこぶし状態であっても、手の掌側および背側の識別と手の左右の識別との両方を行うことができる。
第7の発明に従う形状認識装置においては、一局面から第6の発明のいずれかに従う形状認識装置において、外形検知部および深度検知部が赤外線センサである。
これによって、赤外線センサが、外形検知部と深度検知部との両方を兼ねることができる。したがって、装置の構成を簡素化することができる。
第8の発明に従う形状認識装置においては、一局面から第7の発明のいずれかに従う形状認識装置において、立体視像を表示可能な表示装置をさらに含み、外形検知部が、表示装置により生成された立体視像の立体視領域と深度検知領域とが共有する共有領域において、手の外形を検知する。
他の局面に従う形状認識装置は、一局面から第8の発明のいずれかに従う形状認識装置を有するヘッドマウントディスプレイ装置である。
また、装置を頭に装着するため、検知される手の外形とユーザが視認できる手の外形とがほぼ同じとなり、表示オブジェクトの操作を行う場合およびジェスチャの登録を行う場合などに、形状認識装置に検知されやすい態様を意識しながら手を検知させることもできる。
さらに他の局面に従う形状認識プログラムは、外形検知処理と、抽出点設定処理と、深度検知処理と、向き認識処理とを含む。外形検知処理は、手の外形を検知する。抽出点設定処理は、検知された外形の内部における複数の点を抽出点として設定する。深度検知処理は、複数の抽出点にそれぞれ対応する手の表面上の対象点までの空間距離を深度として測定する。向き認識処理は、計測された深度のばらつきを示す尺度に基づいて、手が掌側および背側のいずれを向いているかを判断する。
第11の発明に従う形状認識プログラムにおいては、さらに他の局面に従う形状認識プログラムにおいて、基準点抽出処理をさらに含む。基準点抽出処理においては、検知された外形から、当該外形の最大内接円の中心点を基準点として抽出する。さらに、抽出点設定処理は、基準点を通る最大内接円の弦を設定し、設定された弦上に所定の間隔で複数の抽出点を設定する。
第12の発明に従う形状認識プログラムにおいては、第11の発明に従う形状認識プログラムにおいて、基準点を通る最大内接円の弦として、水平方向の弦および垂直方向の弦の少なくともいずれかを設定する。
第13の発明に従う形状認識プログラムにおいては、第11または第12の発明に従う形状認識プログラムにおいて、基準点を通る最大内接円の弦として、手の遠位および近位を結んだ方向を有する弦と、手の撓側および尺側を結んだ方向を有する弦との少なくともいずれかを設定する。
第14の発明に従う形状認識プログラムにおいては、第11から第13の発明のいずれかに従う形状認識プログラムにおいて、深度の線形回帰分析の結果に基づいて、手が右手および左手のいずれであるかを判断する左右認識処理をさらに含む。
したがって、たとえ手が握りこぶし状態であっても、手の掌側および背側の識別と手の左右の識別との両方を行うことができる。
さらに他の局面に従う形状認識方法は、外形検知工程と、抽出点設定工程と、深度検知工程と、向き認識工程とを含む。外形検知工程は、手の外形を検知する。抽出点設定工程は、検知された外形の内部における複数の点を抽出点として設定する。深度検知工程は、複数の抽出点にそれぞれ対応する手の表面上の対象点までの空間距離を深度として測定する。向き認識工程は、計測された深度のばらつきを示す尺度に基づいて、手が掌側および背側のいずれを向いているかを判断する。
第16の発明に従う形状認識方法においては、さらに他の局面に従う形状認識方法において、基準点抽出工程をさらに含む。基準点抽出工程においては、検知された外形から、当該外形の最大内接円の中心点を基準点として抽出する。さらに、抽出点設定工程は、基準点を通る最大内接円の弦を設定し、設定された弦上に所定の間隔で複数の抽出点を設定する。
第17の発明に従う形状認識方法においては、第16の発明に従う形状認識方法において、基準点を通る最大内接円の弦として、水平方向の弦および垂直方向の弦の少なくともいずれかを設定する。
第18の発明に従う形状認識方法においては、第16または第17の発明に従う形状認識方法において、基準点を通る最大内接円の弦として、手の遠位および近位を結んだ方向を有する弦と、手の撓側および尺側を結んだ方向を有する弦との少なくともいずれかを設定する。
第19の発明に従う形状認識方法においては、第16から第18の発明のいずれかに従う形状認識方法において、深度の線形回帰分析の結果に基づいて、手が右手および左手のいずれであるかを判断する左右認識工程をさらに含む。
したがって、たとえ手が握りこぶし状態であっても、手の掌側および背側の識別と手の左右の識別との両方を行うことができる。
220 半透過ディスプレイ
2203D 仮想イメージ表示領域(共有領域)
410 赤外線検知ユニット
4103D 三次元空間検知領域
450 制御ユニット
H1P,H1D 手
OFP,OFD 外形
C 最大内接円
C0 基準点
Ch,Cv,Cpd,Cur 弦
E 抽出点
S 対象点
DP 深度
また、本発明は、
以下に説明する眼鏡表示装置に限定されるものではなく、他のウェアラブル機器、その他入出力装置、表示装置、テレビジョン、モニタ、プロジェクタ等にも適用することができる。
図1は、一実施の形態にかかる眼鏡表示装置100の基本構成の一例を示す模式的外観正面図であり、図2は、眼鏡表示装置100の一例を示す模式的外観斜視図である。
図1および図2に示すように、眼鏡ユニット200は、眼鏡フレーム210および一対の半透過ディスプレイ220からなる。眼鏡フレーム210は、主にリムユニット211、テンプルユニット212を含む。
眼鏡フレーム210のリムユニット211により一対の半透過ディスプレイ220が支持される。
また、当該レンズ類の一部に、半透過ディスプレイ220を埋め込んで設けてもよい。
次に、通信システム300について説明を行なう。
通信システム300は、バッテリーユニット301、アンテナモジュール302、カメラユニット303、スピーカユニット304、GPS(Global Positioning System)ユニット307、マイクユニット308、SIM(Subscriber Identity Module Card)ユニット309およびメインユニット310を含む。
なお、カメラユニットにはCCDセンサが備えられてよい。スピーカユニット304は、ノーマルイヤホンであってもよいし、骨伝導イヤホンであってもよい。SIMユニット309には、NFC(Near Field Communication:近距離無線通信)ユニットおよび他の接触式ICカードユニット、ならびに非接触式ICカードユニットを含む。
したがって、ユーザは、眼鏡表示装置100を用いて、通信装置、スピーカおよびマイクにより、携帯電話と同様の通話機能を使用することができる。また、眼鏡型であるので、両手を利用せず、通話を行なうことができる。
続いて、操作システム400は、赤外線検知ユニット410、ジャイロセンサユニット420、加速度検知ユニット430および制御ユニット450からなる。赤外線検知ユニット410は、主に赤外線照射素子411および赤外線検知カメラ412からなる。
ジェスチャ識別ユニット456は、ジェスチャデータ記録ユニット455に記録されたジェスチャデータを参照し、解剖学的特徴が識別された外形からジェスチャの識別を行なう。なお、ジェスチャ識別ユニット456は、ジェスチャデータ記録ユニット455からのジェスチャデータを参照することとしているが、参照することに限定されず、他の任意のデータを参照してもよく、全く参照することなく処理してもよい。
以上により、図5(a)に示すように、手のジェスチャを認識する。
これによって、図5(b)に示すように、たとえば写真アプリによる画像が表示される。この際、当該画面には、カメラユニット303からの撮像データが表示されてよい。
次に、操作システム400の赤外線検知ユニット410の検知領域と、一対の半透過ディスプレイ220の仮想表示領域との関係について説明を行なう。
図6は、赤外線検知ユニット410の検知領域と、一対の半透過ディスプレイ220の仮想表示領域とを説明するための模式的斜視図であり、図7は図6の上面図であり、図8は、図6の側面図である。
三次元空間検知領域4103Dは、赤外線検知ユニット410からの円錐状または角錐状の三次元空間からなる。
また、本実施の形態においては、赤外線検知ユニット410を1個設けることとしているが、これに限定されず、赤外線検知ユニット410を複数個設けてもよいし、赤外線照射素子411を1個、赤外線検知カメラ412を複数個設けてもよい。
すなわち、実際には眼鏡表示装置100の半透過ディスプレイ220に表示されるものの、ユーザは、右目のイメージは右目側の半透過ディスプレイ220を透過し三次元空間領域2203DRで認識し、左目のイメージは左目側の半透過ディスプレイ220を透過し三次元空間領域2203DLで認識する。その結果、認識された両イメージがユーザの脳内で合成されることにより、仮想イメージ表示領域2203Dで仮想イメージとして認識することができる。
また、図8に示すように、一対の半透過ディスプレイ220よりも赤外線検知ユニット410が上方(y軸正方向)に配設されている場合について説明しているが、鉛直方向(y軸方向)に対して、赤外線検知ユニット410の配設位置が半透過ディスプレイ220よりも下方(y軸負方向)または半透過ディスプレイ220と同位置であっても、同様に、仮想イメージ表示領域2203Dは、三次元空間検知領域4103Dと共有する空間領域を有する。
続いて、図9から図11は、図6から図8において示した検知領域と仮想表示領域との他の例を示す模式図である。
この場合、入出力装置900による仮想イメージ表示領域2203Dが、三次元空間検知領域4103Dと共有の空間領域として生じる。
この場合でも、入出力装置900による仮想イメージ表示領域2203Dが、三次元空間検知領域4103Dと共有の空間領域として生じる。
続いて、検知領域における操作領域とジェスチャ領域とについて説明する。図12および図13は、検知領域における操作領域と、ジェスチャ領域との一例を示す模式図である。
また、三次元空間検知領域4103D内における操作領域410c以外の部分で、かつ腕の移動領域Lおよび移動領域Rを合わせた領域と重なる部分をジェスチャ領域410gとして設定する。
次いで、キャリブレーション処理について説明を行なう。図14は、キャリブレーション処理の説明を行なうためのフローチャートである。
また、キャリブレーション処理には、ユーザの個々で異なる指の長さ、手の長さ、腕の長さの調整も行なう。
すなわち、ユーザによりユーザの個々で異なる指の長さ、手の長さ、腕の長さが異なるので、操作領域410cの調整を行なうものである。
なお、ジェスチャ領域410gは、仮想イメージ表示領域2203Dと重ならないように配置しかつ深さ方向(z軸正方向)に厚みを持たせることが好ましい。
そのため、赤外線検知ユニット410からの信号を無処理のまま使用すると、ユーザは、手先が仮想イメージ表示領域2203Dから外れたとしても、そのような状態であることを体感しにくい。
その結果、ユーザは、両腕を最大限に伸ばした状態、または少し曲げた状態で、奥行きのある平面状の仮想イメージ表示領域2203D内の中央部から端部まで操作することができる。
続いて、半透過ディスプレイ220に、像の周囲を指で囲んでくださいと、表示を行なう(ステップS16)。ここで、像の近傍に指の形の像を薄く表示してもよいし、半透過ディスプレイ220に表示を行なう代わりにスピーカから音声により指示をユーザに伝えてもよい。
なお、上記においては、指で矩形を形作り、そのように定められた矩形と、像の外縁の矩形にあわせる。このことによって、指により定められた矩形の視認サイズおよび位置と像の外縁の矩形の視認サイズ及び位置とを合わせることとした。しかしながら、指によって形状を定める手法はこれに限定されず、表示された像の外縁を指でなぞる手法、表示された像の外縁上の複数の点を指で指し示す手法等、他の任意の手法であってもよい。また、これらの手法を複数のサイズの像について行ってもよい。
次いで、指認識について説明を行い、その後掌認識、腕認識の順で説明を行なう。図15は、指認識の一例を示す模式図である。図15において、(A)は指の先端付近の拡大図であり、(B)は指の根元付近の拡大図である。図16は、指認識の処理の一例を示すフローチャートである。
次に、赤外線検知ユニット410により画像データをピクセル単位で距離に置き換える(ステップS23)。この場合、赤外線の明るさは、距離の三乗に反比例する。これを利用し、デプスマップを作成する(ステップS24)。
続いて、二値化した画像データから約100個の頂点を持つポリゴンを作成する(ステップS26)。そして、頂点が滑らかになるようにローパスフィルタ(LPF)により、より多くの頂点pnを有する新たな多角形を作成することによって、図15に示す手の外形OFを抽出する(ステップS27)。
なお、本実施の形態においては、ステップS26において二値化したデータからポリゴンを作成するために抽出する頂点の数を約100個としているが、これに限定されず、1000個、その他の任意の個数であってもよい。
ステップS27で作成した新たな多角形の頂点pnの集合から、Convex Hullを用いて、凸包を抽出する(ステップS28)。
その後、ステップS27で作成された新たな多角形と、ステップS28で作成された凸包との共有の頂点p0を抽出する(ステップS29)。このように抽出された共有の頂点p0自体を指の先端点として用いることができる。
さらに、頂点p0の位置に基づいて算出される他の点を指の先端点として用いてもよい。例えば、図15(A)に示すように頂点p0における外形OFの内接円の中心を先端点P0として算出することもできる。
全ての指について同様の処理を行なうことで、全ての指のスケルトンを得る。これにより、手のポーズを認識することができる。すなわち、親指、人差し指、中指、薬指、小指のいずれの指が広げられ、いずれの指が握られているかを認識することができる。
グラフィック演算ユニット463は、キャリブレーションサービスユニット461を用いてキャリブレーションデータ記録ユニット457を参照し、表示の補正を行なう(ステップS36)。
最後に、ディスプレイ演算ユニット464により半透過ディスプレイ220に表示を行なう(ステップS37)。
図17は、指認識の他の例を示す模式図であり、図18は、図17の処理の一例を示すグラフであり、図19は、指認識のさらなる他の例を示す模式図である。
また、指間部の判定に用いられた頂点akは、指の根元点を抽出するための図16のステップS30で、頂点pk(図15中(B)参照)と同様の取扱がされてもよい。
指間部の判定に用いられた頂点akは、上記例示のように、指の根元点とは別の取扱がされてもよいし、適宜較正を行うことによって、指の根元点に準じる点として取り扱われてもよい。
例えば図19に示すように、基準点C0を中心として所定の角度毎に回転する半直線HLと外形OFとの交点として外形点bnを得て、外形点bnと、基準点C0との距離dを取得してもよい。
次いで、図20は、掌認識の一例を示す模式図である。
次いで、腕認識について説明を行なう。本実施の形態において、腕認識は、指、掌および親指のいずれかを認識した後に実施する。なお、腕認識は、指、掌および親指のいずれかを認識する前、またはそれらの少なくともいずれかと同時に実施してもよい。
その後、抽出した外形に外接する四角枠を選定する。本実施の形態においては、当該四角枠は、平行四辺形または長方形からなる。
この場合、平行四辺形または長方形は、対向する長辺を有するので、長辺の延在方向から腕の延在方向を認識することができ、長辺の向きから腕の向きを判定することが出来る。なお、ステップS32の処理と同様に、直前の数フレームの画像データと比較して、腕の動きを検知させてもよい。
図22(a)は、認識対象となる握りこぶしの形状の手(右手)を掌側から視認した場合(以下、手H1P)の模式的外観図であり、図22(b)は、当該手を背側から視認した場合(以下、手H1D)の模式的外観図である。
図24(a)および図24(b)は、図23(a)の外形OFPと及び図23(b)の外形OFDとをそれぞれ手H1P,H1Dに重ね合わせて表示した模式図を示す。
このように、掌側の手H1Pと背側の手H1Dとは、当該深度DPのばらつきの尺度が相対的に異なることに基づいて識別することができる。
図27は、図22(a)および図22(b)の掌側および背側の識別処理の他の例を示す、図22(a)および図22(b)の外形および抽出点設定の模式図である。図27においては、基準点C0を通る弦として、手H1P,H1Dの近位および遠位を結ぶ方向の弦Cpdと、当該弦Cpdに垂直な弦Curとを設定する。なお、弦Cpdの設定は、腕の延在方向と平行な弦として設定することができる。
図23および図27の例では、基準点C0を通る弦として、弦Cvと弦Chとの両方、および弦Cpdと弦Curとの両方を定めたが、いずれか一方のみ(たとえば弦Cvのみ、または弦Cpdのみ)を定めてもよい。さらに、基準点C0を通ると通らないとを問わず、他の任意の弦を任意の数で定めてもよい。
さらに、手の尺側と撓側とを結ぶ方向(以下、方向UR)における対象点Sの深度の傾向を調べることによって、手の左右の識別を行うことができる。
ジェスチャデータ記録ユニット455(図3参照)にストックされるジェスチャデータは、ユーザによって登録される。また、ジェスチャデータは、ユーザによってジェスチャコマンドとして設定され、さらに必要に応じて書換えもされる。
図29は、ジェスチャデータ記録ユニット455へジェスチャデータを登録する処理の一例を示すフローチャートである。
動作の遷移が意図されないジェスチャの場合は、当該ジェスチャのサインを示したまま、ユーザ自身が当該ジェスチャとして意識する態様を逸脱しない程度に手および腕を様々に動かした様子を撮影することができる。
さらに、特徴部の位置および/または角度の値を分析する(ステップS45)。特徴部の位置としては、指先および指の根元を表す点など、対象における解剖学的特徴点を座標情報の付加により表すことができる。また、特徴部の角度としては、指の延在方向および腕の延在方向などに基づいた角度情報の付加により表すことができる。
より具体的には、図16のステップS26からS31と同じ処理が行われる。これによって、全ての指について同様の処理を行なうことで、全ての指のスケルトンを得る。これにより、指の延在方向、具体的には指の関節を中心とした指の角度を認識することができる。また、指先および指の根元等を示す特徴点の位置を、座標情報を付加することにより認識することができる。さらに、手の形態を認識することができる。たとえば、それぞれの指の形態(具体的には、親指、人差し指、中指、薬指、小指のいずれの指が曲げられ、いずれの指が伸びているか等)を認識することができる。
さらに、腕認識によって、腕の延在方向、具体的には肘の関節を中心とした腕の角度を判定することができる。
上述のほか、指先等を示す特徴点の座標の軌跡を含む範囲を求めることによって、可動範囲を導出することができる。
図30は、ジェスチャデータ記録ユニット455において、ジェスチャデータが、当該ジェスチャデータをコマンドとすべきアプリケーションの操作と関連付けられて記録される関連付け処理の一例を示すフローチャートである。
また、たとえば、アプリケーション操作コマンドを呼び出した後に、ジェスチャデータを直接記録させ、関連付ける態様としてもよい。
図31は、ジェスチャデータ記録ユニット455において、ジェスチャコマンドが書換えられる処理の一例を示すフローチャートである。
上述のように記録されたジェスチャデータ記録ユニット455内のジェスチャデータを利用してジェスチャの識別を行なう方法は、図4のステップS1からステップS4で説明した通りである。より具体的には、上述のジェスチャデータ登録時と同様に、ステップS2において、対象の外形イメージデータを複数フレーム取得し、それぞれ、ステップS3において、外形の特徴部およびその可動範囲の情報を取得する。さらに、ステップS4において、ジェスチャデータ記録ユニット455に記録されたジェスチャデータの外形の特徴部およびその可動範囲と、識別すべきジェスチャの外形の特徴部およびその可動範囲とを比較する。双方のデータの一致性を判断することによって、識別すべきジェスチャが、ジェスチャデータ記録ユニット455に記録されたジェスチャデータのうちどれに該当するかを判断する。
次に、図32は、眼鏡表示装置100の半透過ディスプレイ220の表示の一例を示す模式図である。
次に、眼鏡表示装置100の半透過ディスプレイ220に表示される表示の一例について説明を行なう。図33(a)は、半透過ディスプレイ220の視野の一例、図33(b)は、半透明ディスプレイ220の表示の一例を説明する図である。
図33に示すように、縦方向に表示703、702、701、704、705の表示が設けられており、表示701を中央として、左右に表示706,707が設けられる。なお、当然のことながら、当該表示701,〜,707は、ユーザによって自由に削除または変更することができ、さらに他の表示を追加することもできる。
なお、本実施の形態においては、表示701,〜,707はシームレスに連続した画像であるが、切換えされるべき表示は、それぞれが独立した非連続の像であってもよい。
一方、天空情報の表示703および地図情報の表示705はパノラマ表示であってよく、この場合、左右方向の動きに伴ってそれら表示703,705をスクロールさせてよい。
続いて、指、掌、手、腕が操作領域410cに存在する場合と、ジェスチャ領域410gに存在する場合との違いをユーザが認識し易いように、所定のイベントを発生させる。以下、所定のイベントについて説明を行なう。図34は、所定のイベント発生の一例を示す模式図であり、図35は、図34のイベント発生の他の例を示す模式図であり、図36は、他のイベント発生の一例を示す模式図である。
これにより、ユーザは、ジェスチャ領域410gに手が存在することを容易に認識できる。
以上の指、掌、腕認識およびイベント発生を伴う眼鏡表示装置100の使用態様について説明する。
例えば、広告221には、店舗の、商品、サービス等の情報が表示されている。ユーザがその広告221をタッチした場合、当該店舗に関するさらに詳しい情報を追加表示させてもよい。たとえば、飲食店の場合には、当該飲食店の代表メニュ、ユーザからの評価、価格帯等を表示させてもよい。
なお、広告221は、店舗をカメラユニット303で撮影された像そのものであってもよいし、カメラユニット303による当該店舗の撮像データに基づいて店舗認識を自動で開始し、その結果、店舗認識アプリ画面に表示された認識結果情報であってもよい。
また、図38に示すように、半透過ディスプレイ220に一の企業(○○社)のロゴマークが表示されている際に、画面中のロゴマークにタッチ等行なうことで、競合又は非競合の他の企業(△△社)に関連する情報を表示させることができる。この場合、例えばパロディモードとして、当該他の企業のロゴを表示させてもよい。
また、ユーザがジェスチャ領域410g内で所定の手のポーズを作ることにより、予め設定された動作が実施される。図39から図46は、ジェスチャ認識の例を示す模式図である。
Claims (16)
- 手の外形を検知する外形検知部と、
検知された前記外形の内部における複数の点を抽出点として設定する、抽出点設定部と、
前記複数の抽出点にそれぞれ対応する前記手の表面上の対象点までの空間距離を深度として測定する深度検知部と、
計測された前記深度のばらつきを示す尺度に基づいて、前記手が掌側および背側のいずれを向いているかを判断する向き認識部と、を含み、
検知された前記外形から、前記外形の最大内接円の中心点を基準点として抽出する、基準点抽出部をさらに含み、
前記抽出点設定部が、前記基準点を通る前記最大内接円の弦を設定し、前記設定された弦上に所定の間隔で前記複数の抽出点を設定する、形状認識装置。 - 前記基準点を通る前記最大内接円の弦として、水平方向の弦および垂直方向の弦の少なくともいずれかを設定する、請求項1に記載の形状認識装置。
- 前記基準点を通る前記最大内接円の弦として、前記手の遠位および近位を結んだ方向を有する弦と、前記手の撓側および尺側を結んだ方向を有する弦との少なくともいずれかを設定する、請求項1または2に記載の形状認識装置。
- 前記深度のばらつきを示す尺度が、標準偏差、分散、範囲、四分位数範囲、平均差、および平均絶対偏差の少なくともいずれかである、請求項1から3のいずれか1項に記載の形状認識装置。
- 前記深度の線形回帰分析の結果に基づいて、前記手が右手および左手のいずれであるかを判断する左右認識部をさらに含む、請求項1から4のいずれか1項に記載の形状認識装置。
- 前記外形検知部および前記深度検知部が赤外線センサである、請求項1から5のいずれか1項に記載の形状認識装置。
- 立体視像を表示可能な表示装置をさらに含み、
前記外形検知部が、前記表示装置により生成された立体視像の立体視領域と深度検知領域とが共有する共有領域において、前記手の外形を検知する、請求項1から6のいずれか1項に記載の形状認識装置。 - 請求項1から請求項7のいずれか1項に記載の形状認識装置を有するヘッドマウントディスプレイ装置。
- 手の外形を検知する外形検知処理と、
検知された前記外形の内部における複数の点を抽出点として設定する、抽出点設定処理と、
前記複数の抽出点にそれぞれ対応する前記手の表面上の対象点までの空間距離を深度として測定する深度検知処理と、
計測された前記深度のばらつきを示す尺度に基づいて、前記手が掌側および背側のいずれを向いているかを判断する向き認識処理と、を含み、
検知された前記外形から、前記外形の最大内接円の中心点を基準点として抽出する、基準点抽出処理をさらに含み、
前記抽出点設定処理が、前記基準点を通る前記最大内接円の弦を設定し、前記設定された弦上に所定の間隔で前記複数の抽出点を設定する、形状認識プログラム。 - 前記基準点を通る前記最大内接円の弦として、水平方向の弦および垂直方向の弦の少なくともいずれかを設定する、請求項9に記載の形状認識プログラム。
- 前記基準点を通る前記最大内接円の弦として、前記手の遠位および近位を結んだ方向を有する弦と、前記手の撓側および尺側を結んだ方向を有する弦との少なくともいずれかを設定する、請求項9に記載の形状認識プログラム。
- 前記深度の線形回帰分析の結果に基づいて、前記手が右手および左手のいずれであるかを判断する左右認識処理をさらに含む、請求項9から11のいずれか1項に記載の形状認識プログラム。
- 手の外形を検知する外形検知工程と、
検知された前記外形の内部における複数の点を抽出点として設定する、抽出点設定工程と、
前記複数の抽出点にそれぞれ対応する前記手の表面上の対象点までの空間距離を深度として測定する深度検知工程と、
計測された前記深度のばらつきを示す尺度に基づいて、前記手が掌側および背側のいずれを向いているかを判断する向き認識工程と、を含み、
検知された前記外形から、前記外形の最大内接円の中心点を基準点として抽出する、基準点抽出工程をさらに含み、
前記抽出点設定工程が、前記基準点を通る前記最大内接円の弦を設定し、前記設定された弦上に所定の間隔で前記複数の抽出点を設定する、形状認識方法。 - 前記基準点を通る前記最大内接円の弦として、水平方向の弦および垂直方向の弦の少なくともいずれかを設定する、請求項13に記載の形状認識方法。
- 前記基準点を通る前記最大内接円の弦として、前記手の遠位および近位を結んだ方向を有する弦と、前記手の撓側および尺側を結んだ方向を有する弦との少なくともいずれかを設定する、請求項13または14に記載の形状認識方法。
- 前記深度の線形回帰分析の結果に基づいて、前記手が右手および左手のいずれであるかを判断する左右認識工程をさらに含む、請求項13から15のいずれか1項に記載の形状認識方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPPCT/JP2013/000909 | 2013-02-19 | ||
PCT/JP2013/000909 WO2014128749A1 (ja) | 2013-02-19 | 2013-02-19 | 形状認識装置、形状認識プログラム、および形状認識方法 |
PCT/JP2013/002524 WO2014128773A1 (ja) | 2013-02-19 | 2013-04-12 | ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法 |
JPPCT/JP2013/002524 | 2013-04-12 | ||
PCT/JP2013/004486 WO2014128789A1 (ja) | 2013-02-19 | 2013-07-23 | 形状認識装置、形状認識プログラム、および形状認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6074494B2 true JP6074494B2 (ja) | 2017-02-01 |
JPWO2014128789A1 JPWO2014128789A1 (ja) | 2017-02-02 |
Family
ID=51390597
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015501061A Active JP6195893B2 (ja) | 2013-02-19 | 2013-02-19 | 形状認識装置、形状認識プログラム、および形状認識方法 |
JP2015501077A Active JP6095763B2 (ja) | 2013-02-19 | 2013-04-12 | ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法 |
JP2015501081A Pending JPWO2014128787A1 (ja) | 2013-02-19 | 2013-06-24 | 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法 |
JP2015501083A Expired - Fee Related JP6074494B2 (ja) | 2013-02-19 | 2013-07-23 | 形状認識装置、形状認識プログラム、および形状認識方法 |
JP2015501082A Active JP6195894B2 (ja) | 2013-02-19 | 2013-07-23 | 形状認識装置、形状認識プログラム、および形状認識方法 |
JP2017098814A Active JP6393367B2 (ja) | 2013-02-19 | 2017-05-18 | 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015501061A Active JP6195893B2 (ja) | 2013-02-19 | 2013-02-19 | 形状認識装置、形状認識プログラム、および形状認識方法 |
JP2015501077A Active JP6095763B2 (ja) | 2013-02-19 | 2013-04-12 | ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法 |
JP2015501081A Pending JPWO2014128787A1 (ja) | 2013-02-19 | 2013-06-24 | 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015501082A Active JP6195894B2 (ja) | 2013-02-19 | 2013-07-23 | 形状認識装置、形状認識プログラム、および形状認識方法 |
JP2017098814A Active JP6393367B2 (ja) | 2013-02-19 | 2017-05-18 | 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法 |
Country Status (3)
Country | Link |
---|---|
US (5) | US10295826B2 (ja) |
JP (6) | JP6195893B2 (ja) |
WO (5) | WO2014128749A1 (ja) |
Families Citing this family (102)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10191654B2 (en) * | 2009-03-30 | 2019-01-29 | Touchtype Limited | System and method for inputting text into electronic devices |
GB0905457D0 (en) | 2009-03-30 | 2009-05-13 | Touchtype Ltd | System and method for inputting text into electronic devices |
WO2014081104A1 (en) * | 2012-11-21 | 2014-05-30 | Lg Electronics Inc. | Multimedia device for having touch sensor and method for controlling the same |
JP6333801B2 (ja) * | 2013-02-19 | 2018-05-30 | ミラマ サービス インク | 表示制御装置、表示制御プログラム、および表示制御方法 |
WO2014128749A1 (ja) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | 形状認識装置、形状認識プログラム、および形状認識方法 |
US20150109135A1 (en) * | 2013-10-23 | 2015-04-23 | Dock Technologies Inc. | Indicators |
JP6241230B2 (ja) * | 2013-11-28 | 2017-12-06 | 富士通株式会社 | 生体情報判定装置及びプログラム |
JP6091407B2 (ja) * | 2013-12-18 | 2017-03-08 | 三菱電機株式会社 | ジェスチャ登録装置 |
WO2015108112A1 (ja) * | 2014-01-15 | 2015-07-23 | 株式会社Juice Design | 操作判定装置、操作判定方法、および、プログラム |
JP2015149634A (ja) * | 2014-02-07 | 2015-08-20 | ソニー株式会社 | 画像表示装置および方法 |
WO2015122079A1 (ja) * | 2014-02-14 | 2015-08-20 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
JP6165650B2 (ja) * | 2014-02-14 | 2017-07-19 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および情報処理方法 |
USD776710S1 (en) * | 2014-04-08 | 2017-01-17 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
USD766951S1 (en) | 2014-05-01 | 2016-09-20 | Beijing Qihoo Technology Co. Ltd | Display screen with a graphical user interface |
KR101865655B1 (ko) * | 2014-06-26 | 2018-06-11 | 한국과학기술원 | 증강현실 상호 작용 서비스 제공 장치 및 방법 |
JP5989725B2 (ja) * | 2014-08-29 | 2016-09-07 | 京セラドキュメントソリューションズ株式会社 | 電子機器及び情報表示プログラム |
USD767633S1 (en) * | 2014-08-29 | 2016-09-27 | Nike, Inc. | Display screen with emoticon |
JP6413521B2 (ja) * | 2014-09-08 | 2018-10-31 | 富士通株式会社 | 表示制御方法、情報処理プログラム、及び情報処理装置 |
WO2016051429A1 (ja) * | 2014-09-30 | 2016-04-07 | 株式会社ブリリアントサービス | 入出力装置、入出力プログラム、および入出力方法 |
JP6479836B2 (ja) * | 2014-09-30 | 2019-03-06 | ミラマサービスインク | 入出力装置、入出力プログラム、および入出力方法 |
WO2016052061A1 (ja) * | 2014-09-30 | 2016-04-07 | コニカミノルタ株式会社 | ヘッドマウントディスプレイ |
USD828845S1 (en) * | 2015-01-05 | 2018-09-18 | Dolby International Ab | Display screen or portion thereof with transitional graphical user interface |
JP6409118B2 (ja) * | 2015-02-25 | 2018-10-17 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
JP6585355B2 (ja) * | 2015-03-04 | 2019-10-02 | 株式会社メガチップス | 画像認識装置 |
JP6547366B2 (ja) * | 2015-03-27 | 2019-07-24 | セイコーエプソン株式会社 | インタラクティブプロジェクター |
US9965029B2 (en) * | 2015-03-30 | 2018-05-08 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP6354653B2 (ja) * | 2015-04-25 | 2018-07-11 | 京セラドキュメントソリューションズ株式会社 | 拡張現実操作システムおよび拡張現実操作プログラム |
JP6483514B2 (ja) * | 2015-04-28 | 2019-03-13 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
WO2016190057A1 (ja) * | 2015-05-22 | 2016-12-01 | コニカミノルタ株式会社 | ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法 |
US9959677B2 (en) * | 2015-05-26 | 2018-05-01 | Google Llc | Multidimensional graphical method for entering and exiting applications and activities in immersive media |
EP3101629B1 (en) * | 2015-06-04 | 2021-03-17 | Nokia Technologies Oy | Mediated reality |
KR102105637B1 (ko) * | 2015-08-04 | 2020-06-26 | 구글 엘엘씨 | 가상 현실에서 오브젝트와 손의 상황 감지형 충돌을 통한 입력 |
US10303254B2 (en) * | 2015-09-24 | 2019-05-28 | Stmicroelectronics Sa | Device and method for identifying tap or wipe hand gestures using time-of-flight sensing |
US9886095B2 (en) | 2015-09-24 | 2018-02-06 | Stmicroelectronics Sa | Device and method for recognizing hand gestures using time-of-flight sensing |
JP2017102598A (ja) * | 2015-11-30 | 2017-06-08 | 富士通株式会社 | 認識装置、認識方法および認識プログラム |
JP6597235B2 (ja) * | 2015-11-30 | 2019-10-30 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2017099686A (ja) * | 2015-12-02 | 2017-06-08 | 株式会社ブリリアントサービス | ゲーム用ヘッドマウントディスプレイ、ゲーム用ヘッドマウントディスプレイのプログラム、およびゲーム用ヘッドマウントディスプレイの制御方法 |
KR20180094875A (ko) * | 2015-12-18 | 2018-08-24 | 소니 주식회사 | 정보 처리 장치, 정보 처리 방법, 및 프로그램 |
JP2017111722A (ja) * | 2015-12-18 | 2017-06-22 | 株式会社ブリリアントサービス | ヘッドマウントディスプレイ、ヘッドマウントディスプレイの表示方法、およびヘッドマウントディスプレイのプログラム |
JP6630607B2 (ja) * | 2016-03-28 | 2020-01-15 | 株式会社バンダイナムコエンターテインメント | シミュレーション制御装置及びシミュレーション制御プログラム |
JP6200023B1 (ja) * | 2016-03-28 | 2017-09-20 | 株式会社バンダイナムコエンターテインメント | シミュレーション制御装置及びシミュレーション制御プログラム |
DE102016206142A1 (de) | 2016-04-13 | 2017-10-19 | Volkswagen Aktiengesellschaft | Anwenderschnittstelle, Fortbewegungsmittel und Verfahren zur Erkennung einer Hand eines Anwenders |
KR102529119B1 (ko) * | 2016-06-27 | 2023-05-04 | 삼성전자주식회사 | 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체 |
JP6691015B2 (ja) * | 2016-08-03 | 2020-04-28 | ソフトバンク株式会社 | 機器制御装置 |
JP6851745B2 (ja) | 2016-08-04 | 2021-03-31 | 富士通株式会社 | 画像制御方法、装置、及びプログラム |
WO2018039269A1 (en) * | 2016-08-22 | 2018-03-01 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
JP6565864B2 (ja) * | 2016-10-21 | 2019-08-28 | 京セラドキュメントソリューションズ株式会社 | 画像形成システム |
US10609018B2 (en) * | 2016-12-05 | 2020-03-31 | Google Llc | Gesture-based access control in virtual environments |
JP6816528B2 (ja) * | 2017-01-25 | 2021-01-20 | 凸版印刷株式会社 | 携帯通信端末を制御するための方法およびプログラム、ならびに、携帯通信端末 |
JP2018132986A (ja) * | 2017-02-16 | 2018-08-23 | 株式会社東海理化電機製作所 | 画像認識装置 |
JP6776155B2 (ja) * | 2017-02-28 | 2020-10-28 | 株式会社コロプラ | 仮想現実を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
US10620779B2 (en) * | 2017-04-24 | 2020-04-14 | Microsoft Technology Licensing, Llc | Navigating a holographic image |
DE102017210317A1 (de) * | 2017-06-20 | 2018-12-20 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Erfassen einer Nutzereingabe anhand einer Geste |
US10578869B2 (en) | 2017-07-24 | 2020-03-03 | Mentor Acquisition One, Llc | See-through computer display systems with adjustable zoom cameras |
US10782793B2 (en) | 2017-08-10 | 2020-09-22 | Google Llc | Context-sensitive hand interaction |
KR102026475B1 (ko) * | 2017-08-20 | 2019-09-30 | 네이버 주식회사 | 시각적 입력의 처리 |
DE102017128588A1 (de) * | 2017-12-01 | 2019-06-06 | Prüftechnik Dieter Busch AG | System und verfahren zur erfassung und darstellung von messpunkten auf einer körperfläche |
DE102017130137A1 (de) * | 2017-12-15 | 2019-06-19 | Endress+Hauser SE+Co. KG | Verfahren zur vereinfachten Inbetriebnahme eines Feldgeräts |
US11573641B2 (en) * | 2018-03-13 | 2023-02-07 | Magic Leap, Inc. | Gesture recognition system and method of using same |
US11301087B2 (en) | 2018-03-14 | 2022-04-12 | Maxell, Ltd. | Personal digital assistant |
CN109104693A (zh) * | 2018-07-13 | 2018-12-28 | 安徽捷峰电子科技有限公司 | 一种老人监护用电子围栏 |
US11449586B2 (en) | 2018-07-20 | 2022-09-20 | Massachusetts Institute Of Technology | Authenticated intention |
US10679393B2 (en) * | 2018-07-24 | 2020-06-09 | Snap Inc. | Conditional modification of augmented reality object |
US10855978B2 (en) * | 2018-09-14 | 2020-12-01 | The Toronto-Dominion Bank | System and method for receiving user input in virtual/augmented reality |
KR20200080047A (ko) * | 2018-12-26 | 2020-07-06 | 삼성전자주식회사 | 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기 |
KR102102309B1 (ko) * | 2019-03-12 | 2020-04-21 | 주식회사 피앤씨솔루션 | 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법 |
US11520409B2 (en) * | 2019-04-11 | 2022-12-06 | Samsung Electronics Co., Ltd. | Head mounted display device and operating method thereof |
CN110052030B (zh) * | 2019-04-26 | 2021-10-29 | 腾讯科技(深圳)有限公司 | 虚拟角色的形象设置方法、装置及存储介质 |
US11194438B2 (en) * | 2019-05-09 | 2021-12-07 | Microsoft Technology Licensing, Llc | Capture indicator for a virtual world |
TWI719483B (zh) * | 2019-05-17 | 2021-02-21 | 雅得近顯股份有限公司 | 便利備忘操作系統 |
WO2020240835A1 (ja) * | 2019-05-31 | 2020-12-03 | 堺ディスプレイプロダクト株式会社 | 空中映像表示装置 |
US11043192B2 (en) * | 2019-06-07 | 2021-06-22 | Facebook Technologies, Llc | Corner-identifiying gesture-driven user interface element gating for artificial reality systems |
KR20190106851A (ko) * | 2019-08-27 | 2019-09-18 | 엘지전자 주식회사 | Xr 컨텐츠 제공 방법 및 xr 컨텐츠 제공 디바이스 |
US11275453B1 (en) | 2019-09-30 | 2022-03-15 | Snap Inc. | Smart ring for manipulating virtual objects displayed by a wearable device |
JP6821832B2 (ja) * | 2020-01-06 | 2021-01-27 | 株式会社バンダイナムコエンターテインメント | シミュレーション制御装置及びシミュレーション制御プログラム |
EP4111291A4 (en) * | 2020-02-26 | 2023-08-16 | Magic Leap, Inc. | HAND GESTURE INPUT FOR A PORTABLE SYSTEM |
US11277597B1 (en) | 2020-03-31 | 2022-03-15 | Snap Inc. | Marker-based guided AR experience |
WO2021199730A1 (ja) * | 2020-03-31 | 2021-10-07 | パイオニア株式会社 | 情報処理装置、コンピュータプログラム、記録媒体、表示データ作成方法 |
US11798429B1 (en) | 2020-05-04 | 2023-10-24 | Snap Inc. | Virtual tutorials for musical instruments with finger tracking in augmented reality |
US11520399B2 (en) | 2020-05-26 | 2022-12-06 | Snap Inc. | Interactive augmented reality experiences using positional tracking |
WO2022036302A1 (en) | 2020-08-14 | 2022-02-17 | Hes Ip Holdings, Llc | Systems and methods for superimposing virtual image on real-time image |
JP2023541495A (ja) | 2020-09-03 | 2023-10-03 | ヒーズ アイピー ホールディングス エルエルシー | 両眼視を改善するためのシステムおよび方法 |
US11925863B2 (en) | 2020-09-18 | 2024-03-12 | Snap Inc. | Tracking hand gestures for interactive game control in augmented reality |
KR102229758B1 (ko) * | 2020-09-24 | 2021-03-19 | 주식회사 플레임 | 모션 입력 기능을 가지는 안경 |
US11546505B2 (en) | 2020-09-28 | 2023-01-03 | Snap Inc. | Touchless photo capture in response to detected hand gestures |
US11953689B2 (en) | 2020-09-30 | 2024-04-09 | Hes Ip Holdings, Llc | Virtual image display system for virtual reality and augmented reality devices |
CN112305945B (zh) * | 2020-10-21 | 2021-07-13 | 丽水市正明机械科技有限公司 | 防护机构误动作规避平台 |
US11740313B2 (en) | 2020-12-30 | 2023-08-29 | Snap Inc. | Augmented reality precision tracking and display |
EP4248300A1 (en) * | 2021-01-25 | 2023-09-27 | HES IP Holdings, LLC | Systems and methods for object interactions |
US11531402B1 (en) | 2021-02-25 | 2022-12-20 | Snap Inc. | Bimanual gestures for controlling virtual and graphical elements |
US12013985B1 (en) | 2021-02-25 | 2024-06-18 | Snap Inc. | Single-handed gestures for reviewing virtual content |
US11978283B2 (en) | 2021-03-16 | 2024-05-07 | Snap Inc. | Mirroring device with a hands-free mode |
US11734959B2 (en) | 2021-03-16 | 2023-08-22 | Snap Inc. | Activating hands-free mode on mirroring device |
US11908243B2 (en) | 2021-03-16 | 2024-02-20 | Snap Inc. | Menu hierarchy navigation on electronic mirroring devices |
US11798201B2 (en) | 2021-03-16 | 2023-10-24 | Snap Inc. | Mirroring device with whole-body outfits |
US11809633B2 (en) | 2021-03-16 | 2023-11-07 | Snap Inc. | Mirroring device with pointing based navigation |
CN117178247A (zh) | 2021-04-19 | 2023-12-05 | 斯纳普公司 | 用于动画化及控制虚拟和图形元素的手势 |
US11947728B2 (en) | 2021-04-30 | 2024-04-02 | Samsung Electronics Co., Ltd. | Electronic device for executing function based on hand gesture and method for operating thereof |
CN113762093A (zh) * | 2021-08-18 | 2021-12-07 | 北京格灵深瞳信息技术股份有限公司 | 跑道冲刺计时方法、装置、电子设备和存储介质 |
JP7213396B1 (ja) * | 2021-08-30 | 2023-01-26 | ソフトバンク株式会社 | 電子機器及びプログラム |
CN113901971B (zh) * | 2021-12-09 | 2022-03-25 | 北京的卢深视科技有限公司 | 健身姿势矫正方法、装置、电子设备和存储介质 |
KR102570418B1 (ko) * | 2022-08-11 | 2023-08-25 | 주식회사 엠브이아이 | 사용자 행동을 분석하는 웨어러블 디바이스 및 이를 이용한 대상인식방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
JP2011215922A (ja) * | 2010-03-31 | 2011-10-27 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
Family Cites Families (81)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0831140B2 (ja) | 1990-04-13 | 1996-03-27 | 株式会社エイ・ティ・アール通信システム研究所 | 高速画像生成表示方法 |
JPH08505721A (ja) | 1992-12-23 | 1996-06-18 | タリジェント インコーポレイテッド | オブジェクト指向フレームワーク・システム |
JPH07210687A (ja) * | 1994-01-18 | 1995-08-11 | Matsushita Electric Ind Co Ltd | 形状検出装置 |
JPH0831140A (ja) | 1994-07-15 | 1996-02-02 | Victor Co Of Japan Ltd | テープリール |
US6002808A (en) * | 1996-07-26 | 1999-12-14 | Mitsubishi Electric Information Technology Center America, Inc. | Hand gesture control system |
JPH10207681A (ja) | 1997-01-17 | 1998-08-07 | Nec Corp | カーソル表示装置 |
JP4049877B2 (ja) | 1997-03-31 | 2008-02-20 | 株式会社ワコム | 電子ペンを用いたコンピュータシステム |
JP3491189B2 (ja) * | 1997-07-08 | 2004-01-26 | 松下電器産業株式会社 | 手の状態検出装置 |
US6363160B1 (en) * | 1999-01-22 | 2002-03-26 | Intel Corporation | Interface using pattern recognition and tracking |
JP2002290529A (ja) * | 2001-03-28 | 2002-10-04 | Matsushita Electric Ind Co Ltd | 携帯通信端末、情報表示装置、制御入力装置および制御入力方法 |
JP3863809B2 (ja) * | 2002-05-28 | 2006-12-27 | 独立行政法人科学技術振興機構 | 手の画像認識による入力システム |
JP4228646B2 (ja) | 2002-10-02 | 2009-02-25 | 株式会社セガ | 立体視画像生成方法および立体視画像生成装置 |
JP3903968B2 (ja) * | 2003-07-30 | 2007-04-11 | 日産自動車株式会社 | 非接触式情報入力装置 |
JP2005050284A (ja) | 2003-07-31 | 2005-02-24 | Toyota Motor Corp | 動き認識装置および動き認識方法 |
JP2005092419A (ja) * | 2003-09-16 | 2005-04-07 | Casio Comput Co Ltd | 情報処理装置およびプログラム |
JP2005301668A (ja) * | 2004-04-12 | 2005-10-27 | Seiko Epson Corp | 情報処理装置および情報処理プログラム |
EP1869541B1 (en) | 2005-01-30 | 2014-07-02 | Swiftpoint Limited | Computer mouse peripheral |
ATE488958T1 (de) | 2005-06-02 | 2010-12-15 | Polyvision Corp | Verfahren und vorrichtung für eine virtuelle flip-chart |
CN101375235B (zh) * | 2006-02-03 | 2011-04-06 | 松下电器产业株式会社 | 信息处理装置 |
US8665213B2 (en) * | 2006-02-08 | 2014-03-04 | Oblong Industries, Inc. | Spatial, multi-modal control device for use with spatial operating system |
JP2007164814A (ja) * | 2007-02-09 | 2007-06-28 | Toshiba Corp | インタフェース装置 |
EP2153377A4 (en) * | 2007-05-04 | 2017-05-31 | Qualcomm Incorporated | Camera-based user input for compact devices |
US8005263B2 (en) * | 2007-10-26 | 2011-08-23 | Honda Motor Co., Ltd. | Hand sign recognition using label assignment |
KR100931403B1 (ko) * | 2008-06-25 | 2009-12-11 | 한국과학기술연구원 | 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템 |
CN102144206B (zh) * | 2008-09-03 | 2013-12-04 | 日本电气株式会社 | 姿势输入操作设备、方法、程序和便携式设备 |
JP5262681B2 (ja) | 2008-12-22 | 2013-08-14 | ブラザー工業株式会社 | ヘッドマウントディスプレイ及びそのプログラム |
US9046924B2 (en) * | 2009-03-04 | 2015-06-02 | Pelmorex Canada Inc. | Gesture based interaction with traffic data |
US9256282B2 (en) | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
US8503720B2 (en) * | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
JP5782431B2 (ja) | 2009-05-27 | 2015-09-24 | オブロング・インダストリーズ・インコーポレーテッド | 空間動作システムと共に用いるための空間マルチモード制御デバイス |
US8379101B2 (en) * | 2009-05-29 | 2013-02-19 | Microsoft Corporation | Environment and/or target segmentation |
US8390680B2 (en) | 2009-07-09 | 2013-03-05 | Microsoft Corporation | Visual representation expression based on player expression |
TW201104494A (en) | 2009-07-20 | 2011-02-01 | J Touch Corp | Stereoscopic image interactive system |
JP2011081480A (ja) | 2009-10-05 | 2011-04-21 | Seiko Epson Corp | 画像入力システム |
US20110107216A1 (en) * | 2009-11-03 | 2011-05-05 | Qualcomm Incorporated | Gesture-based user interface |
TW201123031A (en) * | 2009-12-24 | 2011-07-01 | Univ Nat Taiwan Science Tech | Robot and method for recognizing human faces and gestures thereof |
US9128281B2 (en) * | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
JP5464661B2 (ja) * | 2010-03-12 | 2014-04-09 | Kddi株式会社 | 情報端末装置 |
JP5564300B2 (ja) * | 2010-03-19 | 2014-07-30 | 富士フイルム株式会社 | ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法 |
JPWO2011142317A1 (ja) * | 2010-05-11 | 2013-07-22 | 日本システムウエア株式会社 | ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体 |
FR2960986A1 (fr) * | 2010-06-04 | 2011-12-09 | Thomson Licensing | Procede de selection d’un objet dans un environnement virtuel |
JP5609416B2 (ja) * | 2010-08-19 | 2014-10-22 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2012024022A2 (en) * | 2010-08-20 | 2012-02-23 | University Of Massachusetts | Hand and finger registration for control applications |
JP2012048659A (ja) | 2010-08-30 | 2012-03-08 | Canon Inc | 画像処理装置、画像処理方法 |
CN102402680B (zh) * | 2010-09-13 | 2014-07-30 | 株式会社理光 | 人机交互系统中手部、指示点定位方法和手势确定方法 |
JP2012088819A (ja) * | 2010-10-15 | 2012-05-10 | Sharp Corp | 表示装置および表示方法 |
JP2012094060A (ja) * | 2010-10-28 | 2012-05-17 | Sharp Corp | 電子装置 |
JP2012098988A (ja) * | 2010-11-04 | 2012-05-24 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US9111138B2 (en) * | 2010-11-30 | 2015-08-18 | Cisco Technology, Inc. | System and method for gesture interface control |
US20120206584A1 (en) * | 2011-02-10 | 2012-08-16 | Meijo University | Integrated input interface |
JP5737748B2 (ja) | 2011-02-10 | 2015-06-17 | 学校法人 名城大学 | 統合入力インターフェース |
JP5641970B2 (ja) * | 2011-02-18 | 2014-12-17 | シャープ株式会社 | 操作装置、再生装置及びテレビ受信装置 |
JP2012181809A (ja) * | 2011-03-03 | 2012-09-20 | Panasonic Corp | 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路 |
JP2012208705A (ja) | 2011-03-29 | 2012-10-25 | Nec Casio Mobile Communications Ltd | 画像操作装置、画像操作方法およびプログラム |
EP2691935A1 (en) * | 2011-03-29 | 2014-02-05 | Qualcomm Incorporated | System for the rendering of shared digital interfaces relative to each user's point of view |
US8929612B2 (en) * | 2011-06-06 | 2015-01-06 | Microsoft Corporation | System for recognizing an open or closed hand |
JP5845002B2 (ja) * | 2011-06-07 | 2016-01-20 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US9207767B2 (en) * | 2011-06-29 | 2015-12-08 | International Business Machines Corporation | Guide mode for gesture spaces |
US8558759B1 (en) * | 2011-07-08 | 2013-10-15 | Google Inc. | Hand gestures to signify what is important |
WO2013008236A1 (en) * | 2011-07-11 | 2013-01-17 | Pointgrab Ltd. | System and method for computer vision based hand gesture identification |
US8179604B1 (en) * | 2011-07-13 | 2012-05-15 | Google Inc. | Wearable marker for passive interaction |
US8751972B2 (en) * | 2011-09-20 | 2014-06-10 | Google Inc. | Collaborative gesture-based input language |
US9497501B2 (en) * | 2011-12-06 | 2016-11-15 | Microsoft Technology Licensing, Llc | Augmented reality virtual monitor |
US9141194B1 (en) * | 2012-01-04 | 2015-09-22 | Google Inc. | Magnetometer-based gesture sensing with a wearable device |
JP2012106005A (ja) | 2012-01-25 | 2012-06-07 | Konami Digital Entertainment Co Ltd | 画像表示装置、ゲームプログラム、ゲーム制御方法 |
US20130229396A1 (en) * | 2012-03-05 | 2013-09-05 | Kenneth J. Huebner | Surface aware, object aware, and image aware handheld projector |
US8933912B2 (en) * | 2012-04-02 | 2015-01-13 | Microsoft Corporation | Touch sensitive user interface with three dimensional input sensor |
US9477303B2 (en) * | 2012-04-09 | 2016-10-25 | Intel Corporation | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface |
US9448636B2 (en) * | 2012-04-18 | 2016-09-20 | Arb Labs Inc. | Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices |
JP5148004B1 (ja) * | 2012-04-26 | 2013-02-20 | 株式会社三菱東京Ufj銀行 | 情報処理装置、電子機器およびプログラム |
US20130328925A1 (en) * | 2012-06-12 | 2013-12-12 | Stephen G. Latta | Object focus in a mixed reality environment |
US8836768B1 (en) * | 2012-09-04 | 2014-09-16 | Aquifi, Inc. | Method and system enabling natural user interface gestures with user wearable glasses |
US20140071061A1 (en) * | 2012-09-12 | 2014-03-13 | Chih-Ping Lin | Method for controlling execution of camera related functions by referring to gesture pattern and related computer-readable medium |
US10133342B2 (en) * | 2013-02-14 | 2018-11-20 | Qualcomm Incorporated | Human-body-gesture-based region and volume selection for HMD |
WO2014128749A1 (ja) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | 形状認識装置、形状認識プログラム、および形状認識方法 |
JP6177872B2 (ja) * | 2013-02-19 | 2017-08-09 | ミラマ サービス インク | 入出力装置、入出力プログラム、および入出力方法 |
JP6250024B2 (ja) * | 2013-02-19 | 2017-12-20 | ミラマ サービス インク | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 |
JP6333801B2 (ja) * | 2013-02-19 | 2018-05-30 | ミラマ サービス インク | 表示制御装置、表示制御プログラム、および表示制御方法 |
JP6250025B2 (ja) * | 2013-02-19 | 2017-12-20 | ミラマ サービス インク | 入出力装置、入出力プログラム、および入出力方法 |
US20150169070A1 (en) * | 2013-12-17 | 2015-06-18 | Google Inc. | Visual Display of Interactive, Gesture-Controlled, Three-Dimensional (3D) Models for Head-Mountable Displays (HMDs) |
US9304674B1 (en) * | 2013-12-18 | 2016-04-05 | Amazon Technologies, Inc. | Depth-based display navigation |
-
2013
- 2013-02-19 WO PCT/JP2013/000909 patent/WO2014128749A1/ja active Application Filing
- 2013-02-19 US US14/768,479 patent/US10295826B2/en active Active
- 2013-02-19 JP JP2015501061A patent/JP6195893B2/ja active Active
- 2013-04-12 JP JP2015501077A patent/JP6095763B2/ja active Active
- 2013-04-12 US US14/768,241 patent/US9857589B2/en active Active
- 2013-04-12 WO PCT/JP2013/002524 patent/WO2014128773A1/ja active Application Filing
- 2013-06-24 US US14/768,482 patent/US9651782B2/en active Active
- 2013-06-24 JP JP2015501081A patent/JPWO2014128787A1/ja active Pending
- 2013-06-24 WO PCT/JP2013/003946 patent/WO2014128787A1/ja active Application Filing
- 2013-07-23 JP JP2015501083A patent/JP6074494B2/ja not_active Expired - Fee Related
- 2013-07-23 US US14/768,485 patent/US10095030B2/en active Active
- 2013-07-23 JP JP2015501082A patent/JP6195894B2/ja active Active
- 2013-07-23 WO PCT/JP2013/004486 patent/WO2014128789A1/ja active Application Filing
- 2013-07-23 US US14/768,484 patent/US9778464B2/en active Active
- 2013-07-23 WO PCT/JP2013/004485 patent/WO2014128788A1/ja active Application Filing
-
2017
- 2017-05-18 JP JP2017098814A patent/JP6393367B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
JP2011215922A (ja) * | 2010-03-31 | 2011-10-27 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
Non-Patent Citations (2)
Title |
---|
JPN6016032137; 井上 快: 'Kinectを利用した指文字認識に関する検討' 電子情報通信学会技術研究報告 第112巻 第417号, 20130118, pp.45-50, 一般社団法人電子情報通信学会 * |
JPN6016032140; 佐々木 博史: '『てのひらめにゅう』:ウェアラブルコンピュータ用入力インタフェース' 日本バーチャルリアリティ学会論文誌 第7巻 第3号, 20020930, pp.393-401, 日本バーチャルリアリティ学会 * |
Also Published As
Publication number | Publication date |
---|---|
WO2014128787A1 (ja) | 2014-08-28 |
WO2014128788A1 (ja) | 2014-08-28 |
WO2014128773A1 (ja) | 2014-08-28 |
JP2017199379A (ja) | 2017-11-02 |
JP6393367B2 (ja) | 2018-09-19 |
US9778464B2 (en) | 2017-10-03 |
US20160004320A1 (en) | 2016-01-07 |
JP6195894B2 (ja) | 2017-09-13 |
US9651782B2 (en) | 2017-05-16 |
JPWO2014128773A1 (ja) | 2017-02-02 |
WO2014128789A1 (ja) | 2014-08-28 |
US9857589B2 (en) | 2018-01-02 |
US10295826B2 (en) | 2019-05-21 |
US20150370321A1 (en) | 2015-12-24 |
JPWO2014128789A1 (ja) | 2017-02-02 |
JPWO2014128788A1 (ja) | 2017-02-02 |
JP6095763B2 (ja) | 2017-03-15 |
US20150378158A1 (en) | 2015-12-31 |
JP6195893B2 (ja) | 2017-09-13 |
JPWO2014128749A1 (ja) | 2017-02-02 |
US10095030B2 (en) | 2018-10-09 |
US20160004907A1 (en) | 2016-01-07 |
WO2014128749A1 (ja) | 2014-08-28 |
US20160004908A1 (en) | 2016-01-07 |
JPWO2014128787A1 (ja) | 2017-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6074494B2 (ja) | 形状認識装置、形状認識プログラム、および形状認識方法 | |
JP6177872B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP6333801B2 (ja) | 表示制御装置、表示制御プログラム、および表示制御方法 | |
JP6250024B2 (ja) | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 | |
WO2014128751A1 (ja) | ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法 | |
JP6250025B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP6446465B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP6479835B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP2017111537A (ja) | ヘッドマウントディスプレイおよびヘッドマウントディスプレイのプログラム | |
JP6479836B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP2017111724A (ja) | 配管用ヘッドマウントディスプレイ | |
JP2017111721A (ja) | クリーンルーム用ヘッドマウントディスプレイ、クリーンルーム用ヘッドマウントディスプレイの制御方法、およびクリーンルーム用ヘッドマウントディスプレイの制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6074494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170224 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170515 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |