JP6195893B2 - 形状認識装置、形状認識プログラム、および形状認識方法 - Google Patents
形状認識装置、形状認識プログラム、および形状認識方法 Download PDFInfo
- Publication number
- JP6195893B2 JP6195893B2 JP2015501061A JP2015501061A JP6195893B2 JP 6195893 B2 JP6195893 B2 JP 6195893B2 JP 2015501061 A JP2015501061 A JP 2015501061A JP 2015501061 A JP2015501061 A JP 2015501061A JP 6195893 B2 JP6195893 B2 JP 6195893B2
- Authority
- JP
- Japan
- Prior art keywords
- shape
- finger
- outer shape
- feature point
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 137
- 238000001514 detection method Methods 0.000 claims description 155
- 210000003811 finger Anatomy 0.000 claims description 138
- 230000008569 process Effects 0.000 claims description 75
- 238000000605 extraction Methods 0.000 claims description 72
- 210000003813 thumb Anatomy 0.000 claims description 55
- 239000000284 extract Substances 0.000 claims description 24
- 210000004247 hand Anatomy 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 244000060701 Kaempferia pandurata Species 0.000 claims description 2
- 235000016390 Uvaria chamae Nutrition 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 37
- 239000011521 glass Substances 0.000 description 12
- 210000000323 shoulder joint Anatomy 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 230000004397 blinking Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 210000004932 little finger Anatomy 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/11—Hand-related biometrics; Hand pose recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
- H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
Description
特許文献1に記載の高速画像生成表示方法においては、立体構造をもつ対象を2次元画面に投影して表示する高速画像生成表示方法であって、対象の構成面は、対象座標系において、領域の大きさを少なくとも1つの要素として階層的に記述され、任意の視点から見た時の該対象の構成面を2次元画面へ投影するに際して、表示基準座標系原点または視点から対象座標系で表される該対象の任意の点までの距離を少なくとも1つのパラメータとして階層度を設定することを特徴とする。
特許文献2に記載の立体視画像生成方法は、三次元座標を有するポリゴンで構成されるオブジェクトのうち、平面視表示させるオブジェクトデータを基準カメラを原点とする基準カメラ座標系データに、立体視表示させるオブジェクトのデータを所定の視差角を有する右眼用及び左眼用視差カメラをそれぞれ原点とする右眼用及び左眼用視差カメラ座標系データに変換し、基準カメラ座標系のオブジェクトのデータと、右眼用視差カメラ座標系のオブジェクトのデータを右眼用画像データとして、ビデオメモリに描画し、基準カメラ座標系のオブジェクトのデータと、左眼用視差カメラ座標系のオブジェクトのデータを左眼用画像データとして、ビデオメモリに描画し、ビデオメモリに描画された右眼用画像データと左眼用画像データを合成して、立体視オブジェクトと平面視オブジェクトの混在する画像を立体視表示装置に表示することを特徴とする。
特許文献3に記載の方法は、ユーザの気質を示す属性を視覚表示に適用するための方法であって、ユーザの視覚表示をレンダリングするステップと、物理的な空間のデータを受信するステップであって、データが、物理的な空間内のユーザを代表しているものと、ユーザの気質を推論するために、少なくとも1つの検出可能な特徴を解析するステップと、ユーザの気質を示す属性を視覚表示に適用するステップと、を含む。
特許文献4に記載のシステムは、入力デバイスと、プロセッサに結合され、入力デバイスの方位を検出する検出器と、を備えているシステムであって、入力デバイスが、方位に対応する複数のモード方位を有し、複数のモード方位が、ジェスチャ制御システムの複数の入力モードに対応し、検出器が、ジェスチャ制御システムに結合され、方位に応答して、複数の入力モードからの入力モードの選択を自動的に制御する。
一局面に従う形状認識装置は、対象物の外形を検知する外形検知部と、外形検知部により検知された外形に基づいて、外形上の第1特徴点を抽出する第1抽出部と、外形上または外形内に存在しかつ第1特徴点とは異なる第2特徴点を抽出する第2抽出部と、を含むものである。
第2の発明にかかる形状認識装置は、一局面に従う形状認識装置において、第1抽出部は、外形検知部によって検知された外形に基づき、複数の外形点を頂点とする多角形を生成し、多角形の頂点から1点を第1特徴点として抽出してもよい。
さらに、第2抽出部は、第1特徴点の両側に位置する一対の頂点を結ぶ線分の方向を算出し、第1特徴点から多角形の外周に沿って順に、多角形を構成する辺の方向を算出し、当該線分の方向に対して最も平行に近い方向を有する多角形の辺が検知された場合に、当該検知された辺の位置に基づいた点を第2特徴点として抽出してもよい。
第3の発明にかかる形状認識装置は、一局面に従う形状認識装置において、第1抽出部は、外形検知部によって検知された外形に沿って所定の間隔で複数の外形点を検知し、外形点から1点を第1特徴点として抽出してもよい。
さらに、第2抽出部は、第1特徴点の一方の側と他方の側とにそれぞれ存在する複数の外形点から選択された一対の外形点を結ぶ線分の長さを、第1特徴点により近い位置からより遠い位置への順で算出し、線分の長さの変化量が所定量を超えず且つ第1特徴点から最も遠い線分を検知し、検知された線分上の1点を第2特徴点として抽出してもよい。
第3の発明にかかる形状認識装置は、一局面および第3の発明のいずれかにかかる形状認識装置において、対象物は、少なくとも人体の指、掌、手、または腕であってよい。
第5の発明にかかる形状認識装置は、一局面および第4の発明のいずれかにかかる形状認識装置において、形状認識装置は、延在方向検出部をさらに含んでもよい。
この場合、対象物の延在方向を知ることができる。
第6の発明にかかる形状認識装置は、一局面および第5の発明のいずれかにかかる形状認識装置において、形状認識装置は、枠検出部をさらに含んでもよい。
さらに、枠検出部は、外形検知部により検知された外形、または当該外形に基づいて生成される複数の外形点を頂点とする多角形を囲む四角枠を検出する。延在方向検出部は、四角枠を構成する長辺の方向を検出してもよい。
第7の発明にかかる形状認識装置は、第4から第6の発明のいずれかにかかる形状認識装置において、対象物は手であってよい。さらに、第1抽出部は、第1特徴点として指の先端部の点を抽出し、第2抽出部は、第2特徴点として指の根元部の点を抽出することにより指を認識してもよい。
第8の発明にかかる形状認識装置は、第4から第7の発明のいずれかにかかる形状認識装置において、形状認識装置は、掌部分を認識する掌認識部をさらに含んでもよい。
さらに、掌認識部は、外形検知部によって検知された外形、または当該外形に基づいて生成される複数の外形点を頂点とする多角形の最大内接円に基づいて掌部分を認識してもよい。
第9の発明にかかる形状認識装置は、第4から第8の発明のいずれかにかかる形状認識装置において、形状認識装置は、手の親指を認識する親指認識部をさらに含んでもよい。
さらに、親指認識部は、複数の指についての第1特徴点および第2特徴点の少なくともいずれかに基づいて親指を認識してもよい。
第10の発明にかかる形状認識装置は、第9の発明にかかる形状認識装置において、形状認識装置は、手形状識別部をさらに含んでもよい。
さらに、手形状識別部は、第1抽出部および第2抽出部により認識された指と親指認識部によって認識された親指との情報に基づいて手の形状を識別してもよい。
第11の発明にかかる形状認識装置は、一局面から第10の発明のいずれかにかかる形状認識装置において外形検知部は、赤外線カメラであってもよい。
第12の発明にかかる形状認識装置は、一局面から第11の発明のいずれかにかかる形状認識装置において形状識別処理装置は、立体視像を表示可能な表示装置をさらに含んでもよい。さらに、外形検知部は、対象物までの距離を測定する深度センサを含んでもよい。なおかつ、外形検知部は、深度センサの深度検知領域、および、表示装置により生成された立体視像の立体視領域と深度検知領域とが共有する共有領域の少なくともいずれかにおいて、対象物の外形を検知してもよい。
また、深度とは、深度センサから検知対象となる対象物までの距離をいう。
他の局面にかかるヘッドマウントディスプレイ装置は、請求項1から請求項12のいずれか1項に記載の形状認識装置を有するものである。
さらに他の局面に従う形状認識プログラムは、対象物の外形を検知する外形検知処理と、外形検知処理により検知された外形に基づいて、外形上の第1特徴点を抽出する第1抽出処理と、外形上または外形内に存在しかつ第1特徴点とは異なる第2特徴点を抽出する第2抽出処理とを含むものである。
第15の発明にかかる形状認識プログラムは、さらに他の局面に従う形状認識プログラムにおいて、対象物が延在する方向を検出する延在方向検出処理をさらに含んでもよい。延在方向検出処理は、第1特徴点と第2特徴点とを結ぶ線分の方向が対象物の延在方向であると判定してもよい。
第16の発明にかかる形状認識プログラムは、さらに他の局面および第15にかかる形状認識プログラムにおいて、枠検出処理をさらに含んでもよい。さらに、枠検出処理は、外形検知処理により検知された外形、または外形に基づいて生成される複数の外形点を頂点とする多角形を囲む四角枠を検出してもよい。延在方向検出処理は、四角枠を構成する長辺の方向を検出してもよい。
第17の発明にかかる形状認識プログラムは、さらに他の局面から第16のいずれかの発明にかかる形状認識プログラムにおいて、対象物は手であり、第1抽出処理は第1指認識処理を含み、第2抽出処理は第2指認識処理を含んでもよい。第1指認識処理は、第1特徴点として指の先端部の点を抽出してもよい。第2抽出処理は、第2特徴点として指の根元部の点を抽出してもよい。これら先端部の点と根元部の点とから、指を認識してもよい。
第18の発明にかかる形状認識プログラムは、第17の発明にかかる形状認識プログラムにおいて、掌部分を認識する掌認識処理をさらに含んでもよい。掌認識処理は、外形検知処理によって検知された外形、または外形に基づいて生成される複数の外形点を頂点とする多角形の最大内接円に基づいて掌部分を認識してもよい。
第19の発明にかかる形状認識プログラムは、第17または第18の発明にかかる形状認識プログラムにおいて、手の親指を認識する親指認識処理をさらに含んでもよい。親指認識処理は、複数の指についての第1特徴点および第2特徴点の少なくともいずれかに基づいて親指を認識してもよい。
第20の発明にかかる形状認識プログラムは、第19の発明にかかる形状認識プログラムにおいて、手形状識別処理をさらに含んでもよい。手形状識別処理は、第1抽出処理および第2抽出処理により認識された指と親指認識処理によって認識された親指との情報に基づいて手の形状を識別してもよい。
第21の発明にかかる形状認識プログラムは、さらに他の局面から第20の発明のいずれかにかかる形状認識プログラムにおいて、立体視像を表示可能な表示処理をさらに含んでもよい。外形検知処理は、対象物までの距離を測定する深度センサ処理を含み、且つ、深度センサ処理により検知される深度検知領域、および表示処理により生成された立体視像の立体視領域と深度検知領域とが共有する共有領域の少なくともいずれかにおいて、対象物の外形を検知してもよい。
また、深度とは、深度センサから検知対象となる対象物までの距離をいう。
さらに他の局面に従う形状認識方法は、対象物の外形を検知する外形検知工程と、外形検知工程により検知された外形に基づいて、外形上の第1特徴点を抽出する第1抽出工程と、外形上または外形内に存在しかつ第1特徴点とは異なる第2特徴点を抽出する第2抽出工程とを含むものである。
第23の発明にかかる形状認識方法は、さらに他の局面に従う形状認識方法において、対象物が延在する方向を検出する延在方向検出工程をさらに含んでもよい。延在方向検出工程は、第1特徴点と第2特徴点とを結ぶ線分の方向が対象物の延在方向であると判定してもよい。
第24の発明にかかる形状認識方法は、さらに他の局面および第23にかかる形状認識方法において、枠検出工程をさらに含んでもよい。枠検出工程は、外形検知工程により検知された外形、または外形に基づいて生成される複数の外形点を頂点とする多角形を囲む四角枠を検出してもよい。延在方向検出工程は、四角枠を構成する長辺の方向を検出してもよい。
第25の発明にかかる形状認識方法は、さらに他の局面から第24のいずれかの発明にかかる形状認識方法において、対象物は手であり、第1抽出工程は第1指認識工程を含み、第2抽出工程は第2指認識工程を含んでもよい。第1指認識工程は、第1特徴点として指の先端部の点を抽出してもよい。第2抽出工程は、第2特徴点として指の根元部の点を抽出してもよい。これら先端部の点と根元部の点とから、指を認識してもよい。
第26の発明にかかる形状認識方法は、第25の発明にかかる形状認識方法において、掌部分を認識する掌認識工程をさらに含んでもよい。掌認識工程は、外形検知工程によって検知された外形、または外形に基づいて生成される複数の外形点を頂点とする多角形の最大内接円に基づいて掌部分を認識してもよい。
第27の発明にかかる形状認識方法は、第25または第26の発明にかかる形状認識方法において、手の親指を認識する親指認識工程をさらに含んでもよい。親指認識工程は、複数の指についての第1特徴点および第2特徴点の少なくともいずれかに基づいて親指を認識してもよい。
第28の発明にかかる形状認識方法は、第27の発明にかかる形状認識方法において、手形状識別工程をさらに含んでもよい。手形状識別工程は、第1抽出工程および第2抽出工程により認識された指と親指認識工程によって認識された親指との情報に基づいて手の形状を識別してもよい。
第29の発明にかかる形状認識方法は、さらに他の局面から第28の発明のいずれかにかかる形状認識方法において、立体視像を表示可能な表示工程をさらに含んでもよい。外形検知工程は、対象物までの距離を測定する深度センサ工程を含み、且つ、深度センサ工程により検知される深度検知領域、および表示工程により生成された立体視像の立体視領域と深度検知領域とが共有する共有領域の少なくともいずれかにおいて、対象物の外形を検知してもよい。
また、深度とは、深度センサから検知対象となる対象物までの距離をいう。
220 半透過ディスプレイ
221 広告
2203D 仮想イメージ表示領域(共有領域)
300 通信システム
303 カメラユニット
410 赤外線検知ユニット
410c 操作領域
420 ジャイロセンサユニット
430 加速度検知ユニット
4103D 三次元空間検知領域
450 制御ユニット
454 解剖学的認識ユニット
456 ジェスチャ識別ユニット
460 イベントサービスユニット
461 キャリブレーションサービスユニット
701,〜,707 表示
900 入出力装置
H1 手
H2,H3 陰影
RP 右肩関節
LP 左肩関節
OF 外形
pn,p0,p1 頂点
PP1 基準線分
pp2 辺
ppk 辺
P0 先端点
P1 根元点
C 最大内接円
V3 顔認識アプリ画面
V5 SNSアプリ画面
また、本発明は、以下に説明する眼鏡表示装置に限定されるものではなく、他の入出力装置、表示装置、テレビジョン、モニタ、プロジェクタ等にも適用することができる。
図1は、一実施の形態にかかる眼鏡表示装置100の基本構成の一例を示す模式的外観正面図であり、図2は、眼鏡表示装置100の一例を示す模式的外観斜視図である。
図1および図2に示すように、眼鏡ユニット200は、眼鏡フレーム210および一対の半透過ディスプレイ220からなる。眼鏡フレーム210は、主にリムユニット211、テンプルユニット212を含む。
眼鏡フレーム210のリムユニット211により一対の半透過ディスプレイ220が支持される。
また、当該レンズ類の一部に、半透過ディスプレイ220を埋め込んで設けてもよい。
次に、通信システム300について説明を行なう。
通信システム300は、バッテリーユニット301、アンテナモジュール302、カメラユニット303、スピーカユニット304、GPS(Global Positioning System)ユニット307、マイクユニット308、SIM(Subscriber Identity Module Card)ユニット309およびメインユニット310を含む。
なお、カメラユニットにはCCDセンサが備えられてよい。スピーカユニット304は、ノーマルイヤホンであってもよいし、骨伝導イヤホンであってもよい。SIMユニット309には、NFC(Near Field Communication:近距離無線通信)ユニットおよび他の接触式ICカードユニット、ならびに非接触式ICカードユニットを含む。
したがって、ユーザは、眼鏡表示装置100を用いて、通信装置、スピーカおよびマイクにより、携帯電話と同様の通話機能を使用することができる。また、眼鏡型であるので、両手を利用せず、通話を行なうことができる。
続いて、操作システム400は、赤外線検知ユニット410、ジャイロセンサユニット420、加速度検知ユニット430および制御ユニット450からなる。赤外線検知ユニット410は、主に赤外線照射素子411および赤外線検知カメラ412からなる。
ジェスチャ識別ユニット456は、ジェスチャデータ記録ユニット455に記録されたジェスチャデータを参照し、解剖学的特徴が識別された外形からジェスチャの識別を行なう。なお、ジェスチャ識別ユニット456は、ジェスチャデータ記録ユニット455からのジェスチャデータを参照することとしているが、参照することに限定されず、他の任意のデータを参照してもよく、全く参照することなく処理してもよい。
以上により、図5(a)に示すように、手のジェスチャを認識する。
これによって、図5(b)に示すように、たとえば写真アプリによる画像が表示される。この際、当該画面には、カメラユニット303からの撮像データが表示されてよい。
次に、操作システム400の赤外線検知ユニット410の検知領域と、一対の半透過ディスプレイ220の仮想表示領域との関係について説明を行なう。
図6は、赤外線検知ユニット410の検知領域と、一対の半透過ディスプレイ220の仮想表示領域とを説明するための模式的斜視図であり、図7は図6の上面図であり、図8は、図6の側面図である。
三次元空間検知領域4103Dは、赤外線検知ユニット410からの円錐状または角錐状の三次元空間からなる。
また、本実施の形態においては、赤外線検知ユニット410を1個設けることとしているが、これに限定されず、赤外線検知ユニット410を複数個設けてもよいし、赤外線照射素子411を1個、赤外線検知カメラ412を複数個設けてもよい。
すなわち、実際には眼鏡表示装置100の半透過ディスプレイ220に表示されるものの、ユーザは、右目のイメージは右目側の半透過ディスプレイ220を透過し三次元空間領域2203DRで認識し、左目のイメージは左目側の半透過ディスプレイ220を透過し三次元空間領域2203DLで認識する。その結果、認識された両イメージがユーザの脳内で合成されることにより、仮想イメージ表示領域2203Dで仮想イメージとして認識することができる。
また、図8に示すように、一対の半透過ディスプレイ220よりも赤外線検知ユニット410が上方(y軸正方向)に配設されている場合について説明しているが、鉛直方向(y軸方向)に対して、赤外線検知ユニット410の配設位置が半透過ディスプレイ220よりも下方(y軸負方向)または半透過ディスプレイ220と同位置であっても、同様に、仮想イメージ表示領域2203Dは、三次元空間検知領域4103Dと共有する空間領域を有する。
続いて、図9から図11は、図6から図8において示した検知領域と仮想表示領域との他の例を示す模式図である。
この場合、入出力装置900による仮想イメージ表示領域2203Dが、三次元空間検知領域4103Dと共有の空間領域として生じる。
この場合でも、入出力装置900による仮想イメージ表示領域2203Dが、三次元空間検知領域4103Dと共有の空間領域として生じる。
続いて、検知領域における操作領域とジェスチャ領域とについて説明する。図12および図13は、検知領域における操作領域と、ジェスチャ領域との一例を示す模式図である。
また、三次元空間検知領域4103D内における操作領域410c以外の部分で、かつ腕の移動領域Lおよび移動領域Rを合わせた領域と重なる部分をジェスチャ領域410gとして設定する。
次いで、キャリブレーション処理について説明を行なう。図14は、キャリブレーション処理の説明を行なうためのフローチャートである。
また、キャリブレーション処理には、ユーザの個々で異なる指の長さ、手の長さ、腕の長さの調整も行なう。
すなわち、ユーザによりユーザの個々で異なる指の長さ、手の長さ、腕の長さが異なるので、操作領域410cの調整を行なうものである。
なお、ジェスチャ領域410gは、仮想イメージ表示領域2203Dと重ならないように配置しかつ深さ方向(z軸正方向)に厚みを持たせることが好ましい。
そのため、赤外線検知ユニット410からの信号を無処理のまま使用すると、ユーザは、手先が仮想イメージ表示領域2203Dから外れたとしても、そのような状態であることを体感しにくい。
その結果、ユーザは、両腕を最大限に伸ばした状態、または少し曲げた状態で、奥行きのある平面状の仮想イメージ表示領域2203D内の中央部から端部まで操作することができる。
続いて、半透過ディスプレイ220に、像の周囲を指で囲んでくださいと、表示を行なう(ステップS16)。ここで、像の近傍に指の形の像を薄く表示してもよいし、半透過ディスプレイ220に表示を行なう代わりにスピーカから音声により指示をユーザに伝えてもよい。
なお、上記においては、指で矩形を形作り、そのように定められた矩形と、像の外縁の矩形にあわせる。このことによって、指により定められた矩形の視認サイズおよび位置と像の外縁の矩形の視認サイズ及び位置とを合わせることとした。しかしながら、指によって形状を定める手法はこれに限定されず、表示された像の外縁を指でなぞる手法、表示された像の外縁上の複数の点を指で指し示す手法等、他の任意の手法であってもよい。また、これらの手法を複数のサイズの像について行ってもよい。
次いで、指認識について説明を行い、その後掌認識、腕認識の順で説明を行なう。図15は、指認識の一例を示す模式図である。図15において、(A)は指の先端付近の拡大図であり、(B)は指の根元付近の拡大図である。図16は、指認識の処理の一例を示すフローチャートである。
次に、赤外線検知ユニット410により画像データをピクセル単位で距離に置き換える(ステップS23)。この場合、赤外線の明るさは、距離の三乗に反比例する。これを利用し、デプスマップを作成する(ステップS24)。
続いて、二値化した画像データから約100個の頂点を持つポリゴンを作成する(ステップS26)。そして、頂点が滑らかになるようにローパスフィルタ(LPF)により、より多くの頂点pnを有する新たな多角形を作成することによって、図15に示す手の外形OFを抽出する(ステップS27)。
なお、本実施の形態においては、ステップS26において二値化したデータからポリゴンを作成するために抽出する頂点の数を約100個としているが、これに限定されず、1000個、その他の任意の個数であってもよい。
その後、ステップS27で作成された新たな多角形と、ステップS28で作成された凸包との共有の頂点p0を抽出する(ステップS29)。このように抽出された共有の頂点p0自体を指の先端点として用いることができる。
さらに、頂点p0の位置に基づいて算出される他の点を指の先端点として用いてもよい。例えば、図15(A)に示すように頂点p0における外形OFの内接円の中心を先端点P0として算出することもできる。
全ての指について同様の処理を行なうことで、全ての指のスケルトンを得る。これにより、手のポーズを認識することができる。すなわち、親指、人差し指、中指、薬指、小指のいずれの指が広げられ、いずれの指が握られているかを認識することができる。
グラフィック演算ユニット463は、キャリブレーションサービスユニット461を用いてキャリブレーションデータ記録ユニット457を参照し、表示の補正を行なう(ステップS36)。
最後に、ディスプレイ演算ユニット464により半透過ディスプレイ220に表示を行なう(ステップS37)。
次いで、図17は、掌認識の一例を示す模式図である。
次いで、腕認識について説明を行なう。本実施の形態において、腕認識は、指、掌および親指のいずれかを認識した後に実施する。なお、腕認識は、指、掌および親指のいずれかを認識する前、またはそれらの少なくともいずれかと同時に実施してもよい。
その後、抽出した外形に外接する四角枠を選定する。本実施の形態においては、当該四角枠は、平行四辺形または長方形からなる。
この場合、平行四辺形または長方形は、対向する長辺を有するので、長辺の延在方向から腕の延在方向を認識することができ、長辺の向きから腕の向きを判定することが出来る。なお、ステップS32の処理と同様に、直前の数フレームの画像データと比較して、腕の動きを検知させてもよい。
次に、図19は、眼鏡表示装置100の半透過ディスプレイ220の表示の一例を示す模式図である。
次に、眼鏡表示装置100の半透過ディスプレイ220に表示される表示の一例について説明を行なう。図20(a)は、半透過ディスプレイ220の視野の一例、図20(b)は、半透明ディスプレイ220の表示の一例を説明する図である。
図20に示すように、縦方向に表示703、702、701、704、705の表示が設けられており、表示701を中央として、左右に表示706,707が設けられる。なお、当然のことながら、当該表示701,〜,707は、ユーザによって自由に削除または変更することができ、さらに他の表示を追加することもできる。
なお、本実施の形態においては、表示701,〜,707はシームレスに連続した画像であるが、切換えされるべき表示は、それぞれが独立した非連続の像であってもよい。
一方、天空情報の表示703および地図情報の表示705はパノラマ表示であってよく、この場合、左右方向の動きに伴ってそれら表示703,705をスクロールさせてよい。
続いて、指、掌、手、腕が操作領域410cに存在する場合と、ジェスチャ領域410gに存在する場合との違いをユーザが認識し易いように、所定のイベントを発生させる。以下、所定のイベントについて説明を行なう。図21は、所定のイベント発生の一例を示す模式図であり、図22は、図21のイベント発生の他の例を示す模式図であり、図23は、他のイベント発生の一例を示す模式図である。
これにより、ユーザは、ジェスチャ領域410gに手が存在することを容易に認識できる。
以上の指、掌、腕認識およびイベント発生を伴う眼鏡表示装置100の使用態様について説明する。
例えば、広告221には、店舗の、商品、サービス等の情報が表示されている。ユーザがその広告221をタッチした場合、当該店舗に関するさらに詳しい情報を追加表示させてもよい。たとえば、飲食店の場合には、当該飲食店の代表メニュ、ユーザからの評価、価格帯等を表示させてもよい。
なお、広告221は、店舗をカメラユニット303で撮影された像そのものであってもよいし、カメラユニット303による当該店舗の撮像データに基づいて店舗認識を自動で開始し、その結果、店舗認識アプリ画面に表示された認識結果情報であってもよい。
また、図25に示すように、半透過ディスプレイ220に一の企業(○○社)のロゴマークが表示されている際に、画面中のロゴマークにタッチ等行なうことで、競合又は非競合の他の企業(△△社)に関連する情報を表示させることができる。この場合、例えばパロディモードとして、当該他の企業のロゴを表示させてもよい。
また、ユーザがジェスチャ領域410g内で所定の手のポーズを作ることにより、予め設定された動作が実施される。図26から図33は、ジェスチャ認識の例を示す模式図である。
Claims (25)
- 人体の指および手の外形を検知する外形検知部と、
前記外形検知部により検知された前記外形に基づいて、前記外形上の第1特徴点を抽出する第1抽出部と、
前記外形上または前記外形内に存在しかつ前記第1特徴点とは異なる第2特徴点を抽出する第2抽出部と、を含み、
前記第1抽出部が、前記外形に基づいて複数の外形点を頂点とする多角形を生成し、前記多角形の頂点と凸包との共有点を前記第1特徴点として抽出し、
前記第2抽出部が、前記第1特徴点の両側に位置する一対の頂点を結ぶ線分の方向を算出し、前記第1特徴点から前記多角形の外周に沿って順に、前記多角形を構成する辺の方向を算出し、前記線分の方向に対して最も平行に近い方向を有する前記多角形の辺が検知された場合に、前記検知された辺の位置に基づいた点を前記第2特徴点とする、形状認識装置。 - 前記第1抽出部が、前記外形に沿って所定の間隔で複数の外形点を検知し、前記外形点から1点を前記第1特徴点として抽出し、
前記第2抽出部が、前記第1特徴点の一方の側と他方の側とにそれぞれ存在する前記複数の外形点から選択された一対の外形点を結ぶ線分の長さを、前記第1特徴点により近い位置からより遠い位置への順で算出し、前記線分の長さの変化量が所定量を超えず且つ前記第1特徴点から最も遠い線分を検知し、前記検知された線分上の1点を前記第2特徴点として抽出する、請求項1に記載の形状認識装置。 - 前記人体の指が延在する方向を検出する延在方向検出部をさらに含み、
前記延在方向検出部が、前記第1特徴点と前記第2特徴点とを結ぶ線分の方向が前記人体の指の延在方向であると判定する、請求項1または2に記載の形状認識装置。 - 人体の腕を検知する外形検知部と、
前記外形検知部により検知された前記人体の腕の外形、または前記人体の腕の外形に基づいて生成される複数の外形点を頂点とする多角形を囲む四角枠を検出する枠検出部をさらに含み、
延在方向検出部が、前記四角枠を構成する長辺の方向を検出する、請求項1から3のいずれか1項に記載の形状認識装置。 - 前記第1抽出部は、前記第1特徴点として指の先端部の点を抽出し、前記第2抽出部は、前記第2特徴点として指の根元部の点を抽出することにより指を認識する、請求項1または2記載の形状認識装置。
- 掌部分を認識する掌認識部をさらに含み、
前記掌認識部は、前記外形検知部によって検知された前記手の外形、または前記手の外形に基づいて生成される複数の外形点を頂点とする多角形の最大内接円に基づいて掌部分を認識する、請求項3から5のいずれか1項に記載の形状認識装置。 - 手の親指を認識する親指認識部をさらに含み、
前記親指認識部は、複数の指についての前記第1特徴点および前記第2特徴点の少なくともいずれかに基づいて前記親指を認識する、請求項3から6のいずれかに記載の形状認識装置。 - 前記第1抽出部および前記第2抽出部により前記認識された指と前記親指認識部によって認識された親指との情報に基づいて手の形状を識別する手形状識別部をさらに含む、請求項7に記載の形状認識装置。
- 前記外形検知部は、赤外線カメラである、請求項1から8のいずれか1項に記載の形状認識装置。
- 立体視像を表示可能な表示装置をさらに含み、
前記外形検知部が、前記人体の指および手の外形までの距離を測定する深度センサを含み、且つ、前記深度センサの深度検知領域、および前記表示装置により生成された立体視像の立体視領域と前記深度検知領域とが共有する共有領域の少なくともいずれかにおいて、前記人体の指および手の外形を検知する、請求項1から9のいずれか1項に記載の形状認識装置。 - 請求項1から請求項10のいずれか1項に記載の形状認識装置を有するヘッドマウントディスプレイ装置。
- 人体の指および手の外形を検知する外形検知処理と、
前記外形検知処理により検知された前記外形に基づいて、前記外形上の第1特徴点を抽出する第1抽出処理と、
前記外形上または前記外形内に存在しかつ前記第1特徴点とは異なる第2特徴点を抽出する第2抽出処理と、を含み、
前記第1抽出処理が、前記外形に基づいて複数の外形点を頂点とする多角形を生成し、前記多角形の頂点と凸包との共有点を前記第1特徴点として抽出し、
前記第2抽出処理が、前記第1特徴点の両側に位置する一対の頂点を結ぶ線分の方向を算出し、前記第1特徴点から前記多角形の外周に沿って順に、前記多角形を構成する辺の方向を算出し、前記線分の方向に対して最も平行に近い方向を有する前記多角形の辺が検知された場合に、前記検知された辺の位置に基づいた点を前記第2特徴点とする、形状認識プログラム。 - 人体の腕を検知する外形検知処理と、
前記外形検知処理により検知された前記人体の腕の外形、または前記人体の腕の外形に基づいて生成される複数の外形点を頂点とする多角形を囲む四角枠を検出する枠検出処理をさらに含み、
延在方向検出処理が、前記四角枠を構成する長辺の方向を検出する、請求項12に記載の形状認識プログラム。 - 前記第1抽出処理は、前記第1特徴点として指の先端部の点を抽出する第1指認識処理を含み、前記第2抽出処理は、前記第2特徴点として指の根元部の点を抽出することにより指を認識する第2指認識処理を有する、請求項12または13に記載の形状認識プログラム。
- 掌部分を認識する掌認識処理をさらに含み、
前記掌認識処理は、前記外形検知処理によって検知された前記手の外形、または前記手の外形に基づいて生成される複数の外形点を頂点とする多角形の最大内接円に基づいて掌部分を認識する、請求項14に記載の形状認識プログラム。 - 手の親指を認識する親指認識処理をさらに含み、
前記親指認識処理は、複数の指についての前記第1特徴点および前記第2特徴点の少なくともいずれかに基づいて前記親指を認識する、請求項14または15に記載の形状認識プログラム。 - 前記第1抽出処理および前記第2抽出処理により認識された指と前記親指認識処理によって認識された親指との情報に基づいて手の形状を識別する手形状識別処理をさらに含む、請求項16に記載の形状認識プログラム。
- 立体視像を表示可能な表示処理をさらに含み、
前記外形検知処理が、前記人体の指および手の外形までの距離を測定する深度センサ処理を含み、且つ、
前記深度センサ処理により検知される深度検知領域、および前記表示処理により生成された立体視像の立体視領域と前記深度検知領域とが共有する共有領域の少なくともいずれかにおいて、前記人体の指および手の外形を検知する、請求項12から17のいずれか1項に記載の形状認識プログラム。 - 人体の指および手の外形を検知する外形検知工程と、
前記外形検知工程により検知された前記外形に基づいて、前記外形上の第1特徴点を抽出する第1抽出工程と、
前記外形上または前記外形内に存在しかつ前記第1特徴点とは異なる第2特徴点を抽出する第2抽出工程と、を含み、
前記第1抽出工程が、前記外形に基づいて複数の外形点を頂点とする多角形を生成し、前記多角形の頂点と凸包との共有点を前記第1特徴点として抽出し、
前記第2抽出工程が、前記第1特徴点の両側に位置する一対の頂点を結ぶ線分の方向を算出し、前記第1特徴点から前記多角形の外周に沿って順に、前記多角形を構成する辺の方向を算出し、前記線分の方向に対して最も平行に近い方向を有する前記多角形の辺が検知された場合に、前記検知された辺の位置に基づいた点を前記第2特徴点とする、形状認識方法。 - 人体の腕を検知する外形検知工程と、
前記外形検知工程により検知された前記人体の腕の外形、または前記人体の腕の外形に基づいて生成される複数の外形点を頂点とする多角形を囲む四角枠を検出する枠検出工程をさらに含み、
延在方向検出工程が、前記四角枠を構成する長辺の方向を検出する、請求項19に記載の形状認識方法。 - 前記第1抽出工程は、前記第1特徴点として指の先端部の点を抽出する第1指認識工程を含み、前記第2抽出工程は、前記第2特徴点として指の根元部の点を抽出することにより指を認識する第2指認識工程を有する、請求項19または20に記載の形状認識方法。
- 掌部分を認識する掌認識工程をさらに含み、
前記掌認識工程は、前記外形検知工程によって検知された前記手の外形、または前記手の外形に基づいて生成される複数の外形点を頂点とする多角形の最大内接円に基づいて掌部分を認識する、請求項21に記載の形状認識方法。 - 手の親指を認識する親指認識工程をさらに含み、
前記親指認識工程は、複数の指についての前記第1特徴点および前記第2特徴点の少なくともいずれかに基づいて前記親指を認識する、請求項21または22に記載の形状認識方法。 - 前記第1抽出工程および前記第2抽出工程により前記認識された指と前記親指認識工程によって認識された親指との情報に基づいて手の形状を識別する手形状識別工程をさらに含む、請求項23に記載の形状認識方法。
- 立体視像を表示可能な表示工程をさらに含み、
前記外形検知工程が、前記人体の指および手の外形までの距離を測定する深度センサ工程を含み、且つ、
前記深度センサ工程により検知される深度検知領域、および前記表示工程により生成された立体視像の立体視領域と前記深度検知領域とが共有する共有領域の少なくともいずれかにおいて、前記人体の指および手の外形を検知する、請求項19から24のいずれか1項に記載の形状認識方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2013/000909 WO2014128749A1 (ja) | 2013-02-19 | 2013-02-19 | 形状認識装置、形状認識プログラム、および形状認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014128749A1 JPWO2014128749A1 (ja) | 2017-02-02 |
JP6195893B2 true JP6195893B2 (ja) | 2017-09-13 |
Family
ID=51390597
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015501061A Active JP6195893B2 (ja) | 2013-02-19 | 2013-02-19 | 形状認識装置、形状認識プログラム、および形状認識方法 |
JP2015501077A Active JP6095763B2 (ja) | 2013-02-19 | 2013-04-12 | ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法 |
JP2015501081A Pending JPWO2014128787A1 (ja) | 2013-02-19 | 2013-06-24 | 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法 |
JP2015501083A Expired - Fee Related JP6074494B2 (ja) | 2013-02-19 | 2013-07-23 | 形状認識装置、形状認識プログラム、および形状認識方法 |
JP2015501082A Active JP6195894B2 (ja) | 2013-02-19 | 2013-07-23 | 形状認識装置、形状認識プログラム、および形状認識方法 |
JP2017098814A Active JP6393367B2 (ja) | 2013-02-19 | 2017-05-18 | 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法 |
Family Applications After (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015501077A Active JP6095763B2 (ja) | 2013-02-19 | 2013-04-12 | ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法 |
JP2015501081A Pending JPWO2014128787A1 (ja) | 2013-02-19 | 2013-06-24 | 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法 |
JP2015501083A Expired - Fee Related JP6074494B2 (ja) | 2013-02-19 | 2013-07-23 | 形状認識装置、形状認識プログラム、および形状認識方法 |
JP2015501082A Active JP6195894B2 (ja) | 2013-02-19 | 2013-07-23 | 形状認識装置、形状認識プログラム、および形状認識方法 |
JP2017098814A Active JP6393367B2 (ja) | 2013-02-19 | 2017-05-18 | 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法 |
Country Status (3)
Country | Link |
---|---|
US (5) | US10295826B2 (ja) |
JP (6) | JP6195893B2 (ja) |
WO (5) | WO2014128749A1 (ja) |
Families Citing this family (101)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10191654B2 (en) * | 2009-03-30 | 2019-01-29 | Touchtype Limited | System and method for inputting text into electronic devices |
GB0905457D0 (en) | 2009-03-30 | 2009-05-13 | Touchtype Ltd | System and method for inputting text into electronic devices |
WO2014081104A1 (en) * | 2012-11-21 | 2014-05-30 | Lg Electronics Inc. | Multimedia device for having touch sensor and method for controlling the same |
JP6195893B2 (ja) * | 2013-02-19 | 2017-09-13 | ミラマ サービス インク | 形状認識装置、形状認識プログラム、および形状認識方法 |
WO2014128752A1 (ja) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | 表示制御装置、表示制御プログラム、および表示制御方法 |
WO2015061574A2 (en) * | 2013-10-23 | 2015-04-30 | Dock Technologies Inc. | Indicators |
JP6241230B2 (ja) * | 2013-11-28 | 2017-12-06 | 富士通株式会社 | 生体情報判定装置及びプログラム |
JP6091407B2 (ja) * | 2013-12-18 | 2017-03-08 | 三菱電機株式会社 | ジェスチャ登録装置 |
WO2015108112A1 (ja) * | 2014-01-15 | 2015-07-23 | 株式会社Juice Design | 操作判定装置、操作判定方法、および、プログラム |
JP2015149634A (ja) * | 2014-02-07 | 2015-08-20 | ソニー株式会社 | 画像表示装置および方法 |
JP6165650B2 (ja) * | 2014-02-14 | 2017-07-19 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および情報処理方法 |
EP3107070B1 (en) | 2014-02-14 | 2020-04-29 | Sony Interactive Entertainment Inc. | Information processing device and information processing method |
USD776710S1 (en) * | 2014-04-08 | 2017-01-17 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
USD766262S1 (en) * | 2014-05-01 | 2016-09-13 | Beijing Qihoo Technology Co. Ltd | Display screen with an animated graphical user interface |
US10304248B2 (en) * | 2014-06-26 | 2019-05-28 | Korea Advanced Institute Of Science And Technology | Apparatus and method for providing augmented reality interaction service |
USD767633S1 (en) * | 2014-08-29 | 2016-09-27 | Nike, Inc. | Display screen with emoticon |
JP5989725B2 (ja) * | 2014-08-29 | 2016-09-07 | 京セラドキュメントソリューションズ株式会社 | 電子機器及び情報表示プログラム |
JP6413521B2 (ja) * | 2014-09-08 | 2018-10-31 | 富士通株式会社 | 表示制御方法、情報処理プログラム、及び情報処理装置 |
WO2016052061A1 (ja) * | 2014-09-30 | 2016-04-07 | コニカミノルタ株式会社 | ヘッドマウントディスプレイ |
WO2016051429A1 (ja) * | 2014-09-30 | 2016-04-07 | 株式会社ブリリアントサービス | 入出力装置、入出力プログラム、および入出力方法 |
US20170310944A1 (en) * | 2014-09-30 | 2017-10-26 | Mirama Service Inc. | Input/output device, input/output program, and input/output method |
USD828845S1 (en) | 2015-01-05 | 2018-09-18 | Dolby International Ab | Display screen or portion thereof with transitional graphical user interface |
JP6409118B2 (ja) * | 2015-02-25 | 2018-10-17 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
JP6585355B2 (ja) * | 2015-03-04 | 2019-10-02 | 株式会社メガチップス | 画像認識装置 |
JP6547366B2 (ja) * | 2015-03-27 | 2019-07-24 | セイコーエプソン株式会社 | インタラクティブプロジェクター |
US9965029B2 (en) * | 2015-03-30 | 2018-05-08 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP6354653B2 (ja) * | 2015-04-25 | 2018-07-11 | 京セラドキュメントソリューションズ株式会社 | 拡張現実操作システムおよび拡張現実操作プログラム |
JP6483514B2 (ja) * | 2015-04-28 | 2019-03-13 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
WO2016190057A1 (ja) * | 2015-05-22 | 2016-12-01 | コニカミノルタ株式会社 | ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法 |
US9959677B2 (en) * | 2015-05-26 | 2018-05-01 | Google Llc | Multidimensional graphical method for entering and exiting applications and activities in immersive media |
EP3101629B1 (en) * | 2015-06-04 | 2021-03-17 | Nokia Technologies Oy | Mediated reality |
EP3332314B1 (en) * | 2015-08-04 | 2024-04-10 | Google LLC | Input via context sensitive collisions of hands with objects in virtual reality |
US10303254B2 (en) * | 2015-09-24 | 2019-05-28 | Stmicroelectronics Sa | Device and method for identifying tap or wipe hand gestures using time-of-flight sensing |
US9886095B2 (en) | 2015-09-24 | 2018-02-06 | Stmicroelectronics Sa | Device and method for recognizing hand gestures using time-of-flight sensing |
JP6597235B2 (ja) * | 2015-11-30 | 2019-10-30 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2017102598A (ja) * | 2015-11-30 | 2017-06-08 | 富士通株式会社 | 認識装置、認識方法および認識プログラム |
JP2017099686A (ja) * | 2015-12-02 | 2017-06-08 | 株式会社ブリリアントサービス | ゲーム用ヘッドマウントディスプレイ、ゲーム用ヘッドマウントディスプレイのプログラム、およびゲーム用ヘッドマウントディスプレイの制御方法 |
US10963063B2 (en) * | 2015-12-18 | 2021-03-30 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP2017111722A (ja) * | 2015-12-18 | 2017-06-22 | 株式会社ブリリアントサービス | ヘッドマウントディスプレイ、ヘッドマウントディスプレイの表示方法、およびヘッドマウントディスプレイのプログラム |
JP6200023B1 (ja) * | 2016-03-28 | 2017-09-20 | 株式会社バンダイナムコエンターテインメント | シミュレーション制御装置及びシミュレーション制御プログラム |
JP6630607B2 (ja) * | 2016-03-28 | 2020-01-15 | 株式会社バンダイナムコエンターテインメント | シミュレーション制御装置及びシミュレーション制御プログラム |
DE102016206142A1 (de) * | 2016-04-13 | 2017-10-19 | Volkswagen Aktiengesellschaft | Anwenderschnittstelle, Fortbewegungsmittel und Verfahren zur Erkennung einer Hand eines Anwenders |
KR102529119B1 (ko) * | 2016-06-27 | 2023-05-04 | 삼성전자주식회사 | 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체 |
JP6691015B2 (ja) * | 2016-08-03 | 2020-04-28 | ソフトバンク株式会社 | 機器制御装置 |
JP6851745B2 (ja) | 2016-08-04 | 2021-03-31 | 富士通株式会社 | 画像制御方法、装置、及びプログラム |
KR102529137B1 (ko) * | 2016-08-22 | 2023-05-03 | 매직 립, 인코포레이티드 | 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스 |
JP6565864B2 (ja) * | 2016-10-21 | 2019-08-28 | 京セラドキュメントソリューションズ株式会社 | 画像形成システム |
US10609018B2 (en) * | 2016-12-05 | 2020-03-31 | Google Llc | Gesture-based access control in virtual environments |
JP6816528B2 (ja) * | 2017-01-25 | 2021-01-20 | 凸版印刷株式会社 | 携帯通信端末を制御するための方法およびプログラム、ならびに、携帯通信端末 |
JP2018132986A (ja) * | 2017-02-16 | 2018-08-23 | 株式会社東海理化電機製作所 | 画像認識装置 |
JP6776155B2 (ja) * | 2017-02-28 | 2020-10-28 | 株式会社コロプラ | 仮想現実を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
US10620779B2 (en) * | 2017-04-24 | 2020-04-14 | Microsoft Technology Licensing, Llc | Navigating a holographic image |
DE102017210317A1 (de) * | 2017-06-20 | 2018-12-20 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Erfassen einer Nutzereingabe anhand einer Geste |
US10578869B2 (en) * | 2017-07-24 | 2020-03-03 | Mentor Acquisition One, Llc | See-through computer display systems with adjustable zoom cameras |
EP3542252B1 (en) | 2017-08-10 | 2023-08-02 | Google LLC | Context-sensitive hand interaction |
KR102026475B1 (ko) * | 2017-08-20 | 2019-09-30 | 네이버 주식회사 | 시각적 입력의 처리 |
DE102017128588A1 (de) * | 2017-12-01 | 2019-06-06 | Prüftechnik Dieter Busch AG | System und verfahren zur erfassung und darstellung von messpunkten auf einer körperfläche |
DE102017130137A1 (de) * | 2017-12-15 | 2019-06-19 | Endress+Hauser SE+Co. KG | Verfahren zur vereinfachten Inbetriebnahme eines Feldgeräts |
WO2019178114A1 (en) * | 2018-03-13 | 2019-09-19 | Magic Leap, Inc. | Gesture recognition system and method of using same |
US11301087B2 (en) | 2018-03-14 | 2022-04-12 | Maxell, Ltd. | Personal digital assistant |
CN109104693A (zh) * | 2018-07-13 | 2018-12-28 | 安徽捷峰电子科技有限公司 | 一种老人监护用电子围栏 |
US11449586B2 (en) | 2018-07-20 | 2022-09-20 | Massachusetts Institute Of Technology | Authenticated intention |
US10679393B2 (en) * | 2018-07-24 | 2020-06-09 | Snap Inc. | Conditional modification of augmented reality object |
US10855978B2 (en) * | 2018-09-14 | 2020-12-01 | The Toronto-Dominion Bank | System and method for receiving user input in virtual/augmented reality |
KR20200080047A (ko) | 2018-12-26 | 2020-07-06 | 삼성전자주식회사 | 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기 |
KR102102309B1 (ko) * | 2019-03-12 | 2020-04-21 | 주식회사 피앤씨솔루션 | 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법 |
WO2020209624A1 (en) * | 2019-04-11 | 2020-10-15 | Samsung Electronics Co., Ltd. | Head mounted display device and operating method thereof |
CN110052030B (zh) * | 2019-04-26 | 2021-10-29 | 腾讯科技(深圳)有限公司 | 虚拟角色的形象设置方法、装置及存储介质 |
US11194438B2 (en) * | 2019-05-09 | 2021-12-07 | Microsoft Technology Licensing, Llc | Capture indicator for a virtual world |
TWI719483B (zh) * | 2019-05-17 | 2021-02-21 | 雅得近顯股份有限公司 | 便利備忘操作系統 |
WO2020240835A1 (ja) * | 2019-05-31 | 2020-12-03 | 堺ディスプレイプロダクト株式会社 | 空中映像表示装置 |
US11043192B2 (en) * | 2019-06-07 | 2021-06-22 | Facebook Technologies, Llc | Corner-identifiying gesture-driven user interface element gating for artificial reality systems |
KR20190106851A (ko) * | 2019-08-27 | 2019-09-18 | 엘지전자 주식회사 | Xr 컨텐츠 제공 방법 및 xr 컨텐츠 제공 디바이스 |
US11275453B1 (en) | 2019-09-30 | 2022-03-15 | Snap Inc. | Smart ring for manipulating virtual objects displayed by a wearable device |
JP6821832B2 (ja) * | 2020-01-06 | 2021-01-27 | 株式会社バンダイナムコエンターテインメント | シミュレーション制御装置及びシミュレーション制御プログラム |
WO2021173839A1 (en) * | 2020-02-26 | 2021-09-02 | Magic Leap, Inc. | Hand gesture input for wearable system |
US11277597B1 (en) | 2020-03-31 | 2022-03-15 | Snap Inc. | Marker-based guided AR experience |
JPWO2021199730A1 (ja) * | 2020-03-31 | 2021-10-07 | ||
US11798429B1 (en) | 2020-05-04 | 2023-10-24 | Snap Inc. | Virtual tutorials for musical instruments with finger tracking in augmented reality |
US11520399B2 (en) | 2020-05-26 | 2022-12-06 | Snap Inc. | Interactive augmented reality experiences using positional tracking |
WO2022036302A1 (en) | 2020-08-14 | 2022-02-17 | Hes Ip Holdings, Llc | Systems and methods for superimposing virtual image on real-time image |
US11774759B2 (en) | 2020-09-03 | 2023-10-03 | Hes Ip Holdings, Llc | Systems and methods for improving binocular vision |
US11925863B2 (en) | 2020-09-18 | 2024-03-12 | Snap Inc. | Tracking hand gestures for interactive game control in augmented reality |
KR102229758B1 (ko) * | 2020-09-24 | 2021-03-19 | 주식회사 플레임 | 모션 입력 기능을 가지는 안경 |
US11546505B2 (en) | 2020-09-28 | 2023-01-03 | Snap Inc. | Touchless photo capture in response to detected hand gestures |
CN116420104A (zh) | 2020-09-30 | 2023-07-11 | 海思智财控股有限公司 | 用于虚拟实境及扩增实境装置的虚拟影像显示系统 |
CN112305945B (zh) * | 2020-10-21 | 2021-07-13 | 丽水市正明机械科技有限公司 | 防护机构误动作规避平台 |
US11740313B2 (en) | 2020-12-30 | 2023-08-29 | Snap Inc. | Augmented reality precision tracking and display |
WO2022159911A1 (en) * | 2021-01-25 | 2022-07-28 | Hes Ip Holdings, Llc | Systems and methods for object interactions |
US11531402B1 (en) | 2021-02-25 | 2022-12-20 | Snap Inc. | Bimanual gestures for controlling virtual and graphical elements |
US11734959B2 (en) | 2021-03-16 | 2023-08-22 | Snap Inc. | Activating hands-free mode on mirroring device |
US11809633B2 (en) | 2021-03-16 | 2023-11-07 | Snap Inc. | Mirroring device with pointing based navigation |
US11908243B2 (en) | 2021-03-16 | 2024-02-20 | Snap Inc. | Menu hierarchy navigation on electronic mirroring devices |
US20220300732A1 (en) * | 2021-03-16 | 2022-09-22 | Snap Inc. | Mirroring device with a hands-free mode |
US11798201B2 (en) | 2021-03-16 | 2023-10-24 | Snap Inc. | Mirroring device with whole-body outfits |
KR20230170086A (ko) | 2021-04-19 | 2023-12-18 | 스냅 인코포레이티드 | 가상 및 그래픽 엘리먼트들을 애니메이팅하고 제어하기 위한 손 제스처 |
US11947728B2 (en) | 2021-04-30 | 2024-04-02 | Samsung Electronics Co., Ltd. | Electronic device for executing function based on hand gesture and method for operating thereof |
CN113762093A (zh) * | 2021-08-18 | 2021-12-07 | 北京格灵深瞳信息技术股份有限公司 | 跑道冲刺计时方法、装置、电子设备和存储介质 |
KR20230035209A (ko) * | 2021-08-30 | 2023-03-13 | 소프트뱅크 가부시키가이샤 | 전자기기 및 프로그램 |
CN113901971B (zh) * | 2021-12-09 | 2022-03-25 | 北京的卢深视科技有限公司 | 健身姿势矫正方法、装置、电子设备和存储介质 |
KR102570418B1 (ko) * | 2022-08-11 | 2023-08-25 | 주식회사 엠브이아이 | 사용자 행동을 분석하는 웨어러블 디바이스 및 이를 이용한 대상인식방법 |
Family Cites Families (83)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0831140B2 (ja) | 1990-04-13 | 1996-03-27 | 株式会社エイ・ティ・アール通信システム研究所 | 高速画像生成表示方法 |
CA2145679C (en) | 1992-12-23 | 2002-10-22 | Debra L. Orton | Object oriented framework system |
JPH07210687A (ja) * | 1994-01-18 | 1995-08-11 | Matsushita Electric Ind Co Ltd | 形状検出装置 |
JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
JPH0831140A (ja) | 1994-07-15 | 1996-02-02 | Victor Co Of Japan Ltd | テープリール |
US6002808A (en) * | 1996-07-26 | 1999-12-14 | Mitsubishi Electric Information Technology Center America, Inc. | Hand gesture control system |
JPH10207681A (ja) | 1997-01-17 | 1998-08-07 | Nec Corp | カーソル表示装置 |
JP4049877B2 (ja) | 1997-03-31 | 2008-02-20 | 株式会社ワコム | 電子ペンを用いたコンピュータシステム |
JP3491189B2 (ja) * | 1997-07-08 | 2004-01-26 | 松下電器産業株式会社 | 手の状態検出装置 |
US6363160B1 (en) * | 1999-01-22 | 2002-03-26 | Intel Corporation | Interface using pattern recognition and tracking |
JP2002290529A (ja) | 2001-03-28 | 2002-10-04 | Matsushita Electric Ind Co Ltd | 携帯通信端末、情報表示装置、制御入力装置および制御入力方法 |
JP3863809B2 (ja) * | 2002-05-28 | 2006-12-27 | 独立行政法人科学技術振興機構 | 手の画像認識による入力システム |
JP4228646B2 (ja) | 2002-10-02 | 2009-02-25 | 株式会社セガ | 立体視画像生成方法および立体視画像生成装置 |
JP3903968B2 (ja) * | 2003-07-30 | 2007-04-11 | 日産自動車株式会社 | 非接触式情報入力装置 |
JP2005050284A (ja) * | 2003-07-31 | 2005-02-24 | Toyota Motor Corp | 動き認識装置および動き認識方法 |
JP2005092419A (ja) * | 2003-09-16 | 2005-04-07 | Casio Comput Co Ltd | 情報処理装置およびプログラム |
JP2005301668A (ja) * | 2004-04-12 | 2005-10-27 | Seiko Epson Corp | 情報処理装置および情報処理プログラム |
US20090231275A1 (en) | 2005-01-30 | 2009-09-17 | Simtrix Limited | Computer mouse peripheral |
KR20080026138A (ko) | 2005-06-02 | 2008-03-24 | 폴리 비젼 코포레이션 | 가상 플립 차트 방법 및 장치 |
WO2007088939A1 (ja) * | 2006-02-03 | 2007-08-09 | Matsushita Electric Industrial Co., Ltd. | 情報処理装置 |
US8665213B2 (en) * | 2006-02-08 | 2014-03-04 | Oblong Industries, Inc. | Spatial, multi-modal control device for use with spatial operating system |
JP2007164814A (ja) * | 2007-02-09 | 2007-06-28 | Toshiba Corp | インタフェース装置 |
EP2153377A4 (en) * | 2007-05-04 | 2017-05-31 | Qualcomm Incorporated | Camera-based user input for compact devices |
US8005263B2 (en) * | 2007-10-26 | 2011-08-23 | Honda Motor Co., Ltd. | Hand sign recognition using label assignment |
KR100931403B1 (ko) * | 2008-06-25 | 2009-12-11 | 한국과학기술연구원 | 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템 |
US20110141050A1 (en) * | 2008-09-03 | 2011-06-16 | Nariaki Miura | Gesture input operation device, method, program, and portable device |
JP5262681B2 (ja) | 2008-12-22 | 2013-08-14 | ブラザー工業株式会社 | ヘッドマウントディスプレイ及びそのプログラム |
US9046924B2 (en) * | 2009-03-04 | 2015-06-02 | Pelmorex Canada Inc. | Gesture based interaction with traffic data |
US9256282B2 (en) | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
US8503720B2 (en) * | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
WO2010138743A2 (en) | 2009-05-27 | 2010-12-02 | Oblong Industries, Inc. | Spatial, multi-modal control device for use with spatial operating system |
US8379101B2 (en) * | 2009-05-29 | 2013-02-19 | Microsoft Corporation | Environment and/or target segmentation |
US8390680B2 (en) | 2009-07-09 | 2013-03-05 | Microsoft Corporation | Visual representation expression based on player expression |
TW201104494A (en) | 2009-07-20 | 2011-02-01 | J Touch Corp | Stereoscopic image interactive system |
JP2011081480A (ja) | 2009-10-05 | 2011-04-21 | Seiko Epson Corp | 画像入力システム |
US20110107216A1 (en) * | 2009-11-03 | 2011-05-05 | Qualcomm Incorporated | Gesture-based user interface |
TW201123031A (en) * | 2009-12-24 | 2011-07-01 | Univ Nat Taiwan Science Tech | Robot and method for recognizing human faces and gestures thereof |
US9128281B2 (en) * | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
JP5464661B2 (ja) * | 2010-03-12 | 2014-04-09 | Kddi株式会社 | 情報端末装置 |
JP5564300B2 (ja) * | 2010-03-19 | 2014-07-30 | 富士フイルム株式会社 | ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法 |
JP5087101B2 (ja) * | 2010-03-31 | 2012-11-28 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体及び画像生成システム |
US9069386B2 (en) | 2010-05-11 | 2015-06-30 | Nippon Systemware Co., Ltd. | Gesture recognition device, method, program, and computer-readable medium upon which program is stored |
FR2960986A1 (fr) * | 2010-06-04 | 2011-12-09 | Thomson Licensing | Procede de selection d’un objet dans un environnement virtuel |
JP5609416B2 (ja) * | 2010-08-19 | 2014-10-22 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2012024022A2 (en) * | 2010-08-20 | 2012-02-23 | University Of Massachusetts | Hand and finger registration for control applications |
JP2012048659A (ja) | 2010-08-30 | 2012-03-08 | Canon Inc | 画像処理装置、画像処理方法 |
CN102402680B (zh) * | 2010-09-13 | 2014-07-30 | 株式会社理光 | 人机交互系统中手部、指示点定位方法和手势确定方法 |
JP2012088819A (ja) * | 2010-10-15 | 2012-05-10 | Sharp Corp | 表示装置および表示方法 |
JP2012094060A (ja) | 2010-10-28 | 2012-05-17 | Sharp Corp | 電子装置 |
JP2012098988A (ja) * | 2010-11-04 | 2012-05-24 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US9111138B2 (en) * | 2010-11-30 | 2015-08-18 | Cisco Technology, Inc. | System and method for gesture interface control |
US20120206584A1 (en) * | 2011-02-10 | 2012-08-16 | Meijo University | Integrated input interface |
JP5737748B2 (ja) * | 2011-02-10 | 2015-06-17 | 学校法人 名城大学 | 統合入力インターフェース |
JP5641970B2 (ja) * | 2011-02-18 | 2014-12-17 | シャープ株式会社 | 操作装置、再生装置及びテレビ受信装置 |
JP2012181809A (ja) * | 2011-03-03 | 2012-09-20 | Panasonic Corp | 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路 |
JP6126076B2 (ja) * | 2011-03-29 | 2017-05-10 | クアルコム,インコーポレイテッド | 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム |
JP2012208705A (ja) | 2011-03-29 | 2012-10-25 | Nec Casio Mobile Communications Ltd | 画像操作装置、画像操作方法およびプログラム |
US8929612B2 (en) * | 2011-06-06 | 2015-01-06 | Microsoft Corporation | System for recognizing an open or closed hand |
JP5845002B2 (ja) * | 2011-06-07 | 2016-01-20 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US9207767B2 (en) * | 2011-06-29 | 2015-12-08 | International Business Machines Corporation | Guide mode for gesture spaces |
US8558759B1 (en) * | 2011-07-08 | 2013-10-15 | Google Inc. | Hand gestures to signify what is important |
WO2013008236A1 (en) * | 2011-07-11 | 2013-01-17 | Pointgrab Ltd. | System and method for computer vision based hand gesture identification |
US8179604B1 (en) * | 2011-07-13 | 2012-05-15 | Google Inc. | Wearable marker for passive interaction |
US8751972B2 (en) * | 2011-09-20 | 2014-06-10 | Google Inc. | Collaborative gesture-based input language |
US9497501B2 (en) * | 2011-12-06 | 2016-11-15 | Microsoft Technology Licensing, Llc | Augmented reality virtual monitor |
US9141194B1 (en) * | 2012-01-04 | 2015-09-22 | Google Inc. | Magnetometer-based gesture sensing with a wearable device |
JP2012106005A (ja) | 2012-01-25 | 2012-06-07 | Konami Digital Entertainment Co Ltd | 画像表示装置、ゲームプログラム、ゲーム制御方法 |
US20130229396A1 (en) * | 2012-03-05 | 2013-09-05 | Kenneth J. Huebner | Surface aware, object aware, and image aware handheld projector |
US8933912B2 (en) * | 2012-04-02 | 2015-01-13 | Microsoft Corporation | Touch sensitive user interface with three dimensional input sensor |
US9477303B2 (en) * | 2012-04-09 | 2016-10-25 | Intel Corporation | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface |
US9448636B2 (en) * | 2012-04-18 | 2016-09-20 | Arb Labs Inc. | Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices |
JP5148004B1 (ja) * | 2012-04-26 | 2013-02-20 | 株式会社三菱東京Ufj銀行 | 情報処理装置、電子機器およびプログラム |
US20130328925A1 (en) * | 2012-06-12 | 2013-12-12 | Stephen G. Latta | Object focus in a mixed reality environment |
US8836768B1 (en) * | 2012-09-04 | 2014-09-16 | Aquifi, Inc. | Method and system enabling natural user interface gestures with user wearable glasses |
US20140071061A1 (en) * | 2012-09-12 | 2014-03-13 | Chih-Ping Lin | Method for controlling execution of camera related functions by referring to gesture pattern and related computer-readable medium |
US10133342B2 (en) * | 2013-02-14 | 2018-11-20 | Qualcomm Incorporated | Human-body-gesture-based region and volume selection for HMD |
JP6177872B2 (ja) * | 2013-02-19 | 2017-08-09 | ミラマ サービス インク | 入出力装置、入出力プログラム、および入出力方法 |
JP6195893B2 (ja) * | 2013-02-19 | 2017-09-13 | ミラマ サービス インク | 形状認識装置、形状認識プログラム、および形状認識方法 |
US10171800B2 (en) * | 2013-02-19 | 2019-01-01 | Mirama Service Inc. | Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance |
WO2014128752A1 (ja) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | 表示制御装置、表示制御プログラム、および表示制御方法 |
US9906778B2 (en) * | 2013-02-19 | 2018-02-27 | Mirama Service Inc. | Calibration device, calibration program, and calibration method |
US20150169070A1 (en) * | 2013-12-17 | 2015-06-18 | Google Inc. | Visual Display of Interactive, Gesture-Controlled, Three-Dimensional (3D) Models for Head-Mountable Displays (HMDs) |
US9304674B1 (en) * | 2013-12-18 | 2016-04-05 | Amazon Technologies, Inc. | Depth-based display navigation |
-
2013
- 2013-02-19 JP JP2015501061A patent/JP6195893B2/ja active Active
- 2013-02-19 WO PCT/JP2013/000909 patent/WO2014128749A1/ja active Application Filing
- 2013-02-19 US US14/768,479 patent/US10295826B2/en active Active
- 2013-04-12 US US14/768,241 patent/US9857589B2/en active Active
- 2013-04-12 WO PCT/JP2013/002524 patent/WO2014128773A1/ja active Application Filing
- 2013-04-12 JP JP2015501077A patent/JP6095763B2/ja active Active
- 2013-06-24 US US14/768,482 patent/US9651782B2/en active Active
- 2013-06-24 WO PCT/JP2013/003946 patent/WO2014128787A1/ja active Application Filing
- 2013-06-24 JP JP2015501081A patent/JPWO2014128787A1/ja active Pending
- 2013-07-23 JP JP2015501083A patent/JP6074494B2/ja not_active Expired - Fee Related
- 2013-07-23 WO PCT/JP2013/004486 patent/WO2014128789A1/ja active Application Filing
- 2013-07-23 WO PCT/JP2013/004485 patent/WO2014128788A1/ja active Application Filing
- 2013-07-23 JP JP2015501082A patent/JP6195894B2/ja active Active
- 2013-07-23 US US14/768,484 patent/US9778464B2/en active Active
- 2013-07-23 US US14/768,485 patent/US10095030B2/en active Active
-
2017
- 2017-05-18 JP JP2017098814A patent/JP6393367B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2014128788A1 (ja) | 2017-02-02 |
JP6393367B2 (ja) | 2018-09-19 |
US20150378158A1 (en) | 2015-12-31 |
US20160004320A1 (en) | 2016-01-07 |
US9778464B2 (en) | 2017-10-03 |
JPWO2014128789A1 (ja) | 2017-02-02 |
WO2014128773A1 (ja) | 2014-08-28 |
WO2014128789A1 (ja) | 2014-08-28 |
US20160004908A1 (en) | 2016-01-07 |
WO2014128749A1 (ja) | 2014-08-28 |
JP2017199379A (ja) | 2017-11-02 |
US10295826B2 (en) | 2019-05-21 |
US9857589B2 (en) | 2018-01-02 |
US10095030B2 (en) | 2018-10-09 |
US9651782B2 (en) | 2017-05-16 |
US20160004907A1 (en) | 2016-01-07 |
JP6195894B2 (ja) | 2017-09-13 |
US20150370321A1 (en) | 2015-12-24 |
JPWO2014128787A1 (ja) | 2017-02-02 |
WO2014128788A1 (ja) | 2014-08-28 |
JP6095763B2 (ja) | 2017-03-15 |
WO2014128787A1 (ja) | 2014-08-28 |
JP6074494B2 (ja) | 2017-02-01 |
JPWO2014128749A1 (ja) | 2017-02-02 |
JPWO2014128773A1 (ja) | 2017-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6195893B2 (ja) | 形状認識装置、形状認識プログラム、および形状認識方法 | |
JP6177872B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP6333801B2 (ja) | 表示制御装置、表示制御プログラム、および表示制御方法 | |
JP6250024B2 (ja) | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 | |
WO2014128751A1 (ja) | ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法 | |
JP6250025B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP6446465B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP6479835B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP6563802B2 (ja) | 運送点検用ヘッドマウントディスプレイおよび運送点検用ヘッドマウントディスプレイのプログラム | |
JP2017111724A (ja) | 配管用ヘッドマウントディスプレイ | |
JP6479836B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP2017111721A (ja) | クリーンルーム用ヘッドマウントディスプレイ、クリーンルーム用ヘッドマウントディスプレイの制御方法、およびクリーンルーム用ヘッドマウントディスプレイの制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170208 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6195893 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |