JP6686885B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6686885B2 JP6686885B2 JP2016537736A JP2016537736A JP6686885B2 JP 6686885 B2 JP6686885 B2 JP 6686885B2 JP 2016537736 A JP2016537736 A JP 2016537736A JP 2016537736 A JP2016537736 A JP 2016537736A JP 6686885 B2 JP6686885 B2 JP 6686885B2
- Authority
- JP
- Japan
- Prior art keywords
- target object
- contact
- information processing
- image
- operating body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 141
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000001514 detection method Methods 0.000 claims description 24
- 239000008280 blood Substances 0.000 claims description 17
- 210000004369 blood Anatomy 0.000 claims description 17
- 210000003811 finger Anatomy 0.000 description 36
- 238000003825 pressing Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- 241001422033 Thestylus Species 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
- G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Description
上記接触判定部は、対象物体と操作体を含む画像における色の変化に基づいて、上記対象物体に対する上記操作体の接触を判定する。
上記画像に含まれる操作体を認識する物体認識処理部をさらに具備し、
上記接触判定部は、上記操作体の色の変化に基づいて、上記対象物体に対する上記操作体の接触を判定してもよい。
をさらに具備し、
上記入力制御部は、上記操作対象画像における上記操作体と上記操作対象物体の接触位置に基づいて操作入力を制御してもよい。
上記入力制御部は、上記物体認識処理部によって認識された操作体の形状と、上記接触判定部の判定結果に基づいて、操作入力を制御してもよい。
上記接触判定部は、上記対象物体が剛体である場合には上記画像における色の変化に基づいて上記対象物体に対する上記操作体の接触を判定し、上記対象物体が剛体ではない場合には法線方向検出センサによって取得された上記対象物体の表面に対する法線の方向に基づいて上記対象物体に対する上記操作体の接触を判定してもよい。
本技術の第1の実施形態に係る情報処理装置について説明する。
図1は、本技術の第1の実施形態に係る情報処理装置100の機能的構成を示す模式図である。同図に示すように、情報処理装置100は、音声入力部101、音声認識処理部102、画像入力部103、物体認識処理部104、接触判定部105、入力制御部106及び画像出力部107を備える。
情報処理装置100の動作について説明する。図6は情報処理装置100の動作を示すフローチャートである。上記のようにカメラ12によって画像が撮像され、画像入力部103は画像(取得画像)を取得する。画像入力部103は取得画像を物体認識処理部104に供給する。
情報処理装置100の別の動作について説明する。なお、情報処理装置100と接続されるアイウェア10(又は他の装置)のカメラ12は偏光イメージングが可能なカメラであるものとする。偏光イメージングは、撮像範囲の輝度画像と、撮像範囲に含まれる法線(物体に表面に垂直な線)の方向を取得できる技術である。また、カメラ12は偏光イメージとは異なる方法によって物体の法線方向を取得してもよく、アイウェア10はカメラ12とは別に法線方向の取得が可能なセンサを備えていてもよい。
情報処理装置100の別の動作について説明する。なお、情報処理装置100と接続されるアイウェア10(又は他の装置)には、デプス情報の取得が可能なデプスセンサが設けられている。デプス情報は、物体とデプスセンサの間の距離情報である。
情報処理装置100は、操作体と対象物体の接触のみならず、接触による操作の種別(ドラッグやピンチ等)を判定することも可能である。図10は、情報処理装置100の接触及び操作判定動作を示すフローチャートである。
本技術の第2の実施形態に係る情報処理装置について説明する。
図15は、本技術の第2の実施形態に係る情報処理装置200の機能的構成を示す模式図である。同図に示すように、情報処理装置200は、音声入力部201、音声認識処理部202、画像入力部203、接触判定部204、入力制御部205、画像出力部206を備える。本実施形態に係る情報処理装置200は、物体認識処理部を有しない。
情報処理装置200の動作について説明する。図16は情報処理装置200の動作を示すフローチャートである。上記のようにカメラ12によって画像が撮像され、画像入力部203が画像(取得画像)を取得する。画像入力部203は取得画像を接触判定部204に供給する。
対象物体と操作体を含む画像における色の変化に基づいて、上記対象物体に対する上記操作体の接触を判定する接触判定部
を具備する情報処理装置。
上記(1)に記載の情報処理装置であって、
上記画像に含まれる操作体を認識する物体認識処理部をさらに具備し、
上記接触判定部は、上記操作体の色の変化に基づいて、上記対象物体に対する上記操作体の接触を判定する
情報処理装置。
上記(1)又は(2)に記載の情報処理装置であって、
上記物体認識処理部は、物体検出辞書を利用して上記操作体を認識する
情報処理装置。
上記(1)から(3)のいずれか一つに記載の情報処理装置であって、
上記物体認識処理部は、上記画像に進入した物体を操作体として認識する
情報処理装置。
上記(1)から(4)のいずれか一つに記載の情報処理装置であって、
上記接触判定部は、所定の色の変化に基づいて、上記対象物体に対する上記操作体の接触を判定する
情報処理装置。
上記(1)から(5)のいずれか一つに記載の情報処理装置であって、
上記所定の色は、指先の血色に相当する色である
情報処理装置。
上記(1)から(6)のいずれか一つに記載の情報処理装置であって、
上記接触判定部は、上記操作体の色の変化に基づいて、上記対象物体に対する上記操作体の接触を判定する
情報処理装置。
上記(1)から(7)のいずれか一つに記載の情報処理装置であって、
上記接触判定部は、上記対象物体の色の変化に基づいて、上記対象物体に対する上記操作体の接触を判定する
情報処理装置。
上記(1)から(8)のいずれか一つに記載の情報処理装置であって、
上記接触判定部は、上記操作体の影による上記対象物体の色の変化に基づいて、上記対象物体に対する上記操作体の接触を判定する
情報処理装置。
上記(1)から(9)のいずれか一つに記載の情報処理装置であって、
上記接触判定部は、さらに、上記画像における色の変化に基づいて、上記対象物体に対する上記操作体の接触の強さを判定する
情報処理装置。
上記(1)から(10)のいずれか一つに記載の情報処理装置であって、
上記接触判定部は、さらに、上記画像における色の変化に基づいて、上記対象物体に対する上記操作体の接触の方向を判定する
情報処理装置。
上記(1)から(11)のいずれか一つに記載の情報処理装置であって、
上記接触判定部の判定結果に基づいて、操作入力を制御する入力制御部
をさらに具備する情報処理装置。
上記(1)から(12)のいずれか一つに記載の情報処理装置であって、
上記対象物体に重畳される操作対象画像を生成する画像出力部
をさらに具備し、
上記入力制御部は、上記操作対象画像における上記操作体と上記操作対象物体の接触位置に基づいて操作入力を制御する
情報処理装置。
上記(1)から(13)のいずれか一つに記載の情報処理装置であって、
上記画像に含まれる操作体を認識する物体認識処理部をさらに具備し、
上記入力制御部は、上記物体認識処理部によって認識された操作体の形状と、上記接触判定部の判定結果に基づいて、操作入力を制御する
情報処理装置。
上記(1)から(14)のいずれか一つに記載の情報処理装置であって、
上記画像に含まれる対象物体を認識する物体認識処理部をさらに具備し、
上記接触判定部は、上記対象物体が剛体である場合には上記画像における色の変化に基づいて上記対象物体に対する上記操作体の接触を判定し、上記対象物体が剛体ではない場合には法線方向検出センサによって取得された上記対象物体の表面に対する法線の方向に基づいて上記対象物体に対する上記操作体の接触を判定する
情報処理装置。
上記(1)から(15)のいずれか一つに記載の情報処理装置であって、
上記接触判定部は、デプスセンサによって取得された上記対象物体と上記操作体の距離が所定値以下の場合に、上記画像における色の変化に基づいて上記対象物体に対する上記操作体の接触を判定する
情報処理装置。
対象物体と操作体を含む画像における色の変化に基づいて、上記対象物体に対する上記操作体の接触を判定する接触判定部
として情報処理装置を動作させるプログラム。
接触判定部が、対象物体と操作体を含む画像における色の変化に基づいて、上記対象物体に対する上記操作体の接触を判定する
情報処理方法。
101、201…音声入力部
102、202…音声認識処理部
103、203…画像入力部
104…物体認識処理部
105、204…接触判定部
106、205…入力制御部
107、206…画像出力部
Claims (9)
- 対象物体と操作体を含む画像において対象物体を認識する物体認識処理部と、
前記対象物体が剛体である場合には前記画像における色の変化に基づいて前記対象物体に対する前記操作体の接触を判定し、前記対象物体が剛体ではない場合には法線方向検出センサによって取得された前記対象物体の表面に対する法線の方向に基づいて前記対象物体に対する前記操作体の接触を判定する接触判定部と
を具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記物体認識処理部は、物体検出辞書を利用して前記操作体を認識する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記物体認識処理部は、前記画像に進入した物体を操作体として認識する
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記色は、指先の血色に相当する色である
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記接触判定部の判定結果に基づいて、操作入力を制御する入力制御部
をさらに具備する情報処理装置。 - 請求項5に記載の情報処理装置であって、
前記対象物体に重畳される操作対象画像を生成する画像出力部
をさらに具備し、
前記入力制御部は、前記操作対象画像における前記操作体と前記操作対象物体の接触位置に基づいて操作入力を制御する
情報処理装置。 - 請求項5に記載の情報処理装置であって、
前記入力制御部は、前記物体認識処理部によって認識された操作体の形状と、前記接触判定部の判定結果に基づいて、操作入力を制御する
情報処理装置。 - 対象物体と操作体を含む画像において対象物体を認識する物体認識処理部と、
前記対象物体が剛体である場合には前記画像における色の変化に基づいて前記対象物体に対する前記操作体の接触を判定し、前記対象物体が剛体ではない場合には法線方向検出センサによって取得された前記対象物体の表面に対する法線の方向に基づいて前記対象物体に対する前記操作体の接触を判定する接触判定部と
として情報処理装置を動作させるプログラム。 - 物体認識処理部が、対象物体と操作体を含む画像において対象物体を認識し、
接触判定部が、前記対象物体が剛体である場合には前記画像における色の変化に基づいて前記対象物体に対する前記操作体の接触を判定し、前記対象物体が剛体ではない場合には法線方向検出センサによって取得された前記対象物体の表面に対する法線の方向に基づいて前記対象物体に対する前記操作体の接触を判定する
情報処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014155227 | 2014-07-30 | ||
JP2014155227 | 2014-07-30 | ||
PCT/JP2015/003560 WO2016017096A1 (ja) | 2014-07-30 | 2015-07-14 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016017096A1 JPWO2016017096A1 (ja) | 2017-04-27 |
JP6686885B2 true JP6686885B2 (ja) | 2020-04-22 |
Family
ID=55217021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016537736A Expired - Fee Related JP6686885B2 (ja) | 2014-07-30 | 2015-07-14 | 情報処理装置、情報処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10175825B2 (ja) |
EP (1) | EP3176681A4 (ja) |
JP (1) | JP6686885B2 (ja) |
CN (1) | CN106575184B (ja) |
WO (1) | WO2016017096A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201420859D0 (en) * | 2014-11-24 | 2015-01-07 | Cancer Res Inst Royal | Tumour analysis |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4169688B2 (ja) * | 2003-12-02 | 2008-10-22 | オリンパス株式会社 | ヒューマンインタフェース装置 |
EP2333652B1 (en) * | 2008-09-29 | 2016-11-02 | Panasonic Intellectual Property Corporation of America | Method and apparatus for improving privacy of users of a display device for several users wherein each user has a private space allocated to him |
JP2011070491A (ja) | 2009-09-28 | 2011-04-07 | Nec Personal Products Co Ltd | 入力方法、情報処理装置、タッチパネル及びプログラム |
CN102200881B (zh) * | 2010-03-24 | 2016-01-13 | 索尼公司 | 图像处理装置以及图像处理方法 |
KR101077308B1 (ko) | 2010-07-13 | 2011-10-26 | 삼성전기주식회사 | 터치패널의 압력센싱 모듈 및 그 작동방법 |
US9030425B2 (en) * | 2011-04-19 | 2015-05-12 | Sony Computer Entertainment Inc. | Detection of interaction with virtual object from finger color change |
JPWO2012173001A1 (ja) * | 2011-06-13 | 2015-02-23 | シチズンホールディングス株式会社 | 情報入力装置 |
EP2849035A4 (en) | 2012-05-09 | 2016-05-11 | Sony Corp | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
US20150186039A1 (en) | 2012-08-27 | 2015-07-02 | Citizen Holdings Co., Ltd. | Information input device |
JP2014071505A (ja) * | 2012-09-27 | 2014-04-21 | Aisin Aw Co Ltd | 電子機器、電子機器の制御方法及びコンピュータプログラム |
JP6037900B2 (ja) * | 2013-03-11 | 2016-12-07 | 日立マクセル株式会社 | 操作検出装置及び操作検出方法 |
CN103246351B (zh) * | 2013-05-23 | 2016-08-24 | 刘广松 | 一种用户交互系统和方法 |
-
2015
- 2015-07-14 CN CN201580040986.8A patent/CN106575184B/zh not_active Expired - Fee Related
- 2015-07-14 JP JP2016537736A patent/JP6686885B2/ja not_active Expired - Fee Related
- 2015-07-14 EP EP15826923.3A patent/EP3176681A4/en not_active Withdrawn
- 2015-07-14 WO PCT/JP2015/003560 patent/WO2016017096A1/ja active Application Filing
- 2015-07-14 US US15/319,440 patent/US10175825B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP3176681A1 (en) | 2017-06-07 |
US20170139545A1 (en) | 2017-05-18 |
EP3176681A4 (en) | 2018-04-18 |
WO2016017096A1 (ja) | 2016-02-04 |
CN106575184B (zh) | 2020-05-19 |
US10175825B2 (en) | 2019-01-08 |
JPWO2016017096A1 (ja) | 2017-04-27 |
CN106575184A (zh) | 2017-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3461291B1 (en) | Implementation of a biometric enrollment user interface | |
US10761610B2 (en) | Vehicle systems and methods for interaction detection | |
US20190250714A1 (en) | Systems and methods for triggering actions based on touch-free gesture detection | |
US9092058B2 (en) | Information processing apparatus, information processing method, and program | |
US8581869B2 (en) | Information processing apparatus, information processing method, and computer program | |
JP6528774B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US9612736B2 (en) | User interface method and apparatus using successive touches | |
US20120105367A1 (en) | Methods of using tactile force sensing for intuitive user interface | |
WO2011142317A1 (ja) | ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体 | |
CN109643213B (zh) | 用于协同编辑工具的触摸屏用户界面的系统和方法 | |
US20150193037A1 (en) | Input Apparatus | |
US9916043B2 (en) | Information processing apparatus for recognizing user operation based on an image | |
KR20130052749A (ko) | 터치 기반 사용자 인터페이스 장치 및 방법 | |
WO2017029749A1 (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
JP6177482B1 (ja) | タッチパネル入力装置、タッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム | |
US20130293460A1 (en) | Computer vision based control of an icon on a display | |
US10656746B2 (en) | Information processing device, information processing method, and program | |
WO2009119716A1 (ja) | 情報処理システム、情報処理装置、方法及びプログラム | |
JP6686885B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
TWI479363B (zh) | 具有指向功能的可攜式電腦及指向系統 | |
TW201246019A (en) | Electronic apparatus, display method, and program | |
WO2023026567A1 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
TWI414991B (zh) | The method of implementing multi-touch and its system | |
JP2018073088A (ja) | 情報処理装置およびその制御方法およびプログラム | |
JP2005004704A (ja) | 解像度選択モードを備えたタッチパネル入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180717 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200316 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6686885 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |