JP6884233B2 - 自筆支援装置、自筆支援方法およびプログラム - Google Patents
自筆支援装置、自筆支援方法およびプログラム Download PDFInfo
- Publication number
- JP6884233B2 JP6884233B2 JP2019567870A JP2019567870A JP6884233B2 JP 6884233 B2 JP6884233 B2 JP 6884233B2 JP 2019567870 A JP2019567870 A JP 2019567870A JP 2019567870 A JP2019567870 A JP 2019567870A JP 6884233 B2 JP6884233 B2 JP 6884233B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- writing
- hand
- image display
- real object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 26
- 230000000052 comparative effect Effects 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 4
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 2
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 108090000237 interleukin-24 Proteins 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/14—Beam splitting or combining systems operating by reflection only
- G02B27/144—Beam splitting or combining systems operating by reflection only using partially transparent surfaces without spectral selectivity
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B43—WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
- B43L—ARTICLES FOR WRITING OR DRAWING UPON; WRITING OR DRAWING AIDS; ACCESSORIES FOR WRITING OR DRAWING
- B43L13/00—Drawing instruments, or writing or drawing appliances or accessories not otherwise provided for
- B43L13/10—Pantographic instruments for copying, enlarging, or diminishing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B43—WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
- B43L—ARTICLES FOR WRITING OR DRAWING UPON; WRITING OR DRAWING AIDS; ACCESSORIES FOR WRITING OR DRAWING
- B43L13/00—Drawing instruments, or writing or drawing appliances or accessories not otherwise provided for
- B43L13/14—Devices for drawing in perspective
- B43L13/16—Devices for drawing in perspective free-hand
- B43L13/18—Devices for drawing in perspective free-hand having optical or projecting equipment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
画像表示面に、筆記対象領域を示す複数の画像オブジェクトを含む第1の画像を表示し、ビームスプリッタと筆記面との間の空間に筆記具を含む現実物体が挿入された場合に、複数の画像オブジェクトのうち、筆記面上で現実物体と重なり、かつ筆記具の先端とは重ならない画像オブジェクトを非表示にする制御を行う画像表示制御部とを備える。
ここで、上下、左右は、使用者から筆記面を見た筆記面の上下、左右で規定する。
筆記面と画像表示面との間の空間に筆記具を含む現実物体が挿入された場合に、複数の画像オブジェクトのうち、筆記面において現実物体と重なり、かつ、筆記具の先端とは重ならない画像オブジェクトを非表示にする。
使用者が利き手情報を入力するので、画像表示制御部35において、筆記具74を持つ手76の左右を特定するフローを実施する必要がないため、より速い処理が可能となる。
上記実施形態において、図6および図7を参照して説明した方法に沿って、レイアウト画像中の、現実物体である手および筆記具の投影領域に重なり、かつ筆記具の先端と重ならない画像オブジェクトを非表示とした非表示処理画像101を筆記面に表示させた(図7参照)。これにより、使用者には図7のCに示す視野像112が視認されるようにした。
上記実施形態において、図13を参照して説明した方法にしたがって、実施例1の非表示処理画像101に、筆記面における手の位置に応じて、筆記すべき内容を表示するガイド画像を重ねて表示させた。これにより、使用者には図13のDに示すガイド画像122が手に一部重なる視野像113が視認されるようにした。
筆記面上に現実物体70が挿入されても、レイアウト画像100を非表示処理することなくそのまま表示させた。すなわち、図6のBに示す視野像111のように、レイアウト画像100が手に重なって目視されるようにした。
図15に示すように、レイアウト画像と重なる現実物体70の投影領域に対応する領域の輪郭を抽出し、この輪郭よりも広い領域155を非表示処理した非表示処理画像152を作成し、画像表示面に表示させた。これにより、図15に示すように、現実物体の投影領域よりも広い領域が非表示とされた像を筆記面に表示させた。この場合、使用者による視野像114において、非表示処理画像152が使用者の手76の奥に視認され、手76の周りに非表示処理により画像が表示されていない領域が手76より広い範囲に広がっており、手76の影が表示されているように観察された。
筆記開始から終了までの時間(秒)を測定した。
宛名字重心のレイアウト中心から横方向にずれた量の和(mm)を求めた。
不自然1から自然5の5段階で被験者にアンケートを取った。官能評価である。
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
Claims (10)
- 画像表示面に表示された画像の虚像を、前記画像表示面と対向する筆記面で目視可能に、前記画像表示面からの光を反射し、かつ前記筆記面側が目視可能に、前記筆記面側からの光を透過する、前記筆記面との間に空間を隔てて配置されたビームスプリッタと、
前記画像表示面に、筆記対象領域を示す複数の画像オブジェクトを含む第1の画像を表示し、前記ビームスプリッタと前記筆記面との間の空間に筆記具を含む現実物体が挿入された場合に、前記複数の画像オブジェクトのうち、前記筆記面上で前記現実物体と重なり、かつ前記筆記具の先端とは重ならない画像オブジェクトを非表示にする制御を行う画像表示制御部と、
を備えた自筆支援装置。 - 前記筆記面上における前記現実物体の画像データを取得とする物体位置センサを備え、
前記画像表示制御部が、前記物体位置センサにより取得された前記画像データから求められた前記現実物体の前記筆記面における座標情報と、予め備えられている各画像オブジェクトの座標情報とに基づいて、前記非表示にする画像オブジェクトを特定する請求項1に記載の自筆支援装置。 - 前記現実物体が、前記筆記具と該筆記具を保持する使用者の手である場合において、
前記画像表示制御部が、前記現実物体の前記筆記面における座標情報から特定された前記使用者の手の左右および前記筆記具の先端位置を示す情報と、各画像オブジェクトの座標情報とに基づいて、前記非表示にする画像オブジェクトを特定する請求項2に記載の自筆支援装置。 - 使用者からの利き手情報を受け付ける利き手情報受付部を備え、
前記現実物体が、前記筆記具と該筆記具を保持する使用者の手である場合において、
前記画像表示制御部が、前記利き手情報および前記現実物体の前記筆記面における座標情報に基づいて特定された前記筆記具の先端位置を示す情報と、各画像オブジェクトの座標情報とに基づいて、前記非表示にする画像オブジェクトを特定する請求項2に記載の自筆支援装置。 - 前記画像表示制御部が、
前記現実物体の前記筆記面における座標情報として、前記筆記面における前記現実物体の投影領域の上端、下端、左端および/または右端の位置座標を取得し、
前記使用者の手が右手である場合には、前記筆記面における前記現実物体の投影領域の上端より下に下端を有する画像オブジェクトであって、左端が前記筆記具の先端位置より右側にある画像オブジェクトを前記非表示する画像オブジェクトとして特定し、
前記使用者の手が左手である場合には、前記筆記面における前記現実物体の投影領域の上端より下に下端を有する画像オブジェクトであって、右端が先端位置より左側にある画像オブジェクトを前記非表示にする画像オブジェクトとして特定する請求項3または4に記載の自筆支援装置。 - 前記画像表示制御部が、
前記使用者の手が右手である場合には、前記現実物体の投影領域の左端を前記筆記具の先端位置として設定し、
前記使用者の手が左手である場合には、前記現実物体の投影領域の右端を前記筆記具の先端位置として設定する請求項5に記載の自筆支援装置。 - 前記画像表示制御部が、前記第1の画像とは異なる第2の画像を、前記第1の画像に重ねて前記画像表示面に表示する請求項1から6のいずれか1項に記載の自筆支援装置。
- 前記画像表示制御部が、前記第1の画像の前記非表示にする画像オブジェクトの表示領域に、前記筆記具の先端が重なる画像オブジェクトに関する情報を前記第2の画像として表示する請求項7に記載の自筆支援装置。
- 筆記面において虚像として視認される、筆記対象領域を示す複数の画像オブジェクトを含む第1の画像を画像表示面に表示させ、
前記筆記面と画像表示面との間の空間に筆記具を含む現実物体が挿入された場合に、前記複数の画像オブジェクトのうち、前記筆記面上で前記現実物体と重なり、かつ、前記筆記具の先端とは重ならない画像オブジェクトを非表示にする自筆支援方法。 - 請求項9に記載の自筆支援方法をコンピュータに実現させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018008813 | 2018-01-23 | ||
JP2018008813 | 2018-01-23 | ||
PCT/JP2018/042143 WO2019146221A1 (ja) | 2018-01-23 | 2018-11-14 | 自筆支援装置、自筆支援方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019146221A1 JPWO2019146221A1 (ja) | 2020-12-17 |
JP6884233B2 true JP6884233B2 (ja) | 2021-06-09 |
Family
ID=67395894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019567870A Active JP6884233B2 (ja) | 2018-01-23 | 2018-11-14 | 自筆支援装置、自筆支援方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11222563B2 (ja) |
JP (1) | JP6884233B2 (ja) |
WO (1) | WO2019146221A1 (ja) |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US1420491A (en) * | 1921-01-06 | 1922-06-20 | Louis F Morse | Copying apparatus |
JPS512341U (ja) * | 1974-06-20 | 1976-01-09 | ||
JPS5876798U (ja) * | 1981-11-18 | 1983-05-24 | 株式会社学習研究社 | 拡大器を兼ねた透視描写器 |
JPH039056U (ja) | 1989-06-16 | 1991-01-29 | ||
JP3009056U (ja) | 1994-09-16 | 1995-03-28 | 株式会社トミー | 転写装置 |
JP3968651B2 (ja) * | 2002-09-19 | 2007-08-29 | カシオ計算機株式会社 | 演奏教習装置 |
KR101134540B1 (ko) * | 2005-09-07 | 2012-04-13 | 삼성전자주식회사 | 디지털 영상 처리 장치 및 화상 표시 방법 |
JP4634975B2 (ja) | 2006-07-21 | 2011-02-16 | 日本電信電話株式会社 | 視触覚融合提示装置 |
TWI365005B (en) * | 2008-01-04 | 2012-05-21 | Chimei Innolux Corp | Organic light emitting diode (oled) display devices, modules, and electronic devices |
US8773464B2 (en) * | 2010-09-15 | 2014-07-08 | Sharp Laboratories Of America, Inc. | Methods and systems for collaborative-writing-surface image formation |
US20130300672A1 (en) * | 2012-05-11 | 2013-11-14 | Research In Motion Limited | Touch screen palm input rejection |
JP6097586B2 (ja) * | 2013-02-05 | 2017-03-15 | 株式会社光文書院 | 書写教則教材、および書写教則教材の作成方法 |
KR102156617B1 (ko) * | 2013-02-07 | 2020-09-16 | 삼성전자주식회사 | 터치키 동작의 제어 방법 및 장치 |
WO2014188367A1 (en) * | 2013-05-22 | 2014-11-27 | Van Heerden Lex | A drawing aid and a method of drawing an object |
KR102190062B1 (ko) * | 2014-06-02 | 2020-12-11 | 엘지전자 주식회사 | 웨어러블 디바이스 및 그 제어 방법 |
WO2016121362A1 (ja) * | 2015-01-29 | 2016-08-04 | 富士フイルム株式会社 | 自筆支援装置 |
JP6596883B2 (ja) | 2015-03-31 | 2019-10-30 | ソニー株式会社 | ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム |
JP6719654B2 (ja) * | 2017-03-27 | 2020-07-08 | 富士フイルム株式会社 | 自筆支援装置 |
JP6815528B2 (ja) * | 2017-09-27 | 2021-01-20 | 富士フイルム株式会社 | 自筆支援装置 |
-
2018
- 2018-11-14 WO PCT/JP2018/042143 patent/WO2019146221A1/ja active Application Filing
- 2018-11-14 JP JP2019567870A patent/JP6884233B2/ja active Active
-
2020
- 2020-07-14 US US16/929,099 patent/US11222563B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20200342798A1 (en) | 2020-10-29 |
JPWO2019146221A1 (ja) | 2020-12-17 |
WO2019146221A1 (ja) | 2019-08-01 |
US11222563B2 (en) | 2022-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gruenefeld et al. | Eyesee360: Designing a visualization technique for out-of-view objects in head-mounted augmented reality | |
US9704285B2 (en) | Detection of partially obscured objects in three dimensional stereoscopic scenes | |
US11557102B2 (en) | Methods for manipulating objects in an environment | |
US9829989B2 (en) | Three-dimensional user input | |
CN107810465B (zh) | 用于产生绘制表面的系统和方法 | |
CN107209565B (zh) | 用于显示固定大小的增强现实对象的方法和系统 | |
US20210303107A1 (en) | Devices, methods, and graphical user interfaces for gaze-based navigation | |
CN106664398B (zh) | 具有与虚拟对象的深度协作的认可范围的显示装置及其控制方法 | |
JP2006127158A (ja) | 画像処理方法、画像処理装置 | |
JP2012252627A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
KR100971667B1 (ko) | 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치 | |
US20150033157A1 (en) | 3d displaying apparatus and the method thereof | |
KR20180093456A (ko) | 가상 객체를 이용한 증강현실 콘텐츠 제공 방법 및 이를 위한 장치 | |
JP6805524B2 (ja) | 入力装置、入力プログラム、及び入力方法 | |
US20150381970A1 (en) | Input/output device, input/output program, and input/output method | |
JP2010259017A (ja) | 表示装置、表示方法、および表示プログラム | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2021002290A (ja) | 画像処理装置およびその制御方法 | |
JP6815528B2 (ja) | 自筆支援装置 | |
JP6884233B2 (ja) | 自筆支援装置、自筆支援方法およびプログラム | |
JP2020528626A (ja) | ウェブページを三次元オブジェクト上に重ね合わせる方法、装置およびコンピュータプログラム | |
KR20170037692A (ko) | 3차원 디스플레이 장치 및 방법 | |
JPH05281931A (ja) | 表示装置 | |
KR20240007514A (ko) | Ar 기반의 사용자 맞춤 의학 콘텐츠 제공 장치 및 방법 | |
CN118131970A (zh) | 目标区域的选择方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6884233 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |