JP6269227B2 - 表示装置、プロジェクター、および表示制御方法 - Google Patents

表示装置、プロジェクター、および表示制御方法 Download PDF

Info

Publication number
JP6269227B2
JP6269227B2 JP2014061792A JP2014061792A JP6269227B2 JP 6269227 B2 JP6269227 B2 JP 6269227B2 JP 2014061792 A JP2014061792 A JP 2014061792A JP 2014061792 A JP2014061792 A JP 2014061792A JP 6269227 B2 JP6269227 B2 JP 6269227B2
Authority
JP
Japan
Prior art keywords
indicator
virtual object
storage area
image
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014061792A
Other languages
English (en)
Other versions
JP2015184988A (ja
Inventor
太田 浩一郎
浩一郎 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014061792A priority Critical patent/JP6269227B2/ja
Priority to TW104109035A priority patent/TWI653540B/zh
Priority to CN201580012979.7A priority patent/CN106104442B/zh
Priority to PCT/JP2015/001620 priority patent/WO2015146129A1/ja
Priority to KR1020167028654A priority patent/KR20160132989A/ko
Priority to KR1020187025255A priority patent/KR20180099954A/ko
Priority to US15/128,247 priority patent/US10338750B2/en
Priority to EP15768844.1A priority patent/EP3125091A4/en
Publication of JP2015184988A publication Critical patent/JP2015184988A/ja
Application granted granted Critical
Publication of JP6269227B2 publication Critical patent/JP6269227B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、指示体で指示した位置に応じた画像を表示する表示装置、プロジェクター、および表示制御方法に関する。
プロジェクター等の表示装置において、スクリーン上の電子ペン(指示体)の位置を検知し、電子ペンの軌跡に応じた画像(手書き画像)を投写する技術が知られている。この機能は、電子黒板機能または電子ホワイトボード機能と言われる。電子黒板機能を有するプロジェクターでは、画面サイズが大きいことを利用して、画面を複数に分割し、複数の電子ペンを用いてそれぞれの領域に独立に手書き画像を描くことが行われる(例えば、特許文献1および2)。
特開2013−168142号公報 特開2013−235416号公報
電子黒板システムにおいては、パーソナルコンピューターで普及しているカットアンドペーストおよびコピーアンドペーストが用いることができる。しかし、特許文献1および2に記載の技術においては、第1指示体で仮想オブジェクトをカットした後かつペーストする前に、第2指示体が別の仮想オブジェクトをカットした場合、クリップバッファーと言われる記憶領域には別の仮想オブジェクトのデータが記憶され、この後、第1指示体でペーストを指示すると別の仮想オブジェクトがペーストされてしまうという問題があった。
これに対し本発明は、複数の指示体の位置に応じた画像を表示する表示装置において、カットアンドペーストまたはコピーアンドペーストの機能の利便性をより高める技術を提供する。
本発明は、画像を表示する表示手段と、前記画像上の、第1指示体の位置を検知する第1検知手段と、前記画像上の、第2指示体の位置を検知する第2検知手段と、前記第1指示体に対応する第1記憶領域および前記第2指示体に対応する第2記憶領域を有する記憶手段と、前記第1指示体に関連する第1仮想オブジェクトを前記第1記憶領域に記憶させる第1記憶制御手段と、前記第2指示体に関連する第2仮想オブジェクトを前記第2記憶領域に記憶させる第2記憶制御手段と、前記第1指示体の操作に応じて、前記第1記憶領域に記憶されている第1仮想オブジェクトを、前記画像に貼り付ける第1貼り付け手段と、前記第2指示体の操作に応じて、前記第2記憶領域に記憶されている第2仮想オブジェクトを、前記画像に貼り付ける第2貼り付け手段とを有する表示装置を提供する。
この表示装置によれば、第1指示体および第2指示体に対してそれぞれ独立にカットアンドペーストまたはコピーアンドペーストを行うことができる。
この表示装置は、前記記憶手段は、前記第1指示体および前記第2指示体に共通の第3記憶領域を有し、前記第1記憶制御手段および前記第2記憶制御手段の動作モードを、第1モードおよび第2モードを含む複数の動作モードのいずれかに切り替える切り替え手段を有し、前記第1記憶制御手段は、前記第1モードにおいて前記第1仮想オブジェクトを前記第1記憶領域に記憶させ、前記第2モードにおいて前記第1仮想オブジェクトを前記第3記憶領域に記憶させ、前記第2記憶制御手段は、前記第1モードにおいて前記第2仮想オブジェクトを前記第2記憶領域に記憶させ、前記第2モードにおいて前記第2仮想オブジェクトを前記第3記憶領域に記憶させてもよい。
この表示装置によれば、第1指示体および第2指示体に対してそれぞれ独立にカットアンドペーストまたはコピーアンドペーストを行うモードと、第1指示体および第2指示体に対して共通にカットアンドペーストまたはコピーアンドペーストを行うモードとを切り替えることができる。
前記第1記憶領域が前記第3記憶領域として用いられてもよい。
この表示装置によれば、第1記憶領域および第2記憶領域に加えて第3記憶領域を設ける場合と比較して、記憶領域を節約することができる。
前記第1指示体および前記第2指示体の少なくとも一方がユーザーの指である場合、前記切り替え手段は、前記動作モードを、前記第2モードに切り替えてもよい。
この表示装置によれば、ユーザーの指が用いられた場合に、第1指示体および第2指示体に対して共通にカットアンドペーストまたはコピーアンドペーストを行うモードに切り替えることができる。
前記第1仮想オブジェクトは、前記第1指示体を用いてコピーの指示がされた仮想オブジェクトであってもよい。
この表示装置によれば、第1指示体により指示された仮想オブジェクトに対してコピーアンドペーストを行うことができる。
前記第1仮想オブジェクトは、前記第1指示体を用いて描かれた仮想オブジェクトであってもよい。
この表示装置によれば、第1指示体により描かれた仮想オブジェクトに対してカットアンドペーストまたはコピーアンドペーストを行うことができる。
前記第1仮想オブジェクトは、前記第1指示体を用いて選択された仮想オブジェクトであってもよい。
この表示装置によれば、第1指示体により選択された仮想オブジェクトに対してカットアンドペーストまたはコピーアンドペーストを行うことができる。
また、本発明は、画像を投写する投写手段と、前記画像上の、第1指示体の位置を検知する第1検知手段と、前記画像上の、第2指示体の位置を検知する第2検知手段と、前記第1指示体に対応する第1記憶領域および前記第2指示体に対応する第2記憶領域を有する記憶手段と、前記第1指示体に関連する第1仮想オブジェクトを前記第1記憶領域に記憶させる第1記憶制御手段と、前記第2指示体に関連する第2仮想オブジェクトを前記第2記憶領域に記憶させる第2記憶制御手段と、前記第1指示体の操作に応じて、前記第1記憶領域に記憶されている第1仮想オブジェクトを、前記画像に貼り付ける第1貼り付け手段と、前記第2指示体の操作に応じて、前記第2記憶領域に記憶されている第2仮想オブジェクトを、前記画像に貼り付ける第2貼り付け手段とを有するプロジェクターを提供する。
このプロジェクターによれば、第1指示体および第2指示体に対してそれぞれ独立にカットアンドペーストまたはコピーアンドペーストを行うことができる。
さらに、本発明は、画像を表示する表示手段、並びに第1指示体に対応する第1記憶領域および第2指示体に対応する第2記憶領域を有する記憶手段を有する表示装置における表示制御方法であって、前記画像上の、第1指示体の位置を検知するステップと、前記画像上の、第2指示体の位置を検知するステップと、前記第1指示体に関連する第1仮想オブジェクトを前記第1記憶領域に記憶させるステップと、前記第2指示体に関連する第2仮想オブジェクトを前記第2記憶領域に記憶させるステップと、前記第1指示体の操作に応じて、前記第1記憶領域に記憶されている第1仮想オブジェクトを、前記画像に貼り付けるステップと、前記第2指示体の操作に応じて、前記第2記憶領域に記憶されている第2仮想オブジェクトを、前記画像に貼り付けるステップとを有する表示制御方法を提供する。
この表示制御方法によれば、第1指示体および第2指示体に対してそれぞれ独立にカットアンドペーストまたはコピーアンドペーストを行うことができる。
一実施形態に係る表示装置1の機能構成を示す図。 一実施形態に係る表示装置1のハードウェア構成を例示する図。 関連技術に係る表示装置1の動作を示すフローチャート。 処理のメニューを例示する図。 一実施形態に係る表示装置1の動作を示すフローチャート。
1.構成
図1は、一実施形態に係る表示装置1の機能構成を示す図である。表示装置1は、指示体(例えば電子ペン)の軌跡に応じた画像を表示する装置である。表示装置1は、第1指示体および第2指示体の2つの指示体の軌跡を独立して検知する機能を有する。
表示装置1は、表示手段10と、検知手段11と、検知手段12と、記憶手段13と、記憶制御手段14と、記憶制御手段15と、貼り付け手段16と、貼り付け手段17と、切り替え手段18とを有する。表示手段10は、供給された画像データに応じた画像を表示する。検知手段11は、第1指示体の位置を検知する。検知手段12は、第2指示体の位置を検知する。記憶手段13は、第1指示体および第2指示体に関連する仮想オブジェクトを記憶する。具体的には、記憶手段13は、第1記憶領域および第2記憶領域を有する。記憶手段13は、第1指示体に対応する第1記憶領域と、第2指示体に対応する第2記憶領域とを有する。記憶制御手段14は、第1仮想オブジェクトを第1記憶領域に記憶させる。記憶制御手段15は、第2仮想オブジェクトを第2記憶領域に記憶させる。第1仮想オブジェクトおよび第2仮想オブジェクトは、それぞれ、第1指示体および第2指示体に関連する仮想オブジェクトである。仮想オブジェクトとは、データにより示される仮想的なオブジェクト、例えば、画像、線画、図形、アイコン、文字列をいう。第1貼り付け手段は、第1指示体の操作に応じて、第1記憶領域に記憶されている第1仮想オブジェクトを、表示手段10に表示されている画像に貼り付ける。第2貼り付け手段は、第2指示体の操作に応じて、第2記憶領域に記憶されている第2仮想オブジェクトを、表示手段10に表示される画像に貼り付ける。
この例で、記憶手段13は、第3記憶領域を有する。切り替え手段18は、記憶制御手段14および記憶制御手段15の動作モードを、第1モードおよび第2モードを含む複数の動作モードのいずれかに切り替える。記憶制御手段14は、第1モードにおいては第1仮想オブジェクトを第1記憶領域に記憶させ、第2モードにおいては第1仮想オブジェクトを第3記憶領域に記憶させる。
図2は、一実施形態に係る表示装置1のハードウェア構成を例示する図である。この例で、表示装置1は、いわゆるホワイトボード機能(電子黒板機能またはインタラクティブ機能と言われる場合もある)を有するプロジェクターである。ホワイトボード機能における指示体として、電子ペン2および電子ペン3が用いられる。
表示装置1は、MCU(Micro Control Unit)100と、ROM(Read Only Memory)101と、RAM(Random Access Memory)102と、記憶部103と、IF(インターフェース)部104と、画像処理回路105と、投写ユニット106と、撮像部107と、操作パネル108とを有する。
MCU100は、表示装置1の各部を制御する制御装置である。ROM101は、各種プログラムおよびデータを記憶した不揮発性の記憶装置である。RAM102は、データを記憶する揮発性の記憶装置であり、MCU100が処理を実行する際のワークエリアとして機能する。記憶部103は、データおよびプログラムを記憶する不揮発性の記憶装置、例えばHDD(Hard Disk Drive)またはSSD(Solid State Drive)である。この例で、記憶部103は、表示装置1にホワイトボード機能を実現させるためのプログラム(以下「ホワイトボードプログラム」という)を記憶している。
IF部104は、映像ソースとなる外部装置と信号またはデータのやりとりを仲介するインターフェースである。IF部104は、外部装置と信号またはデータのやりとりをするための端子(例えば、VGA端子、USB端子、有線LANインターフェース、S端子、RCA端子、HDMI(High-Definition Multimedia Interface:登録商標)端子など)および無線LANインターフェースを備える。
画像処理回路105は、入力された映像信号(以下「入力映像信号」という)に所定の画像処理を施す。投写ユニット106は、画像処理が施された映像信号に従って、スクリーンに画像を投写する。投写ユニット106は、光源、光変調器、および光学系、並びにこれらの駆動回路を有する(いずれも図示略)。光源は、高圧水銀ランプ、ハロゲンランプ、若しくはメタルハライドランプなどのランプ、またはLED(Light Emitting Diode)若しくはレーザーダイオードなどの固体光源である。光変調器は、光源から照射された光を映像信号に応じて変調する装置であり、例えば液晶パネルを有する。光学系は、光変調器により変調された光をスクリーンに投写する素子であり、例えばレンズおよびプリズムを有する。この例で、光源および光変調器は、色成分毎に設けられている。具体的には、赤、緑、および青の3原色のそれぞれについて個別に、光源および光変調器が設けられている。各液晶パネルによって変調された光は光学系で合成され、スクリーンに投写される。
撮像部107は、電子ペン2および電子ペン3の位置を特定するために、画像が投写されるスクリーンを含む領域を撮影する。この例で、電子ペン2および電子ペン3はそれぞれ固有の波長の光を出力する発光素子およびペン先に圧力センサーを有しており、圧力センサーが圧力を検知すると、発光素子が光を出力する。MCU100は、撮像部107により撮影された画像においてその波長の光に相当する点の位置から、電子ペン2および電子ペン3の位置を検知する。撮像部107はスクリーンを含む領域を所定の周期で撮影している。検出された位置を時系列に並べると電子ペンの軌跡が得られる。MCU100は、検出した電子ペン2の位置(軌跡)に応じた画像、および電子ペン3の位置(軌跡)に応じた画像を描画するように、画像処理回路105および投写ユニット106を制御する。
操作パネル108は、ユーザーが表示装置1に対し指示を入力するための入力装置であり、例えば、キーパッド、ボタン、またはタッチパネルを含む。
この例で、投写ユニット106は表示手段10の一例であり、投写手段の一例である。撮像部107およびMCU100は、検知手段11および検知手段12の一例である。RAM102は、記憶手段13の一例である。ホワイトボードプログラムを実行しているMCU100は、記憶制御手段14、記憶制御手段15、貼り付け手段16、貼り付け手段17、および切り替え手段18の一例である。
2.関連技術の問題点
本実施形態の説明に入る前に、関連技術の問題点について説明する。
図3は、関連技術に係る表示装置1の動作を示すフローチャートである。この例で、表示装置1は、電子ペン2および電子ペン3に対して共通のクリップバッファーを有する。クリップバッファーとは、選択された仮想オブジェクトに対する処理(例えば、カット、コピー、ペースト、グループ化、グループ解除、削除等)を行うため、仮想オブジェクト(のデータ)を記憶する記憶領域である。この記憶領域は、RAM102に設けられる。なお、以下の説明においては、ホワイトボードプログラム等のソフトウェアを動作の主体として説明することがあるが、これは、このソフトウェアを実行しているMCU100が他のハードウェア要素と協働して処理を行うことを意味する。
この例では、電子ペン2を使うユーザーAと、電子ペン3を使うユーザーBと、合計2人のユーザーが、表示装置1のホワイトボード機能を用いて画像を描画している。図3では、電子ペン2の操作および電子ペン3の操作、並びにクリップバッファーに記憶されている仮想オブジェクトを示している。図3のフローの開始時点において、クリップバッファーには何も記憶されていない。なお、この例でクリップバッファーには、単一の仮想オブジェクトのみが記憶される。
ステップS1において、ユーザーAは、ペンギンの絵を描画している。また、ユーザーBは、熊の絵を描画している。
ステップS2において、ユーザーAは、自分で書いたペンギンの絵を選択する。ユーザーBは、熊の絵を選択する。電子ペン2および電子ペン3は、仮想オブジェクトの選択を指示するためのボタンを有しており、ユーザーがこのボタンを押しながら仮想オブジェクトにタッチすると、または仮想オブジェクトを囲う図形を描くと、その仮想オブジェクトが選択される。仮想オブジェクトが選択されると、ホワイトボードプログラムは、選択された仮想オブジェクトに対して実行することができる処理の項目を含むメニューを表示する。
図4は、処理のメニューを例示する図である。この例では、選択された仮想オブジェクトに対し、カット、コピー、ペースト、グループ化、グループ解除、および削除の処理が実行可能である。ホワイトボードプログラムは、この中からユーザーにより選択された項目に対応する処理を実行する。
再び図3を参照する。ステップS3において、ユーザーAは、選択した仮想オブジェクト(この例ではペンギンの絵)をクリップバッファーにコピーする。すなわち、ユーザーAは、図4のメニューから「コピー」の項目を選択する。この時点で、ユーザーBはメニューの操作はしていない。クリップバッファーには、ペンギンの絵が記憶される。
ステップS4において、ユーザーBは、選択した仮想オブジェクト(この例では熊の絵)をクリップバッファーにコピーする。すなわち、ユーザーBは、図4のメニューから「コピー」の項目を選択する。ユーザーAはこのときは何もしていない。クリップバッファーには、熊の絵が記憶される。このとき、それまで記憶されていたペンギンの絵は消去される。
ステップS5において、ユーザーAは、画面上に仮想オブジェクトをペーストすることを指示する。例えば、電子ペン2のボタンを押しながらユーザーAが画面上を電子ペン2でタッチすると、ホワイトボードプログラムは、「ペースト」という項目を含むメニューを表示する。このメニューの中から、ユーザーAが「ペースト」の項目を選択すると、ペーストが指示される。
ステップS6において、ホワイトボードプログラムは、クリップバッファーに記憶されている仮想オブジェクト、この例では熊の絵を、画面上の指定された位置にペースト(貼り付け)する。
このとき、ユーザーAがどの仮想オブジェクトをペーストしようとしていたかは状況による。例えば、ユーザーBが熊の絵をコピーしたことにユーザーAが気付いていた場合、ユーザーAは熊の絵をペーストする意図を有していたと考えられる。しかし、ユーザーBが熊の絵をコピーしたことにユーザーAが気付いていなかった場合、ユーザーAは、ペンギンの絵をペーストする意図を有していたと考えられる。この場合は、ユーザーAの意図に反して熊の絵がペーストされてしまうことになる。本実施形態は、このような問題に対処する。
3.動作
3−1.動作例1
図5は、一実施形態に係る表示装置1の動作を示すフローチャートである。この例で、表示装置1は、電子ペン2に対応するクリップバッファーCB1、および電子ペン3に対応するクリップバッファーCB2の、2つのクリップバッファーを有する。
ステップS11において、ユーザーAは、ペンギンの絵を描画している。また、ユーザーBは、熊の絵を描画している。ステップS12において、ユーザーAは、自分で書いたペンギンの絵を選択する。ユーザーBは、熊の絵を選択する。
ステップS13において、ユーザーAは、選択した仮想オブジェクト(この例ではペンギンの絵)をクリップバッファーにコピーする。すなわち、ユーザーAは、図4のメニューから「コピー」の項目を選択する。この時点で、ユーザーBはメニューの操作はしていない。ユーザーAにより選択された仮想オブジェクト(ペンギンの絵)は、クリップバッファーCB1に記憶される。
ステップS14において、ユーザーBは、選択した仮想オブジェクト(この例では熊の絵)をクリップバッファーにコピーする。すなわち、ユーザーBは、図4のメニューから「コピー」の項目を選択する。ユーザーBにより選択された仮想オブジェクト(熊の絵)は、クリップバッファーCB2に記憶される。
ステップS15において、ユーザーAは、画面上に仮想オブジェクトをペーストすることを指示する。また、ユーザーBも、画面上に仮想オブジェクトをペーストすることを指示する。
ステップS6において、ホワイトボードプログラムは、仮想オブジェクトをペーストする。すなわち、ホワイトボードプログラムは、電子ペン2で指示された位置には、クリップバッファーCB1に記憶されている仮想オブジェクト、この例ではペンギンの絵をペーストし、電子ペン3で指示された位置には、クリップバッファーCB2に記憶されている仮想オブジェクト、この例では熊の絵をペーストする。
3−2.動作例2
動作例1では、2人のユーザーが1本ずつ電子ペンを使用する例を説明したが、1人のユーザーが2本の電子ペンを使用することもできる。この場合、図5のように処理が進んだとして、ステップS15でユーザーがペーストしたい仮想オブジェクトがクリップバッファーCB1に記憶されている仮想オブジェクトであるかクリップバッファーCB2に記憶されている仮想オブジェクトであるかは、状況によって異なる。そこで動作例2において、表示装置1は、共有モードおよび独立モードの2つの動作モードを有する。共有モードは、単一のクリップバッファーを2本の電子ペンで共有する動作モードである。独立モードは、電子ペン毎に固有のクリップバッファーを有する動作モードである。
例えば、表示装置1が表示する画面には各種の設定変更をする画面を呼び出すためのアイコンが表示されており、ユーザーが電子ペンでこのアイコンをタッチすることにより、このメニューを呼び出すことができる。このメニューに、動作モードの切り替えを行うための項目がある。
この場合において、2つの電子ペンで共有されるクリップバッファーは、各電子ペンに固有のクリップバッファー(クリップバッファーCB1およびCB2)とは別に第3のクリップバッファーとして設けられてもよいし、クリップバッファーCB1およびCB2のいずれか一方が、共有のクリップバッファーとして使用されてもよい。
3−3.動作例3
動作例2においては、ユーザーがメニュー画面から設定変更をすることにより動作モードが切り替えられる例を説明したが、ホワイトボードプログラムが自動で動作モードを切り替えてもよい。この例で、ホワイトボードプログラムは、使われている指示体が電子ペンであるかユーザーの指であるかに応じて動作モードを切り替える。具体的には、指示体として指が用いられた場合には、動作モードを共有モードに切り替え、指示体として電子ペンが用いられた場合には、動作モードを独立モードに切り替える。この動作例によれば、ユーザーは、メニュー操作によらず、直感的に動作モードを切り替えることができる。
なお、この場合、ホワイトボードプログラムは、撮像部107が撮影した画像からユーザーの手の形を認識する機能を有する。ユーザーの手が特定の形(例えば、人差指を立てた形)を有していた場合、ホワイトボードプログラムは、手を指示体と認識し、人差指の先の位置を、指示体で指示された位置と認識する。
4.変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち2つ以上のものが組み合わせて用いられてもよい。
仮想オブジェクトをどの指示体に対応するクリップバッファーに記憶するか、すなわち、指示体と仮想オブジェクトとの関連性は、実施形態で説明した例に限定されない。実施形態において、ホワイトボードプログラムは、仮想オブジェクトのコピーを指示した指示体に対応するクリップバッファーにその仮想オブジェクトを記憶した。しかし、ホワイトボードプログラムは、仮想オブジェクトを描いた指示体に対応するクリップバッファーにその仮想オブジェクトを記憶してもよい。例えば、電子ペン2で描かれたペンギンの絵を電子ペン3で選択した場合に、ペンギンの絵は、電子ペン2に対応するクリップバッファーCB1に記憶されてもよい。別の例で、ホワイトボードプログラムは、仮想オブジェクトを選択した指示体に対応するクリップバッファーにその仮想オブジェクトを記憶してもよい。
指示体として指が用いられる場合、ホワイトボードプログラムは、指用のクリップバッファーを設けてもよい。この場合も、2つの電子ペンを用いる場合と同様に、電子ペンのクリップバッファーと指のクリップバッファーとが使い分けられる。
クリップバッファーの容量は、仮想オブジェクト1つ分に限定されない。クリップバッファーは複数の仮想オブジェクトを記憶してもよい。
図1の機能を実現するためのハードウェアは、図2で例示したものに限定されない。例えば、表示装置1は、撮像部107を有していなくてもよい。この場合、電子ペンが自らの位置を検知し、検知した位置を表示装置1に通知してもよい。また、投写ユニット106は、色成分毎に光変調器を有していなくてもよく、単一の光変調器を有していてもよい。また、デジタルミラーデバイス(Digital Mirror Device、DMD)等、液晶パネル以外の電気光学素子が光変調器として用いられてもよい。さらに、表示装置1はプロジェクターに限定されず、直視の表示装置であってもよい。
図1の機能の一部は省略されてもよい。例えば、表示装置1は、切り替え手段18を有していなくてもよい。
1…表示装置、2…電子ペン、3…電子ペン、10…表示手段、11…検知手段、12…検知手段、13…記憶手段、14…記憶制御手段、15…記憶制御手段、16…貼り付け手段、17…貼り付け手段、18…切り替え手段、100…MCU、101…ROM、102…RAM、103…記憶部、104…IF部、105…画像処理回路、106…投写ユニット、107…撮像部、108…操作パネル

Claims (8)

  1. 画像を表示する表示手段と、
    前記画像上の、第1指示体の位置を検知する第1検知手段と、
    前記画像上の、第2指示体の位置を検知する第2検知手段と、
    前記第1検知手段によって検知された第1指示体の位置の軌跡または前記第2検知手段によって検知された第2指示体の位置の軌跡に応じて描画される仮想オブジェクトを含む画像を前記表示手段に表示させる表示制御手段と、
    前記画像に含まれている仮想オブジェクトの選択を、前記第1指示体または前記第2指示体を介して受け付ける受け付け手段と、
    前記第1指示体に対応する第1記憶領域および前記第2指示体に対応する第2記憶領域を有する記憶手段と、
    前記受け付け手段において、前記第1指示体を介して前記仮想オブジェクトが選択された場合、当該仮想オブジェクトを前記第1記憶領域に記憶させ、前記第2指示体を介して前記仮想オブジェクトが選択された場合、当該仮想オブジェクトを前記第2記憶領域に記憶させる記憶制御手段と、
    前記第1指示体の操作に応じて、前記第1記憶領域に記憶されている仮想オブジェクトを、前記画像に貼り付ける第1貼り付け手段と、
    前記第2指示体の操作に応じて、前記第2記憶領域に記憶されている仮想オブジェクトを、前記画像に貼り付ける第2貼り付け手段と
    を有する表示装置。
  2. 前記記憶手段は、前記第1指示体および前記第2指示体に共通の第3記憶領域を有し、
    記記憶制御手段の動作モードを、第1モードおよび第2モードを含む複数の動作モードのいずれかに切り替える切り替え手段を有し、
    記記憶制御手段は、前記第1モードにおいて前記仮想オブジェクトを前記第1記憶領域または前記第2記憶領域に記憶させ、前記第2モードにおいて前記仮想オブジェクトを前記第3記憶領域に記憶させる
    ことを特徴とする請求項1に記載の表示装置。
  3. 前記第1記憶領域が、前記第3記憶領域として用いられる
    ことを特徴とする請求項2に記載の表示装置。
  4. 前記第1指示体および前記第2指示体の少なくとも一方がユーザーの指である場合、前記切り替え手段は、前記動作モードを、前記第2モードに切り替える
    ことを特徴とする請求項2または3に記載の表示装置。
  5. 前記受け付け手段は、前記仮想オブジェクトに対するコピーの指示を、当該仮想オブジェクトの選択として受け付ける
    ことを特徴とする請求項1ないし4のいずれか一項に記載の表示装置。
  6. 前記記憶手段は記憶装置を有し、
    前記第1記憶領域は前記記憶装置に設けられ、
    前記第2記憶領域は前記記憶装置において前記第1記憶領域と異なる記憶領域として設けられる
    ことを特徴とする請求項1ないし5のいずれか一項に記載の表示装置。
  7. 画像を投写する投写手段と、
    前記画像上の、第1指示体の位置を検知する第1検知手段と、
    前記画像上の、第2指示体の位置を検知する第2検知手段と、
    前記第1検知手段によって検知された第1指示体の位置の軌跡または前記第2検知手段によって検知された第2指示体の位置の軌跡に応じて描画される仮想オブジェクトを含む画像を前記投写手段に投写させる投写制御手段と、
    前記画像に含まれている仮想オブジェクトの選択を、前記第1指示体または前記第2指示体を介して受け付ける受け付け手段と、
    前記第1指示体に対応する第1記憶領域および前記第2指示体に対応する第2記憶領域を有する記憶手段と、
    前記受け付け手段において、前記第1指示体を介して前記仮想オブジェクトが選択された場合、当該仮想オブジェクトを前記第1記憶領域に記憶させ、前記第2指示体を介して前記仮想オブジェクトが選択された場合、当該仮想オブジェクトを前記第2記憶領域に記憶させる記憶制御手段と、
    前記第1指示体の操作に応じて、前記第1記憶領域に記憶されている仮想オブジェクトを、前記画像に貼り付ける第1貼り付け手段と、
    前記第2指示体の操作に応じて、前記第2記憶領域に記憶されている仮想オブジェクトを、前記画像に貼り付ける第2貼り付け手段と
    を有するプロジェクター。
  8. 画像を表示する表示手段、並びに第1指示体に対応する第1記憶領域および第2指示体に対応する第2記憶領域を有する記憶手段を有する表示装置における表示制御方法であって、
    前記画像上の、第1指示体の位置を検知するステップと、
    前記画像上の、第2指示体の位置を検知するステップと、
    前記検知された第1指示体の位置の軌跡または前記検知された第2指示体の位置の軌跡に応じて描画される仮想オブジェクトを含む画像を前記表示手段に表示させるステップと、
    前記画像に含まれている仮想オブジェクトの選択を、前記第1指示体または前記第2指示体を介して受け付けるステップと、
    前記第1指示体を介して前記仮想オブジェクトが選択された場合、当該仮想オブジェクトを前記第1記憶領域に記憶させ、前記第2指示体を介して前記仮想オブジェクトが選択された場合、当該仮想オブジェクトを前記第2記憶領域に記憶させるステップと、
    前記第1指示体の操作に応じて、前記第1記憶領域に記憶されている仮想オブジェクトを、前記画像に貼り付けるステップと、
    前記第2指示体の操作に応じて、前記第2記憶領域に記憶されている仮想オブジェクトを、前記画像に貼り付けるステップと
    を有する表示制御方法。
JP2014061792A 2014-03-25 2014-03-25 表示装置、プロジェクター、および表示制御方法 Expired - Fee Related JP6269227B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2014061792A JP6269227B2 (ja) 2014-03-25 2014-03-25 表示装置、プロジェクター、および表示制御方法
TW104109035A TWI653540B (zh) 2014-03-25 2015-03-20 顯示裝置、投影機、及顯示控制方法
PCT/JP2015/001620 WO2015146129A1 (ja) 2014-03-25 2015-03-23 表示装置、プロジェクター、および表示制御方法
KR1020167028654A KR20160132989A (ko) 2014-03-25 2015-03-23 표시 장치, 프로젝터 및, 표시 제어 방법
CN201580012979.7A CN106104442B (zh) 2014-03-25 2015-03-23 显示装置、投影仪以及显示控制方法
KR1020187025255A KR20180099954A (ko) 2014-03-25 2015-03-23 표시 장치, 프로젝터 및, 표시 제어 방법
US15/128,247 US10338750B2 (en) 2014-03-25 2015-03-23 Display apparatus, projector, and display control method
EP15768844.1A EP3125091A4 (en) 2014-03-25 2015-03-23 Display device, projector, and display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014061792A JP6269227B2 (ja) 2014-03-25 2014-03-25 表示装置、プロジェクター、および表示制御方法

Publications (2)

Publication Number Publication Date
JP2015184988A JP2015184988A (ja) 2015-10-22
JP6269227B2 true JP6269227B2 (ja) 2018-01-31

Family

ID=54194679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014061792A Expired - Fee Related JP6269227B2 (ja) 2014-03-25 2014-03-25 表示装置、プロジェクター、および表示制御方法

Country Status (7)

Country Link
US (1) US10338750B2 (ja)
EP (1) EP3125091A4 (ja)
JP (1) JP6269227B2 (ja)
KR (2) KR20160132989A (ja)
CN (1) CN106104442B (ja)
TW (1) TWI653540B (ja)
WO (1) WO2015146129A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015052765A1 (ja) * 2013-10-08 2015-04-16 日立マクセル株式会社 投射型映像表示装置、操作検出装置及び投射型映像表示方法
JP6451225B2 (ja) 2014-11-06 2019-01-16 セイコーエプソン株式会社 表示装置、プロジェクターおよび表示制御方法
JP7318670B2 (ja) * 2021-01-27 2023-08-01 セイコーエプソン株式会社 表示方法および表示システム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6842175B1 (en) * 1999-04-22 2005-01-11 Fraunhofer Usa, Inc. Tools for interacting with virtual environments
WO2001054722A1 (en) * 2000-01-25 2001-08-02 Board Of Regents Of The University Of Nebraska Pre-transplant accommodated organs resistant to anti-donor immunity
US7348946B2 (en) * 2001-12-31 2008-03-25 Intel Corporation Energy sensing light emitting diode display
US7554530B2 (en) * 2002-12-23 2009-06-30 Nokia Corporation Touch screen user interface featuring stroke-based object selection and functional object activation
SE0402710D0 (sv) 2004-11-05 2004-11-05 Anoto Ab Management of internal logic for electronic pens
JP2008519326A (ja) * 2004-11-05 2008-06-05 アノト アクティエボラーク 電子ペン用の内部ロジックの管理
US7870493B2 (en) * 2005-10-03 2011-01-11 Microsoft Corporation Distributed clipboard
US8296671B2 (en) * 2008-05-01 2012-10-23 Microsoft Corporation Enabling access to rich data by intercepting paste operations
JP5028379B2 (ja) 2008-10-20 2012-09-19 株式会社日立製作所 ペン型情報入出力システムおよび情報管理方法
JP5168246B2 (ja) * 2009-07-28 2013-03-21 セイコーエプソン株式会社 情報端末装置
JP2011054096A (ja) * 2009-09-04 2011-03-17 Canon Inc 情報処理装置
US20110126092A1 (en) * 2009-11-21 2011-05-26 Harris Technology, Llc Smart Paste
US8555187B2 (en) * 2010-02-16 2013-10-08 Google Inc. Server-based data sharing in computer applications using a clipboard
JP5743198B2 (ja) 2011-04-28 2015-07-01 株式会社ワコム マルチタッチ・マルチユーザ検出装置
JP2012252652A (ja) * 2011-06-06 2012-12-20 Panasonic Corp タッチパネル入力装置
JP2013125488A (ja) * 2011-12-16 2013-06-24 Konica Minolta Business Technologies Inc 手書き入力装置及び情報編集プログラム並びに情報編集方法
JP5874401B2 (ja) * 2012-01-06 2016-03-02 セイコーエプソン株式会社 表示装置、プロジェクター、表示システム及びデバイスの切替方法
US20130181953A1 (en) * 2012-01-13 2013-07-18 Microsoft Corporation Stylus computing environment
US8788950B2 (en) 2012-02-15 2014-07-22 Seiko Epson Corporation Method for providing multiple mouse inputs in a remote desktop session
EP2637098B1 (en) 2012-03-08 2018-09-19 BlackBerry Limited Object mediated data transfer between electronic devices
US9208001B2 (en) * 2012-03-08 2015-12-08 Blackberry Limited Object mediated data transfer between electronic devices
JP6217058B2 (ja) 2012-05-09 2017-10-25 セイコーエプソン株式会社 画像表示システム
US9575712B2 (en) 2012-11-28 2017-02-21 Microsoft Technology Licensing, Llc Interactive whiteboard sharing
US8964947B1 (en) * 2013-03-11 2015-02-24 Amazon Technologies, Inc. Approaches for sharing data between electronic devices
US9367161B2 (en) * 2013-03-11 2016-06-14 Barnes & Noble College Booksellers, Llc Touch sensitive device with stylus-based grab and paste functionality
US9696810B2 (en) * 2013-06-11 2017-07-04 Microsoft Technology Licensing, Llc Managing ink content in structured formats

Also Published As

Publication number Publication date
CN106104442A (zh) 2016-11-09
TW201539199A (zh) 2015-10-16
TWI653540B (zh) 2019-03-11
KR20180099954A (ko) 2018-09-05
CN106104442B (zh) 2019-09-24
KR20160132989A (ko) 2016-11-21
JP2015184988A (ja) 2015-10-22
EP3125091A1 (en) 2017-02-01
US20170097737A1 (en) 2017-04-06
WO2015146129A1 (ja) 2015-10-01
US10338750B2 (en) 2019-07-02
EP3125091A4 (en) 2017-09-13

Similar Documents

Publication Publication Date Title
JP6451225B2 (ja) 表示装置、プロジェクターおよび表示制御方法
JP2014052930A (ja) 表示装置、および、表示装置の制御方法
TW201241679A (en) Image supply device, image display system, method of controlling image supply device, image display device, and recording medium
US20130332884A1 (en) Display control apparatus and control method thereof
JP2016173452A (ja) プロジェクターおよび表示制御方法
JP6269227B2 (ja) 表示装置、プロジェクター、および表示制御方法
US20200162676A1 (en) Electronic apparatus, method for controlling the same, computer readable nonvolatile recording medium
JP2015176461A (ja) 映像信号出力装置、映像信号出力方法、プログラム及び表示システム
US20150279336A1 (en) Bidirectional display method and bidirectional display device
JP6323035B2 (ja) 表示装置および表示方法
RU2665296C2 (ru) Способ двунаправленного отображения и устройство двунаправленного отображения
JP2018054912A (ja) 投影型表示装置及びその制御方法
JP6120541B2 (ja) 表示制御装置及びその制御方法
JP6682768B2 (ja) 表示システム、表示装置、情報処理装置及び制御方法
JP2015156167A (ja) 画像投影装置、画像投影装置の制御方法、および画像投影装置の制御プログラム
JP2020064100A (ja) 表示装置及び表示装置の制御方法
US20230112393A1 (en) Control method for display system, and display system
JP6511725B2 (ja) 双方向表示方法および双方向表示装置
JP6943029B2 (ja) 投影装置、投影システム、制御方法及びプログラム
JP2016153824A (ja) 表示装置及び表示方法
JP2017092849A (ja) 画像表示システム
JP2010039806A (ja) 画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171218

R150 Certificate of patent or registration of utility model

Ref document number: 6269227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees