JP6471771B2 - Display device, display system, method and program - Google Patents

Display device, display system, method and program Download PDF

Info

Publication number
JP6471771B2
JP6471771B2 JP2017103745A JP2017103745A JP6471771B2 JP 6471771 B2 JP6471771 B2 JP 6471771B2 JP 2017103745 A JP2017103745 A JP 2017103745A JP 2017103745 A JP2017103745 A JP 2017103745A JP 6471771 B2 JP6471771 B2 JP 6471771B2
Authority
JP
Japan
Prior art keywords
display
image
information processing
interface
contact position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017103745A
Other languages
Japanese (ja)
Other versions
JP2017194978A (en
Inventor
大村 克之
克之 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2017194978A publication Critical patent/JP2017194978A/en
Application granted granted Critical
Publication of JP6471771B2 publication Critical patent/JP6471771B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、任意の画像を表示する表示装置に関し、より詳細には、情報処理装置の表示画像を表示して当該情報処理装置の操作が可能であると共に、任意の描画画像を表示する表示装置、表示システム、方法およびプログラムに関する。   The present invention relates to a display device that displays an arbitrary image, and more specifically, a display device that displays a display image of an information processing device and is capable of operating the information processing device and displays an arbitrary drawing image. , Display system, method and program.

従来、企業や教育機関、行政機関等における会議等において、大型ディスプレイに情報処理装置の表示画像を表示させ、その操作を可能にする電子黒板が利用されている。   2. Description of the Related Art Conventionally, an electronic blackboard that displays a display image of an information processing apparatus on a large display and enables the operation thereof is used in a meeting in a company, an educational institution, an administrative organization, or the like.

このような電子黒板の一例として、特許文献1は、他の情報処理装置を接続し、その画面を表示して制御する情報処理装置を開示する。この情報処理装置では、当該情報処理装置を操作する第1の動作モードと、他の情報処理装置を操作する第2のモードとを切り替えて、これらの情報処理装置の操作を行う。   As an example of such an electronic blackboard, Patent Document 1 discloses an information processing apparatus that connects another information processing apparatus and displays and controls its screen. In this information processing apparatus, the information processing apparatus is operated by switching between the first operation mode for operating the information processing apparatus and the second mode for operating other information processing apparatuses.

しかしながら、特許文献1に記載の情報処理装置では、操作すべき情報処理装置を切り替えるために、ユーザは、当該情報処理装置の表示画面から物理的に離れた操作パネルやキーボードを使用しなければならず、ユーザビリティが低いという問題があった。   However, in the information processing apparatus described in Patent Document 1, in order to switch the information processing apparatus to be operated, the user must use an operation panel or a keyboard that is physically separated from the display screen of the information processing apparatus. There was a problem that usability was low.

本発明は上述した課題を解決するものであり、画像表示装置と接続される情報処理装置を操作する際の操作性を向上させる表示装置、表示システム、方法およびプログラムを提供することを目的とする。   SUMMARY An advantage of some aspects of the invention is to provide a display device, a display system, a method, and a program that improve the operability when operating an information processing device connected to an image display device. .

本発明によれば、情報処理装置の操作が可能な表示装置であって、表示装置の表示画面に描画を行う描画装置と、表示画面に対する描画装置の接触位置を受信する受信手段と、情報処理装置から送信される映像信号を受信する第1のインタフェースと、情報処理装置と接続する第2のインタフェースと、第1のインタフェースを介して受信した映像信号に基づく画像を表示画面に表示する表示手段と、受信手段により受信した接触位置が表示画面上の映像信号に基づく画像が表示された領域内である場合に描画装置の接触位置に基づく信号を生成し、生成した該信号を第2のインタフェースを介して情報処理装置に送信する送信手段とを有する表示装置を提供する。   According to the present invention, a display device capable of operating an information processing device, the drawing device for drawing on the display screen of the display device, the receiving means for receiving the contact position of the drawing device with respect to the display screen, and the information processing A first interface for receiving a video signal transmitted from the apparatus, a second interface connected to the information processing apparatus, and display means for displaying an image based on the video signal received via the first interface on a display screen And a signal based on the contact position of the drawing device is generated when the contact position received by the receiving means is within an area where an image based on the video signal on the display screen is displayed, and the generated signal is transmitted to the second interface. A display device having transmission means for transmitting to the information processing device via the network is provided.

本発明の画像表示装置は、上記構成を採用することにより、表示装置と接続される情報処理装置を操作する際の操作性を向上させることができる。   The image display apparatus of the present invention can improve the operability when operating the information processing apparatus connected to the display apparatus by adopting the above configuration.

本発明の画像表示システムを示す図。The figure which shows the image display system of this invention. 本発明の画像表示装置のハードウェア構成を示す図。The figure which shows the hardware constitutions of the image display apparatus of this invention. 本発明の描画装置のハードウェア構成を示す図。The figure which shows the hardware constitutions of the drawing apparatus of this invention. 本発明の画像表示装置が有するコントローラの機能構成を示す図。The figure which shows the function structure of the controller which the image display apparatus of this invention has. 本発明の画像表示装置が有するコントローラが実行する処理を示す図。The figure which shows the process which the controller which the image display apparatus of this invention has is performed. 描画モードが選択されている場合に、本発明の画像表示装置が有するコントローラが実行する処理を示す図。The figure which shows the process which the controller which the image display apparatus of this invention has when drawing mode is selected. 削除モードが選択されている場合に、本発明の画像表示装置が有するコントローラが実行する処理を示す図。The figure which shows the process which the controller which the image display apparatus of this invention has when deletion mode is selected. 選択モードが選択されている場合に、本発明の画像表示装置が有するコントローラが実行する処理を示す図。The figure which shows the process which the controller which the image display apparatus of this invention has when the selection mode is selected.

以下、本発明について実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。   Hereinafter, although this invention is demonstrated with embodiment, this invention is not limited to embodiment mentioned later.

図1は、本発明の画像表示システム100を示す。画像表示システム100は、画像表示装置110と、ユーザPC130とを含んで構成されており、画像表示装置110およびユーザPC130は、ケーブル124,126によって接続される。   FIG. 1 shows an image display system 100 of the present invention. The image display system 100 includes an image display device 110 and a user PC 130, and the image display device 110 and the user PC 130 are connected by cables 124 and 126.

画像表示装置110は、ユーザPC130の表示画像を表示してその操作を可能にすると共に、ユーザが作成する描画画像を表示する装置である。画像表示装置110は、ディスプレイ112と、映像入力インタフェース120と、出力インタフェース122とを含んで構成される。   The image display device 110 is a device that displays a display image of the user PC 130 and enables the operation thereof, and displays a drawing image created by the user. The image display device 110 includes a display 112, a video input interface 120, and an output interface 122.

ディスプレイ112は、ユーザPC130の表示画像やユーザが作成する描画画像などの種々の画像を表示する表示装置である。ディスプレイ112には、ユーザPC130の表示画像116や画像表示装置110を操作するGUI(Graphical User Interface)ボタン118a,118b,118cが表示される。また、ディスプレイ112は、指や専用ペンなどの物体の接触や接近を検知する手段である座標検出装置114が設置されている。   The display 112 is a display device that displays various images such as a display image of the user PC 130 and a drawing image created by the user. On the display 112, a display image 116 of the user PC 130 and GUI (Graphical User Interface) buttons 118a, 118b, and 118c for operating the image display device 110 are displayed. In addition, the display 112 is provided with a coordinate detection device 114 that is a means for detecting contact and approach of an object such as a finger or a dedicated pen.

映像入力インタフェース120は、ユーザPC130の表示画像116を形成する映像信号を受信するインタフェースである。本実施形態では、映像入力インタフェース120としてDVI(Digital Visual Interface)端子により構成されるDVIコネクタを採用することができる。映像入力インタフェース120は、ユーザPC130からVGAケーブル等のケーブル124を介してVGA信号を受信し、画像表示装置110にVGA信号を供給する。   The video input interface 120 is an interface that receives a video signal that forms the display image 116 of the user PC 130. In the present embodiment, a DVI connector configured by a DVI (Digital Visual Interface) terminal can be employed as the video input interface 120. The video input interface 120 receives a VGA signal from the user PC 130 via a cable 124 such as a VGA cable, and supplies the VGA signal to the image display device 110.

他の実施形態では、VGA(Video Graphics Array)コネクタ、HDMI(High-Definition Multimedia Interface、登録商標)コネクタ、Displayportコネクタ等を採用することができる。さらに他の実施形態では、映像入力インタフェース120は、Bluetooth(登録商標)やWiFi等の無線通信プロトコルに準拠した無線通信により、ユーザPC130から映像信号を受信してもよい。   In other embodiments, a Video Graphics Array (VGA) connector, a High-Definition Multimedia Interface (HDMI) (registered trademark) connector, a Displayport connector, or the like can be employed. In still another embodiment, the video input interface 120 may receive a video signal from the user PC 130 by wireless communication complying with a wireless communication protocol such as Bluetooth (registered trademark) or WiFi.

出力インタフェース122は、画像表示装置110の表示画像やユーザPC130を操作するイベントを出力する物理インタフェースである。本実施形態では、出力インタフェース122としてUSBソケットを採用することができる。   The output interface 122 is a physical interface that outputs a display image of the image display device 110 and an event for operating the user PC 130. In the present embodiment, a USB socket can be adopted as the output interface 122.

ユーザPC130は、画像表示装置110に表示すべき画像を提供する情報処理装置である。ユーザPC130は、映像信号を出力するインタフェースを備えており、ユーザPC130の表示画像に表示された画像を形成する映像信号を所定のレート(例えば、50〜60fps(frame per second))で画像表示装置110に供給する。本実施形態では、ユーザPC130は、インタフェースとしてVGA出力端子を備えており、VGA信号を画像表示装置110に送信することができる。他の実施形態では、ユーザPC130は、各種無線通信プロトコルに準拠した無線通信により、表示画像を送信してもよい。   The user PC 130 is an information processing device that provides an image to be displayed on the image display device 110. The user PC 130 includes an interface that outputs a video signal, and an image display device that generates a video signal that forms an image displayed on the display image of the user PC 130 at a predetermined rate (for example, 50 to 60 fps (frame per second)). 110. In the present embodiment, the user PC 130 includes a VGA output terminal as an interface, and can transmit a VGA signal to the image display device 110. In another embodiment, the user PC 130 may transmit the display image by wireless communication complying with various wireless communication protocols.

また、ユーザPC130は、USBポートを備えており、画像表示装置110からマウスやキーボードなどの入力装置が発行する種々のイベント(以下、「入力装置イベント」とする。)を形成する信号を受信し、当該入力装置イベントに応じた処理を実行する。   Further, the user PC 130 has a USB port, and receives signals forming various events (hereinafter referred to as “input device events”) issued by an input device such as a mouse or a keyboard from the image display device 110. Then, processing corresponding to the input device event is executed.

図1に示す実施形態では、ユーザPC130としてノート型PCを採用するが、他の実施形態では、デスクトップ型PCやタブレット型PC、PDA等の映像信号を供給可能な情報処理装置を採用することができる。   In the embodiment shown in FIG. 1, a notebook PC is adopted as the user PC 130. However, in other embodiments, an information processing apparatus capable of supplying a video signal such as a desktop PC, a tablet PC, or a PDA may be adopted. it can.

図2は、本発明の画像表示装置110のハードウェア構成を示す図である。画像表示装置110は、コントローラ200と、受信部202と、ディスプレイ112と、座標検出装置114とを含んで構成される。   FIG. 2 is a diagram illustrating a hardware configuration of the image display apparatus 110 according to the present invention. The image display device 110 includes a controller 200, a receiving unit 202, a display 112, and a coordinate detection device 114.

コントローラ200は、画像表示装置の全体制御を行う画像表示制御装置である。コントローラ200は、LSI(Large Scale Integration)によって構成することができる。なお、コントローラ200の機能構成については、図4を参照して詳細に説明する。   The controller 200 is an image display control device that performs overall control of the image display device. The controller 200 can be configured by LSI (Large Scale Integration). The functional configuration of the controller 200 will be described in detail with reference to FIG.

受信部202は、描画装置210からの無線信号を受信する機能手段である。描画装置210は、モード切替部によって描画画像の作成や当該描画画像の消去、ディスプレイ112に表示されたGUIボタン等の画像オブジェクトの選択が可能であり、描画装置210が、画像表示装置110の表示装置であるディスプレイ112の表示領域に接触したことを検知し、接触したことを示す信号(以下、「接触信号」とする。)を画像表示装置110に無線によって送信する。受信部202は、接触信号を座標検出装置114に送信する。   The receiving unit 202 is a functional unit that receives a wireless signal from the drawing apparatus 210. The drawing device 210 can create a drawing image, delete the drawing image, and select an image object such as a GUI button displayed on the display 112 by the mode switching unit. The drawing device 210 can display the image on the image display device 110. It detects that the display area of the display 112 as a device has been touched, and transmits a signal indicating contact (hereinafter referred to as “contact signal”) to the image display device 110 by radio. The receiving unit 202 transmits a contact signal to the coordinate detection device 114.

本実施形態では、座標検出装置114として、特許文献2に示すような赤外線遮断方式による座標入力/検出装置を採用する。この座標入力/検出装置では、ディスプレイ112の下側両端部に設置された2の受発光装置が、ディスプレイ112に平行して複数の赤外線を放射し、ディスプレイ112の周囲に設けられた反射部材によって同一光路上に反射する光を受光する。座標検出装置114は、描画装置210によって遮断された2の受発光装置が放射した赤外線の識別情報をコントローラ200が有する座標検出装置ドライバに通知する。座標検出装置ドライバは、当該赤外線の識別情報を使用して遮断された赤外線を特定し、描画装置210の接触位置または接近位置(以下、「座標位置」とする。)を算出する。   In this embodiment, a coordinate input / detection device based on an infrared ray blocking method as shown in Patent Document 2 is adopted as the coordinate detection device 114. In this coordinate input / detection device, two light emitting / receiving devices installed at both lower ends of the display 112 emit a plurality of infrared rays in parallel with the display 112, and are reflected by reflecting members provided around the display 112. Light reflected on the same optical path is received. The coordinate detection device 114 notifies the coordinate detection device driver of the controller 200 of the infrared identification information emitted by the two light emitting / receiving devices blocked by the drawing device 210. The coordinate detection device driver uses the infrared identification information to identify the blocked infrared rays, and calculates the contact position or approach position (hereinafter referred to as “coordinate position”) of the drawing device 210.

他の実施形態では、静電容量の変化を検知することにより接触位置を特定する静電容量方式の座標検出装置、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式の座標検出装置、接触物体がディスプレイに接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式の座標検出装置などの種々の検出手段を採用してもよい。   In another embodiment, a capacitance-type coordinate detection device that specifies a contact position by detecting a change in capacitance, and a resistance film-type coordinate that specifies a contact position based on a voltage change between two opposing resistance films. Various detection means such as a detection apparatus and an electromagnetic induction type coordinate detection apparatus that detects electromagnetic induction caused by contact of a contact object with the display and identifies a contact position may be employed.

画像表示装置110は、ネットワークインタフェース204を備えており、ディスプレイ112の表示画像や描画画像等の画像データを、ネットワークを介して送信することができる。   The image display device 110 includes a network interface 204, and can transmit image data such as a display image and a drawing image on the display 112 via a network.

図3は、本発明の描画装置のハードウェア構成を示す図である。以下、描画装置210のハードウェア構成について説明する。   FIG. 3 is a diagram showing a hardware configuration of the drawing apparatus of the present invention. Hereinafter, the hardware configuration of the drawing apparatus 210 will be described.

描画装置210は、接触検知手段を構成する先端部300、接触検知センサ302、信号処理部304および信号送信部306と、モード切替部308,310とを含む。   The drawing apparatus 210 includes a tip portion 300, a contact detection sensor 302, a signal processing unit 304, a signal transmission unit 306, and mode switching units 308 and 310 that constitute a contact detection unit.

先端部300は、ディスプレイ112に接触すべき可動式の部材である。先端部300は先端がディスプレイ112に接触すると、描画装置210の長手方向に移動し、後端が接触検知センサ302に接触する。先端部300と接触検知センサ302との間には、バネ等の弾性部材(図示せず)が設けられており、先端部300は座標検出装置114から離されると、その弾性力によって元の位置に戻る。   The tip portion 300 is a movable member that should contact the display 112. When the front end portion 300 contacts the display 112, the front end portion 300 moves in the longitudinal direction of the drawing device 210, and the rear end contacts the contact detection sensor 302. An elastic member (not shown) such as a spring is provided between the distal end portion 300 and the contact detection sensor 302. When the distal end portion 300 is separated from the coordinate detection device 114, the elastic position causes the original position. Return to.

接触検知センサ302は、先端部300が接触したことを検知するセンサである。本実施形態では、接触検知センサ302として、ニッタ株式会社のFlexiForce(商標)やイナバゴム株式会社のイナストマー(登録商標)等の圧力センサを採用することができ、先端部300が接触検知センサ302に接触すると、当該接触検知センサ302内の電流の抵抗値が変化する。   The contact detection sensor 302 is a sensor that detects that the tip portion 300 is in contact. In the present embodiment, a pressure sensor such as Nita Corporation's FlexiForce (trademark) or Inaba Rubber Co., Ltd. Inastomer (registered trademark) can be employed as the contact detection sensor 302, and the tip portion 300 contacts the contact detection sensor 302. Then, the resistance value of the current in the contact detection sensor 302 changes.

信号処理部304は、接触検知センサ302を監視し、描画装置210が接触したか否かを判断する手段である。本実施形態では、信号処理部304として半導体回路を採用することができ、電圧変換回路と、A/D変換回路と、記憶回路と、判定回路と、出力回路とを含んで構成される。   The signal processing unit 304 is a unit that monitors the contact detection sensor 302 and determines whether or not the drawing apparatus 210 is in contact. In the present embodiment, a semiconductor circuit can be employed as the signal processing unit 304, and includes a voltage conversion circuit, an A / D conversion circuit, a storage circuit, a determination circuit, and an output circuit.

信号処理部304は、接触検知センサ302の抵抗値の変化を検知すると、電圧変換回路が接触検知センサ302の抵抗値の変化を電圧に変換し、A/D変換回路が、電圧変換回路の変換した電圧をデジタル値である接触信号に変換する。   When the signal processing unit 304 detects a change in the resistance value of the contact detection sensor 302, the voltage conversion circuit converts the change in the resistance value of the contact detection sensor 302 into a voltage, and the A / D conversion circuit converts the change in the voltage conversion circuit. The converted voltage is converted into a digital contact value.

判定回路は、記憶回路に記憶された所定の閾値と接触信号とを比較し、先端部300がディスプレイ112に接触したか否か判定し、その判定結果を出力回路に送信する。   The determination circuit compares a predetermined threshold value stored in the storage circuit with the contact signal, determines whether or not the tip portion 300 has touched the display 112, and transmits the determination result to the output circuit.

本実施形態では、実際に先端部300がディスプレイ112に接触したことによって生ずる抵抗値の変化を電圧に変換し、デジタル変換した値を所定の閾値とすることができ、抵抗値の変化が所定の閾値以上である場合には、先端部300がディスプレイ112に接触したと判定する。一方、抵抗値の変化が所定の閾値よりも小さい場合には、先端部300がディスプレイ112に接触していないと判定する。   In the present embodiment, a change in resistance value caused by actual contact of the tip portion 300 with the display 112 is converted into a voltage, and the digitally converted value can be set as a predetermined threshold value. If it is greater than or equal to the threshold, it is determined that the tip 300 has contacted the display 112. On the other hand, when the change in resistance value is smaller than the predetermined threshold, it is determined that the tip portion 300 is not in contact with the display 112.

また、判定回路は、動作モードの切替手段であるモード切替部308,310の押下を検知し、ユーザが押下したモード切替部の種別を示す信号(以下、「切替部種別信号」とする。)を出力回路に送信する。モード切替部308,310は、画像表示装置110が提供する描画モード、削除モードおよび選択モードを選択可能な機構である。描画モードとは、ユーザが描画画像を作成可能なモードである。削除モードとは、ユーザが作成した描画画像を削除可能なモードである。選択モードとは、ディスプレイ112に表示されたGUIボタン等の画像オブジェクトの選択やユーザPC130に対するイベントの送信が可能なモードである。   Further, the determination circuit detects pressing of the mode switching units 308 and 310 serving as operation mode switching means, and a signal indicating the type of the mode switching unit pressed by the user (hereinafter referred to as “switching unit type signal”). To the output circuit. The mode switching units 308 and 310 are mechanisms that can select a drawing mode, a deletion mode, and a selection mode provided by the image display device 110. The drawing mode is a mode in which the user can create a drawing image. The deletion mode is a mode in which a drawing image created by the user can be deleted. The selection mode is a mode in which an image object such as a GUI button displayed on the display 112 can be selected and an event can be transmitted to the user PC 130.

本実施形態では、第1のボタンであるモード切替部308は、削除モードを指定可能なボタンであり、第2のボタンであるモード切替部310は、選択モードを指定可能なボタンである。本実施形態では、2のモード切替部を使用してモードを指定可能であるが、他の実施形態では、1または3のモード切替部を使用してモードを指定してもよい。   In the present embodiment, the mode switching unit 308 that is the first button is a button that can specify the deletion mode, and the mode switching unit 310 that is the second button is a button that can specify the selection mode. In this embodiment, the mode can be specified using two mode switching units, but in other embodiments, the mode may be specified using one or three mode switching units.

ユーザがモード切替部308,310を押下すると、モード切替部308,310は、信号線を介して切替部種別信号を出力回路に送信する。   When the user presses the mode switching units 308 and 310, the mode switching units 308 and 310 transmit a switching unit type signal to the output circuit via the signal line.

出力回路は、判定回路が出力した接触信号および切替部種別信号を信号送信部306に出力する。接触信号には、描画装置210がディスプレイ112に接触したこと(true)を示す値と、接触していないこと(false)を示す値とが含まれる。出力回路は、定期的に接触信号および切替部種別信号を出力する。他の実施形態では、出力回路は、描画装置210がディスプレイ112に接触したときやディスプレイ112から離れたときに接触信号を出力してもよい。   The output circuit outputs the contact signal output from the determination circuit and the switching unit type signal to the signal transmission unit 306. The contact signal includes a value indicating that the drawing apparatus 210 has touched the display 112 (true) and a value indicating that the drawing device 210 has not touched (false). The output circuit periodically outputs a contact signal and a switching unit type signal. In other embodiments, the output circuit may output a contact signal when the drawing device 210 touches the display 112 or leaves the display 112.

信号送信部306は、出力回路が出力した接触信号および切替部種別信号を画像表示装置110に送信する手段である。本実施形態では、信号送信部306は、赤外線やBluetooth(登録商標)等の無線通信により、接触信号や切替部種別信号を画像表示装置110に送信するが、他の実施形態では、これらの信号を、信号線を介して画像表示装置110に送信してもよい。   The signal transmission unit 306 is means for transmitting the contact signal and the switching unit type signal output from the output circuit to the image display device 110. In the present embodiment, the signal transmission unit 306 transmits a contact signal and a switching unit type signal to the image display device 110 by wireless communication such as infrared rays and Bluetooth (registered trademark), but in other embodiments, these signals are transmitted. May be transmitted to the image display device 110 via a signal line.

本実施形態では、描画装置210を使用して動作モードの切り替えが可能であるため、例えば、ユーザは、描画装置210で描画画像を作成しているときに、手元の描画装置210を使用して動作モードを削除モードに切り替えて描画画像を削除することができ、次いで、動作モードを描画モードに切り替えて描画画像の作成を継続することができるため、ユーザビリティを一層高めることができる。   In the present embodiment, since the operation mode can be switched using the drawing device 210, for example, when the user is creating a drawing image with the drawing device 210, the user uses the drawing device 210 at hand. Since the drawing mode can be deleted by switching the operation mode to the deletion mode, and then the creation of the drawing image can be continued by switching the operation mode to the drawing mode, usability can be further improved.

図4は、画像表示装置110のコントローラ200の機能構成を示す図である。画像表示装置110は、OS(Operating System)400と、アプリケーション部410と、映像信号入力部422と、座標検出装置ドライバ424とを含んで構成される。   FIG. 4 is a diagram illustrating a functional configuration of the controller 200 of the image display device 110. The image display device 110 includes an OS (Operating System) 400, an application unit 410, a video signal input unit 422, and a coordinate detection device driver 424.

映像信号入力部422は、ユーザPC130が送信する映像信号を処理する機能手段である。具体的には、映像信号入力部422は、ユーザPC130から受信したVGA信号等の映像信号をA/D変換し、アプリケーション部410に供給する。   The video signal input unit 422 is a functional unit that processes a video signal transmitted by the user PC 130. Specifically, the video signal input unit 422 A / D converts a video signal such as a VGA signal received from the user PC 130 and supplies the video signal to the application unit 410.

OS400は、コントローラ200の全体制御を行う機能手段である。OS400は、座標検出装置ドライバ424が発行する種々のイベントを受信し、アプリケーション部410に通知する。   The OS 400 is a functional unit that performs overall control of the controller 200. The OS 400 receives various events issued by the coordinate detection device driver 424 and notifies the application unit 410 of them.

本実施形態では、OS400としてWINDOWS(登録商標)シリーズ、UNIX(登録商標)、LINUX(登録商標)、TRON、ITRON、μITRONなどのOSを採用することができ、コントローラ200の有するプロセッサ(図示せず)が、これらのOSの管理下でアセンブラ、C、C++、Java(登録商標)、JavaScript(登録商標)、PERL、RUBY、PYTHONなどのプログラム言語で記述された本発明のプログラムを実行する。   In the present embodiment, an OS such as WINDOWS (registered trademark) series, UNIX (registered trademark), LINUX (registered trademark), TRON, ITRON, and μITRON can be adopted as the OS 400, and a processor (not shown) of the controller 200 is included. ) Executes the program of the present invention described in a program language such as assembler, C, C ++, Java (registered trademark), JavaScript (registered trademark), PERL, RUBY, or PYTHON under the management of these OSs.

座標検出装置ドライバ424は、座標検出装置114を制御する機能手段である。座標検出装置ドライバ424は、座標検出装置114から接触信号を受信すると、描画装置210がディスプレイ112に接触または接近したことを通知するイベント(TOUCH)、描画装置210がディスプレイ112に接触または接近した状態で接触点または接近点が移動したことを通知するイベント(MOVE)、描画装置210がディスプレイ112から離れたことを通知するイベント(RELEASE)を発行し、OS400に通知する。   The coordinate detection device driver 424 is a functional unit that controls the coordinate detection device 114. When the coordinate detection device driver 424 receives a contact signal from the coordinate detection device 114, an event (TOUCH) for notifying that the drawing device 210 has touched or approached the display 112, a state in which the drawing device 210 has touched or approached the display 112 Then, an event (MOVE) for notifying that the contact point or the approach point has moved is issued, and an event (RELEASE) for notifying that the drawing apparatus 210 has moved away from the display 112 are issued to notify the OS 400.

座標検出装置ドライバ424は、座標検出装置114から受信した赤外線の識別情報を使用して描画装置210の座標位置を特定し、当該座標位置を示す情報(以下、「座標位置情報」とする。)を各種イベント(TOUCH、MOVE、RELEASE)に付加する。イベント(MOVE)には、複数の座標位置情報が付加される。また、座標検出装置ドライバ424は、座標検出装置114から受信した切替部種別信号を使用して、ユーザが押下したモード切替部308,310の種別を判断し、これらのイベントにモード切替部の識別情報を付加する。モード切替部308,310が押下されていない場合、すなわち、切替部種別信号を受信していない場合には、座標検出装置ドライバ424は、モード切替部の識別情報をイベントに付加しない。   The coordinate detection device driver 424 identifies the coordinate position of the drawing device 210 using the infrared identification information received from the coordinate detection device 114, and indicates the coordinate position (hereinafter referred to as "coordinate position information"). Are added to various events (TOUCH, MOVE, RELEASE). A plurality of pieces of coordinate position information are added to the event (MOVE). In addition, the coordinate detection device driver 424 uses the switching unit type signal received from the coordinate detection device 114 to determine the type of the mode switching units 308 and 310 pressed by the user, and identifies the mode switching unit in these events. Add information. When the mode switching units 308 and 310 are not pressed, that is, when the switching unit type signal is not received, the coordinate detection device driver 424 does not add the identification information of the mode switching unit to the event.

アプリケーション部410は、ディスプレイ112に表示される画像を処理する機能手段であり、映像信号処理部412と、イベント処理部414と、描画部416と、削除部418と、操作部420とを含んで構成される。   The application unit 410 is a functional unit that processes an image displayed on the display 112, and includes a video signal processing unit 412, an event processing unit 414, a drawing unit 416, a deletion unit 418, and an operation unit 420. Composed.

映像信号処理部412は、映像信号入力部422が供給する映像信号を処理する機能手段である。映像信号処理部412は、映像信号からユーザPC130の表示画像を生成し、ディスプレイ112に表示する。映像信号処理部412は、ディスプレイ112に表示されている画像をコントローラ200が備えるRAM等の記憶装置の所定の領域(以下、「背景画像保存領域」とする。)に保存する。   The video signal processing unit 412 is a functional unit that processes the video signal supplied from the video signal input unit 422. The video signal processing unit 412 generates a display image of the user PC 130 from the video signal and displays it on the display 112. The video signal processing unit 412 stores the image displayed on the display 112 in a predetermined area (hereinafter referred to as “background image storage area”) of a storage device such as a RAM provided in the controller 200.

イベント処理部414は、OS400から受信したイベントを処理する機能手段である。具体的には、イベント処理部414は、OS400から受信したイベントに対応する処理を実行すべき描画部416、削除部418および操作部420にイベント(TOUCH)、イベント(MOVE)およびイベント(RELEASE)を通知する。   The event processing unit 414 is a functional unit that processes an event received from the OS 400. Specifically, the event processing unit 414 sends an event (TOUCH), an event (MOVE), and an event (RELEASE) to the drawing unit 416, the deletion unit 418, and the operation unit 420 that are to execute processing corresponding to the event received from the OS 400. To be notified.

描画部416は、描画画像を作成してディスプレイ112に表示する機能手段である。描画部416は、イベント処理部414から受信したイベントに含まれる座標位置情報が示す座標位置の色を所定の色に変更した描画画像を生成する。そして、描画部416は、背景画像保存領域から画像を取得して描画画像と合成し、ディスプレイ112に表示する。   The drawing unit 416 is a functional unit that creates a drawing image and displays it on the display 112. The drawing unit 416 generates a drawing image in which the color of the coordinate position indicated by the coordinate position information included in the event received from the event processing unit 414 is changed to a predetermined color. Then, the drawing unit 416 acquires an image from the background image storage area, combines it with the drawn image, and displays it on the display 112.

描画部416は、ディスプレイ112に表示されている描画画像をコントローラ200が備えるRAM等の記憶装置の所定の領域(以下、「描画画像保存領域」とする。)に保存する。このとき、描画部416は、描画画像を形成した座標位置を示す情報を描画画像のメタデータとして描画画像保存領域に保存する。また、描画部416は、合成した画像を所定の領域(以下、「合成画像保存領域」とする。)に保存する。   The drawing unit 416 stores the drawing image displayed on the display 112 in a predetermined area (hereinafter referred to as “drawing image storage area”) of a storage device such as a RAM provided in the controller 200. At this time, the drawing unit 416 stores information indicating the coordinate position where the drawing image is formed in the drawing image storage area as metadata of the drawing image. In addition, the drawing unit 416 stores the combined image in a predetermined area (hereinafter referred to as “composited image storage area”).

削除部418は、描画画像を消去する機能手段である。削除部418は、イベント処理部414から受信したイベントに含まれる座標位置情報が示す座標位置と、描画画像が形成された座標位置とを比較し、これらの座標位置が合致する場合に、合成画像の当該座標位置の色を対応する背景画像の色に変更する。そして、削除部418は、変更した合成画像をディスプレイ112に表示し、合成画像保存領域に保存する。   The deletion unit 418 is a functional unit that deletes the drawn image. The deletion unit 418 compares the coordinate position indicated by the coordinate position information included in the event received from the event processing unit 414 with the coordinate position where the drawing image is formed, and if these coordinate positions match, the composite image Is changed to the color of the corresponding background image. Then, the deletion unit 418 displays the changed composite image on the display 112 and stores it in the composite image storage area.

本実施形態では、背景画像保存領域および合成画像保存領域は、これらの画像を構成する画素の色が座標位置毎に保存されており、削除部418は、消去すべき描画画像に対応する合成画像の画素を特定し、これに対応する背景画像の色を特定することができる。   In the present embodiment, in the background image storage area and the composite image storage area, the colors of the pixels constituting these images are stored for each coordinate position, and the deletion unit 418 stores the composite image corresponding to the drawing image to be deleted. Can be specified, and the color of the background image corresponding to this can be specified.

操作部420は、画像表示装置110またはユーザPC130に対する操作を指示する機能手段である。操作部420は、イベント処理部414から受信したイベントに含まれる座標位置情報が示す座標位置が、画像表示装置110に対する指示を示す画像オブジェクトの領域またはユーザPC130の表示画像が表示された領域であるか否か判断する。   The operation unit 420 is a functional unit that instructs an operation on the image display device 110 or the user PC 130. In the operation unit 420, the coordinate position indicated by the coordinate position information included in the event received from the event processing unit 414 is an area of an image object indicating an instruction to the image display device 110 or an area where a display image of the user PC 130 is displayed. Determine whether or not.

座標位置情報が示す座標位置が画像表示装置110に対する指示を示す画像オブジェクトの領域内である場合には、操作部420は、当該画像オブジェクトが選択された旨のイベントをOS400に対して発行する。座標位置情報が示す座標位置がユーザPC130の表示画像が表示された領域である場合には、操作部420は、当該座標位置をユーザPC130の表示画像の解像度に適合する座標位置に変更し、変更した座標位置と共に入力装置イベントをユーザPC130に送信する。   When the coordinate position indicated by the coordinate position information is within the area of the image object indicating an instruction to the image display device 110, the operation unit 420 issues an event to the OS 400 that the image object is selected. If the coordinate position indicated by the coordinate position information is an area where the display image of the user PC 130 is displayed, the operation unit 420 changes the coordinate position to a coordinate position that matches the resolution of the display image of the user PC 130, and changes the coordinate position. The input device event is transmitted to the user PC 130 together with the coordinate position.

本実施形態では、画像表示装置110が座標検出装置114を制御する機能手段や、描画画像を生成して背景画像と重畳する機能手段を備えているため、これらの機能を有する制御ドライバ等のソフトウェアをユーザPC130にインストールする必要がない。   In this embodiment, since the image display device 110 includes functional means for controlling the coordinate detection device 114 and functional means for generating a drawn image and superimposing it on the background image, software such as a control driver having these functions. Need not be installed on the user PC 130.

図5は、本発明の画像表示装置が実行する処理を示すフローチャートである。以下、図5を参照して、画像表示装置110のコントローラ200が実行する処理について説明する。   FIG. 5 is a flowchart showing processing executed by the image display apparatus of the present invention. Hereinafter, the processing executed by the controller 200 of the image display device 110 will be described with reference to FIG.

図5の処理は、ステップS500から開始し、ステップS501でコントローラ200のイベント処理部414が、座標検出装置ドライバ424の発行したイベントを検知したか否か判断する。イベントを検知していない場合には(no)、ステップS501の処理を反復する。一方、イベントを検知した場合には(yes)、処理をステップS502に分岐する。   The process in FIG. 5 starts from step S500, and in step S501, the event processing unit 414 of the controller 200 determines whether an event issued by the coordinate detection device driver 424 has been detected. If no event is detected (no), the process of step S501 is repeated. On the other hand, if an event is detected (yes), the process branches to step S502.

ステップS502では、イベント処理部414は、イベントに付加されたモード切替部の識別情報を使用して、削除モードを指定する第1のボタンが押下されたか否か判断し、第1のボタンが押下されたと判断した場合には(yes)、処理をステップS506に分岐する。ステップS506では、イベント処理部414は、ステップS501で検知したイベントを削除部418に通知し、処理をステップS501に戻す。   In step S502, the event processing unit 414 uses the identification information of the mode switching unit added to the event to determine whether or not the first button for designating the deletion mode has been pressed, and the first button is pressed. If it is determined that the determination has been made (yes), the process branches to step S506. In step S506, the event processing unit 414 notifies the event detected in step S501 to the deletion unit 418, and the process returns to step S501.

一方、ステップS502の判定で第1のボタンが押下されていないと判断した場合には(no)、処理をステップS503に分岐する。ステップS503では、イベント処理部414は、イベントに付加されたモード切替部の識別情報を使用して、選択モードを指定する第2のボタンが押下されたか否か判断し、第2のボタンが押下されたと判断した場合には(yes)、処理をステップS505に分岐する。ステップS505では、イベント処理部414は、ステップS501で検知したイベントを操作部420に通知し、処理をステップS501に戻す。   On the other hand, if it is determined in step S502 that the first button has not been pressed (no), the process branches to step S503. In step S503, the event processing unit 414 uses the identification information of the mode switching unit added to the event to determine whether or not the second button for designating the selection mode has been pressed, and the second button is pressed. If it is determined that the determination has been made (yes), the process branches to step S505. In step S505, the event processing unit 414 notifies the event detected in step S501 to the operation unit 420, and the process returns to step S501.

一方、ステップS503の判定で第2のボタンが押下されていないと判断した場合には(no)、処理をステップS504に分岐する。ステップS504では、イベント処理部414は、ステップS501で検知したイベントを描画部416に通知し、処理をステップS501に戻す。   On the other hand, if it is determined in step S503 that the second button has not been pressed (no), the process branches to step S504. In step S504, the event processing unit 414 notifies the drawing unit 416 of the event detected in step S501, and returns the process to step S501.

図6は、本発明の画像表示装置が実行する処理を示すフローチャートである。以下、図6を参照して、描画モードが選択されている場合に画像表示装置110のコントローラ200が実行する処理について説明する。   FIG. 6 is a flowchart showing processing executed by the image display apparatus of the present invention. Hereinafter, a process executed by the controller 200 of the image display apparatus 110 when the drawing mode is selected will be described with reference to FIG.

図6の処理は、ステップS600で描画部416がイベント処理部414からイベントを受信することにより開始する。ステップS601では、描画部416は、イベントの種類がTOUCHまたはMOVEであるか否か判断する。イベントの種類がTOUCHまたはMOVEである場合には(yes)、処理をステップS602に分岐する。一方、イベントの種類がTOUCHまたはMOVEでない場合、すなわち、RELEASEである場合には(no)、処理をステップS607に分岐して終了する。   The process in FIG. 6 starts when the drawing unit 416 receives an event from the event processing unit 414 in step S600. In step S601, the drawing unit 416 determines whether the event type is TOUCH or MOVE. If the event type is TOUCH or MOVE (yes), the process branches to step S602. On the other hand, if the event type is not TOUCH or MOVE, that is, RELEASE (no), the process branches to step S607 and ends.

ステップS602では、描画部416は、イベントに付加された座標位置情報を使用して描画画像を生成する。ステップS603では、描画部416は、描画画像を描画画像保存領域に保存する。ステップS604では、描画部416は、背景画像保存領域から背景画像を取得し、描画画像と合成する。ステップS605では、描画部416は、ステップS604で生成した合成画像をディスプレイ112に表示する。ステップS606では、描画部416は、当該合成画像を合成画像保存領域に保存し、ステップS607で処理が終了する。   In step S602, the drawing unit 416 generates a drawing image using the coordinate position information added to the event. In step S603, the drawing unit 416 stores the drawing image in the drawing image storage area. In step S604, the drawing unit 416 acquires a background image from the background image storage area and combines it with the drawn image. In step S605, the drawing unit 416 displays the composite image generated in step S604 on the display 112. In step S606, the drawing unit 416 stores the composite image in the composite image storage area, and the process ends in step S607.

図7は、本発明の画像表示装置が実行する処理を示すフローチャートである。以下、図7を参照して、削除モードが選択されている場合に画像表示装置110のコントローラ200が実行する処理について説明する。   FIG. 7 is a flowchart showing processing executed by the image display apparatus of the present invention. Hereinafter, a process executed by the controller 200 of the image display apparatus 110 when the deletion mode is selected will be described with reference to FIG.

図7の処理は、ステップS700で削除部418がイベント処理部414からイベントを受信することにより開始する。ステップS701では、削除部418は、イベントの種類がTOUCHまたはMOVEであるか否か判断する。イベントの種類がTOUCHまたはMOVEである場合には(yes)、処理をステップS702に分岐する。一方、イベントの種類がTOUCHまたはMOVEでない場合、すなわち、RELEASEである場合には(no)、処理をステップS707に分岐して終了する。   The processing in FIG. 7 starts when the deletion unit 418 receives an event from the event processing unit 414 in step S700. In step S701, the deletion unit 418 determines whether the event type is TOUCH or MOVE. If the event type is TOUCH or MOVE (yes), the process branches to step S702. On the other hand, if the event type is not TOUCH or MOVE, that is, RELEASE (no), the process branches to step S707 and ends.

ステップS702では、削除部418は、描画画像保存領域に保存された描画画像の座標位置情報を取得する。ステップS703では、削除部418は、イベントに付加された座標位置情報と、描画画像の座標位置情報とを比較し、これらの座標位置情報が示す座標位置が重複するか否か判断する。座標位置が重複する場合には(yes)、処理をステップS704に分岐させる。一方、座標位置が重複しない場合には(no)、処理をステップS707に分岐して終了させる。   In step S702, the deletion unit 418 acquires coordinate position information of the drawing image stored in the drawing image storage area. In step S703, the deletion unit 418 compares the coordinate position information added to the event and the coordinate position information of the drawing image, and determines whether or not the coordinate positions indicated by these coordinate position information overlap. If the coordinate positions overlap (yes), the process branches to step S704. On the other hand, if the coordinate positions do not overlap (no), the process branches to step S707 and ends.

ステップS704では、削除部418は、合成画像保存領域から合成画像を取得し、合成画像のうち当該座標位置が示す画素の色を、背景画像保存領域に保存された背景画像のうち当該座標位置が示す画素の色に変更することにより、座標位置が示す描画画像を削除する。ステップS705では、削除部418は、ステップS704で変更した合成画像をディスプレイ112に表示する。ステップS706では、削除部418は、ディスプレイ112に表示した合成画像を合成画像保存領域に保存し、ステップS707で処理が終了する。   In step S704, the deletion unit 418 obtains a composite image from the composite image storage area, displays the color of the pixel indicated by the coordinate position in the composite image, and the coordinate position in the background image stored in the background image storage area. The drawing image indicated by the coordinate position is deleted by changing to the color of the indicated pixel. In step S705, the deletion unit 418 displays the composite image changed in step S704 on the display 112. In step S706, the deletion unit 418 stores the composite image displayed on the display 112 in the composite image storage area, and the process ends in step S707.

図8は、本発明の画像表示装置が実行する処理を示すフローチャートである。以下、図8を参照して、選択モードが選択されている場合に画像表示装置110のコントローラ200が実行する処理について説明する。   FIG. 8 is a flowchart showing processing executed by the image display apparatus of the present invention. Hereinafter, a process executed by the controller 200 of the image display apparatus 110 when the selection mode is selected will be described with reference to FIG.

図8の処理は、ステップS800で操作部420がイベント処理部414からイベントを受信することにより開始する。ステップS801では、操作部420は、イベントの種類がRELEASEであるか否か判断する。イベントの種類がRELEASEである場合には(yes)、処理をステップS802に分岐する。一方、イベントの種類がRELEASEでない場合、すなわち、TOUCHまたはMOVEである場合には(no)、処理をステップS806に分岐して終了する。   8 starts when the operation unit 420 receives an event from the event processing unit 414 in step S800. In step S801, the operation unit 420 determines whether the event type is RELEASE. If the event type is RELEASE (yes), the process branches to step S802. On the other hand, if the event type is not RELEASE, that is, if it is TOUCH or MOVE (no), the process branches to step S806 and ends.

ステップS802では、操作部420は、イベントに付加された座標位置情報を使用して、当該座標位置情報が示す座標位置がいずれの領域に属するか判断する。座標位置が画像オブジェクト領域に属する場合には、処理をステップS803に分岐させる。ステップS803では、操作部420は、座標位置が示す画像オブジェクトが選択された旨のイベントをOS400に対して発行し、ステップS806で処理が終了する。   In step S802, the operation unit 420 uses the coordinate position information added to the event to determine to which region the coordinate position indicated by the coordinate position information belongs. If the coordinate position belongs to the image object area, the process branches to step S803. In step S803, the operation unit 420 issues an event to the OS 400 that the image object indicated by the coordinate position has been selected, and the process ends in step S806.

ステップS802の判定で座標位置がユーザPC130の表示画像領域に属すると判断した場合には、処理をステップS804に分岐させる。ステップS804では、操作部420は、イベントに付加された座標位置情報が示す座標位置をユーザPC130の表示画像の解像度に適合するように変更する。ユーザPC130の表示画像の解像度は予め規定してもよく、また、映像信号処理部412が、ユーザPC130から受信した映像信号を解析して算出してもよい。   If it is determined in step S802 that the coordinate position belongs to the display image area of the user PC 130, the process branches to step S804. In step S804, the operation unit 420 changes the coordinate position indicated by the coordinate position information added to the event to match the resolution of the display image of the user PC 130. The resolution of the display image of the user PC 130 may be defined in advance, or the video signal processing unit 412 may analyze and calculate the video signal received from the user PC 130.

ステップS805では、操作部420は、当該座標位置が選択された旨の入力装置イベントに変更後の座標位置を示す座標位置情報を付加してユーザPC130に送信し、ステップS806で処理が終了する。   In step S805, the operation unit 420 adds coordinate position information indicating the changed coordinate position to the input device event indicating that the coordinate position is selected, and transmits it to the user PC 130, and the process ends in step S806.

ステップS802の判定で座標位置がその他の領域に属すると判断した場合には、処理をステップS806に分岐して終了する。   If it is determined in step S802 that the coordinate position belongs to another area, the process branches to step S806 and ends.

これまで本発明の一実施形態について説明してきたが、本発明は、上述した実施形態に限定されるものではなく、本実施形態の構成要素を変更若しくは削除し、または本実施形態の構成要素を他の構成要素を追加するなど、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。   Although one embodiment of the present invention has been described so far, the present invention is not limited to the above-described embodiment, and the components of the present embodiment are changed or deleted, or the components of the present embodiment are replaced. It can be changed within a range that can be conceived by those skilled in the art, such as adding other components, and any aspect is included in the scope of the present invention as long as the effects of the present invention are exhibited. .

特に、上述した実施形態では、コントローラが、画像表示装置と一体的に構成されたディスプレイに画像を表示させるが、他の実施形態では、コントローラが、プロジェクタ等の画像の投影が可能な表示装置に画像を投影させ、スクリーン等の表示面に画像を表示させてもよい。この場合、描画装置の接触位置または接近位置を検知するセンサをスクリーンや表示装置に設け、コントローラが、画像が投影された表示面上の領域、すなわち、表示装置の表示領域に対する描画装置の接触位置情報または接近位置情報をセンサから取得することができる。   In particular, in the above-described embodiment, the controller displays an image on a display configured integrally with the image display device. In other embodiments, the controller is a display device that can project an image such as a projector. An image may be projected and displayed on a display surface such as a screen. In this case, a sensor for detecting a contact position or an approach position of the drawing device is provided on the screen or the display device, and the controller has a region on the display surface on which the image is projected, that is, the contact position of the drawing device with respect to the display region of the display device. Information or approach position information can be obtained from the sensor.

100…画像表示システム、110…画像表示装置、112…ディスプレイ、114…座標検出装置、116…表示画像、118a,118b,118c…GUIボタン、120…映像入力インタフェース、122…出力インタフェース、124,126…ケーブル、130…ユーザPC DESCRIPTION OF SYMBOLS 100 ... Image display system, 110 ... Image display apparatus, 112 ... Display, 114 ... Coordinate detection apparatus, 116 ... Display image, 118a, 118b, 118c ... GUI button, 120 ... Video input interface, 122 ... Output interface, 124, 126 ... Cable, 130 ... User PC

特開2002−91654号公報JP 2002-91654 A 特許第4627781号公報Japanese Patent No. 4627781

Claims (8)

情報処理装置の操作が可能であり、ディスプレイを有し、該ディスプレイの表示画面に対する描画装置の接触位置を特定可能な表示装置であって、
前記情報処理装置から送信される映像信号を受信する第1のインタフェースと、
前記情報処理装置と接続する第2のインタフェースと、
前記第1のインタフェースを介して受信した前記映像信号に基づく画像を前記表示画面の一部の領域に表示する表示手段と、
前記接触位置が、前記表示画面上の前記映像信号に基づく画像が表示された前記一部の領域内である場合に、少なくとも前記描画装置の接触位置に基づく信号を生成し、生成した該信号を前記第2のインタフェースを介して前記情報処理装置に送信する送信手段と
を有する表示装置。
A display device capable of operating an information processing device, having a display, and capable of specifying a contact position of a drawing device with respect to a display screen of the display,
A first interface for receiving a video signal transmitted from the information processing apparatus;
A second interface connected to the information processing apparatus;
Display means for displaying an image based on the video signal received via the first interface in a partial area of the display screen;
When the contact position is within the partial area where an image based on the video signal on the display screen is displayed, a signal based on at least the contact position of the drawing device is generated, and the generated signal is And a transmission unit configured to transmit to the information processing apparatus via the second interface.
前記送信手段は、
前記接触位置が、前記表示画面上の前記映像信号に基づく画像が表示された前記一部の領域内である場合に、少なくとも前記描画装置の接触位置に基づいて、マウス又はキーボードが発行するイベントを形成する信号を生成し、前記情報処理装置を操作するために、生成した該信号を前記第2のインタフェースを介して前記情報処理装置に送信する、請求項1に記載の表示装置。
The transmission means includes
When the contact position is within the partial area where an image based on the video signal on the display screen is displayed, an event issued by a mouse or a keyboard based on at least the contact position of the drawing device The display device according to claim 1, wherein the signal to be formed is generated, and the generated signal is transmitted to the information processing device via the second interface in order to operate the information processing device.
前記描画装置は、描画された描画画像を削除する操作を行う、ユーザが押下可能なボタンを備え、
前記ボタンが押下された場合に、前記描画装置を用いて描画画像を削除する削除処理の実行を制御すること
を特徴とする請求項1または2に記載の表示装置。
The drawing device includes a button that can be pressed by a user to perform an operation of deleting a drawn drawing image,
The display device according to claim 1, wherein when the button is pressed, execution of a deletion process for deleting a drawn image is controlled using the drawing device.
前記接触位置が前記表示画面上の前記映像信号に基づく画像が表示された前記一部の領域内である場合に、前記情報処理装置の画面の解像度を応じて少なくとも前記描画装置の接触位置に基づく信号を生成し、生成した該信号を前記第2のインタフェースを介して前記情報処理装置に送信することで、前記表示装置から前記情報処理装置の操作処理を行うよう制御する、
請求項1乃至3のいずれか一項に記載の表示装置。
When the contact position is within the partial area where an image based on the video signal on the display screen is displayed, the contact position is based on at least the contact position of the drawing device according to the resolution of the screen of the information processing device A signal is generated, and the generated signal is transmitted to the information processing apparatus via the second interface, thereby controlling the display apparatus to perform an operation process on the information processing apparatus.
The display apparatus as described in any one of Claims 1 thru | or 3.
前記第1のインタフェースは、VGA、HDMI(登録商標)、DisplayPortのうちのいずれかであること
を特徴とする請求項1乃至4のいずれか一項に記載の表示装置。
The display device according to claim 1, wherein the first interface is any one of VGA, HDMI (registered trademark), and DisplayPort.
前記第2のインタフェースは、USBであること
を特徴とする請求項1乃至5のいずれか一項に記載の表示装置。
The display device according to claim 1, wherein the second interface is a USB.
情報処理装置の操作が可能であり、ディスプレイを有し、該ディスプレイの表示画面に対する描画装置の接触位置を特定可能な表示装置であって、前記情報処理装置から送信される映像信号を受信する第1のインタフェースと、前記情報処理装置と接続する第2のインタフェースとを備える表示装置が実行する方法であって、前記方法は、
前記第1のインタフェースを介して受信した前記映像信号に基づく画像を前記表示画面の一部の領域に表示するステップと、
前記接触位置が、前記表示画面上の前記映像信号に基づく画像が表示された前記一部の領域内である場合に、少なくとも前記描画装置の接触位置に基づく信号を生成し、生成した該信号を前記第2のインタフェースを介して前記情報処理装置に送信するステップと
を実行する方法。
A display device capable of operating an information processing device, having a display, and capable of specifying a contact position of a drawing device with respect to a display screen of the display, wherein the display device receives a video signal transmitted from the information processing device. A display device including a first interface and a second interface connected to the information processing apparatus, the method comprising:
Displaying an image based on the video signal received via the first interface in a partial area of the display screen;
When the contact position is within the partial area where an image based on the video signal on the display screen is displayed, a signal based on at least the contact position of the drawing device is generated, and the generated signal is Transmitting to the information processing apparatus via the second interface.
表示装置に対して、請求項7に記載のステップを実行させるためのコンピュータ実行可読なプログラム。   A computer-readable program for causing a display device to execute the steps according to claim 7.
JP2017103745A 2011-11-30 2017-05-25 Display device, display system, method and program Active JP6471771B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011262619 2011-11-30
JP2011262619 2011-11-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017043514A Division JP6432621B2 (en) 2011-11-30 2017-03-08 Display device, method and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019010169A Division JP6747530B2 (en) 2011-11-30 2019-01-24 Display device, display system, method and program

Publications (2)

Publication Number Publication Date
JP2017194978A JP2017194978A (en) 2017-10-26
JP6471771B2 true JP6471771B2 (en) 2019-02-20

Family

ID=49048979

Family Applications (7)

Application Number Title Priority Date Filing Date
JP2013066402A Active JP5454722B2 (en) 2011-11-30 2013-03-27 Projector, display device, method and program
JP2014002060A Pending JP2014095920A (en) 2011-11-30 2014-01-09 Image display control device, image display system, method, and program
JP2017043514A Active JP6432621B2 (en) 2011-11-30 2017-03-08 Display device, method and program
JP2017103745A Active JP6471771B2 (en) 2011-11-30 2017-05-25 Display device, display system, method and program
JP2017158087A Active JP6558402B2 (en) 2011-11-30 2017-08-18 System, method and program
JP2018209435A Active JP7148362B2 (en) 2011-11-30 2018-11-07 IMAGE DISPLAY CONTROL DEVICE, IMAGE DISPLAY DEVICE, IMAGE DISPLAY SYSTEM, IMAGE DISPLAY DEVICE CONTROL METHOD AND IMAGE DISPLAY METHOD
JP2019010169A Active JP6747530B2 (en) 2011-11-30 2019-01-24 Display device, display system, method and program

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2013066402A Active JP5454722B2 (en) 2011-11-30 2013-03-27 Projector, display device, method and program
JP2014002060A Pending JP2014095920A (en) 2011-11-30 2014-01-09 Image display control device, image display system, method, and program
JP2017043514A Active JP6432621B2 (en) 2011-11-30 2017-03-08 Display device, method and program

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2017158087A Active JP6558402B2 (en) 2011-11-30 2017-08-18 System, method and program
JP2018209435A Active JP7148362B2 (en) 2011-11-30 2018-11-07 IMAGE DISPLAY CONTROL DEVICE, IMAGE DISPLAY DEVICE, IMAGE DISPLAY SYSTEM, IMAGE DISPLAY DEVICE CONTROL METHOD AND IMAGE DISPLAY METHOD
JP2019010169A Active JP6747530B2 (en) 2011-11-30 2019-01-24 Display device, display system, method and program

Country Status (1)

Country Link
JP (7) JP5454722B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4303710A1 (en) 2022-07-07 2024-01-10 Ricoh Company, Ltd. Display apparatus and method performed by display apparatus

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5454722B2 (en) * 2011-11-30 2014-03-26 株式会社リコー Projector, display device, method and program
US9830723B2 (en) 2013-12-02 2017-11-28 Seiko Epson Corporation Both-direction display method and both-direction display apparatus
JP6364892B2 (en) * 2014-04-01 2018-08-01 セイコーエプソン株式会社 Bi-directional projector and bi-directional projection method
CN105632453B (en) 2014-11-19 2019-09-24 精工爱普生株式会社 Display device, display control method and display system
JP6617417B2 (en) 2015-03-05 2019-12-11 セイコーエプソン株式会社 Display device and display device control method
JP6791012B2 (en) * 2017-05-24 2020-11-25 Jfeスチール株式会社 Duplex stainless steel with excellent corrosion resistance and hydrogen brittleness
TWI791036B (en) 2017-10-05 2023-02-01 日商索尼股份有限公司 Light source device and projection display device
JP7180263B2 (en) 2018-10-05 2022-11-30 セイコーエプソン株式会社 DISPLAY DEVICE, DISPLAY SYSTEM AND METHOD OF CONTROLLING DISPLAY DEVICE
CN112672118A (en) * 2019-10-15 2021-04-16 中强光电股份有限公司 Projector, projection system, computer-readable storage medium, and display operation method

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0423026A (en) * 1990-05-17 1992-01-27 Toshiba Corp Information display device
JPH0713676A (en) * 1993-06-28 1995-01-17 Sony Corp Handwritten information inputting device
JPH0736659A (en) * 1993-07-16 1995-02-07 Canon Inc Input device
JPH09222951A (en) * 1996-02-19 1997-08-26 Hainetsuto 21:Kk Display system
JP2000020238A (en) * 1998-07-03 2000-01-21 Hitachi Ltd Input system for large-screen display
JP2000181628A (en) * 1998-12-18 2000-06-30 Totoku Electric Co Ltd Back projection type projector system and recording medium
JP3475235B2 (en) * 1999-03-08 2003-12-08 東京農工大学長 Display device control method
JP2002091654A (en) * 2000-09-11 2002-03-29 Canon Inc Information processor and method for controlling the same
JP4615178B2 (en) * 2002-05-13 2011-01-19 株式会社リコー Information input / output system, program, and storage medium
JP2004094679A (en) * 2002-08-30 2004-03-25 Ricoh Co Ltd Display controller, display device with touch panel, and controlling method and control program for display device with touch panel
JP4317385B2 (en) * 2002-09-30 2009-08-19 株式会社リコー Display device, overwriting control method, program, and recording medium
JP4481599B2 (en) * 2003-07-14 2010-06-16 キヤノン株式会社 Projection type display device and projection type display system
JP2005056088A (en) * 2003-08-01 2005-03-03 Ricoh Co Ltd Display apparatus with touch panel, control method for display apparatus with touch panel, and program for executing the method on computer
JP4035497B2 (en) 2003-09-26 2008-01-23 キヤノン株式会社 Image display system, image display apparatus, image display method, and program
US7735024B2 (en) * 2003-10-29 2010-06-08 Intel Corporation Methods and apparatus to provide a handheld pointer-based user interface
JP4564767B2 (en) * 2004-03-22 2010-10-20 キヤノン株式会社 Display device, control method therefor, and control program
JP4942922B2 (en) * 2004-09-15 2012-05-30 株式会社リコー Electronic conference system and electronic conference method
JP2008097371A (en) * 2006-10-12 2008-04-24 Canon Inc Display system, coordinate processing method, and program
JP5543055B2 (en) * 2007-04-25 2014-07-09 キヤノン株式会社 Display control method, display control apparatus, and program
JP4812124B2 (en) * 2007-06-19 2011-11-09 キヤノン株式会社 Coordinate input device, coordinate detection method, and computer program
JP2009104331A (en) * 2007-10-22 2009-05-14 Sharp Corp Luminance adjustment method for display system, and display system
US20090115744A1 (en) * 2007-11-06 2009-05-07 Innovative Material Solutions, Inc. Electronic freeboard writing system
JP5256755B2 (en) * 2008-02-01 2013-08-07 株式会社リコー Information processing method and information processing apparatus
JP2009251394A (en) * 2008-04-08 2009-10-29 Canon Inc Image display system, image display method, and computer program
US8902193B2 (en) * 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US20090309854A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Input devices with multiple operating modes
JP5201020B2 (en) * 2009-03-11 2013-06-05 大日本印刷株式会社 Projection input / output system and program thereof
JP6140445B2 (en) * 2009-04-01 2017-05-31 ルバンス セラピュティックス インク.Revance Therapeutics,Inc. Methods and compositions for treating skin conditions associated with vascular hypersensitivity reactions
JP2011013396A (en) * 2009-07-01 2011-01-20 Seiko Epson Corp Projector, image projection system and image projection method
JP5442393B2 (en) * 2009-10-29 2014-03-12 日立コンシューマエレクトロニクス株式会社 Display device
JP5010666B2 (en) * 2009-11-25 2012-08-29 株式会社東芝 Information processing device
JP4913873B2 (en) * 2010-01-12 2012-04-11 パナソニック株式会社 Electronic pen system and electronic pen
JP4857385B2 (en) * 2010-01-12 2012-01-18 パナソニック株式会社 Electronic pen system
JP2011164878A (en) * 2010-02-09 2011-08-25 Seiko Epson Corp Projector, control method of projector, and image display system
JP2011198003A (en) * 2010-03-19 2011-10-06 Panasonic Corp Input device and mode switching method
JP6088127B2 (en) * 2011-10-13 2017-03-01 セイコーエプソン株式会社 Display device, display device control method, and program
JP5454722B2 (en) * 2011-11-30 2014-03-26 株式会社リコー Projector, display device, method and program
JP6106983B2 (en) * 2011-11-30 2017-04-05 株式会社リコー Image display device, image display system, method and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4303710A1 (en) 2022-07-07 2024-01-10 Ricoh Company, Ltd. Display apparatus and method performed by display apparatus

Also Published As

Publication number Publication date
JP2019071124A (en) 2019-05-09
JP2014095920A (en) 2014-05-22
JP6432621B2 (en) 2018-12-05
JP2018022500A (en) 2018-02-08
JP5454722B2 (en) 2014-03-26
JP7148362B2 (en) 2022-10-05
JP6747530B2 (en) 2020-08-26
JP6558402B2 (en) 2019-08-14
JP2017102980A (en) 2017-06-08
JP2013152739A (en) 2013-08-08
JP2019040620A (en) 2019-03-14
JP2017194978A (en) 2017-10-26

Similar Documents

Publication Publication Date Title
JP6106983B2 (en) Image display device, image display system, method and program
JP6471771B2 (en) Display device, display system, method and program
US20150212728A1 (en) Image display apparatus, image display system, and image display method
JP6160305B2 (en) Image processing apparatus, program, image processing system, and image processing method
US9454257B2 (en) Electronic system
US9098947B2 (en) Image processing apparatus and image processing system
CN111045627B (en) Method and apparatus for displaying objects
JP2016131359A (en) Image processing apparatus and image processing method
JP2014174666A (en) Image processing system and image processing apparatus
US8274476B2 (en) Computer cursor control system
JP2014106843A (en) Information processing apparatus, information processing method, and program
JP6079857B2 (en) Information processing device
US20200097130A1 (en) Cursor control system and cursor control method
JP2015069610A (en) Plant monitoring operation system
JP2014174216A (en) Image processing device, method and program
JP2017010548A (en) Image processing apparatus, image processing system and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180629

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180705

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190107

R151 Written notification of patent or utility model registration

Ref document number: 6471771

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151