JP6232721B2

JP6232721B2 - Projector, projection system, and projector control method

Info

Publication number: JP6232721B2
Application number: JP2013055163A
Authority: JP
Inventors: 太田　浩一郎; 浩一郎太田
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2013-03-18
Filing date: 2013-03-18
Publication date: 2017-11-22
Anticipated expiration: 2033-03-18
Also published as: JP2014182195A

Description

本発明は、プロジェクター、投射システム、およびプロジェクターの制御方法に関する。 The present invention relates to a projector, a projection system, and a projector control method.

ワイヤレス接続を利用して、携帯電話などの端末装置からプロジェクターに画像を送信する技術が知られている。特許文献１には、携帯型端末が、ワイヤレス接続されたプロジェクターに投射データを送信することが記載されている。特許文献２には、ワイヤレス接続が可能なサーバーを介することにより、携帯型端末の画像をスクリーンに見やすく投射することが記載されている。 A technique for transmitting an image from a terminal device such as a mobile phone to a projector using a wireless connection is known. Patent Document 1 describes that a portable terminal transmits projection data to a wirelessly connected projector. Patent Document 2 describes that an image of a portable terminal is projected on a screen in an easy-to-view manner via a server capable of wireless connection.

特開２００３−１９８８７０号公報JP 2003-198870 A 特開２００９−９８３８４号公報JP 2009-98384 A

上記のシステムでは、携帯型端末を利用して投射画面上に描画を行うことはできなかった。本発明は、タッチパネルを有する電子機器から入力された座標に応じた画が入力画像上に描かれた画像を、プロジェクターから電子機器に出力させることを目的の一つとする。 In the above system, it was not possible to draw on the projection screen using a portable terminal. An object of the present invention is to cause a projector to output an image in which an image corresponding to coordinates input from an electronic device having a touch panel is drawn on an input image.

上述の課題を解決するため、本発明は、第１の画像を示す映像信号を取得する映像信号取得部と、タッチパネルを有する電子機器から、前記第１の画像上の点の座標を示す座標データを取得する座標データ取得部と、前記映像信号が示す第１の画像上に、前記座標データ取得部により取得された座標データに応じた画が描かれた第２の画像を示す画像データを取得する画像データ取得部と、前記画像データ取得部により取得された前記画像データを前記電子機器に出力する画像データ出力部とを有するプロジェクターを提供する。このプロジェクターによれば、電子機器から入力された座標に応じた画が第１の画像上に描かれた第２の画像が、電子機器に出力される。 In order to solve the above-described problems, the present invention provides a video signal acquisition unit that acquires a video signal indicating a first image, and coordinate data that indicates the coordinates of a point on the first image from an electronic device having a touch panel. And a coordinate data acquisition unit for acquiring image data indicating a second image in which an image corresponding to the coordinate data acquired by the coordinate data acquisition unit is drawn on the first image indicated by the video signal There is provided a projector having an image data acquisition unit that performs an operation and an image data output unit that outputs the image data acquired by the image data acquisition unit to the electronic device. According to this projector, a second image in which an image corresponding to coordinates input from the electronic device is drawn on the first image is output to the electronic device.

別の好ましい態様において、前記座標データにより示される座標の座標系を、前記第１の画像の座標系に変換する座標変換部と、前記座標変換部により座標系が変換された座標データを、外部装置に出力する座標データ出力部とを有し、前記映像信号取得部は、前記外部装置から前記映像信号を取得し、前記画像データ取得部は、前記外部装置から前記画像データを取得することを特徴とする。このプロジェクターによれば、電子機器から入力された座標に応じた画が、外部装置において描かれる。 In another preferred aspect, a coordinate conversion unit that converts a coordinate system of coordinates indicated by the coordinate data into a coordinate system of the first image, and coordinate data that has been converted by the coordinate conversion unit are external A coordinate data output unit for outputting to the device, wherein the video signal acquisition unit acquires the video signal from the external device, and the image data acquisition unit acquires the image data from the external device. Features. According to this projector, an image corresponding to the coordinates input from the electronic device is drawn on the external device.

また、別の好ましい態様において、前記座標データに応じた画を描く描画部と、前記映像信号が示す第１の画像と前記描画部により描かれた画とを合成し、前記画像データを生成する画像データ合成部とを有し、前記画像データ取得部は、前記画像データ合成部から前記画像データを取得することを特徴とする。このプロジェクターによれば、電子機器から入力された座標に応じた画が、外部装置を介さずに描かれる。 In another preferable aspect, the image data is generated by combining the drawing unit that draws an image according to the coordinate data, the first image indicated by the video signal, and the image drawn by the drawing unit. An image data synthesizing unit, and the image data acquiring unit acquires the image data from the image data synthesizing unit. According to this projector, an image corresponding to the coordinates input from the electronic device is drawn without using an external device.

また、本発明は、プロジェクターと電子機器とを有し、前記プロジェクターは、第１の
画像を示す映像信号を取得する映像信号取得部と、前記電子機器から、前記第１の画像上の点の座標を示す座標データを取得する座標データ取得部と、前記映像信号が示す第１の画像上に、前記座標データ取得部により取得された座標データに応じた画が描かれた第２の画像を示す画像データを取得する画像データ取得部と、前記画像データ取得部により取得された前記画像データを前記電子機器に出力する画像データ出力部とを有し、前記電子機器は、タッチパネルと、前記タッチパネル上でユーザーが指定した点の座標を、前記第１の画像上の点の座標に変換し、前記座標データを生成する座標変換部と、前記座標変換部により生成された前記座標データを、前記プロジェクターに出力する座標データ出力部と、前記プロジェクターから出力された画像データが示す前記第２の画像を、前記タッチパネルに表示させる表示制御部とを有する投射システムを提供する。この投射システムによれば、ユーザーがタッチパネル上で指定した点の座標に応じて、第１の画像上に画が描かれる。 In addition, the present invention includes a projector and an electronic device, and the projector includes a video signal acquisition unit that acquires a video signal indicating a first image, and points on the first image from the electronic device. A coordinate data acquisition unit that acquires coordinate data indicating coordinates, and a second image in which an image corresponding to the coordinate data acquired by the coordinate data acquisition unit is drawn on the first image indicated by the video signal. An image data acquisition unit that acquires image data to be displayed; and an image data output unit that outputs the image data acquired by the image data acquisition unit to the electronic device. The electronic device includes a touch panel, and the touch panel The coordinates of the point specified by the user above are converted into the coordinates of the point on the first image, and the coordinate conversion unit that generates the coordinate data, and the coordinate data generated by the coordinate conversion unit. Data and a coordinate data output unit for outputting to the projector, the second image represented by the image data output from the projector to provide a projection system having a display control unit for displaying on the touch panel. According to this projection system, an image is drawn on the first image according to the coordinates of the point designated by the user on the touch panel.

また、本発明は、第１の画像を示す映像信号を取得する工程と、タッチパネルを有する電子機器から、前記第１の画像上の点の座標を示す座標データを取得する工程と、前記映像信号が示す第１の画像上に、前記座標データに応じた画が描かれた第２の画像を示す画像データを取得する工程と、前記画像データを前記電子機器に出力する工程とを有するプロジェクターの制御方法を提供する。このプロジェクターの制御方法によれば、電子機器から入力された座標に応じた画が第１の画像上に描かれた第２の画像が、電子機器に出力される。 The present invention also includes a step of acquiring a video signal indicating a first image, a step of acquiring coordinate data indicating the coordinates of a point on the first image from an electronic device having a touch panel, and the video signal. And a step of acquiring image data indicating a second image in which an image corresponding to the coordinate data is drawn on the first image indicated by the image data, and outputting the image data to the electronic device. Provide a control method. According to this projector control method, a second image in which an image corresponding to coordinates input from the electronic device is drawn on the first image is output to the electronic device.

投射システムＰＳ１の全体構成を示す図。The figure which shows the whole structure of projection system PS1. 投射システムＰＳ１の機能的構成を示すブロック図。The block diagram which shows the functional structure of projection system PS1. プロジェクターのハードウェア構成を示すブロック図。The block diagram which shows the hardware constitutions of a projector. ＰＣのハードウェア構成を示すブロック図。The block diagram which shows the hardware constitutions of PC. タブレット端末のハードウェア構成を示すブロック図。The block diagram which shows the hardware constitutions of a tablet terminal. 投射システムＰＳ１における処理を示すシーケンスチャート。The sequence chart which shows the process in projection system PS1. リサイズ処理を示すフローチャート。The flowchart which shows a resizing process. 投射システムＰＳ２の全体構成を示す図。The figure which shows the whole structure of projection system PS2. 投射システムＰＳ２の機能的構成を示すブロック図。The block diagram which shows the functional structure of projection system PS2. 投射システムＰＳ２における処理を示すシーケンスチャート。The sequence chart which shows the process in projection system PS2.

（実施形態１）
図１は、本発明の第１実施形態に係る投射システムＰＳ１の全体構成を示す図である。投射システムＰＳ１は、プロジェクター１、パーソナルコンピューター２、タブレット端末３、コントローラーＲＣ、およびスクリーンＳＣを有する。プロジェクター１は、映像信号により示される画像（以下、「入力画像」という）をスクリーンＳＣに投射する装置である。パーソナルコンピューター２（以下、「ＰＣ２」という）は、映像信号をプロジェクター１に出力する。ＰＣ２は、画像信号ケーブルおよびＵＳＢ（Universal Serial Bus）ケーブルによりプロジェクター１と有線接続されている。ＰＣ２は、映像信号源である外部装置の一例である。タブレット端末３は、ＰＣ２を操作するためのポインティングデバイス（入力装置）として機能する。タブレット端末３は、Ｗｉ−Ｆｉ（Wireless Fidelity：登録商標）などの無線ＬＡＮ（Local Area Network）を介してプロジェクター１と接続されている。ユーザーが、タブレット端末３のタッチパネル３４を操作することにより、ＰＣ２に対する入力操作が行われる。具体的には、ユーザーがタッチパネル３４を操作すると、ＰＣ２において、当該操作に応じた画が入力画像上に描かれる。コントローラーＲＣは、赤外線通信等の無線でプロジェクター１を制御するための装置、いわゆるリモートコントローラーである。スクリーンＳＣは、プロジェクター１から投射される画像
（以下、「投射画像」という）を映し出す平面である。 (Embodiment 1)
FIG. 1 is a diagram showing an overall configuration of a projection system PS1 according to the first embodiment of the present invention. The projection system PS1 includes a projector 1, a personal computer 2, a tablet terminal 3, a controller RC, and a screen SC. The projector 1 is a device that projects an image (hereinafter referred to as “input image”) indicated by a video signal onto a screen SC. The personal computer 2 (hereinafter referred to as “PC2”) outputs a video signal to the projector 1. The PC 2 is wired to the projector 1 via an image signal cable and a USB (Universal Serial Bus) cable. The PC 2 is an example of an external device that is a video signal source. The tablet terminal 3 functions as a pointing device (input device) for operating the PC 2. The tablet terminal 3 is connected to the projector 1 via a wireless LAN (Local Area Network) such as Wi-Fi (Wireless Fidelity: registered trademark). When the user operates the touch panel 34 of the tablet terminal 3, an input operation to the PC 2 is performed. Specifically, when the user operates the touch panel 34, the PC 2 draws an image corresponding to the operation on the input image. The controller RC is a device for controlling the projector 1 wirelessly such as infrared communication, a so-called remote controller. The screen SC is a plane on which an image projected from the projector 1 (hereinafter referred to as “projected image”) is projected.

図２は、投射システムＰＳ１の機能的構成を示すブロック図である。プロジェクター１は、映像信号取得部１０１と、画像調整部１０２と、画像処理部１０３、投射部１０４と、座標データ取得部１０５と、座標変換部１０６と、座標データ出力部１０７、画像データ取得部１０８と、画像圧縮部１０９と、画像データ出力部１１０とを有する。映像信号取得部１０１は、ＰＣ２により出力された映像信号を取得する。画像調整部１０２は、入力画像のサイズ（解像度）を投射部１０４に応じたサイズに変更（リサイズ）する。以下では、入力画像のサイズを変更する処理を「リサイズ処理」と表現する。画像処理部１０３は、リサイズされた入力画像（以下、「リサイズ画像」という）に対して、所定の画像処理を施す。投射部１０４は、画像処理部１０３により画像処理が施された入力画像を、投射画像としてスクリーンＳＣに投射する。座標データ取得部１０５は、タブレット端末３から入力画像上の点の座標を示す座標データを取得する。座標変換部１０６は、座標データ取得部１０５により取得された座標データにより示される座標の座標系を、入力画像の座標系に変換する。座標データ出力部１０７は、座標変換部１０６により座標系が変換された座標データを、ＰＣ２に出力する。画像データ取得部１０８は、画像調整部１０２からリサイズ画像を示す画像データを取得する。以下では、説明の便宜上、入力画像のうち座標データに応じた画が描かれていないものを「一次画像」といい、一次画像上に座標データに応じた画が描かれたものを「二次画像」という。画像データ取得部１０８が取得する画像データは、一次画像または二次画像のリサイズ画像を示す。画像圧縮部１０９は、画像データ取得部１０８により取得された画像データを圧縮する。画像データ出力部１１０は、画像圧縮部１０９により圧縮された画像データをタブレット端末３に出力する。 FIG. 2 is a block diagram showing a functional configuration of the projection system PS1. The projector 1 includes a video signal acquisition unit 101, an image adjustment unit 102, an image processing unit 103, a projection unit 104, a coordinate data acquisition unit 105, a coordinate conversion unit 106, a coordinate data output unit 107, and an image data acquisition unit. 108, an image compression unit 109, and an image data output unit 110. The video signal acquisition unit 101 acquires the video signal output from the PC 2. The image adjustment unit 102 changes (resizes) the size (resolution) of the input image to a size corresponding to the projection unit 104. Hereinafter, the process of changing the size of the input image is expressed as “resizing process”. The image processing unit 103 performs predetermined image processing on the resized input image (hereinafter referred to as “resized image”). The projection unit 104 projects the input image on which image processing has been performed by the image processing unit 103 as a projection image on the screen SC. The coordinate data acquisition unit 105 acquires coordinate data indicating the coordinates of points on the input image from the tablet terminal 3. The coordinate conversion unit 106 converts the coordinate system of the coordinates indicated by the coordinate data acquired by the coordinate data acquisition unit 105 to the coordinate system of the input image. The coordinate data output unit 107 outputs the coordinate data whose coordinate system has been converted by the coordinate conversion unit 106 to the PC 2. The image data acquisition unit 108 acquires image data indicating a resized image from the image adjustment unit 102. Hereinafter, for convenience of explanation, an input image in which an image corresponding to coordinate data is not drawn is referred to as a “primary image”, and an image in which an image corresponding to coordinate data is drawn on a primary image is referred to as a “secondary image”. It is called “image”. The image data acquired by the image data acquisition unit 108 indicates a resized image of a primary image or a secondary image. The image compression unit 109 compresses the image data acquired by the image data acquisition unit 108. The image data output unit 110 outputs the image data compressed by the image compression unit 109 to the tablet terminal 3.

ＰＣ２は、映像信号出力部２０１と、座標データ取得部２０２と、描画部２０３とを有する。映像信号出力部２０１は、映像信号をプロジェクター１に出力する。座標データ取得部２０２は、プロジェクター１により出力された座標データを取得する。描画部２０３は、一次画像上に、座標データ取得部２０２により取得された座標データに応じた画を描き、二次画像を生成する。 The PC 2 includes a video signal output unit 201, a coordinate data acquisition unit 202, and a drawing unit 203. The video signal output unit 201 outputs a video signal to the projector 1. The coordinate data acquisition unit 202 acquires coordinate data output by the projector 1. The drawing unit 203 draws an image corresponding to the coordinate data acquired by the coordinate data acquisition unit 202 on the primary image to generate a secondary image.

タブレット端末３は、座標変換部３０１と、座標データ出力部３０２と、画像データ取得部３０３と、表示制御部３０４とを有する。座標変換部３０１は、タッチパネル３４上でユーザーが指定した点の座標を、一次画像上の点の座標に変換し、当該座標を示す座標データを生成する。座標データ出力部３０２は、座標変換部３０１により生成された座標データを、プロジェクター１に出力する。画像データ取得部３０３は、プロジェクター１により出力された画像データを取得する。表示制御部３０４は、画像データ取得部３０３により取得された画像データが示す画像をタッチパネル３４に表示する。 The tablet terminal 3 includes a coordinate conversion unit 301, a coordinate data output unit 302, an image data acquisition unit 303, and a display control unit 304. The coordinate conversion unit 301 converts the coordinates of the point designated by the user on the touch panel 34 into the coordinates of the point on the primary image, and generates coordinate data indicating the coordinates. The coordinate data output unit 302 outputs the coordinate data generated by the coordinate conversion unit 301 to the projector 1. The image data acquisition unit 303 acquires the image data output from the projector 1. The display control unit 304 displays an image indicated by the image data acquired by the image data acquisition unit 303 on the touch panel 34.

図３は、プロジェクター１のハードウェア構成を示すブロック図である。プロジェクター１は、ＣＰＵ（Central Processing Unit）１０と、ＲＯＭ（Read Only Memory）１１と、ＲＡＭ（Random Access Memory）１２と、ＩＦ（インターフェース）部１３と、画像処理回路１４と、投射ユニット１５と、受光部１６と、操作パネル１７と、入力処理部１８とを有する。ＣＰＵ１０は、制御プログラム１１Ａを実行することによりプロジェクター１の各部を制御する制御装置である。ＲＯＭ１１は、各種プログラムおよびデータを記憶した不揮発性の記憶装置である。ＲＯＭ１１は、ＣＰＵ１０が実行する制御プログラム１１Ａを記憶する。ＲＡＭ１２は、データを記憶する揮発性の記憶装置である。ＲＡＭ１２は、フレームメモリー１２ａおよび１２ｂを有する。フレームメモリー１２ａは、リサイズ画像の１フレーム分を記憶する領域である。フレームメモリー１２ｂは、１フレーム分の投射画像を記憶する領域である。 FIG. 3 is a block diagram illustrating a hardware configuration of the projector 1. The projector 1 includes a central processing unit (CPU) 10, a read only memory (ROM) 11, a random access memory (RAM) 12, an IF (interface) unit 13, an image processing circuit 14, a projection unit 15, The light receiving unit 16, the operation panel 17, and the input processing unit 18 are included. The CPU 10 is a control device that controls each unit of the projector 1 by executing the control program 11A. The ROM 11 is a non-volatile storage device that stores various programs and data. The ROM 11 stores a control program 11A executed by the CPU 10. The RAM 12 is a volatile storage device that stores data. The RAM 12 includes frame memories 12a and 12b. The frame memory 12a is an area for storing one frame of the resized image. The frame memory 12b is an area for storing a projection image for one frame.

ＩＦ部１３は、ＰＣ２およびタブレット端末３などの情報処理装置と通信を行なう。Ｉ
Ｆ部１３は、情報処理装置と接続するための各種端子（例えば、ＶＧＡ端子、ＵＳＢ端子、有線または無線ＬＡＮインターフェース、Ｓ端子、ＲＣＡ端子、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）端子など）を備える。本実施形態において、ＩＦ部１３は、ＶＧＡ端子およびＵＳＢ端子を介してＰＣ２と通信を行なう。具体的には、ＩＦ部１３は、ＶＧＡ端子を介してＰＣ２から映像信号を取得し、ＵＳＢ端子を介してＰＣ２に座標データを出力する。ＩＦ部１３は、ＰＣ２から取得した映像信号から、垂直・水平の同期信号を抽出する。ＩＦ部１３は、また、無線ＬＡＮインターフェースを介してタブレット端末３と通信を行なう。画像処理回路１４は、入力画像にリサイズ処理および所定の画像処理を施す。画像処理回路１４は、リサイズ画像をフレームメモリー１２ａに、画像処理後のリサイズ画像（すなわち投射画像）をフレームメモリー１２ｂに書き込む。 The IF unit 13 communicates with information processing apparatuses such as the PC 2 and the tablet terminal 3. I
The F unit 13 has various terminals (for example, a VGA terminal, a USB terminal, a wired or wireless LAN interface, an S terminal, an RCA terminal, an HDMI (High-Definition Multimedia Interface: registered trademark) terminal, etc.) for connecting to the information processing apparatus. Is provided. In the present embodiment, the IF unit 13 communicates with the PC 2 via a VGA terminal and a USB terminal. Specifically, the IF unit 13 acquires a video signal from the PC 2 via the VGA terminal, and outputs coordinate data to the PC 2 via the USB terminal. The IF unit 13 extracts vertical and horizontal synchronization signals from the video signal acquired from the PC 2. The IF unit 13 also communicates with the tablet terminal 3 via a wireless LAN interface. The image processing circuit 14 performs resizing processing and predetermined image processing on the input image. The image processing circuit 14 writes the resized image in the frame memory 12a and the resized image after image processing (that is, the projection image) in the frame memory 12b.

投射ユニット１５は、光源１５１と、液晶パネル１５２と、光学系１５３と、光源駆動回路１５４と、パネル駆動回路１５５と、光学系駆動回路１５６とを有する。光源１５１は、高圧水銀ランプ、ハロゲンランプ、若しくはメタルハライドランプなどのランプ、又はＬＥＤ（Light Emitting Diode）若しくはレーザーダイオードなどの発光体を有し、液晶パネル１５２に光を照射する。液晶パネル１５２は、光源１５１から照射された光を画像データに応じて変調する光変調装置である。この例で液晶パネル１５２は、マトリクス状に配置された複数の画素を有する。液晶パネル１５２は、例えば、ＸＧＡ（eXtended Graphics Array）の解像度を有し、１０２４×７６８個の画素により構成される表示領域を有する。この例で、液晶パネル１５２は透過型の液晶パネルであり、各画素の透過率が画像データに応じて制御される。プロジェクター１は、ＲＧＢの三原色に対応した３枚の液晶パネル１５２を有する。光源１５１からの光はＲＧＢの３色の色光に分離され、各色光は対応する液晶パネル１５２に入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等によって合成され、光学系１５３に射出される。光学系１５３は、液晶パネル１５２により画像光へと変調された光を拡大してスクリーンＳＣに投射するレンズ、投射する画像の拡大・縮小及び焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用のモーター、フォーカスの調整を行うフォーカス調整用のモーター等を有する。光源駆動回路１５４は、ＣＰＵ１０の制御に従って光源１５１を駆動する。パネル駆動回路１５５は、ＣＰＵ１０から出力された画像データに応じて液晶パネル１５２を駆動する。光学系駆動回路１５６は、ＣＰＵ１０の制御に従って光学系１５３が有する各モーターを駆動する。 The projection unit 15 includes a light source 151, a liquid crystal panel 152, an optical system 153, a light source drive circuit 154, a panel drive circuit 155, and an optical system drive circuit 156. The light source 151 includes a lamp such as a high-pressure mercury lamp, a halogen lamp, or a metal halide lamp, or a light emitter such as an LED (Light Emitting Diode) or a laser diode, and irradiates the liquid crystal panel 152 with light. The liquid crystal panel 152 is a light modulation device that modulates light emitted from the light source 151 in accordance with image data. In this example, the liquid crystal panel 152 has a plurality of pixels arranged in a matrix. The liquid crystal panel 152 has, for example, an XGA (eXtended Graphics Array) resolution and a display area configured by 1024 × 768 pixels. In this example, the liquid crystal panel 152 is a transmissive liquid crystal panel, and the transmittance of each pixel is controlled according to image data. The projector 1 includes three liquid crystal panels 152 corresponding to the three primary colors RGB. The light from the light source 151 is separated into three color lights of RGB, and each color light enters the corresponding liquid crystal panel 152. The color light modulated by passing through each liquid crystal panel is synthesized by a cross dichroic prism or the like and emitted to the optical system 153. The optical system 153 enlarges the light modulated into the image light by the liquid crystal panel 152 and projects it onto the screen SC, a zoom lens that enlarges / reduces the projected image, and adjusts the focus, and adjusts the degree of zooming. It has a zoom adjustment motor, a focus adjustment motor for adjusting the focus, and the like. The light source driving circuit 154 drives the light source 151 according to the control of the CPU 10. The panel drive circuit 155 drives the liquid crystal panel 152 according to the image data output from the CPU 10. The optical system driving circuit 156 drives each motor included in the optical system 153 according to the control of the CPU 10.

受光部１６は、コントローラーＲＣから送信される赤外線信号を受光し、受光した赤外線信号をデコードして入力処理部１８に出力する。操作パネル１７は、プロジェクター１の電源のオン／オフまたは各種操作を行うためのボタンおよびスイッチを有する。入力処理部１８は、コントローラーＲＣまたは操作パネル１７による操作内容を示す情報を生成し、ＣＰＵ１０に出力する。 The light receiving unit 16 receives the infrared signal transmitted from the controller RC, decodes the received infrared signal, and outputs the decoded infrared signal to the input processing unit 18. The operation panel 17 includes buttons and switches for turning on / off the projector 1 or performing various operations. The input processing unit 18 generates information indicating the operation content by the controller RC or the operation panel 17 and outputs the information to the CPU 10.

プロジェクター１において、プログラムを実行しているＣＰＵ１０は、座標変換部１０６、画像データ取得部１０８、および画像圧縮部１０９の一例である。プログラムを実行しているＣＰＵ１０により制御されているＩＦ部１３は、映像信号取得部１０１、座標データ取得部１０５、座標データ出力部１０７、および画像データ出力部１１０の一例である。プロジェクター１において、プログラムを実行しているＣＰＵ１０により制御されている画像処理回路１４は、画像調整部１０２および画像処理部１０３の一例である。プログラムを実行しているＣＰＵ１０により制御されている投射ユニット１５は、投射部１０４の一例である。 In the projector 1, the CPU 10 executing the program is an example of the coordinate conversion unit 106, the image data acquisition unit 108, and the image compression unit 109. The IF unit 13 controlled by the CPU 10 executing the program is an example of the video signal acquisition unit 101, the coordinate data acquisition unit 105, the coordinate data output unit 107, and the image data output unit 110. In the projector 1, the image processing circuit 14 controlled by the CPU 10 executing the program is an example of the image adjustment unit 102 and the image processing unit 103. The projection unit 15 that is controlled by the CPU 10 that is executing the program is an example of the projection unit 104.

図４は、ＰＣ２のハードウェア構成を示すブロック図である。ＰＣ２は、ＣＰＵ２０と、ＲＯＭ２１と、ＲＡＭ２２と、ＩＦ部２３と、表示部２４と、入力部２５とを有する。
ＣＰＵ２０は、プログラムを実行することによりＰＣ２の各部を制御する制御装置である。ＲＯＭ２１は、各種のプログラム及びデータを記憶した不揮発性の記憶装置である。ＲＡＭ２２は、データを記憶する揮発性の記憶装置である。ＩＦ部２３は、プロジェクター１などの情報処理装置と通信を行なう。ＩＦ部２３は、情報処理装置と接続するための各種端子を備える。表示部２４は、液晶ディスプレイまたは有機ＥＬ（Electroluminescence）ディスプレイなどの表示装置を有する。入力部２５は、ユーザーによる入力を受け付ける装置であり、キーボード、マウス、および各種ボタン等を備える。ＰＣ２において、プログラムを実行しているＣＰＵ２０は、描画部２０３の一例である。プログラムを実行しているＣＰＵ２０により制御されているＩＦ部２３は、映像信号出力部２０１および座標データ取得部２０２の一例である。 FIG. 4 is a block diagram illustrating a hardware configuration of the PC 2. The PC 2 includes a CPU 20, a ROM 21, a RAM 22, an IF unit 23, a display unit 24, and an input unit 25.
The CPU 20 is a control device that controls each part of the PC 2 by executing a program. The ROM 21 is a nonvolatile storage device that stores various programs and data. The RAM 22 is a volatile storage device that stores data. The IF unit 23 communicates with an information processing apparatus such as the projector 1. The IF unit 23 includes various terminals for connecting to the information processing apparatus. The display unit 24 includes a display device such as a liquid crystal display or an organic EL (Electroluminescence) display. The input unit 25 is a device that receives input from the user, and includes a keyboard, a mouse, various buttons, and the like. In the PC 2, the CPU 20 executing the program is an example of the drawing unit 203. The IF unit 23 controlled by the CPU 20 executing the program is an example of the video signal output unit 201 and the coordinate data acquisition unit 202.

図５は、タブレット端末３のハードウェア構成を示すブロック図である。タブレット端末３は、ＣＰＵ３０と、ＲＯＭ３１と、ＲＡＭ３２と、ＩＦ部３３と、タッチパネル３４とを有する。ＣＰＵ３０は、プログラムを実行することによりタブレット端末３の各部を制御する制御装置である。ＲＯＭ３１は、各種のプログラム及びデータを記憶した不揮発性の記憶装置である。ＲＡＭ３２は、データを記憶する揮発性の記憶装置である。ＩＦ部３３は、プロジェクター１などの情報処理装置と通信を行なう。ＩＦ部３３は、プロジェクター１と接続するための無線ＬＡＮインターフェースを備える。タッチパネル３４は、液晶ディスプレイなどの表示面上に座標を感知するパネルが重ねて設けられた入力装置である。タッチパネル３４には、例えば、光学式、抵抗膜方式、静電容量式、または超音波式のタッチパネルが用いられる。タブレット端末３において、プログラムを実行しているＣＰＵ３０は、座標変換部３０１および表示制御部３０４の一例である。プログラムを実行しているＣＰＵ３０により制御されているＩＦ部３３は、座標データ出力部３０２および画像データ取得部３０３の一例である。 FIG. 5 is a block diagram illustrating a hardware configuration of the tablet terminal 3. The tablet terminal 3 includes a CPU 30, a ROM 31, a RAM 32, an IF unit 33, and a touch panel 34. The CPU 30 is a control device that controls each part of the tablet terminal 3 by executing a program. The ROM 31 is a nonvolatile storage device that stores various programs and data. The RAM 32 is a volatile storage device that stores data. The IF unit 33 communicates with an information processing apparatus such as the projector 1. The IF unit 33 includes a wireless LAN interface for connecting to the projector 1. The touch panel 34 is an input device in which a panel for sensing coordinates is provided on a display surface such as a liquid crystal display. For the touch panel 34, for example, an optical, resistive film, capacitance type, or ultrasonic type touch panel is used. In the tablet terminal 3, the CPU 30 executing the program is an example of the coordinate conversion unit 301 and the display control unit 304. The IF unit 33 controlled by the CPU 30 executing the program is an example of the coordinate data output unit 302 and the image data acquisition unit 303.

図６は、投射システムＰＳ１において実行される処理を示すシーケンスチャートである。この例で、ＰＣ２においては、入力画像（ここでは、表示部２４に表示されている画像）上に画を描くための描画プログラムが実行されている。このような状況の下で、入力画像（および投射画像）上に描画を行いたい場合、ＰＣ２の入力部２５（例えばマウスなど）を操作する方法がある。しかし、プロジェクター１とＰＣ２とは有線接続されているため、プロジェクター１と離れた場所から描画を行うには距離的な制約が生じる。投射システムＰＳ１は、タブレット端末３を、ＰＣ２を操作するためのポインティングデバイスとして機能させ、描画を行う際の距離的な制約を抑制する。図６に示す処理は、例えば、ＰＣ２がプロジェクター１に映像信号（ここでは、一次画像を示す映像信号）を出力したことを契機として開始される。 FIG. 6 is a sequence chart showing processing executed in the projection system PS1. In this example, the PC 2 executes a drawing program for drawing an image on an input image (here, an image displayed on the display unit 24). Under these circumstances, when drawing on an input image (and a projection image) is desired, there is a method of operating an input unit 25 (for example, a mouse) of the PC 2. However, since the projector 1 and the PC 2 are connected by wire, there is a distance limitation when drawing from a place away from the projector 1. The projection system PS1 causes the tablet terminal 3 to function as a pointing device for operating the PC 2 and suppresses distance restrictions when performing drawing. The process illustrated in FIG. 6 is started, for example, when the PC 2 outputs a video signal (here, a video signal indicating a primary image) to the projector 1.

ステップＳＡ１において、プロジェクター１のＣＰＵ１０は、ＰＣ２から映像信号を取得する。ステップＳＡ２において、ＣＰＵ１０は、入力画像に対してリサイズ処理を行う。ＣＰＵ１０は、リサイズ処理により、入力画像のサイズを液晶パネル１５２に応じたサイズに変更する。 In step SA1, the CPU 10 of the projector 1 acquires a video signal from the PC 2. In step SA2, the CPU 10 performs a resizing process on the input image. The CPU 10 changes the size of the input image to a size corresponding to the liquid crystal panel 152 by resizing processing.

図７は、リサイズ処理の具体的な処理内容を示すフローチャートである。以下では、入力画像のサイズが液晶パネル１５２のサイズよりも大きい場合（入力画像を縮小する場合）を例に説明する。ステップＳＡ２１において、ＣＰＵ１０は、入力画像のサイズを取得する。ここでいう画像のサイズとは、画像の縦方向と横方向のそれぞれの画素数である。映像信号には、入力画像のサイズを示す信号が含まれており、ＣＰＵ１０は、当該信号に基づいて入力画像のサイズを取得する。ＣＰＵ１０は、取得した入力画像のサイズをＲＡＭ１２に記憶する。ステップＳＡ２２において、ＣＰＵ１０は、液晶パネル１５２のサイズを取得する。具体的には、ＣＰＵ１０は、ＲＯＭ１１に記憶された、液晶パネル１５２の解像度を示す情報を読み出して、液晶パネル１５２のサイズを取得する。 FIG. 7 is a flowchart showing the specific processing contents of the resizing processing. Hereinafter, a case where the size of the input image is larger than the size of the liquid crystal panel 152 (when the input image is reduced) will be described as an example. In step SA21, the CPU 10 acquires the size of the input image. The image size referred to here is the number of pixels in the vertical and horizontal directions of the image. The video signal includes a signal indicating the size of the input image, and the CPU 10 acquires the size of the input image based on the signal. The CPU 10 stores the acquired size of the input image in the RAM 12. In step SA22, the CPU 10 acquires the size of the liquid crystal panel 152. Specifically, the CPU 10 reads information indicating the resolution of the liquid crystal panel 152 stored in the ROM 11 and acquires the size of the liquid crystal panel 152.

ステップＳＡ２３において、ＣＰＵ１０は、入力画像のアスペクト比と液晶パネル１５２のアスペクト比とが等しいか否かを判断する。具体的には、ＣＰＵ１０は、入力画像のサイズおよび液晶パネル１５２のサイズに基づいて、入力画像のアスペクト比および液晶パネル１５２のアスペクト比をそれぞれ算出し、これらのアスペクト比を比較する。入力画像のアスペクト比と液晶パネル１５２のアスペクト比とが等しくないと判断された場合（ステップＳＡ２３：ＮＯ）、ＣＰＵ１０は、処理をステップＳＡ２４に移行する。入力画像のアスペクト比と液晶パネル１５２のアスペクト比とが等しいと判断された場合（ステップＳＡ２３：ＹＥＳ）、ＣＰＵ１０は、処理をステップＳＡ２５に移行する。例えば、入力画像のサイズが横１２８０×縦８００である場合、入力画像のアスペクト比は１６：１０である。また、液晶パネル１５２のサイズが横１０２４×縦７６８である場合、液晶パネル１５２のアスペクト比は４：３である。したがって、この場合、入力画像のアスペクト比と液晶パネル１５２のアスペクト比とは等しくないと判断される。 In step SA23, the CPU 10 determines whether or not the aspect ratio of the input image is equal to the aspect ratio of the liquid crystal panel 152. Specifically, the CPU 10 calculates the aspect ratio of the input image and the aspect ratio of the liquid crystal panel 152 based on the size of the input image and the size of the liquid crystal panel 152, and compares these aspect ratios. When it is determined that the aspect ratio of the input image and the aspect ratio of the liquid crystal panel 152 are not equal (step SA23: NO), the CPU 10 shifts the processing to step SA24. When it is determined that the aspect ratio of the input image is equal to the aspect ratio of the liquid crystal panel 152 (step SA23: YES), the CPU 10 shifts the processing to step SA25. For example, when the size of the input image is 1280 × 800, the aspect ratio of the input image is 16:10. When the size of the liquid crystal panel 152 is horizontal 1024 × vertical 768, the aspect ratio of the liquid crystal panel 152 is 4: 3. Therefore, in this case, it is determined that the aspect ratio of the input image and the aspect ratio of the liquid crystal panel 152 are not equal.

ステップＳＡ２４において、ＣＰＵ１０は、オフセット値αを算出する。オフセット値とは、リサイズ処理において、入力画像から一律に除かれる画素の横方向の数を示す値である。ＣＰＵ１０は、ＲＡＭ１２から入力画像のサイズおよび液晶パネル１５２のサイズを読み出して、例えば、以下の式（１）によりオフセット値αを算出する。

（Ｌ１：入力画像の横方向の画素数、Ｌ２：入力画像の縦方向の画素数、Ｌ３：液晶パネル１５２の横方向の画素数、Ｌ４：液晶パネル１５２の縦方向の画素数）
ＣＰＵ１０は、算出されたオフセット値αを、ＲＡＭ１２に記憶する。上述のサイズの例では、Ｌ１＝１２８０、Ｌ２＝８００、Ｌ３＝１０２４、Ｌ４＝７６８であり、オフセット値α＝２１４となる。 In step SA24, the CPU 10 calculates an offset value α. The offset value is a value indicating the number of pixels in the horizontal direction that are uniformly removed from the input image in the resizing process. The CPU 10 reads the size of the input image and the size of the liquid crystal panel 152 from the RAM 12, and calculates the offset value α by the following equation (1), for example.

(L1: number of pixels in the horizontal direction of the input image, L2: number of pixels in the vertical direction of the input image, L3: number of pixels in the horizontal direction of the liquid crystal panel 152, L4: number of pixels in the vertical direction of the liquid crystal panel 152)
The CPU 10 stores the calculated offset value α in the RAM 12. In the above example of size, L1 = 1280, L2 = 800, L3 = 1024, L4 = 768, and the offset value α = 214.

ステップＳＡ２５において、ＣＰＵ１０は、オフセット値αを考慮した入力画像のサイズ（以下、「オフセット後の入力画像」という）と液晶パネル１５２のサイズとが等しいか否かを判断する。具体的には、ＣＰＵ１０は、入力画像のサイズとオフセット値αとをＲＡＭ１２からそれぞれ読み出して、入力画像の横方向の画素数からオフセット値αを減算することにより、オフセット後の入力画像のサイズを算出する。そして、ＣＰＵ１０は、液晶パネル１５２のサイズをＲＯＭ１１から読み出して、オフセット後の入力画像のサイズと液晶パネル１５２のサイズとを比較する。オフセット後の入力画像のサイズと液晶パネル１５２のサイズとが等しくないと判断された場合（ステップＳＡ２５：ＮＯ）、ＣＰＵ１０は、処理をステップＳＡ２６に移行する。オフセット後の入力画像のサイズと液晶パネル１５２のサイズとが等しいと判断された場合（ステップＳＡ２５：ＹＥＳ）、ＣＰＵ１０は、処理をステップＳＡ２７に移行する。上述のサイズの例では、オフセット後の入力画像のサイズは、横１０６６×縦８００であり、投射画像のサイズは、横１０２４×縦７６８である。したがって、オフセット後の入力画像のサイズと液晶パネル１５２のサイズとは等しくないと判断される。 In step SA25, the CPU 10 determines whether or not the size of the input image taking into account the offset value α (hereinafter referred to as “the input image after offset”) is equal to the size of the liquid crystal panel 152. Specifically, the CPU 10 reads the size of the input image and the offset value α from the RAM 12, and subtracts the offset value α from the number of pixels in the horizontal direction of the input image, thereby reducing the size of the input image after the offset. calculate. Then, the CPU 10 reads the size of the liquid crystal panel 152 from the ROM 11 and compares the size of the input image after the offset with the size of the liquid crystal panel 152. When it is determined that the size of the input image after the offset and the size of the liquid crystal panel 152 are not equal (step SA25: NO), the CPU 10 shifts the processing to step SA26. If it is determined that the size of the input image after the offset and the size of the liquid crystal panel 152 are equal (step SA25: YES), the CPU 10 shifts the processing to step SA27. In the example of the size described above, the size of the input image after the offset is 1066 × 800 in the horizontal direction, and the size of the projection image is 1024 × 768 in the vertical direction. Therefore, it is determined that the size of the input image after the offset and the size of the liquid crystal panel 152 are not equal.

ステップＳＡ２６において、ＣＰＵ１０は、変換係数βを算出する。変換係数とは、入力画像のサイズと液晶パネル１５２のサイズとの比を示す値である。ＣＰＵ１０は、ＲＡＭ１２から入力画像のサイズおよび投射画像のサイズを読み出して、例えば、以下の式（２）により変換係数βを算出する。

ＣＰＵ１０は、算出された変換係数βを、ＲＡＭ１２に記憶する。上述の例では、Ｌ２
＝８００、Ｌ４＝７６８であり、変換係数β＝０．９６となる。なお、変換係数βは、オフセット値αを用いて以下の式（３）により算出されてもよい。

In step SA26, the CPU 10 calculates a conversion coefficient β. The conversion coefficient is a value indicating a ratio between the size of the input image and the size of the liquid crystal panel 152. The CPU 10 reads the size of the input image and the size of the projection image from the RAM 12, and calculates the conversion coefficient β by the following equation (2), for example.

The CPU 10 stores the calculated conversion coefficient β in the RAM 12. In the above example, L2
= 800, L4 = 768, and the conversion coefficient β = 0.96. Note that the conversion coefficient β may be calculated by the following equation (3) using the offset value α.

ステップＳＡ２７において、ＣＰＵ１０は、オフセット値αと変換係数βとを用いて入力画像をリサイズする。具体的には、ＣＰＵ１０は、以下の式（４）により、入力画像における各画素の座標（ｘ，ｙ）を、座標（Ｘ，Ｙ）に変換する。なお、「ｘ」および「Ｘ」は、画像の横方向における座標を表し、「ｙ」および「Ｙ」は、画像の縦方向における座標を表す。

ＣＰＵ１０は、リサイズ画像を示す画像データをフレームメモリー１２ａに書き込む。 In step SA27, the CPU 10 resizes the input image using the offset value α and the conversion coefficient β. Specifically, the CPU 10 converts the coordinates (x, y) of each pixel in the input image into coordinates (X, Y) by the following equation (4). “X” and “X” represent coordinates in the horizontal direction of the image, and “y” and “Y” represent coordinates in the vertical direction of the image.

The CPU 10 writes image data indicating the resized image in the frame memory 12a.

再び図６を参照する。ステップＳＡ３において、ＣＰＵ１０は、リサイズ画像を示す画像データを圧縮する。具体的には、ＣＰＵ１０は、フレームメモリー１２ａから画像データを読み出すことにより画像データを取得し、当該画像データを、無線ＬＡＮの周波数帯域に対応させるために圧縮する。ＣＰＵ１０は、画像データを、例えばＪＰＥＧ（Joint Photographic Experts Group）方式により圧縮する。画像データの圧縮は、例えば、数フレームごと、または決められた時間ごとに行われる。ＣＰＵ１０は、圧縮後の画像データをＲＡＭ１２に記憶する。ステップＳＡ４において、ＣＰＵ１０は、ＲＡＭ１２から圧縮後の画像データを読み出して、当該画像データをタブレット端末３に出力する。 Refer to FIG. 6 again. In step SA3, the CPU 10 compresses image data indicating the resized image. Specifically, the CPU 10 acquires image data by reading the image data from the frame memory 12a, and compresses the image data so as to correspond to the frequency band of the wireless LAN. The CPU 10 compresses the image data by, for example, JPEG (Joint Photographic Experts Group) method. The compression of the image data is performed, for example, every few frames or every predetermined time. The CPU 10 stores the compressed image data in the RAM 12. In step SA4, the CPU 10 reads the compressed image data from the RAM 12, and outputs the image data to the tablet terminal 3.

ステップＳＡ５において、ＣＰＵ１０は、リサイズ画像に対して画像処理を施す。具体的には、ＣＰＵ１０は、フレームメモリー１２ａから画像データを読み出して、リサイズ画像に対して所定の画像処理（例えば、ＯＳＤ（On Screen Display）画像を重畳する処理、キーストーン補正処理、フレームレート変換処理、またはオーバードライブ処理など）を施す。ＣＰＵ１０は、画像処理後のリサイズ画像を示す画像データをフレームメモリー１２ｂに書き込む。ステップＳＡ６において、ＣＰＵ１０は、フレームメモリー１２ｂに記憶された画像データに応じて、液晶パネル１５２を駆動する。具体的には、ＣＰＵ１０は、フレームメモリー１２ｂから画像データを読み出して、パネル駆動回路１５５に出力する。 In step SA5, the CPU 10 performs image processing on the resized image. Specifically, the CPU 10 reads out image data from the frame memory 12a and performs predetermined image processing (for example, processing for superimposing an OSD (On Screen Display) image on the resized image, keystone correction processing, frame rate conversion). Process or overdrive process). The CPU 10 writes image data indicating the resized image after image processing in the frame memory 12b. In step SA6, the CPU 10 drives the liquid crystal panel 152 according to the image data stored in the frame memory 12b. Specifically, the CPU 10 reads out image data from the frame memory 12 b and outputs it to the panel drive circuit 155.

ステップＳＡ７において、タブレット端末３のＣＰＵ３０は、プロジェクター１から取得した画像データにより示されるリサイズ画像に応じた画像を、タッチパネル３４に表示する。具体的には、ＣＰＵ３０は、画像データにより示されるリサイズ画像のサイズをタッチパネル３４に応じたサイズに変更し、サイズが変更されたリサイズ画像をタッチパネル３４に表示する。ステップＳＡ７の処理により、タッチパネル３４には、投射画像に対応する画像が表示される。ステップＳＡ８において、ＣＰＵ３０は、タッチパネル３４上でユーザーが指定した点の物理的な座標を、画像データにより示されるリサイズ画像上の点の座標に変換する。ステップＳＡ８の処理は、タッチパネル３４が、ユーザーによる操作を検出したことを契機として行われる。タッチパネル３４上の物理的な座標とリサイズ画像上の点の座標との変換は、予め定められた式を用いて行われる。ＣＰＵ３０は、リサイズ画像上の点の座標を示す座標データをＲＡＭ３２に記憶する。ステップＳＡ９において、ＣＰＵ３０は、ＲＡＭ３２から座標データを読み出して、プロジェクター１に出力する。なお、ステップＳＡ８およびステップＳＡ９の処理は、タッチパネル３４が、ユーザーによる操作を検出する度に行われ、複数の座標データが順次プロジェクター１に出力さ
れる。 In step SA <b> 7, the CPU 30 of the tablet terminal 3 displays an image corresponding to the resized image indicated by the image data acquired from the projector 1 on the touch panel 34. Specifically, the CPU 30 changes the size of the resized image indicated by the image data to a size corresponding to the touch panel 34 and displays the resized image whose size has been changed on the touch panel 34. By the process of step SA7, an image corresponding to the projected image is displayed on the touch panel 34. In step SA8, the CPU 30 converts the physical coordinates of the point designated by the user on the touch panel 34 into the coordinates of the point on the resized image indicated by the image data. The process of step SA8 is performed when the touch panel 34 detects an operation by the user. The conversion between the physical coordinates on the touch panel 34 and the coordinates of the points on the resized image is performed using a predetermined formula. The CPU 30 stores coordinate data indicating the coordinates of points on the resized image in the RAM 32. In step SA <b> 9, the CPU 30 reads the coordinate data from the RAM 32 and outputs it to the projector 1. The processes in step SA8 and step SA9 are performed each time the touch panel 34 detects an operation by the user, and a plurality of coordinate data is sequentially output to the projector 1.

ステップＳＡ１０において、プロジェクター１のＣＰＵ１０は、座標変換処理を行う。座標変換処理とは、座標データにより示される座標の座標系を、入力画像の座標系に変換することをいう。ＣＰＵ１０は、座標変換処理により、タブレット端末３から取得した座標データにより示される、リサイズ画像の座標の座標系を、リサイズ処理がされる前の（元の）入力画像の座標系に変換する。具体的には、ＣＰＵ１０は、ＲＡＭ１２から読み出したオフセット値αと変換係数βとを用いて、以下の式（５）により、タブレット端末３から取得した座標データにより示される座標（Ｘｉ，Ｙｉ）を、元の入力画像における座標（ｘｉ，ｙｉ）に変換する。

ＣＰＵ１０は、変換後の座標（ｘｉ，ｙｉ）をＲＡＭ１２に記憶する。例えば、上述のサイズの例において、タブレット端末３から取得された座標データにより示される座標（Ｘｉ，Ｙｉ）が（２７５，４８０）である場合、元の入力画像における座標（ｘｉ，ｙｉ）は（５００，５００）となる。ステップＳＡ１１において、ＣＰＵ１０は、ＲＡＭ１２から座標（ｘｉ，ｙｉ）を読み出して、当該座標を示す座標データをＰＣ２に出力する。 In step SA10, the CPU 10 of the projector 1 performs a coordinate conversion process. The coordinate conversion process refers to converting the coordinate system of the coordinates indicated by the coordinate data into the coordinate system of the input image. The CPU 10 converts the coordinate system of the resized image coordinate indicated by the coordinate data acquired from the tablet terminal 3 into the coordinate system of the (original) input image before the resize process, by the coordinate conversion process. Specifically, the CPU 10 uses the offset value α and the conversion coefficient β read from the RAM 12 to calculate the coordinates (Xi, Yi) indicated by the coordinate data acquired from the tablet terminal 3 by the following equation (5). , Converted into coordinates (xi, yi) in the original input image.

The CPU 10 stores the converted coordinates (xi, yi) in the RAM 12. For example, in the above example of size, when the coordinates (Xi, Yi) indicated by the coordinate data acquired from the tablet terminal 3 are (275, 480), the coordinates (xi, yi) in the original input image are ( 500,500). In step SA11, the CPU 10 reads the coordinates (xi, yi) from the RAM 12, and outputs the coordinate data indicating the coordinates to the PC 2.

ステップＳＡ１２において、ＰＣ２のＣＰＵ２０は、入力画像（一次画像）上に、プロジェクター１から取得した座標データに応じた画を描く。具体的には、ＣＰＵ２０は、複数の座標データにより示される座標を補間することにより、タッチパネル３４上でユーザーが指定した点の軌跡に応じた画（以下、「軌跡画像」という）を描く。ＣＰＵ２０は、プロジェクター１から順次出力される座標が取得された順序をＲＡＭ２２に記憶しており、この順序に従って複数の座標を補間して結んだ画像を軌跡画像とする。座標が取得された順序は、ＣＰＵ２０が、プロジェクター１から座標データを取得したときに、座標とともにＲＡＭ２２に記憶される。そして、ＣＰＵ２０は、軌跡画像と一次画像とを合成し二次画像を生成する。ＣＰＵ２０は、二次画像を示す画像データをＲＡＭ２２に記憶する。ステップＳＡ１３において、ＣＰＵ２０は、ＲＡＭ２２から二次画像を示す画像データを読み出して、当該画像データを示す映像信号をプロジェクター１に出力する。 In step SA12, the CPU 20 of the PC 2 draws an image corresponding to the coordinate data acquired from the projector 1 on the input image (primary image). Specifically, the CPU 20 draws an image (hereinafter referred to as “trajectory image”) according to the locus of the point designated by the user on the touch panel 34 by interpolating the coordinates indicated by the plurality of coordinate data. The CPU 20 stores the order in which the coordinates sequentially output from the projector 1 are acquired in the RAM 22, and uses an image formed by interpolating a plurality of coordinates according to this order as a trajectory image. The order in which the coordinates are acquired is stored in the RAM 22 together with the coordinates when the CPU 20 acquires the coordinate data from the projector 1. Then, the CPU 20 combines the trajectory image and the primary image to generate a secondary image. The CPU 20 stores image data indicating the secondary image in the RAM 22. In step SA13, the CPU 20 reads image data indicating the secondary image from the RAM 22, and outputs a video signal indicating the image data to the projector 1.

ステップＳＡ１４からステップＳＡ１８において、プロジェクター１のＣＰＵ１０は、二次画像に対して、ステップＳＡ２からＳＡ１８と同様の処理を行う。ステップＳＡ１８の処理により、スクリーンＳＣには二次画像に基づく投射画像が投射される。ステップＳＡ１９において、タブレット端末３のＣＰＵ３０は、ステップＳＡ７と同様の処理により、二次画像のリサイズ画像に応じた画像をタッチパネル３４に表示する。以上の処理により、入力画像（および投射画像）には、タッチパネル３４の操作に応じた画が描かれ、タブレット端末３を、ＰＣ２を操作するためのポインティングデバイスとして機能させることができる。したがって、ＰＣ２およびプロジェクター１（並びにスクリーンＳＣ）から離れた所からでも描画を行うことができ、描画を行う際の距離的な制約を抑制できる。また、ＰＣ２の入力部２５を操作する場合に比べて、より直感的に描画を行うことができる。投射システムＰＳ１の利用例としては、学校の教室で、教師が生徒にタブレット端末３を操作させ、ＰＣ２から離れた所から入力画像に描画をさせることが考えられる。 In steps SA14 to SA18, the CPU 10 of the projector 1 performs the same processing as in steps SA2 to SA18 on the secondary image. By the process of step SA18, a projection image based on the secondary image is projected on the screen SC. In step SA19, the CPU 30 of the tablet terminal 3 displays an image corresponding to the resized image of the secondary image on the touch panel 34 by the same processing as in step SA7. With the above processing, an image corresponding to the operation of the touch panel 34 is drawn on the input image (and the projection image), and the tablet terminal 3 can function as a pointing device for operating the PC 2. Therefore, it is possible to perform drawing even from a place away from the PC 2 and the projector 1 (and the screen SC), and it is possible to suppress a distance restriction when performing drawing. In addition, drawing can be performed more intuitively than when the input unit 25 of the PC 2 is operated. As an example of using the projection system PS1, it is conceivable that in a school classroom, a teacher causes a student to operate the tablet terminal 3 and draw an input image from a place away from the PC2.

（実施形態２）
図８は、本発明の第２実施形態に係る投射システムＰＳ２の全体構成を示す図である。以下では、投射システムＰＳ２について、投射システムＰＳ１と異なる部分を中心に説明する。投射システムＰＳ２は、上述のＰＣ２に代えて、ＤＶＤプレーヤーなどのＡＶ機器が用いられる。ＤＶＤプレーヤー４は、映像信号をプロジェクター１に出力する。ＤＶＤ
プレーヤー４は、ケーブルによりプロジェクター１のＨＤＭＩ端子と有線接続されている。投射システムＰＳ２において、プロジェクター１は、入力画像上に画を描くための描画プログラムを実行する。タブレット端末３は、プロジェクター１が描画プログラムを実行している場合において、プロジェクター１を操作するためのポインティングデバイスとして機能する。ユーザーがタッチパネル３４を操作すると、プロジェクター１において、当該操作に応じた画が入力画像上に描かれる。 (Embodiment 2)
FIG. 8 is a diagram showing an overall configuration of a projection system PS2 according to the second embodiment of the present invention. Hereinafter, the projection system PS2 will be described with a focus on the differences from the projection system PS1. In the projection system PS2, an AV device such as a DVD player is used instead of the above-described PC2. The DVD player 4 outputs a video signal to the projector 1. DVD
The player 4 is wired to the HDMI terminal of the projector 1 via a cable. In the projection system PS2, the projector 1 executes a drawing program for drawing an image on the input image. The tablet terminal 3 functions as a pointing device for operating the projector 1 when the projector 1 is executing a drawing program. When the user operates the touch panel 34, the projector 1 draws an image corresponding to the operation on the input image.

図９は、投射システムＰＳ２の機能的構成を示すブロック図である。プロジェクター１は、図２に示した座標変換部１０６および座標データ出力部１０７に代えて、描画部１１１と、画像データ合成部１１２とを有する。描画部１１１は、座標データ取得部１０５により取得された座標データに応じた画を描く。画像データ合成部１１２は、描画部１１１により描かれた画と、一次画像のリサイズ画像とを合成し二次画像を示す画像データを生成する。画像処理部１０３は、画像データ合成部１１２により生成された画像データが示す二次画像に対して、所定の画像処理を施す。画像データ取得部１０８は、画像データ合成部１１２により生成された画像データを取得する。実施形態２におけるプロジェクター１において、プログラムを実行しているＣＰＵ１０は、画像データ取得部１０８、画像圧縮部１０９、描画部１１１、および画像データ合成部１１２の一例である。 FIG. 9 is a block diagram showing a functional configuration of the projection system PS2. The projector 1 includes a drawing unit 111 and an image data synthesis unit 112 instead of the coordinate conversion unit 106 and the coordinate data output unit 107 shown in FIG. The drawing unit 111 draws an image corresponding to the coordinate data acquired by the coordinate data acquisition unit 105. The image data synthesis unit 112 synthesizes the image drawn by the drawing unit 111 and the resized image of the primary image, and generates image data indicating the secondary image. The image processing unit 103 performs predetermined image processing on the secondary image indicated by the image data generated by the image data combining unit 112. The image data acquisition unit 108 acquires the image data generated by the image data synthesis unit 112. In the projector 1 according to the second embodiment, the CPU 10 executing the program is an example of the image data acquisition unit 108, the image compression unit 109, the drawing unit 111, and the image data synthesis unit 112.

図１０は、投射システムＰＳ２において実行される処理を示すシーケンスチャートである。以下の処理は、例えば、ＤＶＤプレーヤー４がプロジェクター１に映像信号（ここでは、一次画像を示す映像信号）を出力している状態で、プロジェクター１に描画プログラムを実行させるための指示が入力されたことを契機として開始される。描画プログラムを実行させるための指示は、ユーザーがコントローラーＲＣを操作することにより入力される。 FIG. 10 is a sequence chart showing processing executed in the projection system PS2. In the following processing, for example, an instruction for causing the projector 1 to execute a drawing program is input in a state where the DVD player 4 outputs a video signal (here, a video signal indicating a primary image) to the projector 1. It starts with this. An instruction for executing the drawing program is input by the user operating the controller RC.

ステップＳＢ１において、プロジェクター１のＣＰＵ１０は、ＤＶＤプレーヤー４から映像信号を取得する。ステップＳＢ２からステップＳＢ９において、ＣＰＵ１０またはタブレット端末３のＣＰＵ３０は、ステップＳＡ２からステップＳＡ９と同様の処理を行う。 In step SB 1, the CPU 10 of the projector 1 acquires a video signal from the DVD player 4. In step SB2 to step SB9, the CPU 10 or the CPU 30 of the tablet terminal 3 performs the same processing as in step SA2 to step SA9.

ステップＳＢ１０において、ＣＰＵ１０は、タブレット端末３から取得した座標データに応じた画を描く。具体的には、ＣＰＵ１０は、複数の座標データにより示される座標（Ｘｉ，Ｙｉ）を補間することにより、軌跡画像を描く。ＣＰＵ１０は、軌跡画像をＲＡＭ１２に記憶する。ステップＳＢ１１において、ＣＰＵ１０は、軌跡画像と、一次画像のリサイズ画像とを合成し二次画像を生成する。具体的には、ＣＰＵ１０は、フレームメモリー１２ａから一次画像のリサイズ画像を、ＲＡＭ１２から軌跡画像をそれぞれ読み出して、リサイズ画像上に軌跡画像を合成する。ＣＰＵ１０は、生成された二次画像を示す画像データをフレームメモリー１２ａに書き込む。 In step SB10, the CPU 10 draws an image corresponding to the coordinate data acquired from the tablet terminal 3. Specifically, the CPU 10 draws a trajectory image by interpolating coordinates (Xi, Yi) indicated by a plurality of coordinate data. The CPU 10 stores the trajectory image in the RAM 12. In step SB11, the CPU 10 combines the trajectory image and the resized image of the primary image to generate a secondary image. Specifically, the CPU 10 reads the resized image of the primary image from the frame memory 12a and the trajectory image from the RAM 12, and synthesizes the trajectory image on the resized image. The CPU 10 writes image data indicating the generated secondary image in the frame memory 12a.

ステップＳＢ１２からステップＳＢ１６において、ＣＰＵ１０およびＣＰＵ３０は、二次画像に対して、ステップＳＢ３からステップＳＢ７と同様の処理を行う。以上の処理により、入力画像（および投射画像）には、タッチパネル３４の操作に応じた画が描かれ、タブレット端末３を、プロジェクター１を操作するためのポインティングデバイスとして機能させることができる。したがって、プロジェクター１（およびスクリーンＳＣ）から離れた所からでも描画を行うことができ、描画を行う際の距離的な制約を抑制できる。 In steps SB12 to SB16, the CPU 10 and the CPU 30 perform the same processing as that in steps SB3 to SB7 on the secondary image. Through the above processing, an image corresponding to the operation of the touch panel 34 is drawn on the input image (and the projection image), and the tablet terminal 3 can function as a pointing device for operating the projector 1. Therefore, it is possible to perform drawing even from a place away from the projector 1 (and the screen SC), and it is possible to suppress a distance restriction when performing drawing.

＜変形例＞
本発明は、上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下で説明する変形例のうち、２つ以上のものが組み合わされて用いられても良い。 <Modification>
The present invention is not limited to the above-described embodiments, and various modifications can be made. Hereinafter, some modifications will be described. Of the modifications described below, two or more may be used in combination.

（１）変形例１
投射システムにおいて行われる処理は、実施形態で説明した処理に限らない。例えば、画像データの圧縮が、１フレームごとに行われてもよい。
また、上述の実施形態では、画像処理が施される前の画像データがフレームメモリーから読み出され、読み出された画像データがタブレット端末３に出力される例を説明した。この点、画像処理が行われた後の画像データがフレームメモリーから読み出され、読み出された画像データに対して所定の処理が行われた画像データがタブレット端末３に出力されてもよい。例えば、リサイズ画像に対してキーストーン補正処理が行われる場合には、ＣＰＵ１０は、キーストーン補正処理後の画像データに、このキーストーン補正処理の逆変換をする処理を行い、逆変換がされた画像データをタブレット端末３に出力してもよい。なお、この場合には、プロジェクター１のＲＡＭ１２は、必ずしも２枚のフレームメモリーを有していなくてもよい。
さらに、上述の実施形態では、一次画像上に座標データに応じた画が描かれる例を説明したが、二次画像上に座標データに応じた画がさらに描かれてもよい。 (1) Modification 1
The process performed in the projection system is not limited to the process described in the embodiment. For example, compression of image data may be performed for each frame.
In the above-described embodiment, an example in which image data before image processing is read from the frame memory and the read image data is output to the tablet terminal 3 has been described. In this regard, the image data after the image processing is performed may be read from the frame memory, and the image data obtained by performing a predetermined process on the read image data may be output to the tablet terminal 3. For example, when the keystone correction process is performed on the resized image, the CPU 10 performs a process of performing reverse conversion of the keystone correction process on the image data after the keystone correction process, and the reverse conversion is performed. The image data may be output to the tablet terminal 3. In this case, the RAM 12 of the projector 1 does not necessarily have two frame memories.
Furthermore, in the above-described embodiment, an example in which an image corresponding to the coordinate data is drawn on the primary image has been described. However, an image corresponding to the coordinate data may be further drawn on the secondary image.

（２）変形例２
上述の実施形態では、リサイズ処理において、１フレームごとにオフセット値αおよび変換係数βが算出される例を説明した。この点、プロジェクター１に映像信号が入力されている間は、一度算出されたオフセット値αおよび変換係数βと同じ値を用いて入力画像がリサイズされてもよい。この場合、ＣＰＵ１０は、一度算出されたオフセット値αおよび変換係数βを、映像信号が入力されている間、ＲＡＭ１２に記憶しておき、これらの値を用いて複数の入力画像をリサイズする。 (2) Modification 2
In the above-described embodiment, the example in which the offset value α and the conversion coefficient β are calculated for each frame in the resizing process has been described. In this regard, while the video signal is being input to the projector 1, the input image may be resized using the same value as the offset value α and the conversion coefficient β calculated once. In this case, the CPU 10 stores the offset value α and the conversion coefficient β calculated once in the RAM 12 while the video signal is being input, and resizes a plurality of input images using these values.

（３）変形例３
リサイズ処理および座標変換処理について示した上述の式（１）乃至（５）はあくまで一例であり、これらの式とは異なる式により、リサイズ処理または座標変換処理が行われてもよい。また、上述の実施形態では、リサイズ処理において入力画像が縮小される例を説明したが、リサイズ処理において入力画像が拡大されてもよい。 (3) Modification 3
The above-described formulas (1) to (5) shown for the resizing process and the coordinate conversion process are merely examples, and the resizing process or the coordinate conversion process may be performed by a formula different from these formulas. In the above-described embodiment, the example in which the input image is reduced in the resizing process has been described. However, the input image may be enlarged in the resizing process.

（４）変形例４
投射システムの構成は、実施形態に記載された構成に限らない。例えば、実施形態１においては、プロジェクター１のＩＦ部１３が、ＵＳＢ端子を介してＰＣ２に座標データを出力する例を説明したが、ＩＦ部１３は無線ＬＡＮインターフェースを介して座標データを出力してもよい。別の例で、複数台のタブレット端末３が投射システムにおいて用いられてもよい。さらに別の例で、ＤＶＤプレーヤー４に代えて、ビデオプレーヤーが用いられてもよい。 (4) Modification 4
The configuration of the projection system is not limited to the configuration described in the embodiment. For example, in the first embodiment, an example in which the IF unit 13 of the projector 1 outputs coordinate data to the PC 2 via the USB terminal has been described. However, the IF unit 13 outputs coordinate data via the wireless LAN interface. Also good. As another example, a plurality of tablet terminals 3 may be used in the projection system. In still another example, a video player may be used instead of the DVD player 4.

（５）変形例５
プロジェクター１の機能的構成は、図２および図９に示した構成のいずれか一方である場合に限らない。プロジェクター１は、図２および図９に示した機能的構成の両方を有していてもよい。この場合、プロジェクター１は、映像信号の入力源がＰＣ２である場合には図６に示した処理を行い、ＤＶＤプレーヤー４である場合には図１０に示した処理を行う。
また、プロジェクター１、ＰＣ２、およびタブレット端末３のハードウェア構成は、図３乃至図５に示した構成に限らない。図６、図７、および図１０に示した各ステップの処理を実行できれば、プロジェクター１、ＰＣ２、およびタブレット端末３はどのようなハードウェア構成であってもよい。例えば、上述の実施形態では、プロジェクター１が３枚の液晶パネル１５２を有する例を説明したが、プロジェクター１は、１枚の液晶パネル１５２とカラーホイールを組み合わせた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を
用いた方式、１枚のＤＭＤとカラーホイールを組み合わせた方式等により構成されていてもよい。 (5) Modification 5
The functional configuration of the projector 1 is not limited to one of the configurations shown in FIGS. The projector 1 may have both of the functional configurations shown in FIGS. In this case, the projector 1 performs the process shown in FIG. 6 when the input source of the video signal is the PC 2 and performs the process shown in FIG.
Further, the hardware configurations of the projector 1, the PC 2, and the tablet terminal 3 are not limited to the configurations shown in FIGS. The projector 1, the PC 2, and the tablet terminal 3 may have any hardware configuration as long as the processing of each step shown in FIGS. 6, 7, and 10 can be executed. For example, in the above-described embodiment, an example in which the projector 1 includes the three liquid crystal panels 152 has been described. However, the projector 1 is a method in which one liquid crystal panel 152 and a color wheel are combined, and three digital mirror devices ( (DMD), a single DMD and a color wheel, or the like.

１…プロジェクター、２…パーソナルコンピューター、３…タブレット端末、１０１…映像信号取得部、１０２…画像調整部、１０３…画像処理部、１０４…投射部、１０５…座標データ取得部、１０６…座標変換部、１０７…座標データ出力部、１０８…画像データ取得部、１０９…画像圧縮部、１１０…画像データ出力部、２０１…映像信号出力部、２０２…座標データ取得部、２０３…描画部、３０１…座標変換部、３０２…座標データ出力部、３０３…画像データ取得部、３０４…表示制御部、１０…ＣＰＵ、１１…ＲＯＭ、１２…ＲＡＭ、１３…ＩＦ部、１４…画像処理回路、１５…投射ユニット、１６…受光部、１７…操作パネル、１８…入力処理部、１５１…光源、１５２…液晶パネル、１５３…光学系、１５４…光源駆動回路、１５５…パネル駆動回路、１５６…光学系駆動回路、２０…ＣＰＵ、２１…ＲＯＭ、２２…ＲＡＭ、２３…ＩＦ部、２４…表示部、２５…入力部、３０…ＣＰＵ、３１…ＲＯＭ、３２…ＲＡＭ、３３…ＩＦ部、３４…タッチパネル。 DESCRIPTION OF SYMBOLS 1 ... Projector, 2 ... Personal computer, 3 ... Tablet terminal, 101 ... Video signal acquisition part, 102 ... Image adjustment part, 103 ... Image processing part, 104 ... Projection part, 105 ... Coordinate data acquisition part, 106 ... Coordinate conversion part , 107 ... coordinate data output unit, 108 ... image data acquisition unit, 109 ... image compression unit, 110 ... image data output unit, 201 ... video signal output unit, 202 ... coordinate data acquisition unit, 203 ... drawing unit, 301 ... coordinate Conversion unit 302 ... Coordinate data output unit 303 ... Image data acquisition unit 304 ... Display control unit 10 ... CPU, 11 ... ROM, 12 ... RAM, 13 ... IF unit, 14 ... Image processing circuit, 15 ... Projection unit , 16 ... light receiving part, 17 ... operation panel, 18 ... input processing part, 151 ... light source, 152 ... liquid crystal panel, 153 ... optical system, 154 ... light source driving times DESCRIPTION OF SYMBOLS 155 ... Panel drive circuit, 156 ... Optical system drive circuit, 20 ... CPU, 21 ... ROM, 22 ... RAM, 23 ... IF part, 24 ... Display part, 25 ... Input part, 30 ... CPU, 31 ... ROM, 32 ... RAM, 33 ... IF unit, 34 ... touch panel.

Claims

A video signal acquisition unit for acquiring a video signal indicating the first image;
A coordinate data acquisition unit that acquires coordinate data indicating the coordinates of a point on the first image from an electronic device having a touch panel;
An image data acquisition unit for acquiring image data indicating a second image in which an image corresponding to the coordinate data acquired by the coordinate data acquisition unit is drawn on the first image indicated by the video signal;
An image data output unit that outputs the image data acquired by the image data acquisition unit to the electronic device ;
A coordinate conversion unit that converts the coordinate system of the coordinates indicated by the coordinate data into the coordinate system of the first image;
A coordinate data output unit for outputting the coordinate data whose coordinate system has been converted by the coordinate conversion unit to an external device;
Have
The video signal acquisition unit acquires the video signal from the external device,
The image data acquisition unit is a projector that acquires the image data from the external device .

A projector and an electronic device,
The projector is
A video signal acquisition unit for acquiring a video signal indicating the first image;
A coordinate data acquisition unit that acquires coordinate data indicating coordinates of a point on the first image from the electronic device;
An image data acquisition unit for acquiring image data indicating a second image in which an image corresponding to the coordinate data acquired by the coordinate data acquisition unit is drawn on the first image indicated by the video signal;
An image data output unit that outputs the image data acquired by the image data acquisition unit to the electronic device ;
A conversion unit that converts the coordinate system of the coordinates indicated by the coordinate data into the coordinate system of the first image;
A coordinate output unit that outputs the coordinate data whose coordinate system has been converted by the conversion unit to an external device ;
The video signal acquisition unit acquires the video signal from the external device,
The image data acquisition unit acquires the image data from the external device,
The electronic device is
A touch panel;
A coordinate conversion unit that converts the coordinates of the point specified by the user on the touch panel into the coordinates of the point on the first image, and generates the coordinate data;
A coordinate data output unit that outputs the coordinate data generated by the coordinate conversion unit to the projector;
A projection control system comprising: a display control unit configured to display the second image indicated by the image data output from the projector on the touch panel.

Obtaining a video signal indicating a first image;
Obtaining coordinate data indicating coordinates of a point on the first image from an electronic device having a touch panel;
Obtaining image data indicating a second image in which an image corresponding to the coordinate data is drawn on the first image indicated by the video signal;
Outputting the image data to the electronic device ;
A coordinate conversion step of converting the coordinate system of the coordinates indicated by the coordinate data into the coordinate system of the first image;
A coordinate data output step of outputting the coordinate data whose coordinate system has been converted by the coordinate conversion step to an external device;
Have
The step of acquiring the video signal acquires the video signal from the external device,
The step of acquiring the image data is a projector control method for acquiring the image data from the external device .