JP6409312B2 - Display system, display device, and display control method - Google Patents

Display system, display device, and display control method Download PDF

Info

Publication number
JP6409312B2
JP6409312B2 JP2014086212A JP2014086212A JP6409312B2 JP 6409312 B2 JP6409312 B2 JP 6409312B2 JP 2014086212 A JP2014086212 A JP 2014086212A JP 2014086212 A JP2014086212 A JP 2014086212A JP 6409312 B2 JP6409312 B2 JP 6409312B2
Authority
JP
Japan
Prior art keywords
display
image data
unit
control unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014086212A
Other languages
Japanese (ja)
Other versions
JP2015206854A (en
Inventor
勇気 上田
勇気 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014086212A priority Critical patent/JP6409312B2/en
Priority to PCT/JP2015/002085 priority patent/WO2015159543A1/en
Priority to US15/302,333 priority patent/US20170024031A1/en
Publication of JP2015206854A publication Critical patent/JP2015206854A/en
Application granted granted Critical
Publication of JP6409312B2 publication Critical patent/JP6409312B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表示システム、表示装置、及び、表示制御方法に関する。   The present invention relates to a display system, a display device, and a display control method.

近年、教育分野やプレゼンテーション等において使用される、いわゆるインタラクティブホワイトボードが普及している。インタラクティブホワイトボードは、文書等のコンテンツを表示しながら、そのコンテンツへの使用者による書き込みが可能であることを特徴とする。例えば、特許文献１には、電子黒板のボード部において移動させたペンの軌跡を画像として形成し、ボード部に表示させている。また、特許文献１には、入力デバイスであるペンと、ペンからの信号を受信する本体ユニットとを備えるディジタルペンが開示されている。ユーザーがペンを用いて文字や図形を描くと、本体ユニットが、ペンから発信される信号に基づいてペンの軌跡を検出して、描かれた文字や図形と同様な画像のディジタルデータを生成する。また、本体ユニットには無線ＬＡＮ端末が搭載されており、本体ユニットが、生成したディジタルデータを電子黒板のボード部に送信して、ディジタルペンにおいて描かれた文字や図形を、ボード部に表示させている。   In recent years, so-called interactive whiteboards used in the education field and presentations have become widespread. The interactive whiteboard is characterized in that a user can write content while displaying the content such as a document. For example, in Patent Document 1, the locus of a pen moved on a board part of an electronic blackboard is formed as an image and displayed on the board part. Patent Document 1 discloses a digital pen including a pen as an input device and a main unit that receives a signal from the pen. When the user draws a character or figure using the pen, the main unit detects the pen trajectory based on a signal transmitted from the pen and generates digital data of an image similar to the drawn character or figure. . In addition, the main unit is equipped with a wireless LAN terminal, and the main unit transmits the generated digital data to the board part of the electronic blackboard so that characters and figures drawn on the digital pen are displayed on the board part. ing.

特開２０１０−２８４７９７号公報JP 2010-284797 A

しかしながら、電子黒板のボード部において移動させたペンの軌跡を画像として形成し、ボード部に表示させる構成の場合、画像が表示されるボード部から離れた位置で文字や図形等を入力することができない。また、無線通信機能を有するディジタルペンを用いて、電子黒板のボード部に文字や図形を表示させる構成の場合、ディジタルペンにおいてペンの軌跡を検出して画像のディジタルデータを生成しなければならず、ディジタルペンにおける処理負荷が高くなる。また、ディジタルペンにおいてペン入力を検出可能な領域と、電子黒板のボード部の表示領域との対応関係が分かりづらい。
本発明は上記事情に鑑みてなされたものであり、入力装置と、表示装置とが分離した構成において、入力装置の処理負荷を軽減した表示システム、表示装置、表示制御方法を提供することを目的とする。 However, in the configuration in which the locus of the pen moved on the board part of the electronic blackboard is formed as an image and displayed on the board part, characters, figures, etc. can be input at a position away from the board part on which the image is displayed. Can not. In addition, when a digital pen having a wireless communication function is used to display characters and figures on the board portion of the electronic blackboard, the digital pen must detect the pen trajectory and generate digital image data. This increases the processing load on the digital pen. Further, it is difficult to understand the correspondence between the area where the pen input can be detected in the digital pen and the display area of the board portion of the electronic blackboard.
The present invention has been made in view of the above circumstances, and an object thereof is to provide a display system, a display device, and a display control method that reduce the processing load of the input device in a configuration in which the input device and the display device are separated. And

上記目的を達成するために、本発明の表示システムは、入力装置と、表示装置とを有する表示システムであって、前記入力装置は、操作面に対する操作を検出して、前記操作面における操作位置を示す座標情報を生成する生成部と、前記生成部が生成した座標情報を送信する送信部と、を備え、前記表示装置は、前記座標情報を受信する受信部と、前記受信部で受信した前記座標情報に基づく画像を生成して、第１表示面に表示させる表示制御部と、を備えることを特徴とする。
本構成によれば、入力装置と、表示装置とが分離した構成において、入力装置の処理負荷を軽減することができる。 In order to achieve the above object, a display system of the present invention is a display system having an input device and a display device, wherein the input device detects an operation on the operation surface and operates on the operation surface. And a transmission unit that transmits the coordinate information generated by the generation unit, and the display device receives the coordinate information, and the reception unit receives the coordinate information. A display control unit configured to generate an image based on the coordinate information and display the image on the first display surface.
According to this configuration, the processing load on the input device can be reduced in a configuration in which the input device and the display device are separated.

上記表示システムにおいて、前記表示装置は、前記入力装置の備える第２表示面の表示領域と、前記第１表示面の表示領域との対応を定める対応情報を記憶した記憶部を有し、前記表示制御部は、前記対応情報に従って前記座標情報に基づく画像を生成し、前記第１表示面に表示させることを特徴とする。
本構成によれば、表示装置において、入力装置から送信された座標情報に基づく画像を、対応情報に従って生成し、第１表示面に表示させることができる。 In the display system, the display device includes a storage unit that stores correspondence information that defines a correspondence between a display area of the second display surface of the input device and a display area of the first display surface, and the display The control unit generates an image based on the coordinate information according to the correspondence information, and displays the image on the first display surface.
According to this configuration, in the display device, an image based on the coordinate information transmitted from the input device can be generated according to the correspondence information and displayed on the first display surface.

上記表示システムにおいて、前記表示装置は、前記入力装置に、画像データを送信する送信部を備え、前記入力装置は、前記画像データを受信する受信部と、前記受信部で受信した前記画像データに基づく画像を、前記操作面に重ねて配置された第２表示面に表示する表示部と、を有することを特徴とする。
本構成によれば、画像が表示された第２表示面に対して操作を行うことで、操作面に対する操作を行うことができ、携帯端末において直感的な操作が可能となる。 In the display system, the display device includes a transmission unit that transmits image data to the input device. The input device receives a reception unit that receives the image data, and the image data received by the reception unit. And a display unit that displays an image based on a second display surface arranged to overlap the operation surface.
According to this configuration, by performing an operation on the second display surface on which an image is displayed, an operation on the operation surface can be performed, and an intuitive operation can be performed on the mobile terminal.

上記表示システムにおいて、前記表示装置は、前記画像データとして、前記第１表示面に表示された画像の少なくとも一部分の画像データを前記入力装置に送信することを特徴とする。
本構成によれば、第１表示面に表示された画像の一部の画像データを入力装置において表示することができる。 In the display system, the display device transmits image data of at least a part of an image displayed on the first display surface to the input device as the image data.
According to this configuration, a part of the image data displayed on the first display surface can be displayed on the input device.

上記表示システムにおいて、前記表示装置は、前記第１表示面に表示された画像から選択された一部の画像に対応する画像データを前記入力装置に送信することを特徴とする。
本構成によれば、第１表示面に表示された画像から選択された一部の画像を入力装置において表示することができる。 In the display system, the display device transmits image data corresponding to a part of the images selected from the images displayed on the first display surface to the input device.
According to this configuration, a part of the images selected from the images displayed on the first display surface can be displayed on the input device.

上記表示システムにおいて、前記表示装置は、前記座標情報に基づく画像を表示させる、前記第１表示面の表示領域を表す画像データを、前記画像データとして前記入力装置に送信することを特徴とする。
本構成によれば、画像が表示される第１表示面の表示領域を表す画像データを入力装置において表示させることができる。 In the display system, the display device transmits image data representing a display area of the first display surface, which displays an image based on the coordinate information, to the input device as the image data.
According to this configuration, image data representing the display area of the first display surface on which an image is displayed can be displayed on the input device.

上記表示システムにおいて、前記表示制御部は、前記座標情報が、画像を拡大又は縮小させる操作情報である場合に、前記第１表示面に表示させる画像を前記操作情報に応じて拡大又は縮小させることを特徴とする。
本構成によれば、入力装置からの操作により、第１表示面に表示された画像を拡大又は縮小させることができる。 In the display system, the display control unit enlarges or reduces an image to be displayed on the first display surface according to the operation information when the coordinate information is operation information for enlarging or reducing the image. It is characterized by.
According to this configuration, the image displayed on the first display surface can be enlarged or reduced by an operation from the input device.

本発明の表示装置は、画像データに基づく画像を第１表示面に表示させる表示装置であって、外部の装置から送信される、前記外部の装置の備える第２表示面における座標情報を受信する受信部と、前記第２表示面の表示領域と、前記第１表示面の表示領域との対応を定める対応情報を記憶した記憶部と、前記対応情報に従って、前記座標情報に基づく画像を生成して、前記第１表示面に表示させる表示制御部とを備えることを特徴とする。
本構成によれば、外部の装置で入力された操作情報に基づく画像を表示装置において表示させる場合に、外部の装置の処理負荷を軽減させることができる。 The display device of the present invention is a display device that displays an image based on image data on a first display surface, and receives coordinate information on a second display surface of the external device, which is transmitted from the external device. An image based on the coordinate information is generated according to the correspondence information, a storage unit that stores correspondence information that defines correspondence between the receiving unit, the display region of the second display surface, and the display region of the first display surface. And a display control unit for displaying on the first display surface.
According to this configuration, when an image based on operation information input from an external device is displayed on the display device, the processing load on the external device can be reduced.

本発明の表示制御方法は、入力装置と、表示装置とを有する表示システムにおける表示制御方法であって、前記入力装置において、操作面に対する操作を検出して、前記操作面における操作位置の座標情報を生成する生成ステップと、前記生成ステップにおいて生成した座標情報を送信する送信ステップと、を有し、前記表示装置において、前記座標情報を受信する受信ステップと、前記受信ステップにおいて受信した前記座標情報に基づく画像を生成して、第１表示面に表示させる表示ステップと、を有することを特徴とする。
本構成によれば、入力装置と、表示装置とが分離した構成において、入力装置の処理負荷を軽減することができる。 The display control method of the present invention is a display control method in a display system having an input device and a display device, wherein the input device detects an operation on the operation surface and coordinates information of an operation position on the operation surface. And a transmitting step for transmitting the coordinate information generated in the generating step. In the display device, the receiving step for receiving the coordinate information, and the coordinate information received in the receiving step. A display step of generating an image based on the first display surface and displaying the generated image on the first display surface.
According to this configuration, the processing load on the input device can be reduced in a configuration in which the input device and the display device are separated.

本発明によれば、入力装置と、表示装置とが分離した構成において、入力装置の処理負荷を軽減する効果を奏する。   According to the present invention, in the configuration in which the input device and the display device are separated, there is an effect of reducing the processing load of the input device.

表示システムの構成の一例を示す構成図である。It is a block diagram which shows an example of a structure of a display system. 第１実施形態の携帯端末の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the portable terminal of 1st Embodiment. プロジェクターの構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of a projector. スクリーンＳＣに表示される画像の一例を示す図である。It is a figure which shows an example of the image displayed on the screen SC. 携帯端末より入力された画像を、プロジェクターによりスクリーンに投射した状態を示す図である。It is a figure which shows the state which projected the image input from the portable terminal on the screen with the projector. プロジェクター及び携帯端末の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of a projector and a portable terminal. 座標変換テーブルの一例を示す図である。It is a figure which shows an example of a coordinate conversion table.

［第１実施形態］
以下、添付図面を参照して本発明の実施形態について説明する。
図１に、本実施形態の表示システム１の概略構成を示す。本実施形態の表示システム１は、入力装置としての複数の携帯端末１０Ａ、１０Ｂ、１０Ｃ、・・・と、表示装置としてのプロジェクター１００とを備えている。なお、図１には、３台の携帯端末１０Ａ、１０Ｂ、１０Ｃを示すが、携帯端末１０Ａ、１０Ｂ、１０Ｃの数は３台に限られず、１台であってもよいし、４台以上であってもよい。また、携帯端末１０Ａ、１０Ｂ、１０Ｃを区別する必要がない場合には、携帯端末１０と表記する。 [First Embodiment]
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
FIG. 1 shows a schematic configuration of a display system 1 of the present embodiment. The display system 1 of this embodiment includes a plurality of portable terminals 10A, 10B, 10C,... As input devices and a projector 100 as a display device. Although FIG. 1 shows three mobile terminals 10A, 10B, and 10C, the number of mobile terminals 10A, 10B, and 10C is not limited to three, and may be one or four or more. There may be. Further, when it is not necessary to distinguish between the mobile terminals 10A, 10B, and 10C, they are expressed as the mobile terminal 10.

携帯端末１０とプロジェクター１００とは、無線通信方式によって各種データを送受信可能に接続されている。この無線通信方式には、例えば無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ（Ultra Wide Band）、赤外線通信等の近距離無線通信方式や、携帯電話回線を利用した無線通信方式を採用することができる。プロジェクター１００は、複数の携帯端末１０に接続して、これらの携帯端末１０と通信することができる。
携帯端末１０は、ユーザーが手に持って操作する小型の装置であり、例えば、スマートフォン等の携帯電話、タブレット端末、ＰＤＡ（Personal Digital Assistants）等の装置である。携帯端末１０は、スイッチ等の操作子に対する操作のほか、表示パネル（第２表示面）５２の表面にユーザーが手指を接触させ、この接触位置をタッチスクリーン（操作面）５３に検出させることで、操作できる。
プロジェクター１００は、スクリーンＳＣ（第１表示面）に対して画像を投射する装置である。プロジェクター１００が画像を投射するスクリーンＳＣはほぼ直立しており、スクリーン面は、例えば、矩形形状である。プロジェクター１００は、動画像をスクリーンＳＣに投射することも、静止画像をスクリーンＳＣに投射し続けることもできる。 The portable terminal 10 and the projector 100 are connected so as to be able to transmit and receive various data by a wireless communication method. As this wireless communication system, for example, a short-range wireless communication system such as a wireless local area network (LAN), Bluetooth (registered trademark), UWB (Ultra Wide Band), infrared communication, or a wireless communication system using a mobile phone line is used. Can be adopted. The projector 100 can connect to and communicate with a plurality of mobile terminals 10.
The mobile terminal 10 is a small device that a user holds and operates. For example, the mobile terminal 10 is a mobile phone such as a smartphone, a tablet terminal, or a PDA (Personal Digital Assistants). The mobile terminal 10 allows the user to touch the surface of the display panel (second display surface) 52 with a finger and detect the contact position on the touch screen (operation surface) 53 in addition to operations on the operation elements such as switches. Can be operated.
The projector 100 is a device that projects an image onto a screen SC (first display surface). The screen SC on which the projector 100 projects an image is almost upright, and the screen surface has, for example, a rectangular shape. The projector 100 can project a moving image onto the screen SC or can continue to project a still image onto the screen SC.

携帯端末１０の構成について説明する。図２に、携帯端末１０の機能的構成の一例を示す。
携帯端末１０は、携帯端末１０の各部を制御する制御部２０を備える。制御部２０は、図示しないＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備え、ＲＯＭに記憶した基本制御プログラムをＣＰＵにより実行して、携帯端末１０を制御する。また、制御部２０は、記憶部３０に記憶されたアプリケーションプログラム３１を実行することにより、後述する表示制御部２１、通信制御部２２として機能する（以下、これらを機能ブロックと呼ぶ）。 A configuration of the mobile terminal 10 will be described. FIG. 2 shows an example of a functional configuration of the mobile terminal 10.
The mobile terminal 10 includes a control unit 20 that controls each unit of the mobile terminal 10. The control unit 20 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like (not shown), and controls the mobile terminal 10 by executing a basic control program stored in the ROM by the CPU. To do. In addition, the control unit 20 functions as a display control unit 21 and a communication control unit 22 (to be described later) by executing the application program 31 stored in the storage unit 30 (hereinafter referred to as function blocks).

携帯端末１０は、記憶部３０を備えている。記憶部３０は、フラッシュメモリー、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）等の不揮発性の記憶装置であり、制御部２０に接続している。記憶部３０には、アプリケーションプログラム３１を含む各種プログラムや、プロジェクター１００から受信した画像データ３２等が記憶されている。また、記憶部３０は、端末識別情報３３を記憶している。端末識別情報３３は、プロジェクター１００との間で携帯端末１０を識別するためのデータであり、具体的には、個々の携帯端末１０を識別するために各携帯端末１０に固有のシリアル番号や、プロジェクター１００との間で共有する認証コード等である。   The mobile terminal 10 includes a storage unit 30. The storage unit 30 is a non-volatile storage device such as a flash memory or an EEPROM (Electronically Erasable and Programmable Read Only Memory), and is connected to the control unit 20. The storage unit 30 stores various programs including the application program 31, image data 32 received from the projector 100, and the like. The storage unit 30 stores terminal identification information 33. The terminal identification information 33 is data for identifying the portable terminal 10 with the projector 100. Specifically, in order to identify each portable terminal 10, a serial number unique to each portable terminal 10, This is an authentication code shared with the projector 100.

携帯端末１０は、無線通信部４０を備えている。無線通信部４０は、アンテナやＲＦ（Radio Frequency）回路（不図示）等を備え、制御部２０に接続されている。無線通信部４０は、制御部２０によって制御され、プロジェクター１００との間で上述した無線通信方式に準じて各種データを送受信する。   The mobile terminal 10 includes a wireless communication unit 40. The wireless communication unit 40 includes an antenna, an RF (Radio Frequency) circuit (not shown), and the like, and is connected to the control unit 20. The wireless communication unit 40 is controlled by the control unit 20 and transmits / receives various data to / from the projector 100 according to the wireless communication method described above.

携帯端末１０は、表示部５１を備える。表示部５１は、表示パネル５２を備え、制御部２０に接続している。表示部５１は、制御部２０から入力した画像データに基づいて、不図示の描画メモリーに表示パネル５２の表示解像度に合わせたフレームを描画し、描画したフレームに基づき表示パネル５２に画像を表示させる。   The mobile terminal 10 includes a display unit 51. The display unit 51 includes a display panel 52 and is connected to the control unit 20. The display unit 51 draws a frame according to the display resolution of the display panel 52 in a drawing memory (not shown) based on the image data input from the control unit 20, and causes the display panel 52 to display an image based on the drawn frame. .

また、携帯端末１０は、タッチスクリーン５３と、スイッチ部５４と、操作検出部（検出部）５５とを備えている。タッチスクリーン５３は、表示パネル５２への接触操作を検出して、検出した操作位置を示す位置信号を操作検出部５５に出力する。操作検出部５５は、タッチスクリーン５３から入力した位置信号に基づいて、タッチスクリーン５３上の座標を示す座標情報を生成し、制御部２０に出力する。また、スイッチ部５４は、スイッチ等の各操作子を備え、スイッチが操作された場合に操作信号を操作検出部５５に出力する。操作検出部５５は、スイッチ部５４から入力された操作信号に基づいて、操作された操作子に対応する操作情報を生成して制御部２０に出力する。
制御部２０は、操作検出部５５から入力した座標情報又は操作情報に基づいて、表示パネル５２に対する接触操作、スイッチを含む各操作子の操作、及び携帯端末１０の本体を動かす操作を検出することができる。 The mobile terminal 10 includes a touch screen 53, a switch unit 54, and an operation detection unit (detection unit) 55. The touch screen 53 detects a touch operation on the display panel 52 and outputs a position signal indicating the detected operation position to the operation detection unit 55. The operation detection unit 55 generates coordinate information indicating coordinates on the touch screen 53 based on the position signal input from the touch screen 53 and outputs the coordinate information to the control unit 20. The switch unit 54 includes operation elements such as switches, and outputs an operation signal to the operation detection unit 55 when the switch is operated. The operation detection unit 55 generates operation information corresponding to the operated operator based on the operation signal input from the switch unit 54 and outputs the operation information to the control unit 20.
Based on the coordinate information or operation information input from the operation detection unit 55, the control unit 20 detects a contact operation on the display panel 52, an operation of each operator including a switch, and an operation of moving the main body of the mobile terminal 10. Can do.

次に、制御部２０の備える機能ブロックについて説明する。
表示制御部２１は、表示部５１を制御して、表示パネル５２に各種画面を表示させる。表示制御部２１は、記憶部３０から画像データ３２を読み出して、又は無線通信部４０を介して受信した画像データを表示部５１に出力する。表示部５１は、入力した画像データに基づいて、不図示の描画メモリーに表示パネル５２の表示解像度に合わせたフレームを描画し、描画したフレームに基づき表示パネル５２を駆動する。
また、表示制御部２１は、操作検出部５５から座標情報を入力する。表示制御部２１は、操作検出部５５から入力した座標情報に基づいて、タッチパネルの操作に特有の操作を検出する。例えば、表示パネル５２に対するピンチイン、ピンチアウト等の操作を検出する。ピンチイン操作とは、表示パネル５２上で、２本の指を摘むように近づける操作であり、ピンチアウト操作とは、表示パネル５２上で、２本の指を遠ざけていく操作である。表示制御部２１は、ピンチイン、ピンチアウト等の操作を検出した場合には、検出した操作を示すタッチ操作情報を生成し、生成したタッチ操作情報と操作検出部５５から入力した座標情報とを含む制御データを生成して、通信制御部２２に渡す。 Next, functional blocks provided in the control unit 20 will be described.
The display control unit 21 controls the display unit 51 to display various screens on the display panel 52. The display control unit 21 reads the image data 32 from the storage unit 30 or outputs the image data received via the wireless communication unit 40 to the display unit 51. The display unit 51 draws a frame according to the display resolution of the display panel 52 in a drawing memory (not shown) based on the input image data, and drives the display panel 52 based on the drawn frame.
In addition, the display control unit 21 inputs coordinate information from the operation detection unit 55. The display control unit 21 detects an operation specific to the operation of the touch panel based on the coordinate information input from the operation detection unit 55. For example, operations such as pinch-in and pinch-out on the display panel 52 are detected. The pinch-in operation is an operation for bringing two fingers close together on the display panel 52, and the pinch-out operation is an operation for moving the two fingers away on the display panel 52. When detecting operations such as pinch-in and pinch-out, the display control unit 21 generates touch operation information indicating the detected operation, and includes the generated touch operation information and coordinate information input from the operation detection unit 55. Control data is generated and passed to the communication control unit 22.

通信制御部２２は、無線通信部４０を制御してプロジェクター１００と無線通信を行う。通信制御部２２は、プロジェクター１００に接続した後に、記憶部１５１から読み出した端末識別情報や、制御部２０から渡された情報を、無線通信部４０を介してプロジェクター１００に送信する。また、通信制御部２２は、プロジェクター１００から受信した画像データ等のデータを記憶部３０に記憶させる。   The communication control unit 22 controls the wireless communication unit 40 to perform wireless communication with the projector 100. After connecting to the projector 100, the communication control unit 22 transmits terminal identification information read from the storage unit 151 and information passed from the control unit 20 to the projector 100 via the wireless communication unit 40. In addition, the communication control unit 22 causes the storage unit 30 to store data such as image data received from the projector 100.

次に、プロジェクター１００の構成について説明する。図３に、プロジェクター１００の機能的構成の一例を示す。
プロジェクター１００は、インターフェイス部（以下、Ｉ／Ｆと略記する）１２４を備えている。プロジェクター１００は、Ｉ／Ｆ部１２４を介して画像供給装置に接続している。Ｉ／Ｆ部１２４には、例えば、デジタル映像信号が入力されるＤＶＩインターフェイス、ＵＳＢインターフェイス、ＬＡＮインターフェイス等を用いることができる。また、Ｉ／Ｆ部１２４には、例えば、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子等を用いることができる。さらに、Ｉ／Ｆ部１２４には、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等の汎用インターフェイスを用いることができる。また、Ｉ／Ｆ部１２４は、アナログ映像信号をデジタル画像データに変換するＡ／Ｄ変換回路を有し、ＶＧＡ端子等のアナログ映像端子により画像供給装置に接続される構成としてもよい。なお、Ｉ／Ｆ部１２４は、有線通信によって画像信号の送受信を行ってもよく、無線通信によって画像信号の送受信を行ってもよい。 Next, the configuration of the projector 100 will be described. FIG. 3 shows an example of a functional configuration of the projector 100.
The projector 100 includes an interface unit (hereinafter abbreviated as I / F) 124. The projector 100 is connected to the image supply device via the I / F unit 124. For the I / F unit 124, for example, a DVI interface, a USB interface, a LAN interface, or the like to which a digital video signal is input can be used. In addition, the I / F unit 124 includes, for example, an S video terminal to which a composite video signal such as NTSC, PAL, or SECAM is input, an RCA terminal to which a composite video signal is input, a D terminal to which a component video signal is input, or the like. Can be used. Furthermore, a general-purpose interface such as an HDMI connector conforming to the HDMI (registered trademark) standard can be used for the I / F unit 124. The I / F unit 124 may include an A / D conversion circuit that converts an analog video signal into digital image data, and may be configured to be connected to the image supply device through an analog video terminal such as a VGA terminal. Note that the I / F unit 124 may perform transmission / reception of image signals by wired communication or may perform transmission / reception of image signals by wireless communication.

プロジェクター１００は、大きく分けて光学的な画像の形成を行う投射部１１０と、この投射部１１０に入力される画像信号を電気的に処理する画像処理系とを備えている。投射部１１０は、光源部１１１、液晶パネル１１２Ａを備えた光変調装置１１２及び投射光学系１１３を備えている。   The projector 100 includes a projection unit 110 that performs optical image formation roughly and an image processing system that electrically processes an image signal input to the projection unit 110. The projection unit 110 includes a light source unit 111, a light modulation device 112 including a liquid crystal panel 112A, and a projection optical system 113.

光源部１１１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）レーザー等からなる光源を備えている。また、光源部１１１は、光源が発した光を光変調装置１１２に導くリフレクター及び補助リフレクターを備えていてもよい。また、光源部１１１は、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、又は光源が発した光の光量を光変調装置１１２に至る経路上で低減させる調光素子等を備えたものであってもよい。   The light source unit 111 includes a light source including a xenon lamp, an ultra-high pressure mercury lamp, an LED (Light Emitting Diode) laser, and the like. The light source unit 111 may include a reflector and an auxiliary reflector that guide light emitted from the light source to the light modulation device 112. The light source unit 111 is a lens group (not shown) for enhancing the optical characteristics of the projection light, a polarizing plate, a light control element that reduces the amount of light emitted from the light source on the path to the light modulation device 112, or the like. It may be provided.

光変調装置１１２は、例えば、透過型の液晶パネル１１２Ａを備え、この液晶パネル１１２Ａに後述する画像処理系からの信号を受けて画像を形成する。この場合、光変調装置１１２は、カラーの投影を行うため、ＲＧＢの三原色に対応した３枚の液晶パネル１１２Ａを備え、光源部１１１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネル１１２Ａに入射する。各液晶パネル１１２Ａを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系１１３に射出される。
なお、光変調装置１１２は、透過型の液晶パネル１１２Ａを３枚用いた構成に限らず、例えば３枚の反射型の液晶パネルを用いることも可能である。また、光変調装置１１２は、１枚の液晶パネルとカラーホイールを組み合わせた方式、３枚のＤＭＤ（Digital Mirror Device）を用いた方式、１枚のＤＭＤとカラーホイールを組み合わせた方式等により構成してもよい。ここで、光変調装置１１２として１枚のみの液晶パネル１１２Ａ又はＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル１１２Ａ及びＤＭＤ以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。 The light modulation device 112 includes, for example, a transmissive liquid crystal panel 112A, and forms an image on the liquid crystal panel 112A in response to a signal from an image processing system described later. In this case, the light modulation device 112 includes three liquid crystal panels 112A corresponding to the three primary colors of RGB in order to perform color projection, and the light from the light source unit 111 is separated into three color lights of RGB. Is incident on the corresponding liquid crystal panel 112A. The color light modulated by passing through each liquid crystal panel 112 </ b> A is combined by a combining optical system such as a cross dichroic prism and emitted to the projection optical system 113.
The light modulation device 112 is not limited to a configuration using three transmissive liquid crystal panels 112A, and for example, three reflective liquid crystal panels may be used. In addition, the light modulation device 112 is configured by a system using a single liquid crystal panel and a color wheel, a system using three DMDs (Digital Mirror Device), a system using a single DMD and a color wheel, and the like. May be. Here, when only one liquid crystal panel 112A or DMD is used as the light modulation device 112, a member corresponding to a composite optical system such as a cross dichroic prism is unnecessary. In addition to the liquid crystal panel 112A and the DMD, any configuration that can modulate the light emitted from the light source can be used without any problem.

投射光学系１１３は、光変調装置１１２で変調された入射光を、具備する投射レンズを用いてスクリーンＳＣ上に投射し、結像させる。   The projection optical system 113 projects the incident light modulated by the light modulation device 112 on the screen SC using a projection lens provided, and forms an image.

投射部１１０には、制御部１３０の制御に従って投射光学系１１３が備える各モーターを駆動する投射光学系駆動部１２１、及び制御部１３０の制御に従って光源部１１１が備える光源を駆動する光源駆動部１２２が接続されている。投射光学系駆動部１２１及び光源駆動部１２２は、バス１０５に接続している。   The projection unit 110 includes a projection optical system driving unit 121 that drives each motor included in the projection optical system 113 according to the control of the control unit 130, and a light source driving unit 122 that drives a light source included in the light source unit 111 according to the control of the control unit 130. Is connected. The projection optical system driving unit 121 and the light source driving unit 122 are connected to the bus 105.

プロジェクター１００は、無線通信部１５６を備えている。無線通信部１５６は、バス１０５に接続している。無線通信部１５６は、図示しないアンテナやＲＦ（Radio Frequency）回路等を備え、制御部１３０の制御の下、携帯端末１０との間で無線通信規格に準拠して通信する。プロジェクター１００と携帯端末１０とは、無線通信方式によって各種データを送受信可能に接続されている。   The projector 100 includes a wireless communication unit 156. The wireless communication unit 156 is connected to the bus 105. The wireless communication unit 156 includes an antenna (not shown), an RF (Radio Frequency) circuit, and the like, and communicates with the mobile terminal 10 in accordance with a wireless communication standard under the control of the control unit 130. The projector 100 and the portable terminal 10 are connected so as to be able to transmit and receive various data by a wireless communication method.

プロジェクター１００の備える画像処理系は、プロジェクター１００全体を統合的に制御する制御部１３０を中心に構成され、その他に、記憶部１５１、画像処理部１２５、光変調装置駆動部１２３、入力処理部１５３を備えている。制御部１３０、記憶部１５１、入力処理部１５３、画像処理部１２５及び光変調装置駆動部１２３は、それぞれバス１０５に接続している。   The image processing system included in the projector 100 is configured around a control unit 130 that controls the entire projector 100 in an integrated manner, and in addition, a storage unit 151, an image processing unit 125, a light modulation device driving unit 123, and an input processing unit 153. It has. The control unit 130, the storage unit 151, the input processing unit 153, the image processing unit 125, and the light modulation device driving unit 123 are each connected to the bus 105.

制御部１３０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＲＯＭに記憶した基本制御プログラムをＣＰＵにより実行して、プロジェクター１００を制御する。また、制御部１３０は、記憶部１５１に記憶されたアプリケーションプログラム３１を実行することにより、後述する投射制御部１３１、通信制御部１３２、表示制御部１３３として機能する（以下、これらを機能ブロックと呼ぶ）。   The control unit 130 includes a CPU, ROM, RAM, and the like (not shown), and controls the projector 100 by executing a basic control program stored in the ROM by the CPU. The control unit 130 also functions as a projection control unit 131, a communication control unit 132, and a display control unit 133, which will be described later, by executing the application program 31 stored in the storage unit 151 (hereinafter, these are referred to as functional blocks). Call).

記憶部１５１は、フラッシュメモリー、ＥＥＰＲＯＭ等の不揮発性のメモリーである。記憶部１５１は、プロジェクター１００の制御に使用される制御プログラムや、画像データ等を記憶する。また、記憶部１５１は、携帯端末１０から送信される、携帯端末１０の端末識別情報１５１１を記憶する。また、記憶部１５１は、携帯端末１０から送信される、携帯端末１０の備える表示パネル５２の解像度の情報である解像度情報１５１２を記憶する。解像度情報１５１２には、表示パネル５２の画面の縦横の画素数、アスペクト比等の情報等が含まれる。解像度情報１５１２は、携帯端末１０の備える表示パネル５２の表示領域と、液晶パネル１１２Ａのパネル面の領域との対応を定める対応情報に含まれる情報である。   The storage unit 151 is a non-volatile memory such as a flash memory or an EEPROM. The storage unit 151 stores a control program used for controlling the projector 100, image data, and the like. In addition, the storage unit 151 stores the terminal identification information 1511 of the mobile terminal 10 transmitted from the mobile terminal 10. In addition, the storage unit 151 stores resolution information 1512 that is transmitted from the mobile terminal 10 and is information about the resolution of the display panel 52 included in the mobile terminal 10. The resolution information 1512 includes information such as the number of vertical and horizontal pixels of the screen of the display panel 52, the aspect ratio, and the like. The resolution information 1512 is information included in correspondence information that defines the correspondence between the display area of the display panel 52 included in the mobile terminal 10 and the area of the panel surface of the liquid crystal panel 112A.

画像処理部１２５は、外部の画像供給装置や、表示制御部１３３から入力した画像データを、光変調装置１１２の液晶パネル１１２Ａの仕様に適合した解像度のデータに変換する解像度変換処理等を実行する。また、画像処理部１２５は、光変調装置１１２により表示する表示用画像をフレームメモリー１２６に描画して、描画した表示用画像を光変調装置駆動部１２３に出力する。光変調装置駆動部１２３は、画像処理部１２５から入力した表示用画像に基づいて、光変調装置１１２を駆動する。これにより、光変調装置１１２の液晶パネル１１２Ａに画像が描画され、描画された画像が、投射光学系１１３を介してスクリーンＳＣ上に投射画像として投射される。   The image processing unit 125 executes resolution conversion processing that converts image data input from an external image supply device or the display control unit 133 into data having a resolution that conforms to the specifications of the liquid crystal panel 112A of the light modulation device 112. . Further, the image processing unit 125 draws the display image displayed by the light modulation device 112 in the frame memory 126 and outputs the drawn display image to the light modulation device driving unit 123. The light modulation device driving unit 123 drives the light modulation device 112 based on the display image input from the image processing unit 125. As a result, an image is drawn on the liquid crystal panel 112A of the light modulation device 112, and the drawn image is projected as a projection image on the screen SC via the projection optical system 113.

プロジェクター１００の本体には、ユーザーが操作を行うための各種スイッチ及びインジケーターランプを備えた操作パネル１５５が配置されている。操作パネル１５５は、入力処理部１５３に接続されている。入力処理部１５３は、制御部１３０の制御に従い、プロジェクター１００の動作状態や設定状態に応じて操作パネル１５５のインジケーターランプを適宜点灯或いは点滅させる。操作パネル１５５のスイッチが操作されると、操作されたスイッチに対応する操作信号が入力処理部１５３から制御部１３０に出力される。
また、プロジェクター１００は、ユーザーが使用するリモコン（不図示）を有する。リモコンは各種のボタンを備えており、これらのボタンの操作に対応して赤外線信号を送信する。プロジェクター１００の本体には、リモコンが発する赤外線信号を受光するリモコン受光部１５４が配置されている。リモコン受光部１５４は、リモコンから受光した赤外線信号をデコードして、リモコンにおける操作内容を示す操作信号を生成し、制御部１３０に出力する。 In the main body of the projector 100, an operation panel 155 including various switches and indicator lamps for operation by a user is disposed. The operation panel 155 is connected to the input processing unit 153. The input processing unit 153 appropriately turns on or blinks the indicator lamp of the operation panel 155 according to the operation state or setting state of the projector 100 according to the control of the control unit 130. When a switch on the operation panel 155 is operated, an operation signal corresponding to the operated switch is output from the input processing unit 153 to the control unit 130.
Further, the projector 100 has a remote control (not shown) used by the user. The remote control includes various buttons, and transmits an infrared signal corresponding to the operation of these buttons. In the main body of the projector 100, a remote control light receiving unit 154 that receives an infrared signal emitted from the remote control is disposed. The remote control light receiving unit 154 decodes the infrared signal received from the remote control, generates an operation signal indicating the operation content on the remote control, and outputs the operation signal to the control unit 130.

次に、制御部１３０の備える機能ブロックについて説明する。
投射制御部１３１は、画像処理部１２５を制御して、Ｉ／Ｆ部１２４を介して画像供給装置から供給された画像データや、表示制御部１３３で生成された画像データに基づいてフレームメモリー１２６に画像を描画させる。また、投射制御部１３１は、光変調装置駆動部１２３を制御して、フレームメモリー１２６に描画された画像を光変調装置１１２の液晶パネル１１２Ａに描画させる。光変調装置１１２の液晶パネル１１２Ａに描画された画像が、投射光学系１１３を介してスクリーンＳＣ上に投射画像として投射される。 Next, functional blocks provided in the control unit 130 will be described.
The projection control unit 131 controls the image processing unit 125, and based on the image data supplied from the image supply device via the I / F unit 124 and the image data generated by the display control unit 133, the frame memory 126. To draw an image. In addition, the projection control unit 131 controls the light modulation device driving unit 123 to draw the image drawn in the frame memory 126 on the liquid crystal panel 112 </ b> A of the light modulation device 112. An image drawn on the liquid crystal panel 112 </ b> A of the light modulation device 112 is projected as a projection image on the screen SC via the projection optical system 113.

通信制御部１３２は、無線通信部１５６を制御して携帯端末１０と無線通信を行う。通信制御部１３２は、携帯端末１０に接続されると、携帯端末１０に、携帯端末１０の端末識別情報の送信を要求する。携帯端末１０は、プロジェクター１００からの要求に従って、携帯端末１０の端末識別情報３３をプロジェクター１００に送信する。通信制御部１３２は、受信した情報を端末識別情報１５１１として記憶部１５１に記憶させる。また、通信制御部１３２は、携帯端末１０の端末識別情報１５１１を取得すると、携帯端末１０の備える表示パネル５２の解像度情報の取得要求を携帯端末１０に送信する。携帯端末１０は、プロジェクター１００からの要求に従って、表示パネル５２の解像度情報をプロジェクター１００に送信する。通信制御部１３２は、取得した情報を解像度情報１５１２として記憶部１５１に記憶させる。   The communication control unit 132 controls the wireless communication unit 156 to perform wireless communication with the mobile terminal 10. When connected to the mobile terminal 10, the communication control unit 132 requests the mobile terminal 10 to transmit terminal identification information of the mobile terminal 10. The mobile terminal 10 transmits the terminal identification information 33 of the mobile terminal 10 to the projector 100 according to the request from the projector 100. The communication control unit 132 stores the received information as terminal identification information 1511 in the storage unit 151. When the communication control unit 132 acquires the terminal identification information 1511 of the mobile terminal 10, the communication control unit 132 transmits an acquisition request for resolution information of the display panel 52 included in the mobile terminal 10 to the mobile terminal 10. The mobile terminal 10 transmits resolution information of the display panel 52 to the projector 100 in accordance with a request from the projector 100. The communication control unit 132 stores the acquired information in the storage unit 151 as resolution information 1512.

表示制御部１３３は、スクリーンＳＣに投射中の画像（以下、投射画像という）のうち、ユーザーによって選択された領域の画像を、選択された携帯端末１０に送信する。
まず、表示制御部１３３は、投射画像の画像データ（以下、投射画像データという）を画像処理部１２５から取得する。また、表示制御部１３３は、携帯端末１０に送信する投射画像の領域の選択を受け付ける。例えば、表示制御部１３３は、図４に示す操作枠２００を生成し、投射画像に重畳させてスクリーンＳＣに投射させる。この操作枠２００は、操作パネル１５５又はリモコンの操作によって、スクリーンＳＣ上を自由に移動させることができ、また、操作枠２００のサイズを自由に変更することができる。表示制御部１３３は、操作パネル１５５又はリモコンで受け付けた操作入力に従って、スクリーンＳＣに投射させる操作枠２００の表示位置やサイズを変更する。ユーザーは、操作パネル１５５又はリモコンの操作によって、操作枠２００を、投射画像上の選択する領域に移動させて、操作パネル１５５又はリモコンの確定ボタンを押下する。表示制御部１３３は、確定ボタンの操作入力を受け付けた際に、操作枠２００内に表示されている投射画像の領域を選択された領域（以下、選択領域という）と判定する。 The display control unit 133 transmits an image of an area selected by the user among images being projected on the screen SC (hereinafter referred to as a projection image) to the selected mobile terminal 10.
First, the display control unit 133 acquires image data of a projection image (hereinafter referred to as projection image data) from the image processing unit 125. In addition, the display control unit 133 accepts selection of a region of a projection image that is transmitted to the mobile terminal 10. For example, the display control unit 133 generates the operation frame 200 illustrated in FIG. 4 and causes the operation frame 200 to be superimposed on the projection image and projected onto the screen SC. The operation frame 200 can be freely moved on the screen SC by the operation of the operation panel 155 or the remote controller, and the size of the operation frame 200 can be freely changed. The display control unit 133 changes the display position and size of the operation frame 200 to be projected on the screen SC according to the operation input received by the operation panel 155 or the remote controller. The user moves the operation frame 200 to a region to be selected on the projection image by operating the operation panel 155 or the remote control, and presses the confirmation button on the operation panel 155 or the remote control. The display control unit 133 determines that the area of the projection image displayed in the operation frame 200 is a selected area (hereinafter referred to as a selection area) when receiving an operation input of the confirmation button.

また、表示制御部１３３は、操作枠２００の操作により選択された画像を送信する携帯端末１０の選択入力を受け付ける。例えば、表示制御部１３３は、操作パネル１５５やスクリーンＳＣに、通信可能な携帯端末１０の識別情報を表示した表示領域２５０を表示させて、ユーザーからの操作パネル１５５やリモコンの操作入力を受け付ける。   Further, the display control unit 133 accepts a selection input of the mobile terminal 10 that transmits an image selected by operating the operation frame 200. For example, the display control unit 133 displays the display area 250 displaying the identification information of the communicable mobile terminal 10 on the operation panel 155 or the screen SC, and accepts an operation input from the user on the operation panel 155 or the remote control.

表示制御部１３３は、携帯端末１０に送信する選択領域の選択と、選択領域の画像を送信する携帯端末１０との選択入力を受け付けると、投射画像の画像データから選択領域の画像データ（以下、部分画像データと呼ぶ）を切り出す。部分画像データは、投射画像データの少なくとも一部分の画像データであり、投射画像データの全部であってもよい。また、表示制御部１３３は、部分画像データを切り出した投射画像データ中の位置を示す位置情報を記憶部１５１に記憶させる。位置情報は、携帯端末１０の備える表示パネル５２の表示領域と、液晶パネル１１２Ａのパネル面の領域との対応を定める対応情報に含まれる情報である。また、プロジェクター１００に複数の携帯端末１０Ａ，１０Ｂ，１０Ｃが接続されている場合、位置情報は、携帯端末１０Ａ，１０Ｂ，１０Ｃごとに設定されてもよい。また、例えば、携帯端末１０Ａと携帯端末１０Ｂといった複数の携帯端末１０に同一の位置情報を設定してもよい。この場合、携帯端末１０Ａと携帯端末１０Ｂとの表示パネル５２には、同一の部分画像データが表示されることとなる。
次に、表示制御部１３３は、切り出した部分画像データのサイズを変換する。表示制御部１３３は、第１部分画像データの送信相手となる携帯端末１０の具備する表示パネル５２の解像度情報を記憶部１５１から取得する。表示制御部１３３は、取得した解像度情報１５１２に従って、部分画像データを、携帯端末１０の備える表示パネル５２の解像度に適したサイズにサイズ変換を行う。表示制御部１３３は、サイズ変換した部分画像データを携帯端末１０に送信する。
なお、本実施形態では、表示制御部１３３は、投射画像データの一部分を切り出した部分画像データを生成して、生成した部分画像データのサイズを携帯端末１０の備える表示パネル５２の解像度に適したサイズにサイズ変換し、携帯端末１０に送信している。これ以外に、部分画像データの枠を表す枠画像データを生成して、携帯端末１０に送信してもよい。すなわち、枠画像データは、投射画像を含まない、画像の枠が示されたデータである。 Upon receiving selection of a selection area to be transmitted to the mobile terminal 10 and selection input with the mobile terminal 10 that transmits an image of the selection area, the display control unit 133 receives image data of the selection area (hereinafter, referred to as image data of the selection area). (Referred to as partial image data). The partial image data is image data of at least a part of the projection image data, and may be all of the projection image data. Further, the display control unit 133 causes the storage unit 151 to store position information indicating the position in the projection image data obtained by cutting out the partial image data. The position information is information included in correspondence information that defines the correspondence between the display area of the display panel 52 included in the mobile terminal 10 and the area of the panel surface of the liquid crystal panel 112A. Further, when a plurality of mobile terminals 10A, 10B, and 10C are connected to the projector 100, the position information may be set for each of the mobile terminals 10A, 10B, and 10C. Further, for example, the same position information may be set in a plurality of portable terminals 10 such as the portable terminal 10A and the portable terminal 10B. In this case, the same partial image data is displayed on the display panels 52 of the mobile terminal 10A and the mobile terminal 10B.
Next, the display control unit 133 converts the size of the cut out partial image data. The display control unit 133 acquires the resolution information of the display panel 52 included in the mobile terminal 10 that is the transmission partner of the first partial image data from the storage unit 151. The display control unit 133 converts the size of the partial image data into a size suitable for the resolution of the display panel 52 included in the mobile terminal 10 according to the acquired resolution information 1512. The display control unit 133 transmits the size-converted partial image data to the mobile terminal 10.
In the present embodiment, the display control unit 133 generates partial image data obtained by cutting out a part of the projection image data, and the size of the generated partial image data is suitable for the resolution of the display panel 52 provided in the mobile terminal 10. The size is converted into a size and transmitted to the mobile terminal 10. In addition to this, frame image data representing a frame of partial image data may be generated and transmitted to the mobile terminal 10. That is, the frame image data is data indicating a frame of an image that does not include a projection image.

携帯端末１０の表示制御部２１は、プロジェクター１００から部分画像データを受信すると、受信した部分画像データを表示部５１に出力して表示パネル５２に表示させる。
表示パネル５２に部分画像データが表示された状態で、表示パネル５２の接触操作がユーザーによって行われると、操作検出部５５は、操作位置を示す座標情報を制御部２０に出力する。表示制御部２１は、操作検出部５５から座標情報を入力すると、入力した座標情報に基づいて、タッチパネル特有の操作を検出する。例えば、表示パネル５２に対するピンチイン、ピンチアウト等の操作を検出する。表示制御部２１は、ピンチイン、ピンチアウト等、タッチパネル特有の操作を検出した場合には、検出した操作を示すタッチ操作情報と、操作検出部５５から入力した座標情報とを含む制御データを生成して通信制御部２２に渡す。また、表示制御部２１は、タッチパネル特有の操作を検出することができなかった場合には、操作検出部５５から入力した座標情報を含む制御データを通信制御部２２に渡す。通信制御部２２は、表示制御部２１から渡された制御データを、無線通信部４０を介してプロジェクター１００に送信する。 When the display control unit 21 of the mobile terminal 10 receives the partial image data from the projector 100, the display control unit 21 outputs the received partial image data to the display unit 51 and causes the display panel 52 to display the received partial image data.
When the user performs a touch operation on the display panel 52 in a state where the partial image data is displayed on the display panel 52, the operation detection unit 55 outputs coordinate information indicating the operation position to the control unit 20. When the coordinate information is input from the operation detection unit 55, the display control unit 21 detects an operation specific to the touch panel based on the input coordinate information. For example, operations such as pinch-in and pinch-out on the display panel 52 are detected. The display control unit 21 generates control data including touch operation information indicating the detected operation and coordinate information input from the operation detection unit 55 when detecting an operation specific to the touch panel such as pinch-in and pinch-out. To the communication control unit 22. The display control unit 21 passes control data including the coordinate information input from the operation detection unit 55 to the communication control unit 22 when the operation unique to the touch panel cannot be detected. The communication control unit 22 transmits the control data passed from the display control unit 21 to the projector 100 via the wireless communication unit 40.

プロジェクター１００は、携帯端末１０から送信される制御データを無線通信部１５６で受信する。受信した制御データは、通信制御部１３２の制御により表示制御部１３３に渡される。表示制御部１３３は、取得した制御データから座標情報を取り出すと共に、記憶部１５１から解像度情報１５１２を読み出す。表示制御部１３３は、座標情報と、解像度情報１５１２とに基づいて、画像データ（以下、操作画像データと呼ぶ）を生成する。座標情報は、表示パネル５２（タッチスクリーン５３）の座標情報であるため、表示制御部１３３は、解像度情報１５１２を参照して、表示パネル５２の解像度で操作画像データを生成する。操作画像データは、表示パネル５２の表示面を接触操作したユーザーの指や電子ペン等の軌跡を表す画像データであり、例えば、文字や図形等が含まれる。表示制御部１３３は、操作画像データを生成すると、記憶部１５１から位置情報を読み出す。位置情報は、部分画像データを切り出した投射画像データ中の位置を示す情報である。表示制御部１３３は、操作画像データを位置情報と共に画像処理部１２５に渡す。
また、表示制御部１３３は、制御データにタッチ操作情報が含まれている場合には、タッチ操作情報に従って、投射画像データを拡大又は縮小させる指示を画像処理部１２５に出力する。 The projector 100 receives control data transmitted from the mobile terminal 10 by the wireless communication unit 156. The received control data is transferred to the display control unit 133 under the control of the communication control unit 132. The display control unit 133 extracts coordinate information from the acquired control data and reads resolution information 1512 from the storage unit 151. The display control unit 133 generates image data (hereinafter referred to as operation image data) based on the coordinate information and the resolution information 1512. Since the coordinate information is coordinate information of the display panel 52 (touch screen 53), the display control unit 133 refers to the resolution information 1512 and generates operation image data with the resolution of the display panel 52. The operation image data is image data representing a trajectory of a user's finger or electronic pen that has touched the display surface of the display panel 52, and includes, for example, characters and figures. When the display control unit 133 generates operation image data, the display control unit 133 reads position information from the storage unit 151. The position information is information indicating a position in the projection image data obtained by cutting out the partial image data. The display control unit 133 passes the operation image data to the image processing unit 125 together with the position information.
Further, when touch operation information is included in the control data, the display control unit 133 outputs an instruction to enlarge or reduce the projection image data to the image processing unit 125 according to the touch operation information.

画像処理部１２５は、表示制御部１３３から取得した操作画像データを、液晶パネル１１２Ａの解像度に適したサイズにサイズ変換する。また、画像処理部１２５は、表示制御部１３３から取得した位置情報に従って、サイズ変換された操作画像データを投射画像データ上に重畳させる。画像処理部１２５は、投射画像データ中の部分画像データの切り出し位置に、操作画像データが重畳されるようにフレームメモリー１２６への描画を行う。また、画像処理部１２５は、表示制御部１３３から投射画像データを拡大又は縮小させる指示を入力した場合には、フレームメモリー１２６に描画された投射画像データの画像サイズを、指示に従って拡大又は縮小させる処理を行う。その後、投射制御部１３１の制御により、フレームメモリー１２６に描画された画像データが光変調装置１１２の液晶パネル１１２Ａに描画され、描画された画像が投射光学系１１３を介して、スクリーンＳＣ上に投射画像として投射される。これにより、例えば、図５に示すように携帯端末１０Ｂから送信された第２部分画像データが、投射画像データの回答欄Ｈに表示される。   The image processing unit 125 converts the operation image data acquired from the display control unit 133 to a size suitable for the resolution of the liquid crystal panel 112A. Further, the image processing unit 125 superimposes the size-converted operation image data on the projection image data according to the position information acquired from the display control unit 133. The image processing unit 125 performs drawing in the frame memory 126 so that the operation image data is superimposed on the cutout position of the partial image data in the projection image data. Further, when an instruction to enlarge or reduce the projection image data is input from the display control unit 133, the image processing unit 125 enlarges or reduces the image size of the projection image data drawn in the frame memory 126 according to the instruction. Process. Thereafter, the image data drawn in the frame memory 126 is drawn on the liquid crystal panel 112A of the light modulation device 112 under the control of the projection control unit 131, and the drawn image is projected onto the screen SC via the projection optical system 113. Projected as an image. Thereby, for example, as shown in FIG. 5, the second partial image data transmitted from the mobile terminal 10 </ b> B is displayed in the answer column H of the projection image data.

次に、図６に示すフローチャートを参照しながら本実施形態の処理手順を説明する。
ユーザーは、まず、携帯端末１０を操作して記憶部３０に記憶された画像投射のためのアプリケーションプログラム３１を起動させる。ユーザーの操作を受け付けると、制御部２０は、記憶部３０からアプリケーションプログラム３１を読み出して実行する。アプリケーションプログラム３１が起動されると、携帯端末１０とプロジェクター１００とは互いの通信を確立すべく無線通信を実行する。携帯端末１０とプロジェクター１００との接続は、例えば、アプリケーションプログラム３１の起動時にユーザーが指定するプロジェクター１００を特定して接続する構成であってもよい。また、携帯端末１０とプロジェクター１００との接続は、無線信号の送受信が可能なプロジェクター１００を自動で検出して接続する構成であってもよい。このように、ユーザーの携帯端末１０での操作に基づいて、まず、携帯端末１０とプロジェクター１００との接続が確立される（ステップＳ１、Ｓ１１）。このとき、携帯端末１０の通信制御部２２は、無線通信部４０を制御して、携帯端末１０の個体を特定する端末識別情報をプロジェクター１００に送信する（ステップＳ１２）。プロジェクター１００の制御部１３０は、携帯端末１０から送信される情報を受信し、受信した情報を端末識別情報１５１１として記憶部１５１に記憶させる（ステップＳ２）。 Next, the processing procedure of this embodiment will be described with reference to the flowchart shown in FIG.
First, the user operates the mobile terminal 10 to activate the application program 31 for image projection stored in the storage unit 30. Upon receiving a user operation, the control unit 20 reads the application program 31 from the storage unit 30 and executes it. When the application program 31 is activated, the mobile terminal 10 and the projector 100 execute wireless communication in order to establish mutual communication. The connection between the portable terminal 10 and the projector 100 may be, for example, a configuration in which the projector 100 specified by the user when the application program 31 is activated is specified and connected. Further, the connection between the portable terminal 10 and the projector 100 may be configured to automatically detect and connect the projector 100 capable of transmitting and receiving wireless signals. Thus, based on the user's operation on the mobile terminal 10, first, the connection between the mobile terminal 10 and the projector 100 is established (steps S1 and S11). At this time, the communication control unit 22 of the mobile terminal 10 controls the wireless communication unit 40 to transmit terminal identification information for specifying the individual mobile terminal 10 to the projector 100 (step S12). The control unit 130 of the projector 100 receives information transmitted from the mobile terminal 10 and stores the received information in the storage unit 151 as terminal identification information 1511 (step S2).

携帯端末１０との接続が確立され、携帯端末１０から端末識別情報１５１１を受信すると、プロジェクター１００は、携帯端末１０に、携帯端末１０の解像度情報の取得要求を送信する（ステップＳ３）。解像度情報には、表示パネル５２の画面の縦横の画素数、アスペクト比等の情報が含まれる。携帯端末１０の通信制御部２２は、プロジェクター１００から取得要求を受信すると（ステップＳ１３）、受信した取得要求に従って、解像度情報をプロジェクター１００に送信する（ステップＳ１４）。プロジェクター１００の通信制御部１３２は、無線通信部１５６で受信した情報を解像度情報１５１２として記憶部１５１に記憶させる（ステップＳ４）。   When the connection with the mobile terminal 10 is established and the terminal identification information 1511 is received from the mobile terminal 10, the projector 100 transmits an acquisition request for resolution information of the mobile terminal 10 to the mobile terminal 10 (step S3). The resolution information includes information such as the number of vertical and horizontal pixels on the screen of the display panel 52 and the aspect ratio. When receiving the acquisition request from the projector 100 (step S13), the communication control unit 22 of the portable terminal 10 transmits resolution information to the projector 100 according to the received acquisition request (step S14). The communication control unit 132 of the projector 100 stores the information received by the wireless communication unit 156 in the storage unit 151 as resolution information 1512 (step S4).

次に、プロジェクター１００の表示制御部１３３は、携帯端末１０に送信する部分画像データを生成する（ステップＳ５）。例えば、表示制御部１３３は、図４に示す操作枠２００を表す画像を生成して、投射画像に重畳させてスクリーンＳＣに投射させる。ユーザーによる操作パネル１５５又はリモコンの操作によって、携帯端末１０に送信する投射画像の領域が選択されると、表示制御部１３３は、投射画像の画像データから、選択された領域を切り出して、部分画像データを生成する。また、表示制御部１３３は、携帯端末１０から取得した解像度情報に従って、部分画像データを、携帯端末１０の備える表示パネル５２の解像度に適したサイズにサイズ変換を行う。表示制御部１３３は、サイズ変換した部分画像データを携帯端末１０に送信する（ステップＳ６）。携帯端末１０は、プロジェクター１００から送信された部分画像データを無線通信部４０により受信する（ステップＳ１５）。携帯端末１０は、受信した部分画像データを表示制御部２１の制御により表示パネル５２に表示させる（ステップＳ１６）。   Next, the display control unit 133 of the projector 100 generates partial image data to be transmitted to the mobile terminal 10 (step S5). For example, the display control unit 133 generates an image representing the operation frame 200 illustrated in FIG. 4 and causes the image to be superimposed on the projection image and projected onto the screen SC. When an area of the projection image to be transmitted to the mobile terminal 10 is selected by the operation of the operation panel 155 or the remote control by the user, the display control unit 133 cuts out the selected area from the image data of the projection image, and displays Generate data. In addition, the display control unit 133 performs size conversion of the partial image data to a size suitable for the resolution of the display panel 52 included in the mobile terminal 10 according to the resolution information acquired from the mobile terminal 10. The display control unit 133 transmits the size-converted partial image data to the mobile terminal 10 (step S6). The portable terminal 10 receives the partial image data transmitted from the projector 100 by the wireless communication unit 40 (step S15). The portable terminal 10 displays the received partial image data on the display panel 52 under the control of the display control unit 21 (step S16).

部分画像データを表示パネル５２に表示させると、携帯端末１０は、表示パネル５２に対するユーザーの接触操作を操作検出部５５で検出する。操作検出部５５は、操作位置を示す位置信号をタッチスクリーン５３から入力することで、表示パネル５２への接触操作を検出する（ステップＳ１７）。操作検出部５５は、位置信号を入力すると（ステップＳ１７／ＹＥＳ）、位置信号に応じた座標情報を生成して、制御部２０に出力する。表示制御部２１は、操作検出部５５から座標情報を入力すると、入力した座標情報に基づいて、タッチパネルの操作に特有の操作を検出する。表示制御部２１は、ピンチイン、ピンチアウト等の操作を検出した場合には、検出した操作を示すタッチ操作情報を生成し、生成したタッチ操作情報と操作検出部５５から入力した座標情報とを含む制御データを生成して（ステップＳ１８）、通信制御部２２に渡す。また、表示制御部２１は、ピンチイン、ピンチアウト等の操作を検出しなかった場合には、操作検出部５５から入力した座標情報を含む制御データを生成して（ステップＳ１８）、通信制御部２２に渡す。通信制御部２２は、表示制御部２１から渡された制御データを、無線通信部４０を介してプロジェクター１００に送信する（ステップＳ１９）。制御データの送信が終了すると、制御部２０は、アプリケーションプログラム３１を終了させる終了操作を入力したか否かを判定する（ステップＳ２０）。終了操作を入力した場合(ステップＳ２０／ＹＥＳ)、制御部２０は、この処理フローを終了させる。また、終了操作を入力していない場合（ステップＳ２０／ＮＯ）、制御部２０は、ステップＳ１７に戻り、接触操作の検出を再度行う（ステップＳ１７）。   When the partial image data is displayed on the display panel 52, the mobile terminal 10 detects the user's contact operation on the display panel 52 with the operation detection unit 55. The operation detection unit 55 detects a contact operation on the display panel 52 by inputting a position signal indicating the operation position from the touch screen 53 (step S17). When the operation detection unit 55 receives the position signal (step S17 / YES), the operation detection unit 55 generates coordinate information corresponding to the position signal and outputs the coordinate information to the control unit 20. When the coordinate information is input from the operation detection unit 55, the display control unit 21 detects an operation specific to the operation of the touch panel based on the input coordinate information. When detecting operations such as pinch-in and pinch-out, the display control unit 21 generates touch operation information indicating the detected operation, and includes the generated touch operation information and coordinate information input from the operation detection unit 55. Control data is generated (step S18) and passed to the communication control unit 22. When the display control unit 21 does not detect operations such as pinch-in and pinch-out, the display control unit 21 generates control data including coordinate information input from the operation detection unit 55 (step S18), and the communication control unit 22 To pass. The communication control unit 22 transmits the control data passed from the display control unit 21 to the projector 100 via the wireless communication unit 40 (step S19). When the transmission of the control data ends, the control unit 20 determines whether or not an end operation for ending the application program 31 has been input (step S20). When the end operation is input (step S20 / YES), the control unit 20 ends the processing flow. If the end operation has not been input (step S20 / NO), the control unit 20 returns to step S17 to detect the contact operation again (step S17).

プロジェクター１００は、携帯端末１０から送信される制御データを無線通信部１５６で受信する（ステップＳ７）。無線通信部１５６で受信した制御データは、表示制御部１３３に渡される。表示制御部１３３は、取得した制御データから座標情報を取り出し、取り出した座標情報に基づいて操作画像データを生成する（ステップＳ８）。表示制御部１３３は、操作画像データを生成すると、記憶部１５１から位置情報を読み出す。表示制御部１３３は、操作画像データを位置情報と共に画像処理部１２５に渡す。また、表示制御部１３３は、制御データにタッチ操作情報が含まれている場合には、タッチ操作情報に従って、投射画像データを拡大又は縮小させる指示を画像処理部１２５に出力する。
画像処理部１２５は、表示制御部１３３から取得した操作画像データを、液晶パネル１１２Ａの解像度に適したサイズにサイズ変換する。また、画像処理部１２５は、表示制御部１３３から取得した位置情報に従って、サイズ変換された操作画像データを投射画像データ上に重畳させる。画像処理部１２５は、投射画像データ中の部分画像データの切り出し位置に、操作画像データが重畳されるようにフレームメモリー１２６への描画を行う。また、画像処理部１２５は、表示制御部１３３から投射画像データを拡大又は縮小させる指示を入力した場合には、フレームメモリー１２６に描画された投射画像データの画像サイズを、指示に従って拡大又は縮小させる処理を行う。その後、投射制御部１３１の制御により、フレームメモリー１２６に描画された画像データが光変調装置１１２の液晶パネル１１２Ａに描画され、描画された画像が投射光学系１１３を介して、スクリーンＳＣ上に投射画像として投射される（ステップＳ９）。
次に、プロジェクター１００の制御部１３０は、携帯端末１０との接続が解消されたか否かを判定する（ステップＳ１０）。携帯端末１０との接続が解消されたと判定すると（ステップＳ１０／ＹＥＳ）、制御部１３０は、この処理フローを終了する。また、携帯端末１０との接続が解消されていないと判定すると（ステップＳ１０／ＮＯ）、制御部１３０は、ステップＳ７に戻り、携帯端末１０からのデータ受信を待機する（ステップＳ７）。 The projector 100 receives control data transmitted from the mobile terminal 10 by the wireless communication unit 156 (step S7). Control data received by the wireless communication unit 156 is passed to the display control unit 133. The display control unit 133 extracts coordinate information from the acquired control data, and generates operation image data based on the extracted coordinate information (step S8). When the display control unit 133 generates operation image data, the display control unit 133 reads position information from the storage unit 151. The display control unit 133 passes the operation image data to the image processing unit 125 together with the position information. Further, when touch operation information is included in the control data, the display control unit 133 outputs an instruction to enlarge or reduce the projection image data to the image processing unit 125 according to the touch operation information.
The image processing unit 125 converts the operation image data acquired from the display control unit 133 to a size suitable for the resolution of the liquid crystal panel 112A. Further, the image processing unit 125 superimposes the size-converted operation image data on the projection image data according to the position information acquired from the display control unit 133. The image processing unit 125 performs drawing in the frame memory 126 so that the operation image data is superimposed on the cutout position of the partial image data in the projection image data. Further, when an instruction to enlarge or reduce the projection image data is input from the display control unit 133, the image processing unit 125 enlarges or reduces the image size of the projection image data drawn in the frame memory 126 according to the instruction. Process. Thereafter, the image data drawn in the frame memory 126 is drawn on the liquid crystal panel 112A of the light modulation device 112 under the control of the projection control unit 131, and the drawn image is projected onto the screen SC via the projection optical system 113. It is projected as an image (step S9).
Next, the control unit 130 of the projector 100 determines whether or not the connection with the mobile terminal 10 has been canceled (step S10). If it determines with the connection with the portable terminal 10 having been eliminated (step S10 / YES), the control part 130 will complete | finish this processing flow. If it is determined that the connection with the mobile terminal 10 has not been resolved (step S10 / NO), the control unit 130 returns to step S7 and waits for data reception from the mobile terminal 10 (step S7).

以上説明したように本実施形態は、携帯端末１０の表示パネル５２が接触操作されると、携帯端末１０が、この接触操作の操作位置を示す座標情報を生成して、プロジェクター１００に送信する。プロジェクター１００は、携帯端末１０から送信された座標情報に基づく画像を生成して、スクリーンＳＣに投射させる。携帯端末１０は、接触操作の操作位置を示す座標情報を生成してプロジェクター１００に送信すればよいので、携帯端末１０の処理負荷を軽減することができる。   As described above, in the present embodiment, when the display panel 52 of the mobile terminal 10 is touched, the mobile terminal 10 generates coordinate information indicating the operation position of the touch operation and transmits the coordinate information to the projector 100. The projector 100 generates an image based on the coordinate information transmitted from the mobile terminal 10 and projects it on the screen SC. Since the mobile terminal 10 only has to generate coordinate information indicating the operation position of the contact operation and transmit it to the projector 100, the processing load on the mobile terminal 10 can be reduced.

［第２実施形態］
上述した第１実施形態では、携帯端末１０は、タッチスクリーン５３の座標を示す座標情報をそのままプロジェクター１００に送信していた。そして、プロジェクター１００で、この座標情報に基づく操作画像を生成して、液晶パネル１１２Ａの仕様に適合した解像度のデータに変換していた。本実施形態は、携帯端末１０がプロジェクター１００の液晶パネル１１２Ａの解像度に応じた座標情報を生成してプロジェクター１００に送信する。本実施形態の詳細について以下に説明する。 [Second Embodiment]
In the first embodiment described above, the mobile terminal 10 transmits the coordinate information indicating the coordinates of the touch screen 53 to the projector 100 as it is. Then, the projector 100 generates an operation image based on this coordinate information and converts it into data having a resolution that conforms to the specifications of the liquid crystal panel 112A. In the present embodiment, the mobile terminal 10 generates coordinate information corresponding to the resolution of the liquid crystal panel 112 </ b> A of the projector 100 and transmits it to the projector 100. Details of this embodiment will be described below.

プロジェクター１００の表示制御部１３３は、部分画像データを生成すると、生成した部分画像データを、表示パネル５２の解像度に適したサイズにサイズ変換することなく、そのまま携帯端末１０に送信する。具体的には、表示制御部１３３は、部分画像データに、部分画像データの原点位置を示す情報を付加して携帯端末１０に送信する。
なお、表示制御部１３３は、部分画像データに代えて、部分画像データの枠を表す枠画像データを生成して、携帯端末１０に送信してもよい。すなわち、枠画像データは、投射画像を含まず、部分画像データのサイズ（画像の縦横の画素数やアスペクト比）を携帯端末１０が認識できるデータであればよい。 When the display control unit 133 of the projector 100 generates the partial image data, the display control unit 133 transmits the generated partial image data to the mobile terminal 10 as it is without converting the size into a size suitable for the resolution of the display panel 52. Specifically, the display control unit 133 adds information indicating the origin position of the partial image data to the partial image data and transmits the partial image data to the mobile terminal 10.
Note that the display control unit 133 may generate frame image data representing a frame of the partial image data instead of the partial image data, and transmit the frame image data to the mobile terminal 10. That is, the frame image data may be data that does not include the projection image and can be recognized by the mobile terminal 10 as to the size of the partial image data (the number of pixels in the vertical and horizontal directions and the aspect ratio).

携帯端末１０の表示制御部２１は、プロジェクター１００から部分画像データを受信すると、受信した部分画像データを記憶部３０に記憶させる。また、表示制御部２１は、記憶部３０に記憶させた部分画像データに基づいて、タッチスクリーン５３上の座標を、部分画像データ上の座標に変換する座標変換テーブルを生成する。まず、表示制御部２１は、受信した部分画像データから、当該部分画像データの縦、横それぞれの画素数を求める。次に、表示制御部２１は、求めた部分画像データの縦、横の画素数及び原点位置と、表示パネル５２の表示画面の縦、横の画素数とに基づいて、タッチスクリーン５３上の座標を、部分画像データ上の座標に変換する座標変換テーブルを生成する。図７に、座標変換テーブルの一例を示す。図７に示す座標変換テーブルは、表示パネル５２の縦方向座標（Ｙ１，Ｙ２，Ｙ３，・・・）及び横方向座標（Ｘ１，Ｘ２，Ｘ３，・・・）を、対応する部分画像データの縦方向座標及び横方向座標に対応付けて登録している。   When receiving the partial image data from the projector 100, the display control unit 21 of the portable terminal 10 stores the received partial image data in the storage unit 30. Further, the display control unit 21 generates a coordinate conversion table for converting the coordinates on the touch screen 53 into the coordinates on the partial image data based on the partial image data stored in the storage unit 30. First, the display control unit 21 obtains the number of vertical and horizontal pixels of the partial image data from the received partial image data. Next, the display control unit 21 determines the coordinates on the touch screen 53 based on the vertical and horizontal pixel numbers and the origin position of the obtained partial image data and the vertical and horizontal pixel numbers of the display screen of the display panel 52. Is converted into a coordinate on the partial image data. FIG. 7 shows an example of the coordinate conversion table. The coordinate conversion table shown in FIG. 7 includes the vertical coordinate (Y1, Y2, Y3,...) And the horizontal coordinate (X1, X2, X3,...) Of the display panel 52 of the corresponding partial image data. They are registered in association with the vertical and horizontal coordinates.

また、携帯端末１０の表示制御部２１は、操作検出部５５からタッチスクリーン５３上の座標を示す座標情報が入力されると、座標変換テーブルを参照して、入力した座標情報が示すタッチスクリーン５３上の座標を、部分画像データ上の座標に変換する。表示制御部２１は、変換した座標情報を含む制御データを生成して通信制御部２２に渡す。通信制御部２２は、無線通信部４０を制御して、表示制御部２１から渡された制御データをプロジェクター１００に送信する。   In addition, when the coordinate information indicating the coordinates on the touch screen 53 is input from the operation detection unit 55 to the display control unit 21 of the mobile terminal 10, the touch screen 53 indicated by the input coordinate information is referred to the coordinate conversion table. The upper coordinates are converted to the coordinates on the partial image data. The display control unit 21 generates control data including the converted coordinate information and passes it to the communication control unit 22. The communication control unit 22 controls the wireless communication unit 40 and transmits control data passed from the display control unit 21 to the projector 100.

プロジェクター１００の表示制御部１３３は、携帯端末１０から座標情報を取得すると、取得した座標情報に基づいて操作画像データを生成する。なお、ここで生成される操作画像データは、プロジェクター１００から携帯端末１０に送信した部分画像データ上の座標に基づく画像データである。表示制御部１３３は、操作画像データを生成すると、生成した操作画像データを位置情報と共に画像処理部１２５に渡す。
画像処理部１２５は、表示制御部１３３から取得した位置情報に従って、操作画像データを投射画像データ上に重畳させる。画像処理部１２５は、投射画像データ中の部分画像データの切り出し位置に、操作画像データが重畳されるようにフレームメモリー１２６への描画を行う。その後、投射制御部１３１の制御により、フレームメモリー１２６に描画された画像データが光変調装置１１２の液晶パネル１１２Ａに描画され、描画された画像が投射光学系１１３を介して、スクリーンＳＣ上に投射画像として投射される。 When the display control unit 133 of the projector 100 acquires coordinate information from the mobile terminal 10, the display control unit 133 generates operation image data based on the acquired coordinate information. The operation image data generated here is image data based on the coordinates on the partial image data transmitted from the projector 100 to the portable terminal 10. When the display control unit 133 generates operation image data, the display control unit 133 passes the generated operation image data to the image processing unit 125 together with position information.
The image processing unit 125 superimposes the operation image data on the projection image data according to the position information acquired from the display control unit 133. The image processing unit 125 performs drawing in the frame memory 126 so that the operation image data is superimposed on the cutout position of the partial image data in the projection image data. Thereafter, the image data drawn in the frame memory 126 is drawn on the liquid crystal panel 112A of the light modulation device 112 under the control of the projection control unit 131, and the drawn image is projected onto the screen SC via the projection optical system 113. Projected as an image.

本実施形態においても、携帯端末１０の表示パネル５２が接触操作されると、携帯端末１０が、この接触操作の操作位置を示す座標情報を生成して、プロジェクター１００に送信する。携帯端末１０は、接触操作の操作位置を示す座標情報を生成してプロジェクター１００に送信すればよいので、入力装置の処理負荷を軽減することができる。   Also in the present embodiment, when the display panel 52 of the mobile terminal 10 is touched, the mobile terminal 10 generates coordinate information indicating the operation position of the touch operation and transmits it to the projector 100. Since the portable terminal 10 only needs to generate coordinate information indicating the operation position of the contact operation and transmit it to the projector 100, the processing load on the input device can be reduced.

以上説明したように表示システム１は、携帯端末１０とプロジェクター１００とを備えている。携帯端末１０は、タッチスクリーン５３に対する操作を検出する操作検出部５５と、タッチスクリーン５３における操作位置を示す座標情報を生成する表示制御部１３３と、座標情報をプロジェクター１００に送信する無線通信部４０とを備えている。プロジェクター１００は、座標情報を受信する無線通信部１５６と、受信した座標情報に基づく画像を生成して、スクリーンＳＣに表示させる表示制御部１３３とを備えている。従って、携帯端末１０の処理負荷を軽減することができる。   As described above, the display system 1 includes the mobile terminal 10 and the projector 100. The mobile terminal 10 includes an operation detection unit 55 that detects an operation on the touch screen 53, a display control unit 133 that generates coordinate information indicating an operation position on the touch screen 53, and a wireless communication unit 40 that transmits the coordinate information to the projector 100. And. The projector 100 includes a wireless communication unit 156 that receives coordinate information, and a display control unit 133 that generates an image based on the received coordinate information and displays the image on the screen SC. Therefore, the processing load on the mobile terminal 10 can be reduced.

表示システム１において、プロジェクター１００は、携帯端末１０の備える表示パネル５２の表示領域と、液晶パネル１１２Ａのパネル面の領域との対応を定める対応情報を記憶した記憶部３０を有している。表示制御部１３３は、対応情報に従って座標情報に基づく画像を生成して液晶パネル１１２Ａのパネル面に表示させ、スクリーンＳＣに画像を投射している。従って、プロジェクター１００において、携帯端末１０から送信された座標情報に基づく画像を、対応情報に従って生成し、スクリーンＳＣに表示させることができる。   In the display system 1, the projector 100 includes a storage unit 30 that stores correspondence information that determines correspondence between the display area of the display panel 52 included in the mobile terminal 10 and the area of the panel surface of the liquid crystal panel 112 </ b> A. The display control unit 133 generates an image based on the coordinate information according to the correspondence information, displays the image on the panel surface of the liquid crystal panel 112A, and projects the image on the screen SC. Therefore, in the projector 100, an image based on the coordinate information transmitted from the mobile terminal 10 can be generated according to the correspondence information and displayed on the screen SC.

表示システム１において、プロジェクター１００は、携帯端末１０に、画像データを送信する無線通信部１５６を備えている。また、携帯端末１０は、画像データを受信する無線通信部４０と、受信した画像データに基づく画像を、タッチスクリーン５３に重ねて配置された表示パネル５２に表示させる表示部５１とを有している。従って、画像が表示された表示パネル５２に対して操作を行うことで、タッチスクリーン５３に対する操作を行うことができ、携帯端末１０において直感的な操作が可能となる。   In the display system 1, the projector 100 includes a wireless communication unit 156 that transmits image data to the mobile terminal 10. In addition, the mobile terminal 10 includes a wireless communication unit 40 that receives image data, and a display unit 51 that displays an image based on the received image data on a display panel 52 that is arranged on the touch screen 53. Yes. Therefore, by operating the display panel 52 on which an image is displayed, the touch screen 53 can be operated, and the mobile terminal 10 can be operated intuitively.

表示システム１において、プロジェクター１００は、画像データとして、スクリーンＳＣに表示された画像の少なくとも一部分の画像データを携帯端末１０に送信する。従って、スクリーンＳＣに表示された画像の一部の画像データを携帯端末１０において表示することができる。   In the display system 1, the projector 100 transmits image data of at least a part of the image displayed on the screen SC to the portable terminal 10 as image data. Therefore, a part of the image data displayed on the screen SC can be displayed on the mobile terminal 10.

表示システム１において、プロジェクター１００は、スクリーンＳＣに表示された画像から選択された一部の画像に対応する画像データを携帯端末１０に送信する。従って、スクリーンＳＣに表示された画像から選択された一部の画像を携帯端末１０において表示することができる。   In the display system 1, the projector 100 transmits image data corresponding to a part of images selected from the images displayed on the screen SC to the mobile terminal 10. Accordingly, a part of the images selected from the images displayed on the screen SC can be displayed on the mobile terminal 10.

表示システム１において、プロジェクター１００は、座標情報に基づく画像を表示させる、液晶パネル１１２Ａのパネル面の領域を表す画像データを、携帯端末１０に送信する。従って、画像を表示させる液晶パネル１１２Ａのパネル面の領域を表す画像データを携帯端末１０において表示させることができる。   In the display system 1, the projector 100 transmits image data representing an area of the panel surface of the liquid crystal panel 112 </ b> A that displays an image based on the coordinate information to the mobile terminal 10. Therefore, image data representing the area of the panel surface of the liquid crystal panel 112A for displaying an image can be displayed on the portable terminal 10.

表示システム１において、表示制御部１３３は、座標情報が、画像を拡大又は縮小させる操作情報である場合に、スクリーンＳＣに表示させる画像を操作情報に応じて拡大又は縮小させる。従って、携帯端末１０からの操作により、スクリーンＳＣに表示された画像を拡大又は縮小させることができる。   In the display system 1, the display control unit 133 enlarges or reduces an image to be displayed on the screen SC according to the operation information when the coordinate information is operation information for enlarging or reducing the image. Therefore, an image displayed on the screen SC can be enlarged or reduced by an operation from the mobile terminal 10.

上述した実施形態は、本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。例えば、上記各実施形態では、スクリーンＳＣの前方から投射するフロントプロジェクション型のプロジェクター１００を表示装置の一例として示したが、本発明はこれに限定されない。例えば、スクリーンＳＣの背面側から投射するリアプロジェクション（背面投射）型のプロジェクターを表示装置として採用できる。また、液晶表示パネルに画像を表示する液晶モニターまたは液晶テレビを表示装置として採用してもよい。ＰＤＰ（プラズマディスプレイパネル）、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を表示装置として用いてもよい。また、ＯＬＥＤ（Organic light-emitting diode）、ＯＥＬ（Organic Electro Luminescence）ディスプレイ等と呼ばれる有機ＥＬ表示パネルに画像を表示するモニター装置またはテレビ受像機等の自発光型の表示装置を採用してもよい。これらの表示装置を備えた構成において本発明を適用した場合も、上記実施形態と同様に、有用な効果が得られる。
また、本発明の入力装置は、上記各実施形態では、入力装置として、ユーザーが手に持って操作する小型の装置である携帯端末１０を例に挙げて説明したが、本発明はこれに限定されない。すなわち、上記実施形態の携帯端末１０は、ユーザーが手指を接触させて操作が可能なタッチスクリーン５３と表示パネル５２とを備えることで、直感的な操作が可能であり、高い操作性を有するという利点がある。その一方で、第２表示面と操作面とを備える装置であれば本発明を適用可能であり、例えば携帯型ゲーム機、音楽や映像を再生する携帯型再生装置、表示画面を有するリモコン装置等を入力装置とすることができる。 The above-described embodiment is an example of a preferred embodiment of the present invention. However, the present invention is not limited to this, and various modifications can be made without departing from the scope of the present invention. For example, in each of the above embodiments, the front projection type projector 100 that projects from the front of the screen SC is shown as an example of the display device, but the present invention is not limited to this. For example, a rear projection (rear projection) type projector that projects from the back side of the screen SC can be employed as the display device. Further, a liquid crystal monitor or a liquid crystal television that displays an image on a liquid crystal display panel may be employed as the display device. A PDP (plasma display panel), CRT (cathode ray tube) display, SED (Surface-conduction Electron-emitter Display), or the like may be used as a display device. A self-luminous display device such as a monitor device or a television receiver that displays an image on an organic EL display panel called an OLED (Organic light-emitting diode) or an OEL (Organic Electro Luminescence) display may be employed. . When the present invention is applied to a configuration including these display devices, a useful effect can be obtained as in the above embodiment.
In the above embodiments, the input device of the present invention has been described by taking, as an example, the portable terminal 10 that is a small device that the user holds and operates as the input device. However, the present invention is not limited to this. Not. That is, the mobile terminal 10 according to the embodiment includes a touch screen 53 and a display panel 52 that can be operated by a user touching a finger, thereby enabling intuitive operation and high operability. There are advantages. On the other hand, the present invention can be applied to any device provided with a second display surface and an operation surface. For example, a portable game machine, a portable reproduction device for reproducing music and video, a remote control device having a display screen, and the like. Can be used as an input device.

また、図２及び図３に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、表示システム１の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。   Moreover, each function part shown in FIG.2 and FIG.3 shows a functional structure, and a specific mounting form is not restrict | limited in particular. That is, it is not always necessary to mount hardware corresponding to each function unit individually, and it is of course possible to adopt a configuration in which the functions of a plurality of function units are realized by one processor executing a program. In addition, in the above embodiment, a part of the function realized by software may be realized by hardware, or a part of the function realized by hardware may be realized by software. In addition, specific detailed configurations of other parts of the display system 1 can be arbitrarily changed without departing from the spirit of the present invention.

１…表示システム、１０…携帯端末（入力装置、外部の装置）、２０…制御部、２１…表示制御部、２２…通信制御部、３０…記憶部、４０…無線通信部（送信部、受信部）、５１…表示部、５２…表示パネル（第２表示面）、５３…タッチスクリーン（操作面）、５５…操作検出部（検出部）、１００…プロジェクター（表示装置）、１１０…投射部、１１２Ａ…液晶パネル、１２５…画像処理部、１２６…フレームメモリー、１３０…制御部、１３１…投射制御部、１３２…通信制御部、１３３…表示制御部、１５１…記憶部、１５３…入力処理部、１５６…無線通信部（送信部、受信部）、１５１１…端末識別情報、１５１２…解像度情報。   DESCRIPTION OF SYMBOLS 1 ... Display system, 10 ... Portable terminal (input device, external device), 20 ... Control part, 21 ... Display control part, 22 ... Communication control part, 30 ... Memory | storage part, 40 ... Wireless communication part (Transmission part, reception) Part), 51 ... display part, 52 ... display panel (second display surface), 53 ... touch screen (operation surface), 55 ... operation detection part (detection part), 100 ... projector (display device), 110 ... projection part 112A ... Liquid crystal panel, 125 ... Image processing unit, 126 ... Frame memory, 130 ... Control unit, 131 ... Projection control unit, 132 ... Communication control unit, 133 ... Display control unit, 151 ... Storage unit, 153 ... Input processing unit 156: Wireless communication unit (transmission unit, reception unit), 1511: Terminal identification information, 1512: Resolution information.

Claims (9)

入力装置と、表示装置とを有する表示システムであって、
前記入力装置は、
操作面に対する操作を検出して、前記操作面における操作位置を示す座標情報を生成する生成部と、
前記生成部が生成した座標情報を送信する送信部と、を備え、
前記表示装置は、
前記座標情報を受信する受信部と、
光変調装置と、
前記受信部で受信した前記座標情報に基づいて第１表示面に表示する画像を前記光変調装置に生成させ、前記第１表示面に表示させる表示制御部と、
前記入力装置の備える第２表示面の表示領域と、前記光変調装置との対応を定める対応情報を記憶した記憶部と、を備え、
前記表示制御部は、前記対応情報に従って前記座標情報に基づく画像を前記光変調装置に生成させ、前記第１表示面に表示させることを特徴とする表示システム。 A display system having an input device and a display device,
The input device is:
A generation unit that detects an operation on the operation surface and generates coordinate information indicating an operation position on the operation surface;
A transmission unit that transmits the coordinate information generated by the generation unit,
The display device
A receiving unit for receiving the coordinate information;
A light modulation device;
The image to be displayed on the first display surface based on the above coordinate information received by the receiving unit to generate the light modulation device, a display control unit for displaying on the first display surface,
A display area of the second display surface provided in the input device, and a storage unit that stores correspondence information that determines correspondence with the light modulation device ,
Display system and the display control unit, wherein an image based on the coordinate information according to the correspondence information is generated on the optical modulator device, and wherein Rukoto is displayed on the first display surface. 前記対応情報は、前記第２表示面の表示領域の解像度と、前記光変調装置の解像度との対応を定める解像度情報を含むことを特徴とする請求項１記載の表示システム。  The display system according to claim 1, wherein the correspondence information includes resolution information that defines a correspondence between a resolution of a display area of the second display surface and a resolution of the light modulation device. 前記表示装置は、前記入力装置に、画像データを送信する送信部を備え、
前記入力装置は、前記画像データを受信する受信部と、
前記受信部で受信した前記画像データに基づく画像を、前記操作面に重ねて配置された前記第２表示面に表示する表示部と、を有することを特徴とする請求項１または２記載の表示システム。 The display device includes a transmission unit that transmits image data to the input device,
The input device includes a receiving unit that receives the image data;
An image based on the image data received by the receiving unit, display of claim 1, wherein further comprising a display unit for displaying on the second display surface that is arranged to overlap with the operating surface system. 前記表示装置は、前記画像データとして、前記第１表示面に表示された画像の少なくとも一部分の画像データを前記入力装置に送信することを特徴とする請求項３記載の表示システム。   The display system according to claim 3, wherein the display device transmits image data of at least a part of an image displayed on the first display surface to the input device as the image data. 前記表示装置は、前記第１表示面に表示された画像から選択された一部の画像に対応する画像データを前記入力装置に送信することを特徴とする請求項４記載の表示システム。   The display system according to claim 4, wherein the display device transmits image data corresponding to a part of images selected from images displayed on the first display surface to the input device. 前記表示装置は、前記座標情報に基づく画像を表示させる、前記第１表示面の表示領域を表す画像データを、前記画像データとして前記入力装置に送信することを特徴とする請求項３記載の表示システム。   The display according to claim 3, wherein the display device transmits image data representing a display area of the first display surface, which displays an image based on the coordinate information, to the input device as the image data. system. 前記表示制御部は、前記座標情報が、画像を拡大又は縮小させる操作情報である場合に、前記第１表示面に表示させた画像を前記操作情報に応じて拡大又は縮小させることを特徴とする請求項１から６のいずれか一項記載の表示システム。   When the coordinate information is operation information for enlarging or reducing the image, the display control unit enlarges or reduces the image displayed on the first display surface according to the operation information. The display system according to any one of claims 1 to 6. 画像データに基づく画像を第１表示面に表示させる表示装置であって、
外部の装置から送信される、前記外部の装置の備える第２表示面における座標情報を受信する受信部と、
光変調装置と、
前記第２表示面の表示領域と、前記光変調装置との対応を定める対応情報を記憶した記憶部と、
前記対応情報に従って、前記座標情報に基づく画像を前記光変調装置に生成させて、前記第１表示面に表示させる表示制御部と、
を備えることを特徴とする表示装置。 A display device for displaying an image based on image data on a first display surface,
A receiver that receives coordinate information on a second display surface of the external device, transmitted from an external device;
A light modulation device;
A storage unit that stores correspondence information that defines a correspondence between the display area of the second display surface and the light modulation device ;
In accordance with the correspondence information, an image based on the coordinate information is generated by the light modulation device and displayed on the first display surface;
A display device comprising: 入力装置と、表示装置とを有する表示システムにおける表示制御方法であって、
前記入力装置において、操作面に対する操作を検出して、前記操作面における操作位置の座標情報を生成する生成ステップと、
前記生成ステップにおいて生成した座標情報を送信する送信ステップと、を有し、
前記表示装置において、前記座標情報を受信する受信ステップと、
前記操作面と、前記表示装置の光変調装置との対応を定める対応情報を記憶する記憶ステップと、
前記受信ステップにおいて受信した前記座標情報と、前記記憶ステップにおいて記憶した前記対応情報に基づく画像を生成して、第１表示面に表示させる表示ステップと、を有することを特徴とする表示制御方法。 A display control method in a display system having an input device and a display device,
In the input device, a generation step of detecting an operation on the operation surface and generating coordinate information of an operation position on the operation surface;
Transmitting the coordinate information generated in the generating step,
In the display device, a reception step of receiving the coordinate information;
A storage step for storing correspondence information that defines correspondence between the operation surface and the light modulation device of the display device;
A display control method comprising: a display step of generating an image based on the coordinate information received in the reception step and the correspondence information stored in the storage step and displaying the image on a first display surface.
JP2014086212A 2014-04-18 2014-04-18 Display system, display device, and display control method Active JP6409312B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014086212A JP6409312B2 (en) 2014-04-18 2014-04-18 Display system, display device, and display control method
PCT/JP2015/002085 WO2015159543A1 (en) 2014-04-18 2015-04-15 Display system, display device, and display control method
US15/302,333 US20170024031A1 (en) 2014-04-18 2015-04-15 Display system, display device, and display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014086212A JP6409312B2 (en) 2014-04-18 2014-04-18 Display system, display device, and display control method

Publications (2)

Publication Number Publication Date
JP2015206854A JP2015206854A (en) 2015-11-19
JP6409312B2 true JP6409312B2 (en) 2018-10-24

Family

ID=54603701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014086212A Active JP6409312B2 (en) 2014-04-18 2014-04-18 Display system, display device, and display control method

Country Status (1)

Country Link
JP (1) JP6409312B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018000999T5 (en) * 2017-02-24 2019-11-07 Sony Corporation Control device, control method, program and projection system
JP6886693B2 (en) 2017-05-15 2021-06-16 株式会社エアレックス incubator
US20230132065A1 (en) 2020-04-30 2023-04-27 Airex Co., Ltd. Incubator

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5979916B2 (en) * 2012-03-07 2016-08-31 キヤノン株式会社 Information processing apparatus and control method thereof
JP5785891B2 (en) * 2012-03-27 2015-09-30 シャープ株式会社 Display device
US9998780B2 (en) * 2012-04-09 2018-06-12 International Business Machines Corporation Allowing presentation control of immediate content interrupting digital television channel programming
JP6133018B2 (en) * 2012-05-07 2017-05-24 任天堂株式会社 GAME SYSTEM, GAME DEVICE, GAME PROGRAM, AND GAME CONTROL METHOD
JP6283160B2 (en) * 2012-06-01 2018-02-21 任天堂株式会社 Information processing program, information processing apparatus, information processing system, and information processing method
JP6026199B2 (en) * 2012-09-25 2016-11-16 任天堂株式会社 Touch input system, touch input device, touch input control program, and touch input control method

Also Published As

Publication number Publication date
JP2015206854A (en) 2015-11-19

Similar Documents

Publication Publication Date Title
WO2015159543A1 (en) Display system, display device, and display control method
JP6064319B2 (en) Projector and projector control method
CN107408371B (en) Display device, terminal device, and display system
US9324295B2 (en) Display device and method of controlling display device
JP2013140533A (en) Display device, projector, display system, and method of switching device
CN103279313A (en) Display device and display control method
JP2017182110A (en) Display system, display device, information processor, and information processing method
US20160283087A1 (en) Display apparatus, display system, control method for display apparatus, and computer program
JP6051828B2 (en) Display device and control method of display device
JP6064321B2 (en) Display device and display control method
JP6409312B2 (en) Display system, display device, and display control method
JP6269801B2 (en) Projector and projector control method
US20150279336A1 (en) Bidirectional display method and bidirectional display device
JP6273671B2 (en) Projector, display system, and projector control method
JP6471414B2 (en) Display system, display device, and display method
JP6296144B2 (en) Display device and display control method
JP6657795B2 (en) Display system, terminal device, and display system control method
JP2019041250A (en) Display device and control method of display device
JP2012242927A (en) Mobile terminal device, control method for mobile terminal device, and program
JP6596935B2 (en) Display device, display system, and display device control method
JP6255810B2 (en) Display device and control method of display device
JP2022099487A (en) Image display system, method for controlling image display system, and method for controlling display unit
JP6547240B2 (en) Display system, terminal device, and program
JP2014022961A (en) Display device, portable terminal, program, and display system
JP2013195659A (en) Display device and display control method

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160617

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180910

R150 Certificate of patent or registration of utility model

Ref document number: 6409312

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150