JP6064321B2 - Display device and display control method - Google Patents

Display device and display control method Download PDF

Info

Publication number
JP6064321B2
JP6064321B2 JP2012000506A JP2012000506A JP6064321B2 JP 6064321 B2 JP6064321 B2 JP 6064321B2 JP 2012000506 A JP2012000506 A JP 2012000506A JP 2012000506 A JP2012000506 A JP 2012000506A JP 6064321 B2 JP6064321 B2 JP 6064321B2
Authority
JP
Japan
Prior art keywords
image
display
unit
resolution
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012000506A
Other languages
Japanese (ja)
Other versions
JP2013140266A (en
JP2013140266A5 (en
Inventor
博行 市枝
博行 市枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2012000506A priority Critical patent/JP6064321B2/en
Priority claimed from US13/721,554 external-priority patent/US9600091B2/en
Publication of JP2013140266A publication Critical patent/JP2013140266A/en
Publication of JP2013140266A5 publication Critical patent/JP2013140266A5/ja
Application granted granted Critical
Publication of JP6064321B2 publication Critical patent/JP6064321B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、位置を指示する操作に応じて指示位置の情報を出力する表示装置、及び、表示制御方法に関する。   The present invention relates to a display device that outputs information on a designated position in response to an operation that designates a position, and a display control method.

従来、プロジェクター等の表示装置が表示する画像の特定の位置が指示された場合に、指示位置を検出し、検出した位置に対応するようにポインター等を表示する装置が知られている(例えば、特許文献1参照)。この種の装置は、指示された位置とポインター等の表示位置とを一致させるためにキャリブレーションを行う必要がある。一般的には、表示する画像の表示位置が変わるなど、表示の条件が変化する毎にキャリブレーションをやり直す必要があり、手間がかかっていた。そこで、特許文献1記載の装置は、表示位置が変化した場合に、変化の前後の位置関係を示す位置変更データを利用することで、キャリブレーションを省略している。   2. Description of the Related Art Conventionally, when a specific position of an image displayed by a display device such as a projector is instructed, an apparatus that detects a designated position and displays a pointer or the like so as to correspond to the detected position is known (for example, Patent Document 1). This type of apparatus needs to be calibrated in order to make the indicated position coincide with the display position of a pointer or the like. In general, it is necessary to perform calibration again each time display conditions change, such as changing the display position of an image to be displayed. Therefore, the apparatus described in Patent Document 1 omits calibration by using position change data indicating the positional relationship before and after the change when the display position changes.

特許第4272904号公報Japanese Patent No. 4272904

上記のように指示位置を検出して出力する表示装置は、表示する画像の解像度に関する情報を必要とする。例えば、特許文献1記載の装置は、表示の条件が変化した場合に変化の前後の関係を示すデータが必要なため、入力された水平および垂直同期信号の周波数を計測することで画像の解像度を判別している。
しかしながら、例えば未知の解像度の画像が入力された場合や解像度に関する情報を誤判別した場合など、入力された信号に関して正しい解像度に関する情報が得られないことがある。近年は、デジタル放送の普及、映像コンテンツの高画質化、携帯型の機器を含む表示装置の多様化等によって、画面解像度の種類は増加する一方であり、表示装置が対応していない解像度の画像が入力されることも少なくない。このような場合、従来の表示装置では解像度に関する情報が得られないことから、指示位置と表示中の画像との位置関係を正確に求めることができないという問題があった。
本発明は、上述した事情に鑑みてなされたものであり、表示されている画像に対する指示位置を特定する機能を備え、未知の解像度の画像にも対応可能な表示装置、及び表示制御方法を提供することを目的とする。
A display device that detects and outputs an indicated position as described above needs information regarding the resolution of an image to be displayed. For example, since the apparatus described in Patent Document 1 requires data indicating the relationship before and after the change when the display condition changes, the resolution of the image is determined by measuring the frequency of the input horizontal and vertical synchronization signals. Judging.
However, for example, when an image with an unknown resolution is input or when information regarding the resolution is erroneously determined, information regarding the correct resolution may not be obtained with respect to the input signal. In recent years, with the spread of digital broadcasting, high-quality video content, diversification of display devices including portable devices, etc., the types of screen resolutions are increasing, and images with resolutions that are not supported by display devices Is often entered. In such a case, there is a problem that the positional relationship between the indicated position and the image being displayed cannot be obtained accurately because information on resolution cannot be obtained with a conventional display device.
The present invention has been made in view of the above-described circumstances, and provides a display device and a display control method that have a function of specifying an instruction position with respect to a displayed image and can also handle an image with an unknown resolution. The purpose is to do.

上記課題を解決するため、本発明は、画像ソースにより供給される供給画像を表示面に表示する表示手段と、前記表示面における指示位置を検出する位置検出手段と、前記表示面の表示可能領域における前記指示位置の座標である第1の座標を算出する座標算出手段と、前記座標算出手段により算出された前記第1の座標を、前記表示面における前記供給画像の位置を示す画像位置情報に基づいて、前記供給画像における座標である第2の座標に変換する座標変換手段と、前記座標変換手段により得られた前記第2の座標を出力する出力手段と、補正用の画像を表示する処理によって前記画像位置情報を補正する補正手段と、を備えることを特徴とする。
本発明によれば、画像が表示された表示面に対する指示操作に対応して、指示された位置を検出し、検出した指示位置の座標を供給画像における座標に変換して出力することができる。そして、表示面における供給画像の位置を示す画像位置情報を、補正用の画像を用いて補正できるので、未知の解像度の供給画像を表示する場合や解像度に関する情報を誤判別した場合など、解像度に関する正確な情報を得られない場合であっても、正確に座標を変換して出力できる。これにより、供給される画像の解像度に関わらず、画像が表示された表示面に対する操作によって指示された位置の座標を正確に出力できる。
In order to solve the above problems, the present invention provides a display unit that displays a supply image supplied from an image source on a display surface, a position detection unit that detects an indicated position on the display surface, and a displayable area on the display surface. The coordinate calculation means for calculating the first coordinates which are the coordinates of the indicated position in the image, and the first coordinates calculated by the coordinate calculation means as image position information indicating the position of the supply image on the display surface Based on the coordinate conversion means for converting to the second coordinates which are the coordinates in the supplied image, the output means for outputting the second coordinates obtained by the coordinate conversion means, and the processing for displaying the image for correction Correction means for correcting the image position information.
According to the present invention, in response to an instruction operation on the display surface on which an image is displayed, the instructed position can be detected, and the coordinates of the detected instructed position can be converted into coordinates in the supplied image and output. Since the image position information indicating the position of the supply image on the display surface can be corrected using the correction image, the resolution-related information is displayed, for example, when a supply image with an unknown resolution is displayed or when information regarding the resolution is misidentified. Even when accurate information cannot be obtained, coordinates can be accurately converted and output. Thereby, irrespective of the resolution of the supplied image, the coordinates of the position designated by the operation on the display surface on which the image is displayed can be output accurately.

また、本発明は、上記表示装置において、前記座標変換手段は、前記座標算出手段により算出された前記第1の座標を、前記供給画像の解像度、および、前記画像位置情報に基づいて、前記第2の座標に変換し、前記補正手段は前記画像位置情報を補正することを特徴とする。
本発明によれば、表示面に対する指示位置を検出し、検出した指示位置を供給画像における座標に正確に変換して出力できる。
In the display device according to the aspect of the invention, the coordinate conversion unit may calculate the first coordinate calculated by the coordinate calculation unit based on the resolution of the supplied image and the image position information. The correction means corrects the image position information.
According to the present invention, it is possible to detect an indicated position with respect to the display surface, accurately convert the detected indicated position into coordinates in the supplied image, and output.

また、本発明は、上記表示装置において、前記表示手段が表示する前記補正用の画像は、前記表示可能領域内に表示される可能性が高い位置に配置されたマーカーを含むことを特徴とする。
本発明によれば、表示可能領域に位置するマーカーを用いて、画像位置情報を正確かつ速やかに補正でき、正確な座標を出力できる。
Further, in the above display device, the image for the correction the display means displays are the possibility to be displayed includes a marker which is positioned at a height have position location before Symbol displayable area It is characterized by.
According to the present invention, image position information can be corrected accurately and promptly using a marker located in a displayable area, and accurate coordinates can be output.

また、本発明は、上記表示装置において、前記補正手段は、前記表示手段が前記補正用の画像を前記表示面に表示した状態で、前記位置検出手段によって検出された指示位置と、前記補正用の画像における前記マーカーの位置とに基づいて、前記画像位置情報を補正することを特徴とする。
本発明によれば、補正用の画像を表示して、表示面に対する操作により指示された位置とマーカーの位置とに基づいて、画像位置情報を正確に補正でき、正確な座標を出力できる。
In the display device according to the aspect of the invention, the correction unit may include the indication position detected by the position detection unit in a state where the display unit displays the correction image on the display surface, and the correction unit. The image position information is corrected based on the position of the marker in the image.
According to the present invention, it is possible to display a correction image, accurately correct image position information based on the position designated by the operation on the display surface and the position of the marker, and to output accurate coordinates.

また、本発明は、上記表示装置において、前記補正手段は、前記表示手段によって前記表示面に表示された前記補正用の画像におけるマーカーを検出し、実際に検出したマーカーの検出位置に基づいて前記画像位置情報を補正することを特徴とする。
本発明によれば、マーカーを検出することによって、指示操作に依存することなく、画像位置情報を補正でき、正確な座標を出力できる。
Further, in the display device according to the present invention, the correction unit detects a marker in the correction image displayed on the display surface by the display unit, and the detection unit detects the marker based on the detected position of the marker actually detected. The image position information is corrected.
According to the present invention, by detecting the marker, the image position information can be corrected and accurate coordinates can be output without depending on the instruction operation.

また、本発明は、上記表示装置において、前記表示手段は、前記供給画像に基づいて前記表示面に表示する画像を、前記表示可能領域に対応するメモリーに展開する画像展開手段を備え、前記メモリーに展開された画像を前記表示面に表示するよう構成され、前記補正手段は、前記メモリーに展開された画像における前記マーカーの位置を検出し、検出した位置に基づいて前記画像位置情報を補正することを特徴とする。
本発明によれば、メモリーに展開された画像のマーカーを検出することによって、指示操作に依存することなく、画像位置情報を補正でき、正確な座標を出力できる。また、メモリーの画像からマーカーを検出することで、速やかに、かつ正確にマーカーの位置を特定できる。
In the display device according to the present invention, the display unit further includes an image expansion unit that expands an image to be displayed on the display surface based on the supplied image in a memory corresponding to the displayable area. The correction unit detects the position of the marker in the image expanded in the memory, and corrects the image position information based on the detected position. It is characterized by that.
According to the present invention, by detecting the marker of the image developed in the memory, the image position information can be corrected and accurate coordinates can be output without depending on the instruction operation. Further, by detecting the marker from the image in the memory, the position of the marker can be specified quickly and accurately.

また、本発明は、上記表示装置において、前記表示手段として、光源が発した光を変調する光変調手段と、前記供給画像に基づいて前記光変調手段に表示画像を形成する画像形成手段と、前記画像形成手段により形成された表示画像を、前記表示面としての投射面に投射する投射手段と、を備えたプロジェクターであることを特徴とする。
本発明によれば、画像を投射するプロジェクターにおいて、投射面に対する指示操作により指示された位置を、供給画像における座標に正確に変換して出力できる。
According to the present invention, in the display device, as the display unit, a light modulation unit that modulates light emitted from a light source, an image forming unit that forms a display image on the light modulation unit based on the supplied image, The projector includes: a projection unit that projects a display image formed by the image forming unit onto a projection surface serving as the display surface.
According to the present invention, in a projector that projects an image, a position instructed by an instruction operation on a projection surface can be accurately converted into coordinates in a supplied image and output.

また、上記課題を解決するため、本発明は、画像ソースにより供給される供給画像を表示面に表示し、前記表示面における指示位置を検出し、前記表示面の表示可能領域における前記指示位置の座標である第1の座標を算出し、算出した前記第1の座標を、前記表示面における前記供給画像の位置を示す画像位置情報に基づいて、前記供給画像における座標である第2の座標に変換し、変換により得られた前記第2の座標を出力し、前記補正用の画像を表示する処理によって前記画像位置情報を補正すること、を特徴とする。
本発明によれば、画像が表示された表示面に対する指示操作に対応して、指示された位置を検出し、検出した指示位置の座標を供給画像における座標に変換して出力することができる。そして、表示面における前記供給画像の位置を示す画像位置情報を、補正用の画像を用いて補正できるので、未知の解像度の供給画像を表示する場合や解像度に関する情報を誤判別した場合など、解像度に関する正確な情報を得られない場合であっても、正確に座標を変換して出力できる。これにより、供給される画像の解像度に関わらず、画像が表示された表示面に対する操作によって指示された位置の座標を正確に出力できる。
In order to solve the above problem, the present invention displays a supply image supplied from an image source on a display surface, detects an indicated position on the display surface, and detects the indicated position in a displayable area on the display surface. First coordinates that are coordinates are calculated, and the calculated first coordinates are converted into second coordinates that are coordinates in the supply image based on image position information indicating the position of the supply image on the display surface. Converting, outputting the second coordinates obtained by the conversion, and correcting the image position information by a process of displaying the image for correction.
According to the present invention, in response to an instruction operation on the display surface on which an image is displayed, the instructed position can be detected, and the coordinates of the detected instructed position can be converted into coordinates in the supplied image and output. And since the image position information indicating the position of the supply image on the display surface can be corrected using the correction image, the resolution is displayed when the supply image of unknown resolution is displayed or when information regarding the resolution is misidentified. Even when accurate information on the information cannot be obtained, the coordinates can be accurately converted and output. Thereby, irrespective of the resolution of the supplied image, the coordinates of the position designated by the operation on the display surface on which the image is displayed can be output accurately.

また、本発明は、表示面に画像を表示する表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、画像ソースにより供給される供給画像を表示面に表示する表示手段と、前記表示面における指示位置を検出する位置検出手段と、前記表示面の表示可能領域における前記指示位置の座標である第1の座標を算出する座標算出手段と、前記座標算出手段により算出された前記第1の座標を、前記表示面における前記供給画像の位置を示す画像位置情報に基づいて、前記供給画像における座標である第2の座標に変換する座標変換手段と、前記座標変換手段により得られた前記第2の座標を出力する出力手段と、補正用の画像を表示する処理によって前記画像位置情報を補正する補正手段と、として機能させるプログラムとして実現できる。
また、上記プログラムを、コンピューターが読み取り可能に記録した記録媒体として実現することも可能である。
Further, the present invention is a program executable by a computer that controls a display device that displays an image on a display surface, the computer displaying a supply image supplied by an image source on a display surface; Position detecting means for detecting an indicated position on the display surface; coordinate calculating means for calculating a first coordinate which is a coordinate of the indicated position in a displayable area of the display surface; and the coordinate calculated by the coordinate calculating means. A coordinate conversion unit that converts the first coordinate to a second coordinate that is a coordinate in the supply image based on image position information indicating the position of the supply image on the display surface, and the coordinate conversion unit. Further, an output unit that outputs the second coordinates and a correction unit that corrects the image position information by a process of displaying a correction image are operated. It can be implemented as a program.
It is also possible to implement the program as a recording medium that is recorded so as to be readable by a computer.

本発明によれば、供給される画像を表示する表示装置により、供給される画像の解像度に関わらず、画像が表示された表示面に対する操作によって指示された位置の座標を正確に出力できる。   According to the present invention, the display device that displays the supplied image can accurately output the coordinates of the position indicated by the operation on the display surface on which the image is displayed, regardless of the resolution of the supplied image.

本発明の実施形態に係る表示システムの構成を示す図である。It is a figure which shows the structure of the display system which concerns on embodiment of this invention. プロジェクターの機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of a projector. PCの機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of PC. スクリーンに画像を投射した例を示す図であり、(A)は指示位置に従ってポインターを投射した状態を示し、(B)は指示位置に従って描画を行った例を示す。It is a figure which shows the example which projected the image on the screen, (A) shows the state which projected the pointer according to the instruction | indication position, (B) shows the example which performed drawing according to the instruction | indication position. 座標を検出及び変換する処理の様子を示す説明図である。It is explanatory drawing which shows the mode of the process which detects and converts a coordinate. プロジェクターの動作を示すフローチャートである。It is a flowchart which shows operation | movement of a projector. プロジェクターが対応する解像度を定義した解像度テーブルの構成例を模式的に示す図である。It is a figure which shows typically the structural example of the resolution table which defined the resolution which a projector respond | corresponds. スクリーンへの投射状態の例を示す図であり、(A)は適切な画面モードで投射された例を示し、(B)は適切でない画面モードで投射された例を示す。It is a figure which shows the example of the projection state to a screen, (A) shows the example projected by the appropriate screen mode, (B) shows the example projected by the inappropriate screen mode. 補正用画像の構成例を示す図であり、(A)はマーカーとして四角形が含まれた例を示し、(B)はマーカーとしてポインターを用いた例を示す。It is a figure which shows the structural example of the image for a correction | amendment, (A) shows the example in which the rectangle was included as a marker, (B) shows the example which used the pointer as a marker. 補正用画像を用いた補正処理の例を示す図であり、(A)は補正前の状態を示し、(B)は補正後の状態を示す。It is a figure which shows the example of the correction process using the image for a correction | amendment, (A) shows the state before correction | amendment, (B) shows the state after correction | amendment. プロジェクターの動作を示すフローチャートである。It is a flowchart which shows operation | movement of a projector.

以下、図面を参照して本発明を適用した実施形態について説明する。
図1は、実施形態に係るプロジェクター11を用いた表示システム10の構成を示す図である。
表示装置としてのプロジェクター11は、画像供給装置としてのPC(Personal Computer)13に画像信号ケーブル等により有線接続されている。プロジェクター11には、例えば、VGA端子を介してPC13からアナログ画像信号(アナログRGBコンポーネント映像信号等)が入力され、プロジェクター11は入力された画像信号に基づいて、投射面(表示面)としてのスクリーンSCに表示画像を投射する。また、プロジェクター11は通信ケーブル等によりPC13に接続され、PC13との間で制御データ等を送受信する。プロジェクター11は、PC13から入力された画像が静止画像であっても動画像であっても投射できる。スクリーンSCは、壁面に固定された平板に限らず、壁面自体をスクリーンSCとして使用することも可能である。ここで、プロジェクター11上で画像が投射される範囲を実投射領域11B(表示可能領域)とする。
Embodiments to which the present invention is applied will be described below with reference to the drawings.
FIG. 1 is a diagram illustrating a configuration of a display system 10 using a projector 11 according to an embodiment.
The projector 11 as a display device is connected to a PC (Personal Computer) 13 as an image supply device by an image signal cable or the like. For example, an analog image signal (analog RGB component video signal or the like) is input to the projector 11 from the PC 13 via a VGA terminal, and the projector 11 is a screen as a projection surface (display surface) based on the input image signal. A display image is projected onto the SC. The projector 11 is connected to the PC 13 via a communication cable or the like, and transmits / receives control data to / from the PC 13. The projector 11 can project whether the image input from the PC 13 is a still image or a moving image. The screen SC is not limited to a flat plate fixed to a wall surface, and the wall surface itself can be used as the screen SC. Here, a range in which an image is projected on the projector 11 is defined as an actual projection area 11B (displayable area).

表示システム10では、プロジェクター11による画像の投射中、ユーザーが指示体12を手に持って、スクリーンSCの実投射領域11Bにおける任意の位置を指示する操作(位置指示操作)を実行できる。指示体12は、ペン型や棒形状の操作デバイスであって、スクリーンSCの上の任意の位置を指し示すために用いられる。プロジェクター11は、後述するように指示体12の先端位置を検出する機能を有し、検出した指示位置の座標を示す制御データをPC13に出力する。   In the display system 10, while the image is projected by the projector 11, the user can hold the indicator 12 in his hand and perform an operation (position indication operation) for indicating an arbitrary position in the actual projection area 11 </ b> B of the screen SC. The indicator 12 is a pen-shaped or bar-shaped operation device, and is used to indicate an arbitrary position on the screen SC. The projector 11 has a function of detecting the tip position of the indicator 12 as will be described later, and outputs control data indicating the coordinates of the detected indicated position to the PC 13.

図2は、プロジェクター11の機能的構成を示すブロック図である。
プロジェクター11は、大別して、PC13から入力される画像に基づいて表示用の画像処理を実行する画像処理ユニット110と、画像処理ユニット110の制御に従ってスクリーンSCに画像を投射する投射ユニット3(表示手段)と、スクリーンSC上の指示体12の指示位置を検出する位置検出ユニット150と、位置検出ユニット150が検出した指示位置の座標を、画像データにおける座標に変換する座標変換部160と、座標変換部160が変換した変換後の座標をPC13に出力する出力部101(出力手段)と、これらの各部を制御する制御部103と、を備えている。
制御部103は、図示しないCPU、不揮発性メモリー、RAM等により構成され、制御部103に接続された記憶部105に記憶されている制御プログラム105Aを読み出して実行し、プロジェクター11の各部を制御する。また、記憶部105に記憶された制御プログラム105Aを実行することで、制御部103はキャリブレーション実行部103Aとして機能する。
FIG. 2 is a block diagram illustrating a functional configuration of the projector 11.
The projector 11 is roughly divided into an image processing unit 110 that executes image processing for display based on an image input from the PC 13, and a projection unit 3 (display unit) that projects an image onto the screen SC according to control of the image processing unit 110. ), A position detection unit 150 that detects the indication position of the indicator 12 on the screen SC, a coordinate conversion unit 160 that converts the coordinates of the indication position detected by the position detection unit 150 into coordinates in the image data, and coordinate conversion The output part 101 (output means) which outputs the coordinate after the conversion which the part 160 converted to PC13, and the control part 103 which controls each of these parts are provided.
The control unit 103 includes a CPU, a non-volatile memory, a RAM, and the like (not shown). The control unit 103 reads out and executes a control program 105A stored in the storage unit 105 connected to the control unit 103, and controls each unit of the projector 11. . Further, by executing the control program 105A stored in the storage unit 105, the control unit 103 functions as the calibration execution unit 103A.

キャリブレーション実行部103Aは、後述するキャリブレーションを実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンSC上の領域(例えば、実投射領域11B)における座標との対応関係を表すパラメーター(座標変換パラメーター)を求める。記憶部105は、磁気的、光学的記録装置または半導体記憶素子により構成され、制御プログラム105Aを含む各種プログラム、及び、各種設定値等のデータを記憶する。   103 A of calibration execution parts perform the calibration mentioned later, and represent the correspondence of the coordinate in picked-up image data, and the coordinate in the area | region (for example, actual projection area | region 11B) on the screen SC used as calibration object. Find parameters (coordinate transformation parameters). The storage unit 105 is configured by a magnetic or optical recording device or a semiconductor storage element, and stores various programs including a control program 105A and data such as various setting values.

制御部103には操作パネル41及びリモコン受光部45が接続されている。
操作パネル41は、各種スイッチ及びインジケーターランプを備え、プロジェクター11の外装筐体(図示略)に配置されている。制御部103は、プロジェクター11の動作状態や設定状態に応じて操作パネル41のインジケーターランプを適宜点灯或いは点滅させる。また、操作パネル41のスイッチが操作されると、操作されたスイッチに対応する操作信号が制御部103に出力される。
また、プロジェクター11は、プロジェクター11を操作する操作者としてのユーザーが使用するリモコン(図示略)がボタン操作に対応して送信した赤外線信号を、リモコン受光部45によって受光する。リモコン受光部45は、上記リモコンから受光した赤外線信号を受光素子により受光し、この信号に対応する操作信号を制御部103に出力する。操作パネル41やリモコン等は、プロジェクター11に対する操作をユーザーが入力するための操作部である。なお、プロジェクター11に対する操作を表す操作信号をPC13からプロジェクター11に送信し、この操作信号に基づいてプロジェクター11を制御することもできる。この場合は、PC13も、プロジェクター11に対する操作をユーザーが入力するための操作部として機能する。
制御部103は、操作パネル41またはリモコン受光部45から入力される操作信号に基づいて、ユーザーの操作を検出し、この操作に従ってプロジェクター11を制御する。
An operation panel 41 and a remote control light receiving unit 45 are connected to the control unit 103.
The operation panel 41 includes various switches and indicator lamps, and is disposed in an exterior housing (not shown) of the projector 11. The control unit 103 appropriately turns on or blinks the indicator lamp of the operation panel 41 according to the operation state or setting state of the projector 11. When a switch on the operation panel 41 is operated, an operation signal corresponding to the operated switch is output to the control unit 103.
Further, the projector 11 receives an infrared signal transmitted by a remote controller (not shown) used by a user as an operator who operates the projector 11 in response to a button operation by the remote controller light receiving unit 45. The remote control light receiving unit 45 receives the infrared signal received from the remote control by the light receiving element, and outputs an operation signal corresponding to this signal to the control unit 103. The operation panel 41, the remote controller, and the like are operation units for the user to input operations on the projector 11. It is also possible to transmit an operation signal representing an operation on the projector 11 from the PC 13 to the projector 11 and control the projector 11 based on the operation signal. In this case, the PC 13 also functions as an operation unit for the user to input an operation on the projector 11.
The control unit 103 detects a user operation based on an operation signal input from the operation panel 41 or the remote control light receiving unit 45, and controls the projector 11 according to this operation.

プロジェクター11は、大きく分けて光学的な画像の形成を行う光学系と画像信号を電気的に処理する画像処理系とからなる。光学系は、照明光学系31、光変調装置32(光変調手段)、及び投射光学系33から構成される投射部30(投射手段)である。照明光学系31は、キセノンランプ、超高圧水銀ランプ、LED(Light Emitting Diode)、レーザー等からなる光源を備えている。また、照明光学系31は、光源が発した光を光変調装置32に導くリフレクター及び補助リフレクターを備えていてもよく、投射光の光学特性を高めるためのレンズ群(図示略)、偏光板、或いは光源が発した光の光量を光変調装置32に至る経路上で低減させる調光素子等を備えたものであってもよい。
光変調装置32は、入射する光を変調する変調領域を備えており、後述する画像処理系からの信号を受けて、照明光学系31からの光を変調する。本実施形態では、透過型液晶パネルを用いて光変調装置32を構成した場合を例に挙げて説明する。この構成では、光変調装置32は、カラーの投影を行うため、RGBの三原色に対応した3枚の液晶パネルからなる。照明光学系31からの光はRGBの3色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系33に射出される。
The projector 11 is roughly divided into an optical system that forms an optical image and an image processing system that electrically processes an image signal. The optical system is a projection unit 30 (projection unit) including an illumination optical system 31, a light modulation device 32 (light modulation unit), and a projection optical system 33. The illumination optical system 31 includes a light source including a xenon lamp, an ultrahigh pressure mercury lamp, an LED (Light Emitting Diode), a laser, and the like. Further, the illumination optical system 31 may include a reflector for guiding the light emitted from the light source to the light modulation device 32 and an auxiliary reflector, and includes a lens group (not shown), a polarizing plate, Or you may provide the light control element etc. which reduce the light quantity of the light which the light source emitted on the path | route which reaches the light modulation apparatus 32. FIG.
The light modulation device 32 includes a modulation region that modulates incident light, and modulates light from the illumination optical system 31 in response to a signal from an image processing system described later. In the present embodiment, a case where the light modulation device 32 is configured using a transmissive liquid crystal panel will be described as an example. In this configuration, the light modulation device 32 includes three liquid crystal panels corresponding to the three primary colors of RGB in order to perform color projection. The light from the illumination optical system 31 is separated into three color lights of RGB, and each color light enters each corresponding liquid crystal panel. The color light modulated by passing through each liquid crystal panel is combined by a combining optical system such as a cross dichroic prism and emitted to the projection optical system 33.

投射光学系33は、投射する画像の拡大・縮小および焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター等を備えている。
投射ユニット3は、投射部30とともに、表示制御部107の制御に従って投射光学系33が備える各モーターを駆動する投射光学系駆動部121、表示制御部107から出力される画像信号に基づいて入射する光を変調するように光変調装置32を駆動する光変調装置駆動部119、及び、制御部103の制御に従って照明光学系31が備える光源を駆動する光源駆動部117を備えている。
The projection optical system 33 includes a zoom lens that performs enlargement / reduction of a projected image and a focus adjustment, a zoom adjustment motor that adjusts the degree of zoom, a focus adjustment motor that performs focus adjustment, and the like.
The projection unit 3 enters together with the projection unit 30 based on the image signal output from the projection optical system drive unit 121 that drives each motor included in the projection optical system 33 according to the control of the display control unit 107 and the display control unit 107. A light modulation device driving unit 119 that drives the light modulation device 32 to modulate light and a light source driving unit 117 that drives a light source included in the illumination optical system 31 according to the control of the control unit 103 are provided.

一方、画像処理系は、プロジェクター11全体を統合的に制御する制御部103の制御に従って画像データを処理する画像処理ユニット110により構成される。画像処理ユニット110は、PC13に接続される画像入力部104を備えている。画像入力部104は、画像データが入力されるインターフェイスであり、例えば、デジタル映像信号が入力されるDVI(Digital Visual Interface)インターフェイス、USBインターフェイス及びLANインターフェイスや、NTSC、PAL及びSECAM等のコンポジット映像信号が入力されるS映像端子、コンポジット映像信号が入力されるRCA端子、コンポーネント映像信号が入力されるD端子やVGA端子、HDMI(登録商標)規格に準拠したHDMIコネクター等の汎用インターフェイスを用いることができる。なお、画像入力部104は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。また、画像入力部104に、VESA(Video Electronics Standards Association)が策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini Displayportコネクターと、Displayport規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、プロジェクター11は、PC13や、PC13と同等の機能を有する携帯型デバイスが備えるDisplayPortに接続することができる。   On the other hand, the image processing system includes an image processing unit 110 that processes image data in accordance with control of the control unit 103 that controls the entire projector 11 in an integrated manner. The image processing unit 110 includes an image input unit 104 connected to the PC 13. The image input unit 104 is an interface to which image data is input. For example, a DVI (Digital Visual Interface) interface, a USB interface and a LAN interface to which a digital video signal is input, a composite video signal such as NTSC, PAL and SECAM. A general-purpose interface such as an S video terminal to which a video signal is input, an RCA terminal to which a composite video signal is input, a D terminal or a VGA terminal to which a component video signal is input, or an HDMI connector conforming to the HDMI (registered trademark) standard is used. it can. Note that the image input unit 104 may perform transmission / reception of image signals by wired communication, or may perform transmission / reception of image signals by wireless communication. Further, the image input unit 104 may be configured to include a DisplayPort established by VESA (Video Electronics Standards Association). Specifically, the image input unit 104 includes a DisplayPort connector or a Mini Displayport connector and an interface circuit compliant with the Displayport standard. It is good also as a structure. In this case, the projector 11 can be connected to the DisplayPort included in the PC 13 or a portable device having the same function as the PC 13.

本実施形態では、画像入力部104が有するVGA端子にPC13からアナログ画像信号が入力される構成について説明する。画像入力部104は、PC13から入力されたアナログ画像信号をデジタル画像データに変換するA/D変換回路を有し、変換後のデジタル画像データを表示制御部107に出力する。
画像処理ユニット110は、画像入力部104に入力された画像を処理する表示制御部107、表示制御部107の制御に従って画像をフレームメモリー115に展開し、投射部30が投射する画像を生成する画像処理部113を備えている。
In the present embodiment, a configuration in which an analog image signal is input from the PC 13 to a VGA terminal included in the image input unit 104 will be described. The image input unit 104 includes an A / D conversion circuit that converts an analog image signal input from the PC 13 into digital image data, and outputs the converted digital image data to the display control unit 107.
The image processing unit 110 processes the image input to the image input unit 104, develops the image in the frame memory 115 according to the control of the display control unit 107, and generates an image to be projected by the projection unit 30. A processing unit 113 is provided.

表示制御部107は、PC13から画像入力部104に入力されるアナログ画像信号のリフレッシュレート、水平解像度及び垂直解像度を判別して、この入力信号に対応する画面モードを、プロジェクター11が表示可能な画面モードとして予め設定された複数の画面モードのいずれかに決定する。表示制御部107は、画像入力部104が決定した画面モードに合わせて、表示するために必要な処理を決定し、画像処理部113を制御して当該処理を実行する。画像処理部113は、表示制御部107の制御に従って、画像入力部104に入力された画像データをフレームメモリー115に展開し、インターレース/プログレッシブ変換、解像度変換等の各種変換処理を適宜実行し、フレームメモリー115に描画した表示画像を表示するための所定フォーマットの画像信号を生成して、表示制御部107に出力する。なお、プロジェクター1は、入力された画像データの解像度やアスペクト比を変更して表示することもでき、入力された画像データの解像度やアスペクト比を維持したままドットバイドットで表示することも可能である。また、画像処理部113は、表示制御部107の制御に従って、キーストーン補正、カラーモードに対応した色調補正、画像の拡大/縮小処理等の各種の画像処理を実行可能である。表示制御部107は、画像処理部113により処理された画像信号を光変調装置駆動部119に出力し、光変調装置32に表示させる。また、画像処理部113は、表示中の画像データの解像度、アスペクト比、光変調装置32の液晶表示パネルにおける表示サイズ等の情報から、画像位置情報(画像位置データ)を導出し、求めた画像位置情報を座標変換部160に出力する。画像位置情報は、実投射領域11B内のどの位置に表示画像が投射される(表示される)のかを示す情報である。換言すれば、画像位置情報は、実投射領域11Bにおける表示画像の配置に関する情報であって、実投射領域11Bにおける表示画像の位置(配置)を示している。この画像位置情報は、PC13の表示解像度が変化することによってPC13がプロジェクター11に出力する画像データの解像度が変化した場合(例えば、PC13において解像度に関する設定が変更された場合)等に変化する。なお画像位置情報は、光変調装置32の変調領域における画像の配置に関する情報であると考えることもできる。 The display control unit 107 determines a refresh rate, a horizontal resolution, and a vertical resolution of an analog image signal input from the PC 13 to the image input unit 104, and a screen on which the projector 11 can display a screen mode corresponding to the input signal. The mode is determined as one of a plurality of screen modes set in advance. The display control unit 107 determines a process necessary for display according to the screen mode determined by the image input unit 104, and controls the image processing unit 113 to execute the process. Under the control of the display control unit 107, the image processing unit 113 expands the image data input to the image input unit 104 in the frame memory 115, appropriately executes various conversion processes such as interlace / progressive conversion and resolution conversion, An image signal of a predetermined format for displaying the display image drawn in the memory 115 is generated and output to the display control unit 107. Note that the projector 1 1 can also be displayed by changing the resolution and aspect ratio of the input image data, can be displayed while the dot-by-dot maintaining the resolution and aspect ratio of the input image data It is. Further, the image processing unit 113 can execute various types of image processing such as keystone correction, color tone correction corresponding to a color mode, and image enlargement / reduction processing under the control of the display control unit 107. The display control unit 107 outputs the image signal processed by the image processing unit 113 to the light modulation device driving unit 119 and causes the light modulation device 32 to display the image signal. Further, the image processing unit 113 derives image position information (image position data) from information such as the resolution of the image data being displayed, the aspect ratio, the display size on the liquid crystal display panel of the light modulation device 32, and the obtained image. The position information is output to the coordinate conversion unit 160. The image position information is information indicating at which position in the actual projection area 11B the display image is projected (displayed). In other words, the image position information is information relating to the arrangement of the display image in the actual projection area 11B, and indicates the position (arrangement) of the display image in the actual projection area 11B. This image position information changes when the resolution of the image data output from the PC 13 to the projector 11 changes due to a change in the display resolution of the PC 13 (for example, when the setting related to the resolution is changed in the PC 13). The image position information can also be considered as information relating to the arrangement of images in the modulation area of the light modulation device 32.

制御部103は、制御プログラム105Aを実行して表示制御部107を制御し、スクリーンSC上に結像した表示画像のキーストーン補正を実行させる。また、制御部103は、操作パネル41またはリモコン受光部45から入力された操作信号に基づいて、表示制御部107を制御して表示画像の拡大/縮小処理を実行させる。   The control unit 103 executes the control program 105A and controls the display control unit 107 to execute keystone correction of the display image formed on the screen SC. Further, the control unit 103 controls the display control unit 107 based on an operation signal input from the operation panel 41 or the remote control light receiving unit 45 to execute a display image enlargement / reduction process.

プロジェクター11は、スクリーンSC上で指示体12により指示された指示位置の座標を検出する位置検出ユニット150(位置検出手段)を有する。位置検出ユニット150は、スクリーンSCを撮影する撮像部153、撮像部153を制御する撮影制御部155、及び、撮像部153の撮影画像に基づいて指示体12の指示位置を検出する位置検出処理部157を有する位置検出部151と、この位置検出部151が検出した指示位置の座標を算出する座標算出部159(座標算出手段)とを備えている。   The projector 11 includes a position detection unit 150 (position detection means) that detects the coordinates of the indicated position indicated by the indicator 12 on the screen SC. The position detection unit 150 includes an imaging unit 153 that captures the screen SC, an imaging control unit 155 that controls the imaging unit 153, and a position detection processing unit that detects the indicated position of the indicator 12 based on the captured image of the imaging unit 153. 157 and a coordinate calculation unit 159 (coordinate calculation means) that calculates the coordinates of the indicated position detected by the position detection unit 151.

撮像部153は、スクリーンSC上で投射部30が画像を投射可能な最大範囲(後述する最大投射領域11Aに相当)を含む画角を撮影するデジタルカメラであり、撮影制御部155の制御に従って撮影を実行し、撮影画像データを出力する。換言すれば、撮像部153は最大投射領域11A全体を含む範囲を撮影可能に設定されている。撮影制御部155は、制御部103の制御にしたがって、撮像部153を制御して撮影を実行させる。撮像部153が撮影時のズーム倍率、フォーカス、絞りの調整を行う機構を有する場合、撮影制御部155は、これらの機構を制御して予め設定された条件で撮影を実行させる。撮影後、撮影制御部155は撮像部153が出力する撮影画像データを取得して、位置検出処理部157に出力する。撮像部153から出力される撮影画像データは、RGBやYUV等の形式で表されるものであっても良く、輝度成分のみを表すものであっても良い。また撮影制御部155は、撮像部153から出力される撮影画像データをそのまま位置検出処理部157へ出力してもよく、解像度の調整や所定のファイルフォーマット(JPEG、BMPなど)への変換等を行った上で位置検出処理部157へ出力しても良い。
なお、撮像部153は、可視光を撮像可能な構成であっても良く、非可視光(赤外光など)を撮像可能な構成であっても良い。撮像部153が非可視光を撮像可能な場合には、指示体12が非可視光を射出して、撮像部153が指示体12から射出された非可視光を撮像する構成や、指示体12が非可視光を反射可能な反射部を備えており、制御部103の制御によってプロジェクター11からスクリーンSCに対して非可視光を投射し、指示体12の反射部によって反射された非可視光を撮像部153によって撮像する構成等を採用することができる。
The imaging unit 153 is a digital camera that captures an angle of view including a maximum range (corresponding to a maximum projection area 11A described later) on which the projection unit 30 can project an image on the screen SC. To output the captured image data. In other words, the imaging unit 153 is set to be able to capture a range including the entire maximum projection area 11A. The imaging control unit 155 controls the imaging unit 153 to execute imaging in accordance with the control of the control unit 103. When the imaging unit 153 has mechanisms for adjusting zoom magnification, focus, and aperture during shooting, the shooting control unit 155 controls these mechanisms to execute shooting under preset conditions. After shooting, the shooting control unit 155 acquires the shot image data output by the imaging unit 153 and outputs it to the position detection processing unit 157. The captured image data output from the imaging unit 153 may be expressed in a format such as RGB or YUV, or may represent only a luminance component. Further, the shooting control unit 155 may output the shot image data output from the imaging unit 153 to the position detection processing unit 157 as it is, and adjust the resolution, convert it to a predetermined file format (JPEG, BMP, etc.), etc. Then, the data may be output to the position detection processing unit 157.
Note that the imaging unit 153 may be configured to capture visible light, or may be configured to capture invisible light (such as infrared light). When the imaging unit 153 can capture invisible light, the indicator 12 emits invisible light, and the imaging unit 153 images the invisible light emitted from the indicator 12, or the indicator 12 Is provided with a reflection part capable of reflecting non-visible light, projects non-visible light from the projector 11 to the screen SC under the control of the control part 103, and reflects the non-visible light reflected by the reflection part of the indicator 12. A configuration in which imaging is performed by the imaging unit 153 can be employed.

位置検出処理部157は、撮影制御部155から入力される撮影画像データを解析して、この撮影画像データから、実投射領域11Bの外部と実投射領域11Bとの境界、及び、指示体12の画像を抽出し、指示体12による指示位置を特定する。指示体12の指示位置は、例えば、棒状あるいはペン型の指示体12の先端の位置である。   The position detection processing unit 157 analyzes the captured image data input from the imaging control unit 155, and from this captured image data, the boundary between the outside of the actual projection region 11B and the actual projection region 11B, and the indicator 12 is displayed. An image is extracted and the position indicated by the indicator 12 is specified. The indication position of the indicator 12 is, for example, the position of the tip of the rod-like or pen-type indicator 12.

座標算出部159は、位置検出処理部157によって検出された指示体12の指示位置、及びキャリブレーション実行部103Aによって求められた座標変換パラメーターに基づいて座標の算出を行う。具体的に、座標算出部159は、位置検出処理部157が検出した指示位置の、実投射領域11Bにおける座標を求め、算出した座標を表す座標データ(座標情報)を座標変換部160に出力する。以下の説明では、座標算出部159が算出し、位置検出ユニット150から出力される座標データを「第1の座標データ」とも称する。また以下の説明では、座標データを単に「座標」と称する場合もある。本実施形態では、第1の座標データは、スクリーンSC上でキャリブレーションの対象となった領域内で正規化された座標を表す。例えば、実投射領域11B全体がキャリブレーションの対象であれば、実投射領域11Bの左上の頂点を原点(0,0)として、実投射領域11Bの右上の頂点、左下の頂点、及び右下の頂点の座標を、それぞれ(1,0)、(0,1)、(1,1)と表すことができる。この場合、実投射領域11Bの中心の座標は(0.5、0.5)と表される。   The coordinate calculation unit 159 calculates coordinates based on the indication position of the indicator 12 detected by the position detection processing unit 157 and the coordinate conversion parameter obtained by the calibration execution unit 103A. Specifically, the coordinate calculation unit 159 obtains coordinates in the actual projection area 11B of the indicated position detected by the position detection processing unit 157, and outputs coordinate data (coordinate information) representing the calculated coordinates to the coordinate conversion unit 160. . In the following description, the coordinate data calculated by the coordinate calculation unit 159 and output from the position detection unit 150 is also referred to as “first coordinate data”. In the following description, the coordinate data may be simply referred to as “coordinates”. In the present embodiment, the first coordinate data represents coordinates normalized within the area to be calibrated on the screen SC. For example, if the entire actual projection area 11B is to be calibrated, the upper left vertex, the lower left vertex, and the lower right vertex of the actual projection area 11B are set with the upper left vertex of the actual projection area 11B as the origin (0, 0). The coordinates of the vertices can be expressed as (1, 0), (0, 1), and (1, 1), respectively. In this case, the coordinates of the center of the actual projection area 11B are represented as (0.5, 0.5).

座標変換部160は、位置検出ユニット150が出力した第1の座標データ(第1の座標情報)を、PC13がプロジェクター11へ入力する画像データにおける座標を表す第2の座標データ(第2の座標情報)に変換する。具体的に、座標変換部160は、画像処理部113が出力した画像位置情報に基づいて、スクリーンSC上の座標を表す第1の座標データを、入力画像データにおける座標を表す第2の座標データに変換する。第2の座標データは、画像データにおいて正規化された座標を表している。例えば、画像データの左上の頂点を原点(0,0)として、画像データの右上の頂点、左下の頂点、及び右下の頂点の座標を、それぞれ(1,0)、(0,1)、(1,1)と表すことができる。この場合、画像データの中心の座標は(0.5、0.5)と表される。   The coordinate conversion unit 160 converts the first coordinate data (first coordinate information) output from the position detection unit 150 into second coordinate data (second coordinate data) representing coordinates in image data input to the projector 11 by the PC 13. Information). Specifically, the coordinate conversion unit 160 converts the first coordinate data representing the coordinates on the screen SC based on the image position information output from the image processing unit 113 into the second coordinate data representing the coordinates in the input image data. Convert to The second coordinate data represents coordinates normalized in the image data. For example, assuming that the upper left vertex of the image data is the origin (0, 0), the coordinates of the upper right vertex, the lower left vertex, and the lower right vertex of the image data are (1, 0), (0, 1), respectively. It can be expressed as (1,1). In this case, the coordinates of the center of the image data are represented as (0.5, 0.5).

位置検出ユニット150が出力する第1の座標データは、撮像部153の撮影画像データに基づいて検出された座標を表しており、この座標はスクリーンSC上に仮想的に設けられた座標軸における座標で表すことができる。しかし、スクリーンSC上の座標と撮影画像データ上の座標との対応関係は、プロジェクター11とスクリーンSCとの距離、投射光学系33におけるズーム率、プロジェクター11の設置角度、撮像装置5とスクリーンSCとの距離等の様々な要素の影響を受ける。従って、スクリーンSC上のある位置に対応する撮影画像データ上の座標は、これらの要素に応じて変化する。そこで、本発明に係るプロジェクター11においては、最初にキャリブレーション実行部103Aがキャリブレーションを実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンSC上の領域における座標との対応関係を表す座標変換パラメーターを求める。キャリブレーション実行部103Aによって座標変換パラメーターが求められると、この座標変換パラメーターに基づいて、座標算出部159が座標の変換を行い、第1の座標データを求める。さらに、座標変換部160は、座標算出部159から出力された第1の座標データを画像位置情報に基づいて変換し、変換後の座標データ(第2の座標データ)を出力部101に出力する。   The first coordinate data output from the position detection unit 150 represents coordinates detected based on the captured image data of the imaging unit 153, and these coordinates are coordinates on coordinate axes virtually provided on the screen SC. Can be represented. However, the correspondence between the coordinates on the screen SC and the coordinates on the captured image data is as follows: the distance between the projector 11 and the screen SC, the zoom rate in the projection optical system 33, the installation angle of the projector 11, the imaging device 5 and the screen SC. Affected by various factors such as distance. Therefore, the coordinates on the captured image data corresponding to a certain position on the screen SC change according to these elements. Therefore, in the projector 11 according to the present invention, the calibration execution unit 103A first executes calibration, and the correspondence relationship between the coordinates in the captured image data and the coordinates in the area on the screen SC to be calibrated. A coordinate transformation parameter representing is obtained. When the coordinate conversion parameter is obtained by the calibration execution unit 103A, the coordinate calculation unit 159 performs coordinate conversion based on the coordinate conversion parameter to obtain first coordinate data. Further, the coordinate conversion unit 160 converts the first coordinate data output from the coordinate calculation unit 159 based on the image position information, and outputs the converted coordinate data (second coordinate data) to the output unit 101. .

出力部101は、PC13に接続され、座標変換部160の変換処理後の座標データをPC13に出力するインターフェイスであり、例えば、USBインターフェイス、有線LANインターフェイス、無線LANインターフェイス、IEEE1394等の汎用インターフェイスで構成することができる。ここで、画像入力部104と出力部101とは別の機能ブロックとして説明するが、物理的に一つのインターフェイスに統合することも勿論可能である。例えば一つのUSBインターフェイスで出力部101と画像入力部104との両方の機能を実現してもよい。また、出力部101は、画像処理ユニット110が備える画像処理部113に接続され、座標変換部160の変換処理後の座標を画像処理ユニット110に出力することも可能である。出力部101の主力先は、制御部103により制御される。この出力部101が出力する座標データは、マウス、トラックボール、デジタイザー、或いはペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして、PC13に出力される。   The output unit 101 is connected to the PC 13 and is an interface that outputs the coordinate data after the conversion processing of the coordinate conversion unit 160 to the PC 13. For example, the output unit 101 includes a general-purpose interface such as a USB interface, a wired LAN interface, a wireless LAN interface, and IEEE1394. can do. Here, the image input unit 104 and the output unit 101 will be described as separate functional blocks, but it is of course possible to physically integrate them into one interface. For example, both functions of the output unit 101 and the image input unit 104 may be realized by a single USB interface. The output unit 101 is also connected to the image processing unit 113 included in the image processing unit 110, and can output the coordinates after the conversion processing of the coordinate conversion unit 160 to the image processing unit 110. The main power of the output unit 101 is controlled by the control unit 103. The coordinate data output by the output unit 101 is output to the PC 13 as data similar to the coordinate data output by a pointing device such as a mouse, trackball, digitizer, or pen tablet.

また、PC13において、出力部101から出力される座標データを、汎用的なポインティングデバイスが出力する座標データと同等に扱う場合は、これらの汎用的なポインティングデバイスに対応した、汎用のデバイスドライバープログラムを利用することができる。一般的に、これらの汎用のデバイスドライバープログラムは、PC13のOS(オペレーティングシステム)の一部として予めインストールされているため、汎用のデバイスドライバープログラムを利用する場合はデバイスドライバープログラムのインストールを行う必要がない。また、汎用のデバイスドライバープログラムを利用することから、専用のデバイスドライバープログラムを用意する必要がない一方で、プロジェクター11とPC13との間でやり取りできる情報は、汎用のデバイスドライバープログラムの仕様によって定められた範囲に限定される。
また、プロジェクター11に対応した専用のデバイスドライバープログラムを用意して、このデバイスドライバープログラムをPC13にインストールして使用しても良い。この場合は専用のデバイスドライバープログラムが必要になる一方で、プロジェクター11とPCとの間でやり取りできる情報は、専用のデバイスドライバープログラムの仕様に応じて任意に設定することができる。
In the case where the PC 13 handles the coordinate data output from the output unit 101 in the same way as the coordinate data output by the general-purpose pointing device, a general-purpose device driver program corresponding to these general-purpose pointing devices is installed. Can be used. Generally, these general-purpose device driver programs are installed in advance as a part of the OS (operating system) of the PC 13, and therefore, when using the general-purpose device driver program, it is necessary to install the device driver program. Absent. In addition, since a general-purpose device driver program is used, it is not necessary to prepare a dedicated device driver program. On the other hand, information that can be exchanged between the projector 11 and the PC 13 is determined by the specifications of the general-purpose device driver program. It is limited to the range.
Further, a dedicated device driver program corresponding to the projector 11 may be prepared, and this device driver program may be installed in the PC 13 and used. In this case, while a dedicated device driver program is required, information that can be exchanged between the projector 11 and the PC can be arbitrarily set according to the specifications of the dedicated device driver program.

図3は、PC13の機能的構成を示すブロック図である。
この図3に示すように、PC13は、制御プログラムを実行してPC13の各部を中枢的に制御するCPU131、CPU131により実行される基本制御プログラムや当該プログラムに係るデータを記憶したROM132、CPU131が実行するプログラムやデータを一時的に記憶するRAM133、プログラムやデータを不揮発的に記憶する記憶部134、入力操作を検出して入力内容を示すデータや操作信号をCPU131に出力する入力部135、CPU131による処理結果等を表示するための表示データを出力する表示部136、及び、外部の装置との間でデータ等を送受信する外部I/F137を備えており、これらの各部はバスにより相互に接続されている。
FIG. 3 is a block diagram showing a functional configuration of the PC 13.
As shown in FIG. 3, the PC 13 executes a control program to centrally control each part of the PC 13, a basic control program executed by the CPU 131, and a ROM 132 and CPU 131 storing data related to the program. RAM 133 for temporarily storing programs and data to be stored, storage unit 134 for storing programs and data in a nonvolatile manner, input unit 135 for detecting input operations and indicating input contents and operation signals to CPU 131, and CPU 131 A display unit 136 that outputs display data for displaying processing results and the like, and an external I / F 137 that transmits and receives data to and from an external device are provided, and these units are connected to each other by a bus. ing.

入力部135は、コネクターや電源供給回路を有する入力I/F141を有し、この入力I/F141に入力デバイス142が接続される。入力I/F141は、例えばUSBインターフェイス等の入力デバイス用の汎用インターフェイスで構成され、入力デバイス142は、例えば、キーボード、或いは、マウスやデジタイザー等のポインティングデバイスである。
入力I/F141には、プロジェクター11に繋がる通信ケーブルが接続され、プロジェクター11から、指示体12による指示位置の座標が入力される。ここで、入力I/F141には、プロジェクター11の出力部101が出力する座標データが、マウス、トラックボール、デジタイザー、或いはペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして入力される。従って、PC13は、プロジェクター11から入力される座標データを入力デバイスからの入力信号として処理することができ、例えば、この座標データに基づいてマウスカーソルやポインターの移動を行う等の動作を行える。
The input unit 135 includes an input I / F 141 having a connector and a power supply circuit, and the input device 142 is connected to the input I / F 141. The input I / F 141 includes a general-purpose interface for an input device such as a USB interface, and the input device 142 is a pointing device such as a keyboard or a mouse or a digitizer.
A communication cable connected to the projector 11 is connected to the input I / F 141, and the coordinates of the position indicated by the indicator 12 are input from the projector 11. Here, coordinate data output from the output unit 101 of the projector 11 is input to the input I / F 141 as data similar to coordinate data output from a pointing device such as a mouse, trackball, digitizer, or pen tablet. . Accordingly, the PC 13 can process the coordinate data input from the projector 11 as an input signal from the input device. For example, the PC 13 can perform an operation such as moving a mouse cursor or a pointer based on the coordinate data.

表示部136は、画像信号出力用のコネクター等を備えた画像出力I/F143を有し、画像出力I/F143には、モニター144、及び、プロジェクター11に繋がる画像信号ケーブル(図示略)が接続される。画像出力I/F143は、例えば、アナログ映像信号を出力するVGA端子、デジタル映像信号を出力するDVIインターフェイス、USBインターフェイス、LANインターフェイス、NTSC、PAL及び、SECAM等のコンポジット映像信号を出力するS映像端子、コンポジット映像信号を出力するRCA端子、コンポーネント映像信号を出力するD端子、HDMI(登録商標)規格に準拠したHDMIコネクター等を複数備え、これら複数のコネクターにモニター144及びプロジェクター11がそれぞれ接続される。また、画像出力I/F143は、VESAが策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini Displayportコネクターと、Displayport規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、PC13は、プロジェクター11やモニター144或いは他の機器に対し、Displayportを介してデジタル映像信号を出力できる。なお、画像出力I/F143は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。
本実施形態では、画像出力I/F143が備えるVGA端子を介して、表示部136がプロジェクター11にアナログ画像信号を出力する場合について説明する。
The display unit 136 includes an image output I / F 143 having a connector for outputting an image signal, and the image output cable connected to the monitor 144 and the projector 11 (not shown) is connected to the image output I / F 143. Is done. The image output I / F 143 is, for example, a VGA terminal that outputs an analog video signal, a DVI interface that outputs a digital video signal, a USB interface, a LAN interface, NTSC, PAL, and an S video terminal that outputs a composite video signal such as SECAM. , A RCA terminal that outputs a composite video signal, a D terminal that outputs a component video signal, a plurality of HDMI connectors compliant with the HDMI (registered trademark) standard, and the like, and the monitor 144 and the projector 11 are connected to the plurality of connectors, respectively. . Further, the image output I / F 143 may be configured to include a DisplayPort established by VESA, and specifically, may be configured to include a DisplayPort connector or a Mini Displayport connector and an interface circuit compliant with the Displayport standard. In this case, the PC 13 can output a digital video signal to the projector 11, the monitor 144, or another device via the Displayport. Note that the image output I / F 143 may perform transmission / reception of image signals by wired communication, or may perform transmission / reception of image signals by wireless communication.
In the present embodiment, a case where the display unit 136 outputs an analog image signal to the projector 11 via a VGA terminal included in the image output I / F 143 will be described.

記憶部134は、CPU131により実行される表示制御プログラム13A、及び、表示制御プログラム13Aの実行時に出力される画像データ13Bを記憶している。CPU131は、表示制御プログラム13Aを実行すると、プロジェクター11に対して画像データ13Bを送信する処理を実行する。この処理において、CPU131は画像データ13Bを再生するとともに、表示部136によって所定の解像度及びリフレッシュレートのアナログ画像信号を生成させ、画像出力I/F143から出力させる。また、記憶部134は、後述する補正処理においてプロジェクター11に出力される補正用画像データ13Cを記憶している。   The storage unit 134 stores a display control program 13A that is executed by the CPU 131 and image data 13B that is output when the display control program 13A is executed. When executing the display control program 13A, the CPU 131 executes a process of transmitting the image data 13B to the projector 11. In this process, the CPU 131 reproduces the image data 13B, causes the display unit 136 to generate an analog image signal having a predetermined resolution and refresh rate, and outputs the analog image signal from the image output I / F 143. In addition, the storage unit 134 stores correction image data 13C output to the projector 11 in a correction process described later.

また、CPU131は、表示制御プログラム13Aの実行中、入力部135から、ポインティングデバイスの操作に対応する座標が入力された場合に、この座標に対応する位置に、ポインター12A(図1)を表示するための画像を生成する。そして、CPU131は、再生中の画像データ13Bにポインター12Aを重ねた画像データを生成し、この画像データを画像出力I/F143からプロジェクター11に出力する。   Further, when the coordinates corresponding to the operation of the pointing device are input from the input unit 135 during the execution of the display control program 13A, the CPU 131 displays the pointer 12A (FIG. 1) at the position corresponding to the coordinates. Generate an image for Then, the CPU 131 generates image data in which the pointer 12A is superimposed on the image data 13B being reproduced, and outputs this image data to the projector 11 from the image output I / F 143.

このように、表示システム10においては、PC13がプロジェクター11に出力する画像データにポインター12Aを重畳して描画する機能を、PC13が実行する。   As described above, in the display system 10, the PC 13 executes a function of drawing the pointer 12 </ b> A on the image data output from the PC 13 to the projector 11.

図4は、プロジェクター11によりスクリーンSCに画像を投射した例を示す図であり、(A)は指示体12の指示位置に従ってポインター12Aを投射した状態を示し、(B)は指示位置に従って描画図形12Cを描画した状態を示す。
光変調装置32の変調領域全体を使用して表示画像を投射した場合には、図4(A)に2点鎖線で示す最大投射領域11Aに画像が結像する。プロジェクター11がスクリーンSCの真正面に位置している場合を除き、最大投射領域11Aには図4(A)に示すように台形歪みが発生するので、プロジェクター11は、表示制御部107の機能によりキーストーン補正を行う。キーストーン補正の実行後には、最大投射領域11Aの一部である実投射領域11Bに表示画像が投射される。実投射領域11Bは、通常、スクリーンSC上で長方形となり、かつ最大投射領域11A内で最大のサイズとなるよう設定される。具体的には、光変調装置32の変調領域の解像度(液晶表示パネルの解像度)と台形歪みの程度により決定されるが、最大サイズでなくてもよい。なお、プロジェクター11から投射した画像に台形歪みが発生していなければ、このキーストーン補正は実行しなくても良い。この場合は、実投射領域11Bは最大投射領域11Aと一致する。
4A and 4B are diagrams illustrating an example in which an image is projected onto the screen SC by the projector 11. FIG. 4A illustrates a state in which the pointer 12 </ b> A is projected according to the designated position of the indicator 12, and FIG. A state in which 12C is drawn is shown.
When a display image is projected using the entire modulation area of the light modulation device 32, an image is formed on the maximum projection area 11A indicated by a two-dot chain line in FIG. Except when the projector 11 is located in front of the screen SC, trapezoidal distortion occurs in the maximum projection area 11A as shown in FIG. Perform stone correction. After the keystone correction is performed, the display image is projected onto the actual projection area 11B that is a part of the maximum projection area 11A. The actual projection area 11B is normally set to have a rectangular shape on the screen SC and a maximum size within the maximum projection area 11A. Specifically, it is determined by the resolution of the modulation area of the light modulation device 32 (resolution of the liquid crystal display panel) and the degree of trapezoidal distortion, but it may not be the maximum size. If keystone distortion does not occur in the image projected from the projector 11, this keystone correction need not be executed. In this case, the actual projection area 11B coincides with the maximum projection area 11A.

プロジェクター11のキャリブレーション実行部103Aは、キーストーン補正後の実投射領域11Bにおいてキャリブレーションを実行する。このキャリブレーションでは、キャリブレーション実行部103Aが画像処理部113を制御して所定のキャリブレーション用の画像を描画させる。このキャリブレーション用の画像がスクリーンSCに投射された状態で、キャリブレーション実行部103Aの制御により位置検出ユニット150がスクリーンSCを撮影する。図4(A)及び図4(B)に、撮像部153の撮影範囲(画角)15Aを破線で示す。撮影範囲15Aは、実投射領域11Bよりも大きいことが好ましく、最大投射領域11Aよりも大きいと、さらに好ましい。キャリブレーション用の画像は、例えば白色の背景にドットが配置された画像であり、予め記憶部105等に記憶されている。なお、キャリブレーション用の画像は必ずしも記憶部105等に記憶されている必要はなく、キャリブレーションの実行が必要になり、キャリブレーションを実行する毎に、キャリブレーション実行部103Aがキャリブレーション用の画像をその都度生成する構成であっても良い。   The calibration execution unit 103A of the projector 11 executes calibration in the actual projection area 11B after the keystone correction. In this calibration, the calibration execution unit 103A controls the image processing unit 113 to draw a predetermined calibration image. With the calibration image projected on the screen SC, the position detection unit 150 captures the screen SC under the control of the calibration execution unit 103A. 4A and 4B, the shooting range (view angle) 15A of the imaging unit 153 is indicated by a broken line. The imaging range 15A is preferably larger than the actual projection area 11B, and more preferably larger than the maximum projection area 11A. The calibration image is an image in which dots are arranged on a white background, for example, and is stored in advance in the storage unit 105 or the like. Note that the calibration image does not necessarily need to be stored in the storage unit 105 or the like, and it is necessary to execute calibration. The calibration execution unit 103A performs the calibration image every time calibration is performed. May be generated each time.

キャリブレーションの対象となるスクリーンSCの領域は、実投射領域11B全体であっても良く、実投射領域11Bの一部であっても良い。実投射領域11Bの一部をキャリブレーションの対象とする場合としては、プロジェクター11の表示画像のアスペクト比とスクリーンSCのアスペクト比が異なる場合(例えば、プロジェクター11の表示解像度がWXGAで、スクリーンSCのアスペクト比が4:3である場合)に、プロジェクター11の表示画像の垂直方向の幅が、スクリーンSCの垂直方向の幅と一致するように表示する場合が考えられる。この場合は、プロジェクター11の実投射領域11Bのうち、スクリーンSCに含まれる領域をキャリブレーションの対象とし、それ以外の領域をキャリブレーションの対象外とすることが考えられる。   The area of the screen SC to be calibrated may be the entire actual projection area 11B or a part of the actual projection area 11B. As a case where a part of the actual projection area 11B is a calibration target, when the aspect ratio of the display image of the projector 11 and the aspect ratio of the screen SC are different (for example, the display resolution of the projector 11 is WXGA and the screen SC In the case where the aspect ratio is 4: 3), the display image of the projector 11 may be displayed so that the vertical width thereof matches the vertical width of the screen SC. In this case, it is conceivable that the area included in the screen SC in the actual projection area 11B of the projector 11 is a calibration target, and the other areas are excluded from the calibration target.

キャリブレーション実行部103Aは、撮影画像データ中の表示画像の輪郭、すなわち実投射領域11Bの外部と実投射領域11Bとの境界と、撮影画像データ中のドットを検出し、撮影範囲15Aにおける位置、すなわち撮影画像データにおける位置と、実投射領域11B上の位置との対応関係を特定する。キャリブレーション実行部103Aは、キャリブレーションにより特定された撮影画像上の位置と実投射領域11B上の位置との対応関係に基づいて、座標算出部159が用いる座標変換パラメーターを求める。座標変換パラメーターには、キャリブレーションの対象となるスクリーンSC上の領域(実投射領域11B)における座標と、撮影画像データ上で求められた座標とを対応づけるデータ等が含まれる。座標算出部159は、この座標変換パラメーターに基づいて、撮影画像データ上で求められた座標を、実投射領域11Bにおける座標に変換することができる。この座標変換パラメーターに基づいて座標算出処理が行われる。
このキャリブレーションは、制御部103が記憶部105に記憶されたキャリブレーション用プログラム(図示略)を実行することで行われるので、PC13においてキャリブレーション用のプログラムをインストールして実行する必要がない。またキャリブレーションは、撮影画像データに基づいてキャリブレーション実行部103Aが自動で行う処理であっても良く、キャリブレーション用の画像に対するユーザーの操作が必要な処理であっても良い。さらに、プロジェクター11がこれらの処理を併用しても良い。キャリブレーション用の画像に対するユーザーの操作としては、キャリブレーション用の画像に含まれるドットをユーザーが指示体12で指示する操作等が考えられる。
The calibration execution unit 103A detects the contour of the display image in the captured image data, that is, the boundary between the outside of the actual projection region 11B and the actual projection region 11B, and the dots in the captured image data, and the position in the capturing range 15A. That is, the correspondence relationship between the position in the captured image data and the position on the actual projection area 11B is specified. The calibration execution unit 103A obtains a coordinate conversion parameter used by the coordinate calculation unit 159 based on the correspondence between the position on the captured image specified by the calibration and the position on the actual projection area 11B. The coordinate conversion parameter includes data for associating coordinates in the area on the screen SC (actual projection area 11B) to be calibrated with coordinates obtained on the captured image data. The coordinate calculation unit 159 can convert the coordinates obtained on the captured image data into coordinates in the actual projection area 11B based on the coordinate conversion parameters. A coordinate calculation process is performed based on the coordinate conversion parameters.
Since the calibration is performed by the control unit 103 executing a calibration program (not shown) stored in the storage unit 105, it is not necessary to install and execute the calibration program in the PC 13. Further, the calibration may be a process that is automatically performed by the calibration execution unit 103A based on the captured image data, or may be a process that requires a user operation on the image for calibration. Further, the projector 11 may use these processes in combination. As a user's operation on the calibration image, an operation in which the user designates dots included in the calibration image with the indicator 12 may be considered.

位置検出ユニット150は、実投射領域11Bに画像が投射された状態で撮影を実行し、図中に破線の矢印で示すように、実投射領域11Bの隅(左上の頂点)を原点とする直交座標を仮想的に設定して、この座標系における指示体12の先端位置(指示位置)の座標を求める。この直交座標は、上記のキャリブレーションにより得られた座標変換パラメーターに基づいて設定される。その後、座標変換部160により、実投射領域11Bに表示された画像データにおける指示体12の先端の座標が求められると、この座標に従って、例えば図4(A)に示すポインター12Aや、メニューバー12Bが表示される。ポインター12Aは指示体12の先端位置を示す記号として描画される。また、メニューバー12Bは、指示体12により操作可能なGUIであり、メニューバー12Bに配置されたボタンを指示体12により指示することで、線等の図形の描画、描画した図形のデータの保存、消去、コピー、描画した手書き画像の移動、直前の操作を取り消す操作(アンドゥ)、アンドゥによって取り消した操作を再び実行する操作(リドゥ)等を行うことができる。具体的な例としては、指示体12を図4(A)に示す位置から図4(B)の位置まで移動させることで、指示体12の先端の軌跡に沿って描画図形12Cが描画される。この描画図形12Cは、例えば、ポインター12Aやメニューバー12Bと同様に、指示体12の指示位置を示す座標データに従ってPC13が描画する。   The position detection unit 150 performs shooting in a state where an image is projected on the actual projection area 11B, and is orthogonal with the corner (upper left vertex) of the actual projection area 11B as the origin, as indicated by a broken arrow in the figure. Coordinates are virtually set to obtain the coordinates of the tip position (indicated position) of the indicator 12 in this coordinate system. The orthogonal coordinates are set based on the coordinate conversion parameters obtained by the above calibration. Thereafter, when the coordinates of the tip of the indicator 12 in the image data displayed in the actual projection area 11B are obtained by the coordinate conversion unit 160, for example, the pointer 12A shown in FIG. Is displayed. The pointer 12A is drawn as a symbol indicating the tip position of the indicator 12. Further, the menu bar 12B is a GUI that can be operated by the indicator 12, and when the indicator 12 indicates a button arranged on the menu bar 12B, drawing of a figure such as a line and saving of the drawn figure data are performed. It is possible to perform operations such as erasing, copying, moving a drawn handwritten image, an operation for undoing the previous operation (undo), an operation for re-executing the operation canceled by undo (redo), and the like. As a specific example, by moving the indicator 12 from the position shown in FIG. 4A to the position shown in FIG. 4B, the drawing figure 12C is drawn along the locus of the tip of the indicator 12. . The drawing figure 12C is drawn by the PC 13 according to the coordinate data indicating the indication position of the indicator 12, for example, like the pointer 12A and the menu bar 12B.

図5(A)、(B)は、プロジェクター11が指示位置の座標を検出し、画像データにおける座標に変換する処理の様子を示す説明図であり、図5(A)は一連の動作の初期状態を示し、図5(B)は、図5(A)の状態から表示画像の解像度を変更した状態を示す。なお、以下の説明では、プロジェクター11が投射した画像に台形歪みが発生しておらず、かつ光変調装置32の変調領域全体に表示された画像が実投射領域11Bに表示される場合について説明する。このとき、実投射領域11Bは最大投射領域11Aと一致しており、実投射領域11Bに表示される画像の解像度は、光変調装置32の液晶表示パネルの解像度と等しい。   FIGS. 5A and 5B are explanatory diagrams showing a state of processing in which the projector 11 detects the coordinates of the designated position and converts them into coordinates in the image data. FIG. 5A is an initial diagram of a series of operations. FIG. 5B shows a state in which the resolution of the display image is changed from the state of FIG. In the following description, a case where no trapezoidal distortion is generated in the image projected by the projector 11 and an image displayed in the entire modulation area of the light modulation device 32 is displayed in the actual projection area 11B will be described. . At this time, the actual projection area 11B coincides with the maximum projection area 11A, and the resolution of the image displayed in the actual projection area 11B is equal to the resolution of the liquid crystal display panel of the light modulation device 32.

図5(A)に示す例は、光変調装置32の液晶表示パネルの解像度、及び実投射領域11Bに表示された画像の解像度がいずれも1280×800ドットに設定され、PC13から入力される画像信号が解像度1280×800ドットのディスプレイモード(WXGA)で投射された例であり、実投射領域11Bには1280×800ドットの表示画像201が表示されている。位置検出ユニット150は、実投射領域11Bの左上隅を原点とし、右方向をX軸方向、下方向をY軸方向とするX−Y直交座標系を設定し、実投射領域11Bにおける指示体12の指示位置の座標を(X1n,Y1n)とする。座標算出部159が出力する第1の座標データは、指示位置の座標(X1n,Y1n)を表している。   In the example shown in FIG. 5A, the resolution of the liquid crystal display panel of the light modulation device 32 and the resolution of the image displayed in the actual projection area 11B are both set to 1280 × 800 dots, and the image is input from the PC 13. In this example, a signal is projected in a display mode (WXGA) with a resolution of 1280 × 800 dots, and a display image 201 of 1280 × 800 dots is displayed in the actual projection area 11B. The position detection unit 150 sets an XY orthogonal coordinate system in which the upper left corner of the actual projection area 11B is the origin, the right direction is the X axis direction, and the lower direction is the Y axis direction, and the indicator 12 in the actual projection area 11B. The coordinates of the indicated position are (X1n, Y1n). The first coordinate data output from the coordinate calculation unit 159 represents the coordinates (X1n, Y1n) of the designated position.

指示位置の座標(X1n,Y1n)は、実投射領域11B内で正規化された座標(正規化座標)である。具体的に、指示位置のX軸方向の座標X1nは、実投射領域11Bの横幅W1に対する、投射可能領域11Bの左辺から指示位置までの長さWP1の比率を表している。また、指示位置のY軸方向の座標Y1nは、実投射領域11Bの縦幅H1に対する、投射可能領域11Bの上辺から指示位置までの長さHP1の比率を表している。なおここでは、W1,WP1,H1,及びHP1を画素数で表すものとする。
この場合、座標(X1n,Y1n)は、下記式(1)、(2)により算出される。
X1n=WP1÷W1 …(1)
Y1n=HP1÷H1 …(2)
例えば図5(A)に示す例で、WP1=400,HP1=300と仮定する。表示画像201の解像度は1280×800ドットなので、W1=1280、H1=800である。従って、X1n=400÷1280≒0.313、Y1n=300÷800=0.375と表すことができる。またこのとき、実投射領域11Bの左上の頂点、実投射領域11Bの右上の頂点、左下の頂点、及び右下の頂点の座標は、それぞれ(0,0)、(1,0)、(0,1)、(1,1)と表される。なお図5(A)の状態では実投射領域11Bと、表示画像201が表示された領域とは一致しているので、座標(X1n,Y1n)は表示画像201内で正規化された座標と考えることもできる。
The coordinates (X1n, Y1n) of the indicated position are coordinates (normalized coordinates) normalized in the actual projection area 11B. Specifically, the coordinate X1n in the X-axis direction of the designated position represents the ratio of the length WP1 from the left side of the projectable area 11B to the designated position with respect to the lateral width W1 of the actual projection area 11B. The coordinate Y1n in the Y-axis direction of the designated position represents the ratio of the length HP1 from the upper side of the projectable area 11B to the designated position with respect to the vertical width H1 of the actual projection area 11B. Here, W1, WP1, H1, and HP1 are represented by the number of pixels.
In this case, the coordinates (X1n, Y1n) are calculated by the following formulas (1) and (2).
X1n = WP1 ÷ W1 (1)
Y1n = HP1 ÷ H1 (2)
For example, in the example shown in FIG. 5A, it is assumed that WP1 = 400 and HP1 = 300. Since the resolution of the display image 201 is 1280 × 800 dots, W1 = 1280 and H1 = 800. Therefore, it can be expressed as X1n = 400 ÷ 1280≈0.313 and Y1n = 300 ÷ 800 = 0.375. At this time, the coordinates of the upper left vertex, the upper right vertex, the lower left vertex, and the lower right vertex of the actual projection region 11B are (0, 0), (1, 0), (0, respectively). , 1) and (1, 1). In the state of FIG. 5A, the actual projection area 11B and the area where the display image 201 is displayed coincide with each other. Therefore, the coordinates (X1n, Y1n) are considered as normalized coordinates in the display image 201. You can also

ここで、ディスプレイモードがXGA(解像度1024×768ドット)に変更されると、プロジェクター11は、画像データの縦方向の解像度(768ドット)が、液晶表示パネルの縦方向の解像度(800ドット)まで拡大されるように、画像データをスケーリングする。このスケーリングは縦方向及び横方向のいずれについても同様に行われるので、画像データの横方向の解像度(1024ドット)は、1024×(800÷768)≒1066ドットにスケーリングされる。この結果、スクリーンSCには図5(B)に示すように1066×800ドットの表示画像202が投射される。この表示画像202のアスペクト比及び解像度は表示画像201のアスペクト比及び解像度とは異なっている(表示画像202が表示画像201より低解像度である)ため、表示画像202が投射される領域は実投射領域11Bとは一致しない。図5(B)に示す例では、実投射領域11Bにおいて表示画像202が投射される領域は表示画像201よりも小さくなっている。また、プロジェクター11はスケーリング後の画像ができるだけ中央に表示されるようにその位置を変更している。そのため、実投射領域11Bにおいて、表示画像201の左上の頂点の位置と、表示画像202の左上の頂点の位置は一致していない。   Here, when the display mode is changed to XGA (resolution of 1024 × 768 dots), the projector 11 has the vertical resolution (768 dots) of the image data up to the vertical resolution (800 dots) of the liquid crystal display panel. Scale the image data to be magnified. Since this scaling is performed in the same manner in both the vertical and horizontal directions, the horizontal resolution (1024 dots) of the image data is scaled to 1024 × (800 ÷ 768) ≈1066 dots. As a result, a display image 202 of 1066 × 800 dots is projected onto the screen SC as shown in FIG. Since the aspect ratio and resolution of the display image 202 are different from the aspect ratio and resolution of the display image 201 (the display image 202 has a lower resolution than the display image 201), the area on which the display image 202 is projected is an actual projection. It does not match the area 11B. In the example shown in FIG. 5B, the area where the display image 202 is projected in the actual projection area 11 </ b> B is smaller than the display image 201. Further, the position of the projector 11 is changed so that the scaled image is displayed in the center as much as possible. Therefore, in the actual projection area 11B, the position of the upper left vertex of the display image 201 does not match the position of the upper left vertex of the display image 202.

ディスプレイモードの変更により解像度が変化すると、図5(A)及び(B)に示すように、スクリーンSC上の指示体12が動かず、指示位置そのものが動いていなくても、指示位置と表示されている画像との相対位置は変化する。そのため、表示画像201の左上の頂点を原点として正規化された指示位置の座標(X1n,Y1n)と、表示画像202の左上の頂点を原点として正規化された指示位置の座標(X2n,Y2n)は異なる。例えば、図5(B)に示す表示画像202の左上隅を原点とする座標系では指示体12の指示位置の座標は(X2n,Y2n)であり、(X1n,Y1n)とは異なる。この場合、位置検出ユニット150が撮像部153の撮影画像データに基づいて算出した実投射領域11Bにおける指示位置の座標(X1n,Y1n)に合わせてポインター12Aを表示すると、ポインター12Aが実際の指示位置からずれてしまう。   When the resolution changes due to the change of the display mode, as shown in FIGS. 5A and 5B, the indication position 12 is displayed even if the indication body 12 on the screen SC does not move and the indication position itself does not move. The relative position with respect to the image is changed. Therefore, the coordinates (X1n, Y1n) of the designated position normalized with the upper left vertex of the display image 201 as the origin, and the coordinates (X2n, Y2n) of the designated position normalized with the upper left vertex of the display image 202 as the origin. Is different. For example, in the coordinate system having the upper left corner of the display image 202 shown in FIG. 5B as the origin, the coordinates of the indication position of the indicator 12 are (X2n, Y2n), which is different from (X1n, Y1n). In this case, when the pointer 12A is displayed in accordance with the coordinates (X1n, Y1n) of the designated position in the actual projection area 11B calculated by the position detection unit 150 based on the captured image data of the imaging unit 153, the pointer 12A is the actual designated position. It will deviate from.

例えば図5(B)の例では、表示画像202の左上の頂点が、表示画像201の左上の頂点よりも107画素だけ右側にある(107=(1280−1066)÷2)。従って、表示画像202の左辺から指示位置までの長さをWP2、表示画像202の上辺から指示位置までの長さをHP2とすると、WP2=WP1−107=400−107=293、HP2=HP1=300である。また、表示画像202の解像度は1066×800ドットなので、表示画像202の横幅W2及び縦幅H2は、W2=1066、H2=800である。従って、表示画像202の左上の頂点を原点として正規化された指示位置の座標(X2n,Y2n)は、X2n=(400−107)÷1066≒0.275、Y2n=300÷800=0.375と表される。このようにX1n≠X2nとなり、表示画像の解像度が変化すると、指示位置の正規化座標も変化する。   For example, in the example of FIG. 5B, the upper left vertex of the display image 202 is 107 pixels to the right of the upper left vertex of the display image 201 (107 = (1280-1066) / 2). Accordingly, if the length from the left side of the display image 202 to the designated position is WP2, and the length from the top side of the display image 202 to the designated position is HP2, WP2 = WP1-107 = 400-107 = 293, HP2 = HP1 = 300. Since the resolution of the display image 202 is 1066 × 800 dots, the horizontal width W2 and the vertical width H2 of the display image 202 are W2 = 1066 and H2 = 800. Accordingly, the coordinates (X2n, Y2n) of the designated position normalized with the upper left vertex of the display image 202 as the origin are expressed as X2n = (400−107) ÷ 1066≈0.275, Y2n = 300 ÷ 800 = 0.375. . Thus, if X1n ≠ X2n and the resolution of the display image changes, the normalized coordinates of the indicated position also change.

そのため、変更後の表示画像202の左上隅を原点とする座標系において座標(X1n,Y1n)=(0.313,0.375)にポインターを表示すると、指示体12の先端から離れた位置にポインター12A´が表示されてしまう。これは、PC13がポインター12Aを描画する際に、位置検出ユニット150から出力された正規化座標に基づいて、画像の左上を原点として描画を行うためである。このように、実投射領域11Bを基準として求めた座標に合わせて、PC13がポインター12Aを表示することはできない。そこで、プロジェクター11は、表示画像の解像度が変わった場合にも対応できるように、位置検出ユニット150の座標算出部159が算出した指示位置の座標(X1n,Y1n)を、座標変換部160によって、表示中の表示画像における指示位置の座標(X2n,Y2n)、すなわち表示中の画像上の原点を基準とした座標に変換する。   Therefore, when the pointer is displayed at the coordinates (X1n, Y1n) = (0.313, 0.375) in the coordinate system having the upper left corner of the display image 202 after the change as the origin, the pointer 12A ′ is positioned away from the tip of the indicator 12. It will be displayed. This is because, when the PC 13 draws the pointer 12A, the drawing is performed with the upper left corner of the image as the origin based on the normalized coordinates output from the position detection unit 150. Thus, the PC 13 cannot display the pointer 12A in accordance with the coordinates obtained with the actual projection area 11B as a reference. Therefore, the projector 11 uses the coordinate conversion unit 160 to convert the coordinates (X1n, Y1n) of the indicated position calculated by the coordinate calculation unit 159 of the position detection unit 150 so that the resolution of the display image can be changed. The coordinates (X2n, Y2n) of the designated position in the display image being displayed, that is, the coordinates based on the origin on the image being displayed are converted.

座標変換部160は、画像処理部113から入力された画像位置情報に基づいて、座標(X1n,Y1n)を座標(X2n,Y2n)に変換する。この画像位置情報は、光変調装置32の変調領域における画像の配置に関する情報である。また本実施形態では、光変調装置32の変調領域は、スクリーンSC上の実投射領域11Bと対応している。従って画像位置情報は、実投射領域11Bに対する表示画像の位置(配置)を示している。本実施形態では、画像位置情報は、実投射領域11Bに対する表示画像の位置(配置)及びサイズを示している。この画像位置情報に基づいて、座標変換部160は、表示画像における指示位置の座標を得る。例えば図5に示した例では、W1、H1、W2及びH2は画像位置情報に相当する。また、表示画像201の左上端の座標(XO1,YO1)=(0、0)、及び表示画像202の左上端の座標(XO2,YO2)=(107,0)も画像位置情報に相当する。なお、XO1,YO1,XO2,及びYO2は正規化された座標ではなく、実投射領域11B(又は、光変調装置32の変調領域)において、実投射領域11Bの左上の頂点(又は、光変調装置32の変調領域の左上の頂点)を原点として、表示画像の左上の頂点の位置を画素数で表したものである。図5に示す例では、表示画像201の画像位置情報(XO1,YO1,W1,H1)=(0,0,1280,800)であり、表示画像202の画像位置情報(XO2,YO2,W2,H2)=(107,0,1166,800)である。   The coordinate conversion unit 160 converts the coordinates (X1n, Y1n) to the coordinates (X2n, Y2n) based on the image position information input from the image processing unit 113. This image position information is information relating to the arrangement of images in the modulation region of the light modulation device 32. In the present embodiment, the modulation area of the light modulation device 32 corresponds to the actual projection area 11B on the screen SC. Therefore, the image position information indicates the position (arrangement) of the display image with respect to the actual projection area 11B. In the present embodiment, the image position information indicates the position (arrangement) and size of the display image with respect to the actual projection area 11B. Based on the image position information, the coordinate conversion unit 160 obtains the coordinates of the designated position in the display image. For example, in the example shown in FIG. 5, W1, H1, W2, and H2 correspond to image position information. Further, the coordinates (XO1, YO1) = (0, 0) of the upper left corner of the display image 201 and the coordinates (XO2, YO2) = (107, 0) of the upper left corner of the display image 202 also correspond to the image position information. XO1, YO1, XO2, and YO2 are not normalized coordinates, and in the actual projection area 11B (or the modulation area of the light modulation device 32), the top left vertex (or the light modulation device) of the actual projection area 11B. The position of the upper left vertex of the display image is represented by the number of pixels, with the upper left vertex of the 32 modulation areas as the origin. In the example shown in FIG. 5, the image position information (XO1, YO1, W1, H1) of the display image 201 is (0, 0, 1280, 800), and the image position information (XO2, YO2, W2, and the display image 202). H2) = (107, 0, 1166, 800).

座標変換部160が算出した座標(X2n,Y2n)は、PC13が、処理対象の画像データにおいてポインター12A、メニューバー12B或いは描画図形12Cを描画する場合に、画像データ中の位置を特定する情報として利用できる。このため、表示画像の解像度やズーム率等に影響されることなく、ポインター12A、メニューバー12B及び描画図形12Cを、正確に、指示体12による指示位置に合わせて描画できる。   The coordinates (X2n, Y2n) calculated by the coordinate conversion unit 160 are information for specifying the position in the image data when the PC 13 draws the pointer 12A, the menu bar 12B, or the drawing figure 12C in the processing target image data. Available. Therefore, the pointer 12A, the menu bar 12B, and the drawing figure 12C can be accurately drawn in accordance with the position indicated by the indicator 12 without being affected by the resolution of the display image, the zoom rate, or the like.

上記のように、実投射領域11Bに表示される表示画像の位置及びサイズは、表示しようとする画像の解像度の影響を受ける。例えば、PC13から入力されるアナログ画像信号に基づいて画像を投射している間に、PC13から入力される画像信号の解像度が変わると、画像位置情報が変化する。ここで、画像位置情報とは、実投射領域11Bに対する画像配置領域(表示画像201、202が投射(表示)される領域)の配置に関する情報である。換言すれば、画像位置情報は、実投射領域11B(表示可能領域)に対する表示画像の位置(配置)及び表示画像の解像度を示す情報である。画像位置情報は、投射状態が変化するような処理を実行した場合に変化するので、プロジェクター11が、実投射領域11Bのサイズ(解像度)やアスペクト比を変更した場合、ズーム倍率を変更した場合、画像の表示位置を変更(移動)した場合、多画面表示処理を行った場合等にも変化する。   As described above, the position and size of the display image displayed in the actual projection area 11B are affected by the resolution of the image to be displayed. For example, when the resolution of an image signal input from the PC 13 changes while an image is projected based on an analog image signal input from the PC 13, the image position information changes. Here, the image position information is information relating to the arrangement of the image arrangement area (area where the display images 201 and 202 are projected (displayed)) with respect to the actual projection area 11B. In other words, the image position information is information indicating the position (arrangement) of the display image with respect to the actual projection area 11B (displayable area) and the resolution of the display image. Since the image position information changes when a process that changes the projection state is executed, the projector 11 changes the size (resolution) or aspect ratio of the actual projection area 11B, or changes the zoom magnification. This also changes when the display position of the image is changed (moved), when multi-screen display processing is performed, and the like.

座標変換部160は、投射部30による表示画像の投射状態(表示状態)が変化する毎に、画像処理部113から情報を取得して画像位置情報を更新し、更新後の画像位置情報に基づいて座標を変換する。
画像位置情報は、例えば、次に挙げるタイミングで更新される。
・制御部103がPC13からの画像信号の入力を検出したとき。
・制御部103が、PC13から入力される画像信号に関する情報(画像の解像度など)の変化を検出したとき。
・プロジェクター1において投射画像の解像度を変更したとき。
・プロジェクター11において、投射画像のアスペクト比を変更したとき。
・光変調装置32により描画する画像を、投射する画像データの画像処理によって拡大/縮小するデジタルズーム機能を実行または解除したとき。
・実投射領域11Bに対する表示画像の表示位置を変更したとき。
・上記のデジタルズーム機能により画像を拡大し、さらに画像処理によって画像の表示位置を変更する機能を実行または解除したとき。
・光変調装置32により描画する画像と背景を含む全体すなわち実投射領域11B全体の投射サイズを、画像データの画像処理を行うことにより拡大/縮小するテレワイド機能を実行または解除したとき。
・上記のデジタルズーム機能により画像を縮小し、さらに画像処理によって画像の表示位置を変更するピクチャーシフト機能を実行または解除したとき。
・複数の画像の同時表示を実行または解除したとき。
・座標変換部160から座標を出力する出力先が、画像処理ユニット110からPC13(出力部101)へ、或いはその逆へ変更されたとき。
解像度の変更、アスペクト比の変更、各種機能の実行および解除は、いずれも制御部103の制御により、画像処理ユニット110によって実行される。なお、上記に列挙したタイミングはあくまで一例であり、その他のタイミングで画像位置情報を更新することも勿論可能である。
Each time the projection state (display state) of the display image by the projection unit 30 changes, the coordinate conversion unit 160 acquires information from the image processing unit 113 and updates the image position information, and based on the updated image position information. To convert the coordinates.
For example, the image position information is updated at the following timing.
When the control unit 103 detects an input of an image signal from the PC 13.
When the control unit 103 detects a change in information (image resolution or the like) related to the image signal input from the PC 13.
-When the resolution of the projected image is changed in the projector 1.
-When the aspect ratio of the projected image is changed in the projector 11.
When the digital zoom function for enlarging / reducing the image drawn by the light modulation device 32 by the image processing of the image data to be projected is executed or canceled.
-When the display position of the display image with respect to the actual projection area 11B is changed.
-When the above-mentioned digital zoom function is used to enlarge or further cancel or release the function of changing the image display position by image processing.
When the tele-wide function for enlarging / reducing the projection size of the entire image including the image and background drawn by the light modulation device 32, that is, the entire actual projection area 11B, by performing image processing of the image data is executed or canceled.
-When the picture shift function for reducing the image by the digital zoom function and changing the display position of the image by image processing is executed or canceled.
・ When simultaneous display of multiple images is executed or canceled.
When the output destination for outputting coordinates from the coordinate conversion unit 160 is changed from the image processing unit 110 to the PC 13 (output unit 101) or vice versa.
Changing the resolution, changing the aspect ratio, and executing and canceling various functions are all performed by the image processing unit 110 under the control of the control unit 103. Note that the timings listed above are merely examples, and it is of course possible to update the image position information at other timings.

図6は、プロジェクター11の動作を示すフローチャートであり、特に、指示体12による指示位置を検出して指示位置の座標を出力する動作を示す。
この図6に示す動作は、プロジェクター11の起動後、或いは、操作パネル41またはリモコン受光部45の操作によってポインター12Aやメニューバー12Bの表示が指示された場合に、投射を終了するまで一定時間毎に繰り返し実行される。
FIG. 6 is a flowchart showing the operation of the projector 11, and particularly shows the operation of detecting the position indicated by the indicator 12 and outputting the coordinates of the indicated position.
The operation shown in FIG. 6 is performed every predetermined time after the projector 11 is started or when the display of the pointer 12A or the menu bar 12B is instructed by the operation of the operation panel 41 or the remote control light receiving unit 45. It is executed repeatedly.

まず、キャリブレーションが必要か否かが判別される(ステップS11)。この判別は、キャリブレーションが必要か否かを示すユーザーの指示に基づいて行っても良く、キャリブレーションを行う必要があるかどうかをキャリブレーション実行部103Aが自動的に判別し、この判別結果に基づいて自動的に行っても良い。キャリブレーションが必要な場合には(ステップS11;Yes)、図4(A)を参照して説明したようにキャリブレーションを実行する(ステップS12)。すなわち、画像処理部113によりキャリブレーション用の画像を描画させ、このキャリブレーション用の画像が投射された状態で位置検出ユニット150により撮影を実行させ、得られた撮影画像データにおける実投射領域11Bの輪郭やキャリブレーション用の画像に含まれる特徴点(ドット等)を検出することで、画像処理部113が描画した画像と撮影画像データとの対応関係を求める。なお、キャリブレーションはプロジェクター11の使用を開始してから1度だけ行えば良く、特定の事象が発生しない限りは再度行う必要がない。例えば、次の(1)〜(3)のような場合には、新たにキャリブレーションを行う必要がある。
(1)キーストーン補正を行った場合。
(2)プロジェクター11の設置条件が変わった場合。例えば、スクリーンSCに対するプロジェクター11の相対的な位置(向きを含む)が変わった場合。
(3)光学条件が変わった場合。例えば、投射光学系33のフォーカスまたはズームの状態が変わった場合。投射光学系33あるいは撮像部153の光軸が経時変化等によりずれた場合。
これらの事象が発生した場合、座標変換部160が座標を算出する基準となる、初期状態における撮影画像データ上の位置と画像処理部113が描画する画像上の位置との対応関係が変化する(つまり、座標変換パラメーターが変化する)ので、改めてキャリブレーションを行う必要がある。逆にこれらの事象が発生しなければキャリブレーションを再度行う必要はないので、プロジェクター11を前回使用してから今回使用するまでの間に上記の事象が発生していなければ、キャリブレーションを行うことなく、前回のキャリブレーションで求めた座標変換パラメーターを再利用することもできる。キャリブレーションを行う必要があるかどうかをキャリブレーション実行部103Aが判別する方法としては、例えば、操作パネル41においてキーストーン補正の実行を指示するスイッチの操作の有無に基づいて判別する方法や、プロジェクター11に傾きや動きを検出するセンサーを設け、このセンサーの検出値の変化に基づいて判別する方法がある。また、投射光学系33におけるフォーカス、ズームの調整を行った場合に、キャリブレーション実行部103Aがキャリブレーションを自動で実行してもよい。また、ユーザーが、プロジェクター11の設置位置や光学条件の変化を知って、キャリブレーション実行を指示する操作を行えるように、操作パネル41やリモコン等の操作部に、対応するスイッチを設けてもよい。
First, it is determined whether or not calibration is necessary (step S11). This determination may be performed based on a user instruction indicating whether or not calibration is necessary. The calibration execution unit 103A automatically determines whether or not calibration is necessary, You may do this automatically. When calibration is necessary (step S11; Yes), calibration is executed as described with reference to FIG. 4A (step S12). That is, an image for calibration is drawn by the image processing unit 113, shooting is performed by the position detection unit 150 in a state in which the image for calibration is projected, and the actual projection area 11B in the obtained captured image data is displayed. By detecting feature points (dots and the like) included in the contour and the calibration image, the correspondence between the image drawn by the image processing unit 113 and the captured image data is obtained. The calibration need only be performed once after the use of the projector 11 is started, and does not need to be performed again unless a specific event occurs. For example, in the following cases (1) to (3), it is necessary to newly perform calibration.
(1) When keystone correction is performed.
(2) When the installation conditions of the projector 11 change. For example, when the relative position (including the orientation) of the projector 11 with respect to the screen SC has changed.
(3) When optical conditions change. For example, when the focus or zoom state of the projection optical system 33 changes. When the optical axis of the projection optical system 33 or the imaging unit 153 is shifted due to a change with time or the like.
When these events occur, the correspondence relationship between the position on the captured image data in the initial state and the position on the image drawn by the image processing unit 113, which is the reference for the coordinate conversion unit 160 to calculate the coordinates, changes ( That is, since the coordinate conversion parameter changes), it is necessary to perform calibration again. Conversely, if these events do not occur, it is not necessary to perform calibration again. Therefore, if the above events have not occurred between the previous use of the projector 11 and the current use, calibration is performed. In addition, the coordinate conversion parameters obtained in the previous calibration can be reused. As a method for determining whether the calibration execution unit 103A needs to perform the calibration, for example, a method for determining based on the presence / absence of operation of a switch instructing execution of keystone correction on the operation panel 41, a projector There is a method in which a sensor for detecting tilt and movement is provided in 11, and a determination is made based on a change in the detection value of the sensor. Further, when the focus and zoom are adjusted in the projection optical system 33, the calibration execution unit 103A may automatically execute the calibration. In addition, a corresponding switch may be provided on the operation panel 41 or an operation unit such as a remote control so that the user can perform an operation for instructing execution of calibration by knowing a change in the installation position of the projector 11 and optical conditions. .

撮影制御部155が制御部103の制御により撮像部153に実投射領域11Bを含む範囲を撮影させると、位置検出処理部157は撮影画像データを取得し(ステップS13)、この撮影画像データに基づいて指示体12の指示位置を検出する(ステップS14)。続いて、座標算出部159が、位置検出処理部157により検出された指示位置の座標を算出する(ステップS15)。このステップS15で算出される座標は実投射領域11Bにおける座標であり、図5(A)で説明した座標(X1n,Y1n)である。   When the imaging control unit 155 causes the imaging unit 153 to capture a range including the actual projection area 11B under the control of the control unit 103, the position detection processing unit 157 acquires captured image data (step S13), and based on the captured image data. Then, the indication position of the indicator 12 is detected (step S14). Subsequently, the coordinate calculation unit 159 calculates the coordinates of the indicated position detected by the position detection processing unit 157 (step S15). The coordinates calculated in step S15 are the coordinates in the actual projection area 11B, and are the coordinates (X1n, Y1n) described with reference to FIG.

座標変換部160は、画像位置情報の更新が必要か否かを判別し(ステップS16)、更新が必要な場合は画像処理部113から情報を取得して画像位置情報を更新する(ステップS17)。このステップS17の処理は、ステップS15の後に限定されず、上記に例示したタイミングで随時実行してもよい。
その後、座標変換部160は、座標算出部159が算出した座標を表示画像の画像データにおける座標に変換する処理を行う(ステップS18)。変換後の座標は、図5(B)で説明した座標(X2n,Y2n)である。
座標変換部160は、変換後の座標をPC13に出力し(ステップS19)、本処理を終了する。
The coordinate conversion unit 160 determines whether or not the image position information needs to be updated (step S16). If the update is necessary, the coordinate conversion unit 160 acquires information from the image processing unit 113 and updates the image position information (step S17). . The process in step S17 is not limited to the process after step S15, and may be executed as needed at the timing illustrated above.
Thereafter, the coordinate conversion unit 160 performs processing for converting the coordinates calculated by the coordinate calculation unit 159 into coordinates in the image data of the display image (step S18). The coordinates after conversion are the coordinates (X2n, Y2n) described in FIG.
The coordinate conversion unit 160 outputs the converted coordinates to the PC 13 (step S19), and ends this process.

図7は、プロジェクター11が対応する解像度を定義する解像度テーブルの構成例を模式的に示す図である。
この解像度テーブルには、プロジェクター11が表示可能な入力画像の解像度及びリフレッシュレートが設定されており、例えば記憶部105に記憶されている。図7に例示する解像度テーブルには、解像度が640×480のVGAモードから解像度が1400×1050のSXGA+モードまで、解像度やリフレッシュレートが異なる複数の画面モード(ディスプレイモード)が設定されている。
表示制御部107は、画像入力部104に入力されたアナログ画像信号の解像度及びリフレッシュレートに基づき、解像度テーブルに設定された画面モードのいずれかを選択し、選択した画面モードで画像を表示するための処理を行う。表示制御部107は、光変調装置32の液晶パネルの画素数と解像度が一致しない画面モードを選択した場合、例えば当該画面モードに対応づけて予め記憶部105に記憶されたパラメーターに従って、画像処理部113により解像度変換処理を実行させる。また、光変調装置32の液晶パネルと選択された画面モードのアスペクト比が異なる場合には、画像処理部113により、画像の周囲に黒帯状の非表示領域を付加する処理も行われる。
FIG. 7 is a diagram schematically illustrating a configuration example of a resolution table that defines resolutions supported by the projector 11.
In this resolution table, the resolution and refresh rate of the input image that can be displayed by the projector 11 are set and stored in the storage unit 105, for example. In the resolution table illustrated in FIG. 7, a plurality of screen modes (display modes) having different resolutions and refresh rates are set from a VGA mode with a resolution of 640 × 480 to an SXGA + mode with a resolution of 1400 × 1050.
The display control unit 107 selects one of the screen modes set in the resolution table based on the resolution and refresh rate of the analog image signal input to the image input unit 104, and displays an image in the selected screen mode. Perform the process. When the display control unit 107 selects a screen mode whose resolution does not match the number of pixels of the liquid crystal panel of the light modulation device 32, for example, according to the parameter stored in the storage unit 105 in advance in association with the screen mode, the display control unit 107 In step 113, resolution conversion processing is executed. Further, when the aspect ratio of the selected screen mode is different from that of the liquid crystal panel of the light modulation device 32, the image processing unit 113 also performs a process of adding a black belt-like non-display area around the image.

表示制御部107は、画像入力部104に入力されるアナログ画像信号の解像度が、解像度テーブルに設定された画面モードのいずれにも一致しない場合、いずれか近い画面モードを選択する。このため、PC13から入力されたアナログ画像信号の解像度を正しく検出できない場合や、未知の解像度であった場合には、入力されたアナログ画像信号とは解像度が大きく異なる画面モードを選択してしまうことがある。
図8は、スクリーンSCへの投射状態の例を示す図であり、(A)は適切な画面モードで投射された例を示し、(B)は適切でない画面モードで投射された例を示す。
If the resolution of the analog image signal input to the image input unit 104 does not match any of the screen modes set in the resolution table, the display control unit 107 selects a screen mode that is closer to the screen mode. For this reason, if the resolution of the analog image signal input from the PC 13 cannot be detected correctly, or if the resolution is unknown, a screen mode whose resolution is significantly different from that of the input analog image signal is selected. There is.
FIG. 8 is a diagram illustrating an example of a projection state on the screen SC, where (A) illustrates an example of projection in an appropriate screen mode, and (B) illustrates an example of projection in an inappropriate screen mode.

画像入力部104に入力されたアナログ画像信号に対して適切な画面モードが選択された場合、補正用画像210は、図8(A)に示すように実投射領域11Bに収まるように解像度等が調整されて、画像204として投射される。
これに対し、適切でない画面モードが選択されている場合、例えば図8(B)に示すように、アスペクト比が不自然に変化するような画像の調整が行われてしまい、その結果画像の一部が実投射領域11Bに収まらなくなっている。これは、選択された画面モードの解像度と、実際に画像入力部104に入力された画像信号の解像度との差が、画面の垂直方向及び/又は水平方向において、大きすぎるためである。また、選択された画面モードの解像度と実際に画像入力部104に入力された画像信号の解像度との差が偶然に小さい場合であっても、アスペクト比の不自然な変化や実投射領域11Bからのはみ出し等を生じることがあり、ユーザーがスクリーンSC上の画像を見て違和感があれば、適切な投射状態とは言えない。
このように、適切な画面モードが選択されていない場合には、プロジェクター11が、画像入力部104に入力された画像信号の解像度として、実際とは異なる解像度を認識している。従って、上述した画像位置情報も正確ではないから、座標変換部160が指示体12による指示位置の座標を正確に変換できない。
When an appropriate screen mode is selected for the analog image signal input to the image input unit 104, the correction image 210 has a resolution or the like so as to be within the actual projection area 11B as shown in FIG. The image is adjusted and projected as an image 204.
On the other hand, when an inappropriate screen mode is selected, for example, as shown in FIG. 8B, the image is adjusted such that the aspect ratio changes unnaturally. The portion does not fit in the actual projection area 11B. This is because the difference between the resolution of the selected screen mode and the resolution of the image signal actually input to the image input unit 104 is too large in the vertical direction and / or horizontal direction of the screen. Even if the difference between the resolution of the selected screen mode and the resolution of the image signal actually input to the image input unit 104 is accidentally small, an unnatural change in the aspect ratio or the actual projection area 11B If the user sees an image on the screen SC and feels uncomfortable, it cannot be said that the projection state is appropriate.
As described above, when the appropriate screen mode is not selected, the projector 11 recognizes a resolution different from the actual resolution as the resolution of the image signal input to the image input unit 104. Accordingly, since the image position information described above is not accurate, the coordinate conversion unit 160 cannot accurately convert the coordinates of the position indicated by the indicator 12.

そこで、プロジェクター11は、PC13から入力された画像信号の解像度を正確に検出(認識)できなかった場合に、ユーザーによる操作パネル41またはリモコンを介した操作に応じて、解像度に関する情報を補正する機能を備えている。
図9は、解像度に関する情報を補正するために用いる補正用画像210の構成例を示す図であり、(A)はマーカーとして四角形が含まれた例を示し、(B)はマーカーとしてポインターを用いた例を示す。
Therefore, when the projector 11 cannot accurately detect (recognize) the resolution of the image signal input from the PC 13, the projector 11 corrects the information related to the resolution according to the operation by the user via the operation panel 41 or the remote controller. It has.
FIG. 9 is a diagram showing a configuration example of a correction image 210 used for correcting information relating to resolution. (A) shows an example in which a square is included as a marker, and (B) uses a pointer as a marker. Here is an example.

補正用画像210は、白色またはその他の単色で塗りつぶされた背景に、四角形のマーカー211が配置された画像であり、全体として長方形の輪郭を有している。補正用画像210は、補正用画像210をどのような画面モードで表示しても実投射領域11B内にマーカー211が収まることが望ましい。例えば、解像度テーブルに設定された最も低解像度の画面モード(図7の例では解像度640×480のVGAモード)で補正用画像210を表示した場合に、マーカー211が実投射領域11Bよりも小さいこと、及び、マーカー211の全体が実投射領域11Bの外に出ないようになっている。より具体的には、マーカー211である四角形の画素数と、補正用画像210の端からマーカー211の輪郭までの画素数が、垂直方向及び水平方向のいずれにおいても、実投射領域11Bの画素数を超えないようになっている。この場合の実投射領域11Bの画素数は解像度テーブルにおいて画素数が最小の画面モード(図7の例ではVGAモードの画素数640×480)を基準とすることが好ましい。
図9(A)に示す補正用画像210は典型的な例であり、マーカー211が補正用画像210のほぼ中央に配置され、マーカー211のサイズは、垂直方向及び水平方向とも、補正用画像210全体の3分の1となっていて、補正用画像210の3分の1の画素数は、実投射領域11Bの画素数を超えない数である。
The correction image 210 is an image in which a square marker 211 is arranged on a background painted in white or other single color, and has a rectangular outline as a whole. In the correction image 210, it is desirable that the marker 211 be within the actual projection area 11 </ b> B no matter what screen mode the correction image 210 is displayed. For example, when the correction image 210 is displayed in the screen mode of the lowest resolution set in the resolution table (in the example of FIG. 7, the resolution is 640 × 480 VGA mode), the marker 211 is smaller than the actual projection area 11B. In addition, the entire marker 211 does not come out of the actual projection area 11B. More specifically, the number of pixels of the actual projection region 11B is the number of pixels of the square that is the marker 211 and the number of pixels from the end of the correction image 210 to the contour of the marker 211 both in the vertical direction and in the horizontal direction. Is not exceeded. In this case, the number of pixels in the actual projection area 11B is preferably based on the screen mode having the smallest number of pixels in the resolution table (in the example of FIG. 7, the number of pixels in the VGA mode is 640 × 480).
The correction image 210 shown in FIG. 9A is a typical example, and the marker 211 is arranged at substantially the center of the correction image 210. The size of the marker 211 is the correction image 210 in both the vertical direction and the horizontal direction. The total number of pixels is one third, and the number of pixels of one third of the correction image 210 is a number that does not exceed the number of pixels of the actual projection area 11B.

補正用画像210を用いた補正処理では、後述するように補正用画像210中のマーカー211の特定の点(参照ポイント)の位置が利用される。最も簡易で正確な方法は、マーカー211の4つの頂点212、213、214、215を参照ポイントとして利用する方法である。少なくとも頂点212、213、214、215の一部が実投射領域11B内に投射される必要があるため、補正用画像210の画素数は上述した通りに設定される。また、補正用画像210における頂点212、213、214、215の位置は、予め規定された位置になっている。プロジェクター11は、この規定された位置に関する情報を利用可能であり、例えば記憶部105に記憶している。この情報は、例えば、頂点212、213、214、215の位置を補正用画像210の隅を原点とする座標で表した情報、或いは、補正用画像210全体の画素数と、補正用画像210の端から各頂点212、213、214、215までの画素数とを含む情報である。また、この規定された位置に関する情報は、補正用画像210の大きさに対する、マーカー211の大きさの比率を表す情報であっても良い。
なお、補正用画像210における頂点212、213、214、215の位置を変更可能としてもよい。この場合、PC13及びプロジェクター11が、変更後の頂点212、213、214、215の位置に関する共通の情報を保持する必要がある。
In the correction process using the correction image 210, the position of a specific point (reference point) of the marker 211 in the correction image 210 is used as described later. The simplest and most accurate method is to use the four vertices 212, 213, 214, and 215 of the marker 211 as reference points. Since at least a part of the vertices 212, 213, 214, and 215 needs to be projected into the actual projection area 11B, the number of pixels of the correction image 210 is set as described above. The positions of the vertices 212, 213, 214, and 215 in the correction image 210 are predetermined positions. The projector 11 can use information on the specified position, and is stored in the storage unit 105, for example. This information is, for example, information representing the positions of the vertices 212, 213, 214, and 215 in coordinates with the corner of the correction image 210 as the origin, or the total number of pixels of the correction image 210 and the correction image 210. This information includes the number of pixels from the end to each vertex 212, 213, 214, 215. Further, the information regarding the specified position may be information indicating the ratio of the size of the marker 211 to the size of the correction image 210.
Note that the positions of the vertices 212, 213, 214, and 215 in the correction image 210 may be changeable. In this case, the PC 13 and the projector 11 need to hold common information regarding the positions of the changed vertices 212, 213, 214, and 215.

PC13は、補正用画像210の画像データである補正用画像データ13C(図3)を記憶部134に記憶している。ユーザーがプロジェクター11の操作パネル41またはリモコンを操作して、補正処理の実行を指示すると、補正処理の開始を指示する制御信号がプロジェクター11からPC13に出力される。PC13のCPU131は、プロジェクター11から補正処理の開始を指示する制御信号を受信すると、記憶部134から補正用画像データ13Cを読み出して、この補正用画像データ13Cを表示するためのアナログ画像信号を表示部136によって生成し、画像出力I/F143からモニター144及びプロジェクター11に出力する。この場合、PC13が実行する表示制御プログラム13Aは、補正処理に対応した機能を有するプログラムである。
PC13は、補正用画像210を、それまでプロジェクター11に出力していた画像信号と同じ解像度、同じリフレッシュレートで出力する。このため、プロジェクター11は画面モードを変更することなく補正用画像210の投射を実行する。
The PC 13 stores correction image data 13 </ b> C (FIG. 3) that is image data of the correction image 210 in the storage unit 134. When the user operates the operation panel 41 or the remote control of the projector 11 to instruct execution of correction processing, a control signal instructing the start of correction processing is output from the projector 11 to the PC 13. When the CPU 131 of the PC 13 receives the control signal instructing the start of the correction process from the projector 11, the CPU 131 reads the correction image data 13C from the storage unit 134 and displays an analog image signal for displaying the correction image data 13C. The image data is generated by the unit 136 and output from the image output I / F 143 to the monitor 144 and the projector 11. In this case, the display control program 13A executed by the PC 13 is a program having a function corresponding to the correction process.
The PC 13 outputs the correction image 210 at the same resolution and the same refresh rate as the image signal that has been output to the projector 11 until then. Therefore, the projector 11 projects the correction image 210 without changing the screen mode.

図10は、補正用画像210を用いた補正処理の例を示す図であり、(A)は補正前の状態を示し、(B)は補正後の状態を示す。また、図10(A)及び(B)には撮像部153の撮影範囲15Aを破線で示す。
プロジェクター11が入力画像信号の解像度を正しく検出できていない場合、補正用画像210の表示状態は、図10(A)に示すように、アスペクト比が歪んだり、補正用画像210の一部が実投射領域11Bからはみ出したりした状態となっている。実投射領域11Bの外に逸脱した頂点212、213、214、215はスクリーンSC上に結像しないため、補正処理に利用できない。このため、マーカー211の頂点212、213、214、215のうち、少なくとも2つ以上が実投射領域11Bに投射されていることが必要である。
10A and 10B are diagrams illustrating an example of correction processing using the correction image 210. FIG. 10A illustrates a state before correction, and FIG. 10B illustrates a state after correction. 10A and 10B, the shooting range 15A of the imaging unit 153 is indicated by a broken line.
When the projector 11 cannot correctly detect the resolution of the input image signal, the display state of the correction image 210 is such that the aspect ratio is distorted or a part of the correction image 210 is actual as shown in FIG. It is in a state of protruding from the projection area 11B. The vertices 212, 213, 214, and 215 that deviate outside the actual projection area 11B are not imaged on the screen SC and cannot be used for the correction process. For this reason, it is necessary that at least two or more of the vertices 212, 213, 214, and 215 of the marker 211 are projected on the actual projection area 11B.

制御部103は、位置検出ユニット150の撮影制御部155を制御して、補正用画像210が表示された状態で撮像部153による撮影を行う。この撮影画像データが撮影制御部155から出力されると、制御部103は、パターン検出部156によって、撮影画像データ中の頂点212、213、214、215を検出する処理を行わせる。パターン検出部156は、撮影画像データにおける頂点212、213、214、215の位置を検出して、検出した位置を座標算出部159に出力する。例えば、パターン検出部156は、撮影画像データの各画素の色に基づいて、単色の背景とマーカー211との境界を抽出し、境界の形状に基づいて頂点212、213、214、215を検出する。
撮影範囲15Aと、実投射領域11B上の位置と、入力された画像における位置との対応関係は、上述したキャリブレーションにより定められているので、この対応関係に基づき、制御部103は、パターン検出部156が検出した頂点212、213、214、215の位置を、入力画像である補正用画像210における位置に変換する。
The control unit 103 controls the shooting control unit 155 of the position detection unit 150 to perform shooting by the imaging unit 153 in a state where the correction image 210 is displayed. When the captured image data is output from the imaging control unit 155, the control unit 103 causes the pattern detection unit 156 to perform processing for detecting the vertices 212, 213, 214, and 215 in the captured image data. The pattern detection unit 156 detects the positions of the vertices 212, 213, 214, and 215 in the captured image data, and outputs the detected positions to the coordinate calculation unit 159. For example, the pattern detection unit 156 extracts the boundary between the monochrome background and the marker 211 based on the color of each pixel of the captured image data, and detects the vertices 212, 213, 214, and 215 based on the shape of the boundary. .
Since the correspondence relationship between the shooting range 15A, the position on the actual projection region 11B, and the position in the input image is determined by the calibration described above, the control unit 103 performs pattern detection based on this correspondence relationship. The positions of the vertices 212, 213, 214, and 215 detected by the unit 156 are converted into positions in the correction image 210 that is an input image.

制御部103は、変換された補正用画像210における頂点212、213、214、215の位置と、補正用画像210中の頂点212、213、214、215の規定の位置に基づいて、補正用画像210の4隅の頂点の、実投射領域11Bに対する相対的な位置を把握する。
例えば、制御部103は、算出した補正用画像210中の頂点212、213、214、215の位置及び/又は頂点間の距離とに基づいて、現在表示されている頂点間の画素数を求める。制御部103は、求めた頂点間の画素数と、補正用画像210において頂点212、213、214、215が配置された規定の位置とをもとに、実投射領域11Bに対する補正用画像210の相対的な位置(つまり、実投射領域における補正用画像210の左上の頂点位置、横幅及び縦幅)を算出する。ここで算出されたパラメーターが、正しい画像位置情報である。算出された正しい画像位置情報は、たとえば図6の処理に使用される。
The control unit 103 corrects the correction image based on the positions of the vertices 212, 213, 214, and 215 in the converted correction image 210 and the specified positions of the vertices 212, 213, 214, and 215 in the correction image 210. The relative positions of the four corner vertices 210 with respect to the actual projection area 11B are grasped.
For example, the control unit 103 obtains the number of pixels between the currently displayed vertices based on the calculated positions of the vertices 212, 213, 214, and 215 in the correction image 210 and / or the distance between the vertices. Based on the obtained number of pixels between the vertices and the specified positions where the vertices 212, 213, 214, and 215 are arranged in the correction image 210, the control unit 103 sets the correction image 210 for the actual projection area 11B. The relative position (that is, the top left vertex position, the horizontal width, and the vertical width of the correction image 210 in the actual projection area) is calculated. The parameter calculated here is correct image position information. The calculated correct image position information is used, for example, in the process of FIG.

さらに、制御部103は、表示制御部107に対し、補正用画像210に基づいて求めた解像度を出力し、この解像度に対応する適切な画面モードを選択させ、スクリーンSCへの表示を更新しても良い。これにより、補正用画像210は適切な位置、サイズ及びアスペクト比で、図10(B)に示すように表示される。この表示の更新後、制御部103は、補正処理の成功を確認するため、再び撮像部153により撮影を実行させ、撮影画像データに基づいて、補正用画像210の解像度を求める処理を行ってもよい。
また、例えば画像信号の解像度と解像度テーブルに設定された画面モードとの乖離が大きく、該当する画面モードがない場合に、新たな画面モードを作成したり、該当する画面モードがない旨のメッセージをOSD表示したりしてもよい。
Further, the control unit 103 outputs the resolution obtained based on the correction image 210 to the display control unit 107, selects an appropriate screen mode corresponding to this resolution, and updates the display on the screen SC. Also good. Thus, the correction image 210 is displayed at an appropriate position, size, and aspect ratio as shown in FIG. After the display is updated, the control unit 103 causes the image capturing unit 153 to perform image capturing again in order to confirm the success of the correction process, and performs processing for obtaining the resolution of the correction image 210 based on the captured image data. Good.
Also, for example, when there is a large discrepancy between the resolution of the image signal and the screen mode set in the resolution table, and there is no applicable screen mode, a new screen mode is created or a message indicating that there is no applicable screen mode is displayed. An OSD display may be used.

また、上記の方法では、撮像部153の撮影画像データをもとに頂点212、213、214、215を自動的に制御部103が検出するが、頂点212、213、214、215をユーザーが指示体12を用いて指し示すようにしてもよい。この場合、制御部103は、位置検出ユニット150によって指示体12の指示位置を検出させ、この指示位置を頂点212、213、214、215の位置として上記処理を実行すればよい。この場合、撮影画像データから頂点212、213、214、215を抽出する画像処理が不要になるので、速やかに補正処理を実行できる。   In the above method, the control unit 103 automatically detects the vertices 212, 213, 214, and 215 based on the captured image data of the imaging unit 153, but the user designates the vertices 212, 213, 214, and 215. The body 12 may be used for pointing. In this case, the control unit 103 may cause the position detection unit 150 to detect the indicated position of the indicator 12 and perform the above processing with the indicated position as the positions of the vertices 212, 213, 214, and 215. In this case, image processing for extracting the vertices 212, 213, 214, and 215 from the photographed image data is not necessary, so that correction processing can be executed promptly.

上述した例ではPC13が記憶部134に補正用画像210の補正用画像データ13Cを記憶し、PC13が実行する専用のプログラムである表示制御プログラム13Aの機能によって、補正用画像210をプロジェクター11に出力するものとして説明したが、PC13により、汎用のプログラムを実行し、必要に応じて補正用画像を生成させることもできる。
図9(B)に示す補正用画像210は、背景にポインター221が配置された画像である。表示システム10では、図4(B)を参照して説明したように、プロジェクター11が位置検出ユニット150によって検出した位置の座標をPC13に出力し、PC13が、入力された座標に対応する位置にポインター12A等を表示する。この場合、PC13は、マウス等のポインティングデバイスを利用するための汎用のデバイスドライバープログラムを用いて、プロジェクター11から入力される座標を取得し、この座標に対応する位置にポインター12Aを表示する処理を行う。この場合、表示制御プログラム13Aは専用のプログラムである必要はない。
この構成において、プロジェクター11が規定の位置、例えば画面全体の上から3分の1かつ画面の左端から3分の1の位置の座標を出力すると、PC13は、図9(B)に示す補正用画像210を生成して、プロジェクター11に出力する。補正用画像210中には、プロジェクター11から入力された座標に対応してポインター221が配置されている。つまり、プロジェクター11が指定した位置に、参照ポイントとして使用可能なポインター221が配置されている。このように、専用のプログラムをPC13が実行しなくても、プロジェクター11がPC13に出力する情報に基づいて、参照ポイントとして使用可能なマーカーとしてのポインター221を含む補正用画像210を、出力させることができる。なお、プロジェクター11から入力された規定の位置を示す座標に基づいてPC13がポインター221を表示するときに、現在の位置から規定の位置までポインター221を移動させても良い。このようにすれば、ポインター221の位置をユーザーが容易に視認することができる。
In the example described above, the PC 13 stores the correction image data 13C of the correction image 210 in the storage unit 134, and outputs the correction image 210 to the projector 11 by the function of the display control program 13A that is a dedicated program executed by the PC 13. As described above, a general-purpose program can be executed by the PC 13 and a correction image can be generated as necessary.
A correction image 210 shown in FIG. 9B is an image in which a pointer 221 is arranged on the background. In the display system 10, as described with reference to FIG. 4B, the coordinates of the position detected by the projector 11 by the position detection unit 150 are output to the PC 13, and the PC 13 is set to a position corresponding to the input coordinates. A pointer 12A or the like is displayed. In this case, the PC 13 acquires a coordinate input from the projector 11 using a general-purpose device driver program for using a pointing device such as a mouse, and displays a pointer 12A at a position corresponding to the coordinate. Do. In this case, the display control program 13A need not be a dedicated program.
In this configuration, when the projector 11 outputs the coordinates of a predetermined position, for example, one third from the top of the entire screen and one third from the left end of the screen, the PC 13 uses the correction position shown in FIG. 9B. An image 210 is generated and output to the projector 11. In the correction image 210 , pointers 221 are arranged corresponding to the coordinates input from the projector 11. That is, a pointer 221 that can be used as a reference point is arranged at a position designated by the projector 11. As described above, the correction image 210 including the pointer 221 as the marker that can be used as the reference point is output based on the information output from the projector 11 to the PC 13 without the PC 13 executing the dedicated program. Can do. When the PC 13 displays the pointer 221 based on the coordinates indicating the specified position input from the projector 11, the pointer 221 may be moved from the current position to the specified position. In this way, the user can easily recognize the position of the pointer 221.

この方法では、プロジェクター11の制御によって補正用画像210の背景色を変更することは困難であるから、ポインター221の先端位置をユーザーが指示体12によって指し示し、この指示位置をプロジェクター11が検出して補正処理を実行する構成としてもよい。この場合、撮像部153の撮影画像データからポインター221を抽出する処理の負荷を軽減でき、補正用画像210の背景色や、背景にポインター221以外の画像が表示されていても、速やかに補正処理を行える。この場合、プロジェクター11が、少なくとも2点の座標についてPC13へ出力してこの2点でポインター221を表示させるとともに、この2点の実投射領域11B上の位置をユーザーが指示体12によって指し示すことが好ましい。 In this method, since it is difficult to change the background color of the correction image 210 by controlling the projector 11, the user points the tip position of the pointer 221 with the indicator 12, and the projector 11 detects the indicated position. It is good also as composition which performs amendment processing. In this case, the processing load for extracting the pointer 221 from the captured image data of the imaging unit 153 can be reduced, and even when the background color of the correction image 210 or an image other than the pointer 221 is displayed on the background, the correction process is promptly performed Can be done. In this case, the projector 11 outputs the coordinates of at least two points to the PC 13 to display the pointer 221 at these two points, and the user points the position of the two points on the actual projection area 11B with the indicator 12. preferable.

制御部103は、補正用画像210を投射した状態で、撮像部153により撮影を実行させ、撮影画像データからポインター221を抽出する。そして、例えばポインター221の先端位置と、ポインター221の長さとをもとに、上記の処理と同様に補正用画像210全体の画素数すなわち解像度を算出する。補正用画像210を利用した場合、PC13が専用のプログラムを実行することなく、プロジェクター11がPC13に出力する座標を変更するだけで、補正処理を行える。 The control unit 103 causes the imaging unit 153 to perform imaging while projecting the correction image 210 , and extracts the pointer 221 from the captured image data. Then, for example, based on the position of the tip of the pointer 221 and the length of the pointer 221, the number of pixels, that is, the resolution of the entire correction image 210 is calculated in the same manner as the above processing. When the correction image 210 is used, the correction process can be performed only by changing the coordinates output from the projector 11 to the PC 13 without the PC 13 executing a dedicated program.

図11は、プロジェクター11の動作を示すフローチャートであり、特に、補正処理を示す。
補正手段としての制御部103は、操作パネル41またはリモコンの操作に応じて補正処理を開始し(ステップS21)、PC13に対して制御情報または座標を出力し、これに応じてPC13からプロジェクター11に対し、補正用画像が入力される(ステップS22)。プロジェクター11は、補正用画像の投射を開始し(ステップS23)、補正処理に用いる参照ポイントを自動的に検出するか否かを判別する(ステップS24)。
FIG. 11 is a flowchart showing the operation of the projector 11, and particularly shows the correction process.
The control unit 103 as correction means starts correction processing in accordance with the operation of the operation panel 41 or the remote controller (step S21), outputs control information or coordinates to the PC 13, and accordingly the PC 13 to the projector 11 On the other hand, a correction image is input (step S22). The projector 11 starts projecting a correction image (step S23), and determines whether or not to automatically detect a reference point used for correction processing (step S24).

ここで、参照ポイントの位置を自動的に検出するよう設定されている場合(ステップS24;Yes)、制御部103は、撮像部153によりスクリーンSCを撮影させ、撮影画像データから参照ポイントとしての頂点212、213、214、215或いはポインター221の先端の位置を自動的に検出し(ステップS25)、検出した参照ポイントの位置に基づいて、上述した方法によって補正用画像の解像度を算出し、画像位置情報を補正して(ステップS26)、本処理を終了する。
なお、画像位置情報を補正した後、算出した補正用画像の解像度に合わせて画面モードを選択し、スクリーンSCに投射する画像を更新してもよい。
Here, when it is set to automatically detect the position of the reference point (step S24; Yes), the control unit 103 causes the image capturing unit 153 to capture the screen SC and uses the captured image data as a reference point as a reference point. 212, 213, 214, 215 or the position of the tip of the pointer 221 is automatically detected (step S25), and the resolution of the image for correction is calculated by the above-described method based on the detected position of the reference point. The information is corrected (step S26), and this process is terminated.
Note that after correcting the image position information, the screen mode may be selected in accordance with the calculated resolution of the correction image, and the image projected on the screen SC may be updated.

一方、手動で参照ポイントの位置を指定する場合(ステップS24;No)、制御部103は、頂点212、213、214、215を指示体12が指示したときの指示体12の指示位置を位置検出ユニット150によって検出し(ステップS27)、検出した指示位置を参照ポイントの位置として特定し(ステップS28)、ステップS26に移行して、参照ポイントの位置に基づいて補正用画像の解像度を算出し、画像位置情報を補正する。   On the other hand, when the position of the reference point is designated manually (step S24; No), the control unit 103 detects the position of the indicator 12 when the indicator 12 indicates the vertices 212, 213, 214, and 215. Detected by the unit 150 (step S27), the detected indication position is specified as the position of the reference point (step S28), the process proceeds to step S26, and the resolution of the image for correction is calculated based on the position of the reference point; Correct the image position information.

以上のように、本発明を適用した実施形態に係る表示システム10は、スクリーンSCに表示画像を表示する投射ユニット3と、スクリーンSCにおける、表示画像に対する指示位置を検出する位置検出ユニット150と、スクリーンSC内の表示可能領域(例えば、実投射領域11B)における指示位置の座標である第1の座標を算出する座標算出部159と、座標算出部159により算出された第1の座標を、スクリーンSCにおける表示画像の位置を示す画像位置情報に基づいて、画像データにおける座標である第2の座標に変換する座標変換部160と、座標変換部160により得られた第2の座標を出力する出力部101と補正用画像を表示する処理によって供給画像の解像度に関する情報を補正する制御部103と、を備え、座標の変換に用いる画像位置情報を、補正用画像を用いて補正できるので、PC13から入力された未知の解像度の画像を表示する場合など、解像度に関する正確な情報を得られない場合であっても、正確に座標を変換して出力できる。これにより、入力される画像の解像度に関わらず、スクリーンSCに対する操作によって指示された位置の座標を正確に出力できる。   As described above, the display system 10 according to the embodiment to which the present invention is applied includes the projection unit 3 that displays the display image on the screen SC, the position detection unit 150 that detects the indicated position with respect to the display image on the screen SC, The coordinate calculation unit 159 that calculates the first coordinate that is the coordinate of the designated position in the displayable region (for example, the actual projection region 11B) in the screen SC, and the first coordinate calculated by the coordinate calculation unit 159 are used as the screen. Based on the image position information indicating the position of the display image in the SC, the coordinate conversion unit 160 that converts to the second coordinate that is the coordinate in the image data, and the output that outputs the second coordinate obtained by the coordinate conversion unit 160 And a control unit 103 that corrects information related to the resolution of the supplied image by a process of displaying the correction image. Since the image position information used for the conversion can be corrected using the correction image, even when accurate information about the resolution cannot be obtained, such as when displaying an image with an unknown resolution input from the PC 13, Accurately convert coordinates and output. Thereby, the coordinates of the position instructed by the operation on the screen SC can be accurately output regardless of the resolution of the input image.

また、座標変換部160は、座標算出部159により算出された第1の座標を、画像位置情報に基づいて第2の座標に変換する。例えば、座標変換部160は、投射部30の表示解像度と画像データの解像度を反映した画像位置情報を用いて座標の変換を行う。これにより、画像データの解像度が変化しても指示位置の座標を正確に変換して出力できる。   In addition, the coordinate conversion unit 160 converts the first coordinates calculated by the coordinate calculation unit 159 into second coordinates based on the image position information. For example, the coordinate conversion unit 160 performs coordinate conversion using image position information that reflects the display resolution of the projection unit 30 and the resolution of the image data. Thus, even if the resolution of the image data changes, the coordinates of the designated position can be accurately converted and output.

また、投射ユニット3が表示する補正用画像は、例えば、単色の背景と、実投射領域11B内に表示される可能性が高い所定の位置に配置されたマーカー211とを含むので、実投射領域11Bに位置するマーカー211を検出し、速やかに補正処理を実行できる。
プロジェクター11は、PC13から入力される補正用画像210をスクリーンSCに投射し、スクリーンSCを撮影した撮影画像データに基づいて、マーカー211、ポインター221を自動的に検出することも可能である。
また、補正処理において、ユーザーの位置指示操作によって参照ポイントを検出することも可能である。すなわち、制御部103は、投射ユニット3が補正用画像210をスクリーンSCに表示した状態で、位置検出ユニット150によって検出された指示位置と、補正用画像210におけるポインター221の位置とに基づいて、解像度に関する情報を補正できる。
Further, the correction image displayed by the projection unit 3 includes, for example, a monochrome background and a marker 211 arranged at a predetermined position that is likely to be displayed in the actual projection area 11B. The marker 211 located at 11B can be detected and the correction process can be executed promptly.
The projector 11 projects the correction image 21 0 inputted from PC13 to the screen SC, based on the captured image data obtained by photographing the screen SC, the marker 211, it is possible to automatically detect the pointer 221.
In the correction process, it is also possible to detect the reference point by the user's position instruction operation. That is, the control unit 103, in a state in which the projection unit 3 is displaying the correction image 21 0 on the screen SC, the indication position detected by the position detection unit 150, and the position of the definitive pointer 221 to the correction image 21 0 Based on this, information about the resolution can be corrected.

なお、上記実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。例えば、上記実施形態では、実際にスクリーンSCに投射された補正用画像を撮像部153により撮影し、撮影画像データから、参照ポイントの位置を検出するものとして説明したが、本発明はこれに限定されるものではなく、PC13から入力される補正用画像の画像信号に基づいて画像処理部113(画像展開手段)がフレームメモリー115(メモリー)に展開した画像データから、参照ポイントとしてのマーカーを検出し、画像位置情報を補正することも可能である。この場合、スクリーンSCにおける投射状態や撮像部153による撮影のコンディションに影響を受けることなく、速やかに、かつ正確にマーカーの位置を特定できる。   In addition, the said embodiment is only an example of the specific aspect to which this invention is applied, this invention is not limited, It is also possible to apply this invention as an aspect different from the said embodiment. For example, in the above-described embodiment, the correction image actually projected on the screen SC is captured by the imaging unit 153, and the position of the reference point is detected from the captured image data. However, the present invention is not limited to this. Instead, a marker as a reference point is detected from the image data developed by the image processing unit 113 (image development means) in the frame memory 115 (memory) based on the image signal of the correction image input from the PC 13. It is also possible to correct the image position information. In this case, the position of the marker can be quickly and accurately specified without being affected by the projection state on the screen SC or the shooting condition by the imaging unit 153.

また、上記実施形態の構成において、位置検出ユニット150が有する撮像部153及び撮影制御部155を、プロジェクター11に外部接続された撮像装置(デジタルカメラ等)により代替することも可能である。この場合の撮像装置は、制御部103の制御により撮影を実行して撮影画像データを位置検出処理部157に出力するものであればよい。また、この撮像装置とプロジェクター11とを接続するインターフェイスとしてはUSB等の汎用インターフェイスを利用できるので、容易に実現可能である。また、位置検出ユニット150がプロジェクター11に外部接続される構成であっても良い。この場合、位置検出ユニット150を、プロジェクター11から独立した装置とすることができる。
また、上記実施形態の構成において、画像ソースはPC13に限定されず、画像入力部104を介して接続可能な携帯型または据え置き型の、画像を出力可能な各種機器を用いることができ、さらに、プロジェクター11が記憶部105に記憶した画像を画像ソースとして投射してもよい。
In the configuration of the above-described embodiment, the imaging unit 153 and the imaging control unit 155 included in the position detection unit 150 can be replaced with an imaging device (such as a digital camera) externally connected to the projector 11. The imaging apparatus in this case may be any apparatus that executes imaging under the control of the control unit 103 and outputs the captured image data to the position detection processing unit 157. Further, a general-purpose interface such as a USB can be used as an interface for connecting the image pickup apparatus and the projector 11 and can be easily realized. Further, the position detection unit 150 may be externally connected to the projector 11. In this case, the position detection unit 150 can be an apparatus independent of the projector 11.
In the configuration of the above embodiment, the image source is not limited to the PC 13, and various portable or stationary devices that can output images can be used via the image input unit 104. An image stored in the storage unit 105 by the projector 11 may be projected as an image source.

また、上記実施形態の構成において、指示体12は、棒状のものやペン型のものに限定されず、例えばユーザーの指を指示体12として、その指示位置を検出する構成とすることも可能である。
さらに、上記実施形態の構成では、位置検出ユニット150が撮影画像データに基づいて指示体12による指示位置を検出する構成を例に挙げて説明したが、本発明はこれに限定されず、例えば、表示面としてのスクリーンSC或いは他の表示方式における表示画面に、感圧式や静電容量式のタッチパネルを設け、このタッチパネルによって指示体12としてのユーザーの指や棒体等の接触を検出する構成としてもよい。
In the configuration of the above-described embodiment, the indicator 12 is not limited to a rod-shaped or pen-shaped one. For example, the user's finger can be used as the indicator 12 to detect the indicated position. is there.
Furthermore, in the configuration of the above embodiment, the configuration in which the position detection unit 150 detects the position indicated by the indicator 12 based on the captured image data has been described as an example. However, the present invention is not limited to this, and for example, As a configuration in which a pressure-sensitive or capacitive touch panel is provided on the screen SC as a display surface or a display screen in another display method, and the touch of the user's finger or bar as the indicator 12 is detected by this touch panel. Also good.

また、指示体12がボタン等の操作子を備え、操作子が押圧されると指示体12からプロジェクター11へ操作信号を送信する構成であっても良い。また、指示体12は、操作子が操作されると、この操作に応じて所定の波長の光(非可視光又は可視光)を射出し、操作が解除されると光の射出を停止する構成とすることもできる。この場合、撮像部153が撮影した撮影画像データに基づいて、指示体12から光が射出されているか否かを判定することにより、指示体12の操作が行われているか否かを判別できる。従って、指示体12の指示位置のみならず、操作子に対して操作が行われたか否か(操作子が押されたか否か)を、位置検出処理部157が検出することができる。
また、上記の例では、操作子が操作されたときに所定の波長の光を射出し、操作が解除されると光の射出を停止する構成を例に挙げて説明したが、本発明はこれに限られない。例えば、指示体12を、常に所定の波長の光を所定のパターンで射出し、操作子に対して操作が行われると発光のパターンを異なるパターンに変化させて発光する構成とすることができる。この場合、指示体12は常に所定のパターンで発光しているので、位置検出処理部157は指示体12の指示位置を常に検出することができる。また位置検出処理部157は、操作子に対して操作が行われたか否かを、発光パターンに基づいて検出することができる。
また、操作子が操作されたことを示す情報、及び操作子に対する操作が解除された旨を示す情報を、制御データとしてプロジェクターからPCへ出力しても良い。例えばプロジェクターは、操作子が操作されたことを示す情報を、マウスが左クリックされたことを示す情報としてPCへ出力し、操作子に対する操作が解除された旨を示す情報を、マウスの左クリックが解除されたことを示す情報としてPCへ出力しても良い。さらに、プロジェクター11は、操作情報を、マウス以外のポインティングデバイス(例えば、デジタイザーなど)の操作を表す情報としてPC13に出力しても良い。
Further, the indicator 12 may be provided with an operator such as a button, and an operation signal may be transmitted from the indicator 12 to the projector 11 when the operator is pressed. The indicator 12 emits light of a predetermined wavelength (invisible light or visible light) according to the operation when the operation element is operated, and stops emitting light when the operation is released. It can also be. In this case, it is possible to determine whether or not the operation of the indicator 12 is performed by determining whether or not light is emitted from the indicator 12 based on the captured image data captured by the imaging unit 153. Therefore, the position detection processing unit 157 can detect not only the indication position of the indicator 12 but also whether or not an operation has been performed on the operator (whether or not the operator has been pressed).
Further, in the above example, a configuration has been described in which the light of a predetermined wavelength is emitted when the operation element is operated, and the light emission is stopped when the operation is released. Not limited to. For example, the indicator 12 can be configured to always emit light of a predetermined wavelength in a predetermined pattern and emit light by changing the light emission pattern to a different pattern when the operation element is operated. In this case, since the indicator 12 always emits light in a predetermined pattern, the position detection processing unit 157 can always detect the indication position of the indicator 12. The position detection processing unit 157 can detect whether or not an operation has been performed on the operation element based on the light emission pattern.
Further, information indicating that the operation element has been operated and information indicating that the operation on the operation element has been released may be output from the projector to the PC as control data. For example, the projector outputs information indicating that the operation element has been operated to the PC as information indicating that the mouse has been left-clicked, and left-clicking information indicating that the operation on the operation element has been released. It may be output to the PC as information indicating that has been released. Further, the projector 11 may output the operation information to the PC 13 as information representing an operation of a pointing device other than the mouse (for example, a digitizer).

また、上記実施形態では、制御部103がキャリブレーション実行部103Aとして機能する構成を例に挙げて説明したが、本発明はこれに限定されない。例えば、キャリブレーション実行部103Aの機能の一部又は全てを、位置検出ユニット50が備えていても良い。特に、位置検出ユニット150がプロジェクター11に外部接続された撮像装置であり、かつこの撮像装置がキャリブレーション実行部103Aとして機能する場合は、プロジェクター11はキャリブレーション実行部103Aに相当する構成を備える必要がない。
また、プロジェクター11に外部接続された装置が、位置検出ユニット150、キャリブレーション実行部103A、及び座標変換部160として機能しても良い。さらに、プロジェクター11に外部接続された装置が、位置検出ユニット150、及び座標変換部160として機能しても良い。
In the above embodiment, the configuration in which the control unit 103 functions as the calibration execution unit 103A has been described as an example. However, the present invention is not limited to this. For example, the position detection unit 50 may include some or all of the functions of the calibration execution unit 103A. In particular, when the position detection unit 150 is an imaging device externally connected to the projector 11 and this imaging device functions as the calibration execution unit 103A, the projector 11 needs to have a configuration corresponding to the calibration execution unit 103A. There is no.
In addition, a device externally connected to the projector 11 may function as the position detection unit 150, the calibration execution unit 103A, and the coordinate conversion unit 160. Furthermore, a device externally connected to the projector 11 may function as the position detection unit 150 and the coordinate conversion unit 160.

また、上記実施形態では、補正用画像210に配置されたマーカー211のサイズは垂直方向及び水平方向とも、補正用画像210全体の3分の1であるものとして説明したが、マーカー211のサイズはこれに限られない。マーカー211は、垂直方向のサイズ、及び水平方向のサイズの少なくとも一方が、補正用画像210全体のサイズの3分の1より大きくても良く、小さくても良い。   Further, in the above embodiment, the size of the marker 211 arranged in the correction image 210 is described as being one third of the entire correction image 210 in both the vertical direction and the horizontal direction. It is not limited to this. At least one of the vertical size and the horizontal size of the marker 211 may be larger or smaller than one third of the entire correction image 210 size.

また、上記実施形態では、補正用画像210に配置されたマーカー211の4つの頂点を参照ポイントとして利用した例を挙げて説明したが、マーカー211の利用方法はこれに限られない。例えば、マーカー211の4つの頂点のうち、同一の対角線上に存在する2つの頂点を参照ポイントとして用いることもできる。   In the above embodiment, an example in which the four vertices of the marker 211 arranged in the correction image 210 are used as reference points has been described. However, the method of using the marker 211 is not limited to this. For example, of the four vertices of the marker 211, two vertices existing on the same diagonal can be used as reference points.

また、上記実施形態では、参照ポイントを自動的に検出するか否かをプロジェクター11が判別する例について説明したが、参照ポイントの検出方法はこれに限られない。プロジェクター11は、参照ポイントの検出を常に自動で行う構成であっても良く、常に手動で行う構成であっても良い。   Moreover, although the said embodiment demonstrated the example in which the projector 11 discriminate | determines whether a reference point is detected automatically, the detection method of a reference point is not restricted to this. The projector 11 may be configured to always automatically detect the reference point or may be configured to always manually.

また、上記実施形態では、0以上1以下の範囲で座標(X1n,Y1n)、及び座標(X2n,Y2n)の正規化を行っているが、正規化の方法はこれに限られない。これらの座標の正規化には、論理的に定義された任意の値(例えば、0以上32767以下の範囲など)を用いることができる。   In the above embodiment, the coordinates (X1n, Y1n) and the coordinates (X2n, Y2n) are normalized in the range of 0 to 1, but the normalization method is not limited to this. For normalization of these coordinates, any logically defined value (for example, a range of 0 or more and 32767 or less) can be used.

さらに、上記実施形態では、PC13とプロジェクター11とがケーブル等により有線接続される構成を例に挙げて説明したが、プロジェクター11とPC13との接続形態は任意である。例えば、プロジェクター11とPC13とが無線LAN、Bluetooth(登録商標)等を用いた無線通信により、或いはUSB等の汎用データ通信ケーブルや有線LAN等を用いた有線通信により相互に接続され、座標データを送受信する構成としてもよい。   Furthermore, in the above-described embodiment, the configuration in which the PC 13 and the projector 11 are wiredly connected by a cable or the like has been described as an example, but the connection form between the projector 11 and the PC 13 is arbitrary. For example, the projector 11 and the PC 13 are connected to each other by wireless communication using a wireless LAN, Bluetooth (registered trademark) or the like, or by wire communication using a general-purpose data communication cable such as a USB or a wired LAN. It is good also as a structure which transmits / receives.

また、上記実施形態では、光源が発した光を変調する手段として、光変調装置32がRGBの各色に対応した3枚の透過型または反射型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、例えば、1枚の液晶パネルとカラーホイールを組み合わせた方式、3枚のデジタルミラーデバイス(DMD)を用いた方式、1枚のデジタルミラーデバイスとカラーホイールを組み合わせたDMD方式等により構成してもよい。ここで、表示部として1枚のみの液晶パネルまたはDMDを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びDMD以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。   In the above-described embodiment, as an example of the means for modulating the light emitted from the light source, the light modulation device 32 uses a configuration using three transmissive or reflective liquid crystal panels corresponding to RGB colors. However, the present invention is not limited to this, for example, a system using one liquid crystal panel and a color wheel, a system using three digital mirror devices (DMD), and a single digital mirror device. And a DMD system combining a color wheel and the like. Here, when only one liquid crystal panel or DMD is used as the display unit, a member corresponding to a synthetic optical system such as a cross dichroic prism is unnecessary. In addition to the liquid crystal panel and the DMD, any configuration that can modulate the light emitted from the light source can be used without any problem.

また、本発明の表示装置は、スクリーンSCに画像を投射するプロジェクターに限定されず、液晶表示パネルに画像を表示する液晶モニターまたは液晶テレビ、或いは、PDP(プラズマディスプレイパネル)に画像を表示するモニター装置またはテレビ受像機、OLED(Organic light-emitting diode)、OEL(Organic Electro-Luminescence)等と呼ばれる有機EL表示パネルに画像を表示するモニター装置またはテレビ受像機等の自発光型の表示装置など、各種の表示装置も本発明の画像表示装置に含まれる。この場合、液晶表示パネル、プラズマディスプレイパネル、有機EL表示パネルが表示手段に相当し、その表示画面が表示面に相当する。より詳細には、画像を表示可能な領域全体が上記実施形態の実投射領域11Bまたは最大投射領域11Aに相当する。 The display device of the present invention is not limited to the projector that projects an image onto the screen SC, LCD monitor or LCD TV displays the images on the liquid crystal display panel or display the images on the PDP (plasma display panel) monitoring device or a television receiver to, OLED (organic light-emitting diode ), OEL (organic Electro-Luminescence) display of a self-luminous monitor device or a television receiver or the like for displaying images on the organic EL display panel, called the like Various display devices such as devices are also included in the image display device of the present invention. In this case, the liquid crystal display panel, the plasma display panel, and the organic EL display panel correspond to display means, and the display screen corresponds to the display surface. More specifically, the entire area where the image can be displayed corresponds to the actual projection area 11B or the maximum projection area 11A of the above embodiment.

また、図2に示したプロジェクター11の各機能部、及び、図3に示したPC13の各機能部は、ハードウェアとソフトウェアとの協働により実現される機能的構成を示すものであって、具体的な実装形態は特に制限されない。従って、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。その他、プロジェクター11及びPC13を含む表示システム10の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
また、上記実施形態において記憶部105が記憶していた制御プログラム105Aを、プロジェクター11が通信ネットワークを介して接続された他の装置からダウンロードして実行しても良いし、可搬型の記録媒体に制御プログラム105Aを記録して、この記録媒体から上記各プログラムを読み取って実行する構成としても良い。PC13が記憶していた表示制御プログラム13Aについても同様に、PC13が他の装置から表示制御プログラム13Aをダウンロードして実行しても良いし、可搬型の記録媒体に記録された表示制御プログラム13AをPC13が読み取って実行する構成としても良い。
Further, each functional unit of the projector 11 shown in FIG. 2 and each functional unit of the PC 13 shown in FIG. 3 show functional configurations realized by cooperation of hardware and software. A specific mounting form is not particularly limited. Therefore, it is not always necessary to mount hardware corresponding to each function unit individually, and it is of course possible to realize a function of a plurality of function units by one processor executing a program. In addition, in the above embodiment, a part of the function realized by software may be realized by hardware, or a part of the function realized by hardware may be realized by software. In addition, specific detailed configurations of other parts of the display system 10 including the projector 11 and the PC 13 can be arbitrarily changed without departing from the spirit of the present invention.
In addition, the control program 105A stored in the storage unit 105 in the above embodiment may be downloaded from another apparatus connected to the projector 11 via a communication network and executed, or may be stored in a portable recording medium. The control program 105A may be recorded, and the above programs may be read from the recording medium and executed. Similarly, the display control program 13A stored in the PC 13 may be downloaded and executed by the PC 13 from another device, or the display control program 13A recorded on a portable recording medium may be downloaded. The PC 13 may be configured to read and execute.

3…投射ユニット(表示手段)、10…表示システム、11、51…プロジェクター(表示装置)、11A…最大投射領域、11B…実投射領域(表示可能領域)、11C…非表示領域、12…指示体、13…PC(画像ソース)、30…投射部(投射手段)、31…照明光学系(光源)、32…光変調装置(光変調手段)、101…出力部(出力手段)、103…制御部(補正手段)、105A…制御プログラム、107…表示制御部、110…画像処理ユニット(画像形成手段)、113…画像処理部(画像展開手段)、115…フレームメモリー(メモリー)、150…位置検出ユニット(位置検出手段)、151…位置検出部、153…撮像部、157…位置検出処理部、159…座標算出部(座標算出手段)、160…座標変換部(座標変換手段)、SC…スクリーン(投射面、表示面)。   DESCRIPTION OF SYMBOLS 3 ... Projection unit (display means), 10 ... Display system, 11, 51 ... Projector (display device), 11A ... Maximum projection area, 11B ... Actual projection area (displayable area), 11C ... Non-display area, 12 ... Instruction , 13 ... PC (image source), 30 ... projection section (projection means), 31 ... illumination optical system (light source), 32 ... light modulation device (light modulation means), 101 ... output section (output means), 103 ... Control unit (correction unit), 105A ... control program, 107 ... display control unit, 110 ... image processing unit (image forming unit), 113 ... image processing unit (image development unit), 115 ... frame memory (memory), 150 ... Position detection unit (position detection means), 151... Position detection section, 153... Imaging section, 157... Position detection processing section, 159... Coordinate calculation section (coordinate calculation means), 160. Coordinate transformation means), SC ... screen (projection surface, the display surface).

Claims (7)

表示面に画像を表示する表示手段と、
画像ソースにより供給される供給画像の解像度に対応して画面モードを設定し、設定した画面モードの解像度と前記表示手段の表示解像度とに基づき、前記供給画像に対する解像度変換処理を行い、解像度変換した画像を前記表示手段により表示面に表示させる表示制御手段と、
前記表示面における指示位置を検出する位置検出手段と、
前記表示面の表示可能領域における前記指示位置の座標である第1の座標を算出する座標算出手段と、
前記供給画像の解像度及び画面モードに対応する情報であって、前記表示可能領域における前記供給画像の位置を示す画像位置情報を導出する処理手段と、
前記座標算出手段により算出された前記第1の座標を、前記処理手段により導出された前記画像位置情報に基づいて、前記供給画像における座標である第2の座標に変換する座標変換手段と、
前記座標変換手段により得られた前記第2の座標を出力する出力手段と、
補正用の画像を表示する処理によって前記画面モード及び前記供給画像の解像度に対応する前記画像位置情報を算出して、前記画像位置情報を補正する補正手段と、
を備えることを特徴とする表示装置。
Display means for displaying an image on the display surface;
A screen mode is set corresponding to the resolution of the supplied image supplied from the image source, and the resolution conversion process is performed on the supplied image based on the resolution of the set screen mode and the display resolution of the display unit, and the resolution is converted. Display control means for displaying an image on a display surface by the display means;
Position detecting means for detecting an indicated position on the display surface;
Coordinate calculating means for calculating first coordinates which are coordinates of the indicated position in the displayable area of the display surface;
An information corresponding to the resolution and the screen mode of the supply image processing means for image position information indicating a position of the supply image in the display area, and derives,
Coordinate conversion means for converting the first coordinates calculated by the coordinate calculation means to second coordinates that are coordinates in the supplied image, based on the image position information derived by the processing means;
Output means for outputting the second coordinates obtained by the coordinate conversion means;
Correction means for correcting the image position information by calculating the image position information corresponding to the resolution of the screen mode and the supplied image by a process of displaying an image for correction;
A display device comprising:
前記補正用の画像は、マーカーを含み、最も低解像度の前記画面モードが設定された状態で前記マーカーが前記表示可能領域の外に出ないよう構成された画像であることを特徴とする請求項1記載の表示装置。 Image for the correction comprises a marker, it characterized in that it is a lowest resolution the screen mode of the marker in a state of being set is constructed so as not to go out of the displayable area image according claim 1 Symbol placement of the display device. 前記補正手段は、前記表示手段が前記補正用の画像を前記表示面に表示した状態で、前記位置検出手段によって検出された指示位置と、前記補正用の画像における前記指示位置に対応する点の位置とに基づいて、前記画像位置情報を補正することを特徴とする請求項記載の表示装置。 The correction means includes a point corresponding to the indication position detected by the position detection means and the indication position in the correction image in a state where the display means displays the correction image on the display surface. The display device according to claim 2 , wherein the image position information is corrected based on the position. 前記補正手段は、前記表示手段によって前記表示面に表示された前記補正用の画像におけるマーカーを検出し、実際に検出したマーカーの検出位置に基づいて前記画像位置情報を補正することを特徴とする請求項記載の表示装置。 The correction unit detects a marker in the correction image displayed on the display surface by the display unit, and corrects the image position information based on a detection position of the actually detected marker. The display device according to claim 2 . 前記表示手段は、前記供給画像に基づいて前記表示面に表示する画像を、前記表示可能領域に対応するメモリーに展開する画像展開手段を備え、前記メモリーに展開された画像を前記表示面に表示するよう構成され、
前記補正手段は、前記補正用の画像を前記画像展開手段により前記メモリーに展開た画像における前記マーカーの位置を検出し、検出した位置に基づいて前記画像位置情報を補正することを特徴とする請求項記載の表示装置。
The display means includes image expansion means for expanding an image to be displayed on the display surface based on the supplied image in a memory corresponding to the displayable area, and displaying the image expanded in the memory on the display surface Configured to
The correction means detects a position of the marker in an image obtained by developing the image for correction in the memory by the image development means, and corrects the image position information based on the detected position. The display device according to claim 2 .
前記表示手段として、
光源が発した光を変調する光変調手段と、
前記供給画像に基づいて前記光変調手段に表示画像を形成する画像形成手段と、
前記画像形成手段により形成された表示画像を、前記表示面としての投射面に投射する投射手段と、を備えたプロジェクターであることを特徴とする請求項1からのいずれかに記載の表示装置。
As the display means,
A light modulation means for modulating light emitted from the light source;
Image forming means for forming a display image on the light modulation means based on the supplied image;
Display device according to claim 1, wherein the 5 in that the display image formed by the image forming unit, and a projection means for projecting the projection surface as the display surface, a projector with a .
画像ソースにより供給される供給画像の解像度に対応して画面モードを設定し、設定した画面モードの解像度と表示手段の表示解像度とに基づき、前記供給画像に対する解像度変換処理を行い、解像度変換した画像を前記表示手段により表示面に表示し、
前記表示面における指示位置を検出し、
前記表示面の表示可能領域における前記指示位置の座標である第1の座標を算出し、
前記供給画像の解像度及び画面モードに対応する情報であって、前記表示可能領域における前記供給画像の位置を示す画像位置情報を導出し、
算出した前記第1の座標を、前記画像位置情報に基づいて、前記供給画像における座標である第2の座標に変換し、
変換により得られた前記第2の座標を出力し、
補正用の画像を表示する処理によって前記画面モード及び前記供給画像の解像度に対応する前記画像位置情報を算出して、前記画像位置情報を補正すること、
を特徴とする表示制御方法。
A screen mode is set corresponding to the resolution of the supplied image supplied by the image source, and the resolution conversion process is performed on the supplied image based on the resolution of the set screen mode and the display resolution of the display unit, and the resolution converted image Is displayed on the display surface by the display means,
Detecting the indicated position on the display surface;
Calculating first coordinates which are coordinates of the indicated position in the displayable area of the display surface;
Information corresponding to the resolution and screen mode of the supply image , and deriving image position information indicating the position of the supply image in the displayable area,
Based on the image position information, the calculated first coordinates are converted into second coordinates that are coordinates in the supply image,
Outputting the second coordinates obtained by the transformation;
Calculating the image position information corresponding to the resolution of the screen mode and the supplied image by a process of displaying an image for correction, and correcting the image position information;
A display control method characterized by the above.
JP2012000506A 2012-01-05 2012-01-05 Display device and display control method Active JP6064321B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012000506A JP6064321B2 (en) 2012-01-05 2012-01-05 Display device and display control method

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012000506A JP6064321B2 (en) 2012-01-05 2012-01-05 Display device and display control method
US13/721,554 US9600091B2 (en) 2012-01-05 2012-12-20 Display device and display control method
CN201210581240.6A CN103279313B (en) 2012-01-05 2012-12-27 Display device and display control method
CN201810174523.6A CN108446047B (en) 2012-01-05 2012-12-27 Display device and display control method
US15/423,952 US10025400B2 (en) 2012-01-05 2017-02-03 Display device and display control method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016248657A Division JP6296144B2 (en) 2016-12-22 2016-12-22 Display device and display control method

Publications (3)

Publication Number Publication Date
JP2013140266A JP2013140266A (en) 2013-07-18
JP2013140266A5 JP2013140266A5 (en) 2015-01-08
JP6064321B2 true JP6064321B2 (en) 2017-01-25

Family

ID=49037746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012000506A Active JP6064321B2 (en) 2012-01-05 2012-01-05 Display device and display control method

Country Status (1)

Country Link
JP (1) JP6064321B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6264114B2 (en) * 2014-03-17 2018-01-24 カシオ計算機株式会社 Projection apparatus and program
JP2016012046A (en) * 2014-06-30 2016-01-21 セイコーエプソン株式会社 projector
JP2017045579A (en) * 2015-08-25 2017-03-02 富士ゼロックス株式会社 Cable for communication and image forming apparatus
KR102132863B1 (en) * 2018-01-10 2020-07-14 파콤영상시현 주식회사 Screen
WO2021215124A1 (en) * 2020-04-24 2021-10-28 富士フイルム株式会社 Control method, projection device, and control program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3735158B2 (en) * 1996-06-06 2006-01-18 オリンパス株式会社 Image projection system and image processing apparatus
US6618076B1 (en) * 1999-12-23 2003-09-09 Justsystem Corporation Method and apparatus for calibrating projector-camera system
JP4613456B2 (en) * 2000-07-25 2011-01-19 カシオ計算機株式会社 Image display device, image display method, and program
JP4272904B2 (en) * 2003-03-06 2009-06-03 キヤノン株式会社 Display device and display device control method
JP2005092592A (en) * 2003-09-18 2005-04-07 Nec Viewtechnology Ltd Projector and projection system
US20060197756A1 (en) * 2004-05-24 2006-09-07 Keytec, Inc. Multi-mode optical pointer for interactive display system
US20110119638A1 (en) * 2009-11-17 2011-05-19 Babak Forutanpour User interface methods and systems for providing gesturing on projected images
JP5371818B2 (en) * 2010-02-05 2013-12-18 キヤノン株式会社 Display control apparatus, display control method, display control program, and recording medium
JP5625490B2 (en) * 2010-05-25 2014-11-19 セイコーエプソン株式会社 Projector, projection state adjustment method, and projection state adjustment program
JP5849560B2 (en) * 2011-09-20 2016-01-27 セイコーエプソン株式会社 Display device, projector, and display method

Also Published As

Publication number Publication date
JP2013140266A (en) 2013-07-18

Similar Documents

Publication Publication Date Title
US9977515B2 (en) Display device, projector, and display method
JP6064319B2 (en) Projector and projector control method
US10025400B2 (en) Display device and display control method
JP6088127B2 (en) Display device, display device control method, and program
JP5927845B2 (en) Display device, display device control method, and program
JP6141596B2 (en) Display device, display system, and data supply method for display device
JP5585505B2 (en) Image supply apparatus, image display system, image supply apparatus control method, image display apparatus, and program
US10431131B2 (en) Projector and control method for projector
JP2013140533A (en) Display device, projector, display system, and method of switching device
JP6064321B2 (en) Display device and display control method
JP6269801B2 (en) Projector and projector control method
JP6117470B2 (en) Display device, projector, image display method, and display system
JP6296144B2 (en) Display device and display control method
JP6255810B2 (en) Display device and control method of display device
JP6056447B2 (en) Display device and control method of display device
JP6145963B2 (en) Projector, display system, and projector control method
JP6273671B2 (en) Projector, display system, and projector control method
JP2013195659A (en) Display device and display control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141117

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20141117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150929

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160426

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160615

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161205

R150 Certificate of patent or registration of utility model

Ref document number: 6064321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150