JP5887777B2 - Projector and projector control method - Google Patents

Projector and projector control method Download PDF

Info

Publication number
JP5887777B2
JP5887777B2 JP2011200257A JP2011200257A JP5887777B2 JP 5887777 B2 JP5887777 B2 JP 5887777B2 JP 2011200257 A JP2011200257 A JP 2011200257A JP 2011200257 A JP2011200257 A JP 2011200257A JP 5887777 B2 JP5887777 B2 JP 5887777B2
Authority
JP
Japan
Prior art keywords
image
projector
unit
trapezoidal distortion
blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011200257A
Other languages
Japanese (ja)
Other versions
JP2013062705A (en
Inventor
久保田 真司
真司 久保田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2011200257A priority Critical patent/JP5887777B2/en
Publication of JP2013062705A publication Critical patent/JP2013062705A/en
Application granted granted Critical
Publication of JP5887777B2 publication Critical patent/JP5887777B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、プロジェクター、および、プロジェクターの制御方法に関する。   The present invention relates to a projector and a projector control method.

一般に、投射面に画像を投射するプロジェクターは、投射面に結像した投射画像の歪みやフォーカスの調整を自動的に行う機構を備えている。このような調整は、プロジェクターが動いていると適切な調整を行うことができない。このため、従来、角速度センサー等の移動判定センサーを搭載し、このセンサーを用いて、プロジェクターが投射面に対して静止しているか否かを検出するものがあった(例えば、特許文献1参照。)。   Generally, a projector that projects an image on a projection surface includes a mechanism that automatically adjusts distortion and focus of a projection image formed on the projection surface. Such adjustment cannot be performed properly if the projector is moving. For this reason, conventionally, a movement determination sensor such as an angular velocity sensor is mounted, and this sensor is used to detect whether or not the projector is stationary with respect to the projection surface (see, for example, Patent Document 1). ).

特開2010−109585号公報JP 2010-109585 A

昨今、電子機器には小型化および部品点数の削減が求められており、プロジェクターについても例外ではない。
本発明は、上述した事情に鑑みてなされたものであり、投射面に対するプロジェクターの動きを判定可能であり、小型化および部品点数の削減が可能なプロジェクター、および、プロジェクターの制御方法を提供することを目的とする。
Recently, electronic devices are required to be downsized and the number of parts reduced, and projectors are no exception.
The present invention has been made in view of the above-described circumstances, and provides a projector that can determine the movement of the projector relative to the projection surface, can be reduced in size, and can reduce the number of components, and a projector control method. With the goal.

上記目的を達成するために、本発明は、投射面に画像を投射するプロジェクターであって、前記投射面に投射された画像を含む範囲を撮影する撮像手段と、前記撮像手段により撮影された撮影画像内におけるぶれを検出するぶれ検出手段と、前記ぶれ検出手段の検出結果に基づいて、前記投射面に対する前記プロジェクターの動きを判定する移動判定手段とを備えることを特徴とする。
本発明によれば、動きを検出するセンサー類を持たない構成においても、投射面に対するプロジェクターの動きを判定できるので、動きを検出するセンサー類を備えたプロジェクターと比較すると、機能を維持しながら部品点数の削減を図るとともに、小型化が可能となる。
In order to achieve the above object, the present invention provides a projector that projects an image on a projection surface, the image capturing unit capturing a range including the image projected on the projection surface, and the image capturing performed by the image capturing unit. The image processing apparatus includes: a shake detection unit that detects a shake in the image; and a movement determination unit that determines a movement of the projector with respect to the projection plane based on a detection result of the shake detection unit.
According to the present invention, since the movement of the projector relative to the projection surface can be determined even in a configuration that does not have sensors for detecting movement, the component can be maintained while maintaining its function as compared with a projector having sensors for detecting movement. It is possible to reduce the number of points and reduce the size.

また、本発明は、上記プロジェクターにおいて、光源と、入力画像に基づいて前記光源が発した光を変調する変調手段と、前記変調手段により変調された光を前記投射面に投射する投射手段と、前記撮像手段により撮影された撮影画像に基づいて、前記投射面に投射された投射画像の台形歪みを検出し、前記変調手段の入力画像を処理することによって前記投射画像の台形歪みを補正する台形歪み補正手段とを備えることを特徴とする。
本発明によれば、台形歪み補正を行うために投射面を撮影する撮像手段を利用して、プロジェクターの動きを判定できるので、部品点数を削減できる。
According to the present invention, in the projector described above, a light source, a modulation unit that modulates light emitted from the light source based on an input image, a projection unit that projects the light modulated by the modulation unit onto the projection surface, A trapezoid that detects trapezoidal distortion of a projected image projected on the projection surface based on a captured image captured by the imaging unit and corrects the trapezoidal distortion of the projected image by processing an input image of the modulating unit. And a distortion correction unit.
According to the present invention, since the movement of the projector can be determined using the imaging unit that captures the projection surface in order to correct the trapezoidal distortion, the number of parts can be reduced.

また、本発明は、上記プロジェクターにおいて、前記撮像手段のシャッター速度を制御する撮影制御手段を備え、前記撮影制御手段は、前記ぶれ検出手段によりぶれを検出するための前記撮影画像を撮影する場合と、前記台形歪み補正手段によって台形歪みを検出するための前記撮影画像を撮影する場合とで、前記撮像手段のシャッター速度を異なる速度に設定することを特徴とする。
本発明によれば、共通の撮像手段を利用して、台形歪み補正に適した撮影画像とぶれの検出に適した撮影画像とを得ることができるので、台形歪み補正とぶれ検出との異なる処理を、いずれも高精度で実行できる。
In the projector according to the aspect of the invention described above, the projector includes a photographing control unit that controls a shutter speed of the imaging unit, and the photographing control unit photographs the photographed image for detecting a blur by the blur detection unit. The shutter speed of the imaging unit is set to a different speed when the captured image for detecting the trapezoidal distortion is captured by the trapezoidal distortion correcting unit.
According to the present invention, it is possible to obtain a photographed image suitable for trapezoidal distortion correction and a photographed image suitable for blur detection using a common imaging means, and therefore, different processing between trapezoidal distortion correction and blur detection. Can be performed with high accuracy.

また、本発明は、上記プロジェクターにおいて、前記撮影制御手段は、前記ぶれ検出手段によりぶれを検出するための前記撮影画像を撮影する場合のシャッター速度が、前記台形歪み補正手段によって台形歪みを検出するための前記撮影画像を撮影する場合のシャッター速度よりも長くなるように設定することを特徴とする。
本発明によれば、ぶれを検出するための撮影を行う場合と、台形歪みを検出するための撮影を行う場合とで、それぞれ最適なシャッター速度を設定し、共通の撮像手段を利用して目的に合った撮影を行い、台形歪み補正とぶれ検出との異なる処理を、いずれも高精度で実行できる。
In the projector according to the aspect of the invention, the shooting control unit may detect a trapezoidal distortion by using the trapezoidal distortion correcting unit when a shutter speed when the captured image for detecting the blur is detected by the blur detecting unit is captured. Therefore, the shutter speed is set to be longer than the shutter speed when the captured image is captured.
According to the present invention, an optimal shutter speed is set for each of shooting for detecting blur and shooting for detecting trapezoidal distortion, and a common imaging unit is used for the purpose. Therefore, it is possible to perform different processes of trapezoidal distortion correction and blur detection with high accuracy.

また、本発明は、上記プロジェクターにおいて、前記移動判定手段によって前記投射面に対する前記プロジェクターの動きが小さいと判定された場合に、前記台形歪み補正手段により補正を実行させ、前記台形歪み補正手段による補正が終了した後に、前記ぶれ検出手段によるぶれ検出と、前記移動判定手段による判定を開始させる動作制御手段を備えることを特徴とする。
本発明によれば、プロジェクターの動きが小さくなってから台形歪み補正を行うことで、好ましい条件下で台形歪みを補正するとともに、プロジェクターが移動している間の、効果の見込めない台形歪み補正動作を避け、効率的な制御を実現できる。また、台形歪み補正の実行後にプロジェクターの動き判定を再開するので、再度プロジェクターが動いた場合に、台形歪み補正が必要であるか否かを容易に判断でき、必要に応じて台形歪み補正を実行して投射画像の視認性を保つことができる。
In the projector, when the movement determination unit determines that the movement of the projector relative to the projection surface is small, the trapezoidal distortion correction unit performs correction, and the correction by the trapezoidal distortion correction unit is performed. After the completion of the operation, it is provided with motion control means for starting shake detection by the shake detection means and determination by the movement determination means.
According to the present invention, the trapezoidal distortion correction is performed after the movement of the projector becomes small, thereby correcting the trapezoidal distortion under a preferable condition, and the trapezoidal distortion correcting operation in which an effect cannot be expected while the projector is moving. Can be achieved and efficient control can be realized. In addition, since the projector motion determination is resumed after the keystone distortion correction is executed, if the projector moves again, it can be easily determined whether the keystone distortion correction is necessary, and the keystone distortion correction is executed as necessary. Thus, the visibility of the projected image can be maintained.

また、本発明は、上記プロジェクターにおいて、前記ぶれ検出手段は、前記撮像手段により撮影された撮影画像から複数の領域を抽出して、領域毎にぶれを検出し、前記移動判定手段は、前記ぶれ検出手段が検出した各領域のぶれを比較することにより、前記投射面に対する前記プロジェクターの動きを判定することを特徴とする。
本発明によれば、プロジェクターの動きに起因しないぶれによる誤判定を防止し、効率よく高精度な移動判定を行うことができる。
In the projector according to the aspect of the invention, the shake detection unit may extract a plurality of areas from the captured image captured by the imaging unit, detect a shake for each area, and the movement determination unit may The movement of the projector with respect to the projection plane is determined by comparing the blurring of each area detected by the detection means.
According to the present invention, it is possible to prevent misjudgment due to camera shake that is not caused by the movement of the projector, and to perform efficient and highly accurate movement judgment.

また、上記目的を達成するために、本発明は、投射面に画像を投射するプロジェクターの制御方法であって、前記投射面に投射された画像を含む範囲を撮影した撮影画像内におけるぶれを検出し、ぶれの検出結果に基づいて、前記投射面に対する前記プロジェクターの動きを判定することを特徴とする。
本発明によれば、プロジェクターの動きを検出するセンサー類を持たない構成においても、投射面に対してプロジェクターが移動しているか否か等を判定できるので、部品点数の削減を図るとともに、小型化が可能となる。
In order to achieve the above object, the present invention provides a method for controlling a projector that projects an image on a projection surface, and detects blurring in a captured image obtained by capturing a range including the image projected on the projection surface. The movement of the projector relative to the projection plane is determined based on the detection result of the shake.
According to the present invention, it is possible to determine whether or not the projector is moving with respect to the projection surface even in a configuration that does not have sensors for detecting the movement of the projector. Is possible.

本発明によれば、投射面に対するプロジェクターの動きを判定でき、部品点数の削減を図るとともに、小型化が可能なプロジェクターを実現できる。   ADVANTAGE OF THE INVENTION According to this invention, the motion of the projector with respect to a projection surface can be determined, and while reducing the number of parts, the projector which can be reduced in size can be implement | achieved.

実施形態に係るプロジェクターの使用状態の一例を示す外観図である。It is an external view which shows an example of the use condition of the projector which concerns on embodiment. プロジェクターの機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of a projector. 撮影画像の処理の様子を示す説明図であり、(A)は撮影画像の例を示し、(B)は撮影画像を複数の領域に分けて処理する様子を示す。It is explanatory drawing which shows the mode of a process of a picked-up image, (A) shows the example of a picked-up image, (B) shows a mode that a picked-up image is divided into a some area | region, and is processed. プロジェクターの動作を示すフローチャートである。It is a flowchart which shows operation | movement of a projector. プロジェクターが実行する移動判定処理を示すフローチャートである。It is a flowchart which shows the movement determination process which a projector performs. プロジェクターが実行する台形歪み補正を示すフローチャートである。It is a flowchart which shows the trapezoid distortion correction which a projector performs.

以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明を適用した実施形態に係るプロジェクター100の使用状態の一例を示す外観図である。
図1に示す例では、プロジェクター100はスクリーンSC(投射面)の前方正面に設置され、スクリーンSCに向けて投射光を投射し、スクリーンSCには投射画像210が結像する。図1に例示するスクリーンSCは、合成樹脂製のフィルムまたは織物で構成される基布の表面に、高い光再帰特性を有する表面加工が施された矩形の投射領域を設けたものである。この投射領域の外側は投射光を反射しにくい黒色のマスクとなっている。プロジェクター100は、スクリーンSCの投射領域内に投射画像210を結像させるよう設置され、後述するズーム倍率等が調整されている。プロジェクター100は、ケーブル200を介して図示しない画像供給装置にケーブル200を介して接続され、この画像供給装置から入力される入力画像を投射する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is an external view showing an example of a usage state of a projector 100 according to an embodiment to which the invention is applied.
In the example shown in FIG. 1, the projector 100 is installed in front of the screen SC (projection surface), projects projection light toward the screen SC, and a projection image 210 is formed on the screen SC. The screen SC illustrated in FIG. 1 is a screen in which a rectangular projection region is provided on the surface of a base fabric made of a synthetic resin film or woven fabric. The outside of the projection area is a black mask that hardly reflects the projection light. The projector 100 is installed so as to form a projection image 210 in the projection area of the screen SC, and a zoom magnification and the like to be described later are adjusted. The projector 100 is connected to an image supply device (not shown) via the cable 200 via the cable 200, and projects an input image input from the image supply device.

図2は、実施形態に係るプロジェクター100の全体構成を示すブロック図である。
プロジェクター100は、上記画像供給装置が接続されるインターフェイスとして、USBインターフェイス、有線または無線LANインターフェイス、アナログ映像信号が入力されるVGA端子、デジタル映像信号が入力されるDVI(Digital Visual Interface)、NTSC、PAL、SECAM等のコンポジット映像信号が入力されるS映像端子、コンポジット映像信号が入力されるRCA端子、コンポーネント映像信号が入力されるD端子、HDMI(登録商標)規格に準拠したHDMIコネクター等(図示略)およびこれらの端子やコネクターを介して信号を入出力するインターフェイス回路(図示略)を備え、ケーブル200は、上記のインターフェイスに適したケーブルである。プロジェクター100と画像供給装置は、有線通信によって接続されていても良く、無線通信によって接続されていても良い。上記の画像供給装置としては、ビデオ再生装置、DVD再生装置、テレビチューナー装置、CATVのセットトップボックス、ビデオゲーム装置等の画像出力装置、PC(Personal Computer)等が挙げられる。プロジェクター100は映像(動画像)をスクリーンSCに投射することも、静止画像をスクリーンSCに投射し続けることも可能である。また、プロジェクター100が記憶装置を内蔵し、この記憶装置に記憶している映像ソース(図示略)の映像を投射する構成としてもよい。
FIG. 2 is a block diagram illustrating an overall configuration of the projector 100 according to the embodiment.
The projector 100 includes a USB interface, a wired or wireless LAN interface, a VGA terminal to which an analog video signal is input, a DVI (Digital Visual Interface), NTSC, to which a digital video signal is input, as an interface to which the image supply device is connected. An S video terminal to which composite video signals such as PAL and SECAM are input, an RCA terminal to which composite video signals are input, a D terminal to which component video signals are input, an HDMI connector compliant with the HDMI (registered trademark) standard, etc. And an interface circuit (not shown) for inputting and outputting signals via these terminals and connectors, and the cable 200 is a cable suitable for the above-described interface. The projector 100 and the image supply device may be connected by wired communication or may be connected by wireless communication. Examples of the image supply device include a video playback device, a DVD playback device, a TV tuner device, a CATV set top box, an image output device such as a video game device, and a PC (Personal Computer). The projector 100 can project a video (moving image) on the screen SC or can continue to project a still image on the screen SC. Further, the projector 100 may incorporate a storage device and project an image of a video source (not shown) stored in the storage device.

プロジェクター100は、大きく分けて光学的な画像の形成を行う光学系と映像信号を電気的に処理する画像処理系とからなる。投射部として機能する光学系は、照明光学系140(光源)、光変調装置130(変調手段)、及び投射光学系150(投射手段)から構成されている。照明光学系140は、キセノンランプ、超高圧水銀ランプ、LED(Light Emitting Diode)等からなる光源を備えている。また、照明光学系140は、光源が発した光を光変調装置130に導くリフレクター及び補助リフレクターを備えていてもよく、投射光の光学特性を高めるためのレンズ群(図示略)、偏光板、或いは光源が発した光の光量を光変調装置130に至る経路上で低減させる調光素子等を備えたものであってもよい。   The projector 100 is roughly divided into an optical system that forms an optical image and an image processing system that electrically processes a video signal. The optical system functioning as a projection unit includes an illumination optical system 140 (light source), a light modulation device 130 (modulation means), and a projection optical system 150 (projection means). The illumination optical system 140 includes a light source including a xenon lamp, an ultra high pressure mercury lamp, an LED (Light Emitting Diode), and the like. The illumination optical system 140 may include a reflector and an auxiliary reflector that guide light emitted from the light source to the light modulation device 130, and includes a lens group (not shown), a polarizing plate, Or you may provide the light control element etc. which reduce the light quantity of the light which the light source emitted on the path | route which reaches the light modulation apparatus 130. FIG.

光変調装置130は、例えば透過型液晶パネルを備えて構成され、この液晶パネルに後述する画像処理系からの信号を受けて画像を形成する。この場合、光変調装置130は、カラーの投影を行うため、RGBの三原色に対応した3枚の液晶パネルを備え、照明光学系140からの光はRGBの3色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系150に射出される。
なお、光変調装置130は、3枚の透過型液晶パネルを用いた構成に限らず、例えば3枚の反射型の液晶パネルを用いることも可能であるし、1枚の液晶パネルとカラーホイールを組み合わせた方式、3枚のデジタルミラーデバイス(DMD)を用いた方式、1枚のデジタルミラーデバイスとカラーホイールを組み合わせた方式等により構成してもよい。光変調装置130として1枚のみの液晶パネルまたはDMDを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びDMD以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。
The light modulation device 130 is configured to include, for example, a transmissive liquid crystal panel, and forms an image on the liquid crystal panel in response to a signal from an image processing system described later. In this case, the light modulation device 130 includes three liquid crystal panels corresponding to the three primary colors of RGB in order to perform color projection, and the light from the illumination optical system 140 is separated into three color lights of RGB. Enters each corresponding liquid crystal panel. The color light modulated by passing through each liquid crystal panel is combined by a combining optical system such as a cross dichroic prism and emitted to the projection optical system 150.
The light modulation device 130 is not limited to a configuration using three transmissive liquid crystal panels, and for example, three reflective liquid crystal panels can be used, and one liquid crystal panel and a color wheel can be used. A combination system, a system using three digital mirror devices (DMD), a system combining one digital mirror device and a color wheel, or the like may be used. When only one liquid crystal panel or DMD is used as the light modulation device 130, a member corresponding to a composite optical system such as a cross dichroic prism is unnecessary. In addition to the liquid crystal panel and DMD, any configuration that can modulate the light emitted from the light source can be used without any problem.

投射光学系150は、投射する画像の拡大・縮小および焦点の調整を行うズームレンズ152、ズームの度合いを調整するズーム調整用モーター156、フォーカスの調整を行うフォーカス調整用モーター157を含む。投射光学系150は、光変調装置130で変調された光を入射し、ズームレンズ152を用いて、スクリーンSC上に投射画像を結像する。ズームレンズ152は、ズーム調整用モーター156とフォーカス調整用モーター157とによって、レンズの位置などが調整され、スクリーンSC上の投射画像の拡大・縮小を行うズーム調整や、スクリーンSC上に投射画像を適正に結像させるフォーカス調整を行う。   The projection optical system 150 includes a zoom lens 152 that performs enlargement / reduction of a projected image and a focus adjustment, a zoom adjustment motor 156 that adjusts the degree of zoom, and a focus adjustment motor 157 that performs focus adjustment. The projection optical system 150 receives the light modulated by the light modulation device 130 and forms a projection image on the screen SC using the zoom lens 152. The zoom lens 152 is adjusted by a zoom adjustment motor 156 and a focus adjustment motor 157 to adjust the lens position and the like, and zoom adjustment for enlarging / reducing the projected image on the screen SC, and projecting the projected image on the screen SC. Adjust the focus for proper image formation.

画像処理系は、プロジェクター100全体を統合的に制御するCPU120と映像用プロセッサー134とを中心に構成され、A/D変換部110、光変調装置駆動部132、レンズ駆動部155、RAM160、歪み調整用画像記憶部171を含むROM170、CCDカメラ181を備えた撮像部180、撮影画像メモリー182、リモコン制御部190、リモコン191、操作部195等を備える。これらの画像処理系を構成する各要素は、バス102を介して互いに接続されている。   The image processing system is configured around a CPU 120 and an image processor 134 that control the entire projector 100 in an integrated manner, and includes an A / D converter 110, a light modulator driving unit 132, a lens driving unit 155, a RAM 160, and distortion adjustment. A ROM 170 including an image storage unit 171, an imaging unit 180 including a CCD camera 181, a captured image memory 182, a remote controller control unit 190, a remote controller 191, an operation unit 195, and the like. These elements constituting the image processing system are connected to each other via a bus 102.

A/D変換部110は、上述した外部の画像供給装置からケーブル200を介して入力されたアナログ入力信号をA/D変換するデバイスであり、変換後のデジタル信号を映像用プロセッサー134に出力する。映像用プロセッサー134は、A/D変換部110から入力されたデジタル信号に対して、輝度、コントラスト、色の濃さ、色合い、投射画像の形状等の画像の表示状態を調整する処理を行った上で、光変調装置駆動部132に対して、処理後の映像信号を出力する。光変調装置駆動部132は、映像用プロセッサー134から入力される映像信号に基づいて、光変調装置130の液晶パネルを駆動し、液晶パネルに画像を描画する。この液晶パネルに照明光学系140が発した光が照射されることにより、この照射光が変調され、投射光学系150を経てスクリーンSCに投射される。これにより、A/D変換部110に入力された映像信号に対応した映像が、スクリーンSC上に投射画像210(図1)として形成される。   The A / D conversion unit 110 is a device that performs A / D conversion on an analog input signal input from the above-described external image supply apparatus via the cable 200, and outputs the converted digital signal to the video processor 134. . The video processor 134 performs processing for adjusting the display state of the image such as luminance, contrast, color density, hue, and projected image shape on the digital signal input from the A / D conversion unit 110. The processed video signal is output to the light modulator driving unit 132. The light modulator driving unit 132 drives the liquid crystal panel of the light modulator 130 based on the video signal input from the video processor 134 and draws an image on the liquid crystal panel. By irradiating the liquid crystal panel with light emitted from the illumination optical system 140, the irradiation light is modulated and projected onto the screen SC via the projection optical system 150. As a result, a video corresponding to the video signal input to the A / D conversion unit 110 is formed on the screen SC as a projection image 210 (FIG. 1).

映像用プロセッサー134が行う画像処理としては、上記の明度、コントラスト、色合いなどの補正の他、台形歪み補正が含まれる。図2では、台形歪み補正を行う回路を、特に台形歪み補正部136として示した。台形歪み補正部136(台形歪み補正手段)は、CPU120により算出された投射距離及び投影投射角の値に基づいて、デジタル信号に対して台形歪み補正を行う。また、映像用プロセッサー134は、上記の台形歪み補正における特定の歪み検出用画像の表示を制御する。映像用プロセッサー134は、台形歪み補正用のDSP(デジタルシグナルプロセッサー)として販売されている汎用のプロセッサーを用いて構成することも、専用のASICとして構成することも可能である。   Image processing performed by the video processor 134 includes trapezoidal distortion correction in addition to the above-described correction of brightness, contrast, hue, and the like. In FIG. 2, a circuit that performs trapezoidal distortion correction is shown as the trapezoidal distortion correction unit 136. The trapezoidal distortion correction unit 136 (trapezoidal distortion correction unit) performs trapezoidal distortion correction on the digital signal based on the projection distance and the projection projection angle values calculated by the CPU 120. The video processor 134 controls display of a specific distortion detection image in the trapezoidal distortion correction. The video processor 134 can be configured using a general-purpose processor sold as a DSP (digital signal processor) for trapezoidal distortion correction, or can be configured as a dedicated ASIC.

CPU120は、映像用プロセッサー134と共に、プロジェクター100における画像処理を行う。CPU120は、投射制御部121と、撮影制御部122と、画像ぶれ検出部123と、移動判定部124と、三次元測量部125と、投射角算出部126とを備える。これらの各部は、CPU120がROM170に予め記憶した特定のプログラムを実行することにより実現される。
投射制御部121(動作制御手段)は、プロジェクター100の電源がオンにされ、画像の投射を開始する際に、画像を投射する動作の実行、撮影制御部122、画像ぶれ検出部123及び移動判定部124による後述する移動判定処理の実行、及び、撮影制御部122、三次元測量部125、投射角算出部126及び台形歪み補正部136による台形歪み補正処理の実行を制御する。
The CPU 120 performs image processing in the projector 100 together with the video processor 134. The CPU 120 includes a projection control unit 121, an imaging control unit 122, an image blur detection unit 123, a movement determination unit 124, a three-dimensional survey unit 125, and a projection angle calculation unit 126. Each of these units is realized by the CPU 120 executing a specific program stored in the ROM 170 in advance.
The projection control unit 121 (operation control unit) performs the operation of projecting an image, the imaging control unit 122, the image blur detection unit 123, and the movement determination when the projector 100 is turned on and starts projecting an image. Control of execution of movement determination processing described later by the unit 124 and execution of trapezoidal distortion correction processing by the imaging control unit 122, the three-dimensional surveying unit 125, the projection angle calculation unit 126, and the trapezoidal distortion correction unit 136 are controlled.

撮影制御部122(撮影制御手段)は、撮像部180による撮影動作を制御する。プロジェクター100は、撮像部180による撮影画像を、後述する移動判定処理及び台形歪み補正処理の両方に使用する。移動判定処理は、撮影画像におけるぶれを検出することによりプロジェクター100の本体の動きを判定する処理であるから、撮影時のシャッター開時間が長い方が、プロジェクター100の動きに起因する撮影画像のぶれが現れやすいので、より鋭敏にぶれを検出できる。これに対し、台形歪み補正においては、スクリーンSCに結像した投射画像210の形状を検出できればよいので、シャープな撮影画像が好ましく、シャッター開時間を短くした方が良い。ただし、後述する背景画像領域226が適切に撮影できるように、シャッター開時間は、十分な露光量を得られる時間とすることが望ましい。このように、移動判定処理と台形歪み補正処理とでは、好ましいシャッター開時間が異なるので、撮影制御部122は、投射制御部121の制御により、撮影画像を使用する処理の内容に適合したシャッター開時間を設定し、撮像部180に撮影を実行させる。   The imaging control unit 122 (imaging control means) controls the imaging operation by the imaging unit 180. The projector 100 uses an image captured by the imaging unit 180 for both a movement determination process and a trapezoidal distortion correction process described later. The movement determination process is a process for determining the movement of the main body of the projector 100 by detecting a blur in the photographed image. Therefore, the longer the shutter opening time during photographing, the blur of the photographed image caused by the movement of the projector 100. Because it is easy to appear, shake can be detected more sensitively. On the other hand, in the trapezoidal distortion correction, it is only necessary to be able to detect the shape of the projected image 210 formed on the screen SC. Therefore, a sharp captured image is preferable, and it is better to shorten the shutter opening time. However, it is desirable that the shutter opening time is a time for obtaining a sufficient exposure amount so that a background image region 226 described later can be appropriately captured. Thus, since the preferable shutter opening time is different between the movement determination process and the trapezoidal distortion correction process, the imaging control unit 122 controls the shutter opening suitable for the content of the process using the captured image under the control of the projection control unit 121. The time is set, and the imaging unit 180 executes the shooting.

画像ぶれ検出部123(ぶれ検出手段)は、撮影制御部122の制御により撮影された撮影画像内のぶれを検出する。移動判定部124(移動判定手段)は、画像ぶれ検出部123が検出したぶれの大きさ、及び、ぶれの大きさの経時的変化に基づいて、プロジェクター100が静止しているか、プロジェクター100が動いているかを判定する。ここで、移動判定部124が判定する静止及び移動とは、スクリーンSCに対するプロジェクター100の相対的な静止及び移動を指す。また、プロジェクター100の静止とは、ほぼ静止していると見なすことができる場合を含む。さらに、プロジェクター100の静止及び移動は、少なくとも投射光学系150を含む投射部を搭載した筐体または本体が、スクリーンSCに対して相対的に静止あるいは移動していることを指しており、プロジェクター100の本体や筐体の形状、構成について限定するものではない。
三次元測量部125及び投射角算出部126は、プロジェクター100から投射した投射光の光軸に対するスクリーンSCの傾きである投射角(以下、投影投射角と言う)、及び、スクリーンSCとの距離(以下、投射距離と言う)を算出する。
The image blur detection unit 123 (blur detection unit) detects a blur in a photographed image photographed under the control of the photographing control unit 122. The movement determination unit 124 (movement determination unit) determines whether the projector 100 is stationary or the projector 100 moves based on the magnitude of the blur detected by the image blur detection unit 123 and the temporal change in the magnitude of the blur. Judge whether it is. Here, the stillness and movement determined by the movement determination unit 124 refers to relative stillness and movement of the projector 100 with respect to the screen SC. Further, the stationary state of the projector 100 includes a case where it can be considered that the projector 100 is substantially stationary. Furthermore, the rest and movement of the projector 100 indicate that the housing or the body on which the projection unit including at least the projection optical system 150 is mounted is stationary or moved relative to the screen SC. There is no limitation on the shape and configuration of the main body and casing.
The three-dimensional surveying unit 125 and the projection angle calculation unit 126 are a projection angle (hereinafter referred to as a projection projection angle) that is an inclination of the screen SC with respect to the optical axis of the projection light projected from the projector 100, and a distance ( Hereinafter, it is referred to as a projection distance).

CPU120は、上記の各処理部の働きにより投影投射角および投射距離を算出すると、投影投射角に対応した信号を映像用プロセッサー134に出力し、投射距離に対応した信号をレンズ駆動部155に出力する。映像用プロセッサー134は、投影投射角に対応した信号がCPU120から入力されると、この信号に基づいて台形歪み補正を行う。プロジェクター100の光学系の光軸とスクリーンSCとのなす角度である投影投射角が特定されると、映像の歪み方を求めることができる。映像用プロセッサー134は、投影投射角に対応したパラメーターの設定がなされると、投射画像の歪みを補正するように、A/D変換部110から入力した画像を補正し、補正後の映像信号を、光変調装置駆動部132に出力する。この台形歪み補正部136の機能により、光変調装置130に表示される画像は台形歪みを補正するように変形される。   When the CPU 120 calculates the projection projection angle and the projection distance by the functions of the respective processing units, the CPU 120 outputs a signal corresponding to the projection projection angle to the video processor 134 and outputs a signal corresponding to the projection distance to the lens driving unit 155. To do. When a signal corresponding to the projection projection angle is input from the CPU 120, the video processor 134 performs trapezoidal distortion correction based on this signal. When the projection projection angle, which is the angle formed by the optical axis of the optical system of the projector 100 and the screen SC, is specified, it is possible to determine how the image is distorted. When the parameter corresponding to the projection projection angle is set, the video processor 134 corrects the image input from the A / D conversion unit 110 so as to correct the distortion of the projection image, and the corrected video signal is obtained. And output to the light modulator driving unit 132. With the function of the trapezoidal distortion correction unit 136, the image displayed on the light modulation device 130 is deformed so as to correct the trapezoidal distortion.

レンズ駆動部155は、CPU120から投射距離に相当する信号が入力されると、この信号に基づいてフォーカス調整用モーター157を駆動してフォーカス調整を行う。   When a signal corresponding to the projection distance is input from the CPU 120, the lens driving unit 155 drives the focus adjustment motor 157 based on this signal to perform focus adjustment.

RAM160は、CPU120が実行するプログラムやデータを一時的に格納するワークエリアを形成する。なお、映像用プロセッサー134は、自身が行う画像の表示状態の調整処理など、各処理の実行の際に必要となるワークエリアを、内蔵RAMとして備えている。
また、ROM170は、上述した各処理部を実現するためにCPU120が実行するプログラムや、当該プログラムに係るデータ等を記憶する。また、ROM170は、後述する台形歪み補正処理でスクリーンSCに投射する調整用画像のデータを、調整用画像記憶部171に記憶している。
The RAM 160 forms a work area for temporarily storing programs executed by the CPU 120 and data. Note that the video processor 134 includes a work area necessary for executing each process, such as an image display state adjustment process performed by itself, as a built-in RAM.
In addition, the ROM 170 stores a program executed by the CPU 120 to realize each processing unit described above, data related to the program, and the like. The ROM 170 stores adjustment image data to be projected on the screen SC in a trapezoidal distortion correction process, which will be described later, in the adjustment image storage unit 171.

操作部195は、プロジェクター100の本体に設けられ、ユーザーが操作を行うためのスイッチ等の各種操作子及びインジケーターランプを備えている。操作部195は、CPU120の制御に従って、プロジェクター100の動作状態や設定状態に応じてインジケーターランプを適宜点灯或いは点滅させ、操作子に対する操作に対応して操作信号を出力する。また、リモコン制御部190は、プロジェクター100の外部のリモコン191から送信される無線信号を受信する。リモコン191は、ユーザーによって操作される操作子(図示略)を備え、操作子に対する操作に応じた操作信号を赤外線信号または所定周波数の電波を用いた無線信号として送信する。リモコン制御部190は、赤外線信号を受信する受光部(図示略)や無線信号を受信する受信回路(図示略)を備え、リモコン191から送信された信号を受信し、解析して、ユーザーによる操作の内容を示す信号を生成してCPU120に出力する。   The operation unit 195 is provided in the main body of the projector 100 and includes various operators such as a switch for an operation by a user and an indicator lamp. Under the control of the CPU 120, the operation unit 195 appropriately turns on or blinks the indicator lamp according to the operation state or setting state of the projector 100, and outputs an operation signal corresponding to the operation on the operation element. In addition, the remote controller control unit 190 receives a radio signal transmitted from a remote controller 191 outside the projector 100. The remote controller 191 includes an operation element (not shown) operated by a user, and transmits an operation signal corresponding to an operation on the operation element as an infrared signal or a wireless signal using a radio wave of a predetermined frequency. The remote control unit 190 includes a light receiving unit (not shown) that receives an infrared signal and a receiving circuit (not shown) that receives a radio signal. The remote control unit 190 receives a signal transmitted from the remote control 191, analyzes it, and operates by a user. Is generated and output to the CPU 120.

撮像部180(撮像手段)は、周知のイメージセンサーであるCCDを用いたCCDカメラ181を備えている。撮像部180は、プロジェクター100の前面、即ち、投射光学系150がスクリーンSCに向けて映像を投射する方向をCCDカメラ181により撮像可能な位置に設けられている。撮像部180は、推奨された投影距離においてスクリーンSCに投影された投射画像の全体が少なくとも撮像範囲内に入るように、CCDカメラ181のカメラ方向及び画角が設定されている。
撮像部180は、撮影制御部122の制御に従って撮影を実行する。撮像部180は、撮影制御部122から入力される制御データに従って、シャッター速度を設定し、この設定したシャッター速度で、撮影制御部122から指示されたタイミングでCCDカメラ181により撮影を実行する。
The imaging unit 180 (imaging means) includes a CCD camera 181 using a CCD that is a well-known image sensor. The imaging unit 180 is provided at a position where the CCD camera 181 can image the front surface of the projector 100, that is, the direction in which the projection optical system 150 projects an image toward the screen SC. In the imaging unit 180, the camera direction and the angle of view of the CCD camera 181 are set so that the entire projection image projected on the screen SC at the recommended projection distance falls within at least the imaging range.
The imaging unit 180 performs imaging according to the control of the imaging control unit 122. The imaging unit 180 sets the shutter speed according to the control data input from the imaging control unit 122, and executes imaging with the CCD camera 181 at the timing instructed by the imaging control unit 122 at the set shutter speed.

CCDカメラ181は、CCDの他、CCD上に映像を形成する単焦点レンズ、CCDに入射する光量を調整するオートアイリスなどの機構、更にはCCDから映像信号を読み出す制御回路などを備える。オートアイリスの機構は、CCDカメラ181からの映像の明度の累積値に相当する信号を制御回路から受け取り、明度の累積値が所定の範囲に入るように、単焦点レンズに設けられたアイリス(絞り)を自動的に調整している。
オートアイリスによる明るさの調整がなされた画像は、撮像部180から撮影画像メモリー182に出力され、撮影画像メモリー182の所定の領域に繰り返し書き込まれる。撮影画像メモリー182は、1画面分の画像の書き込みが完了すると、所定の領域のフラグを順次反転するので、撮影制御部122は、このフラグを参照することにより、撮像部180を用いた撮像が完了したか否かを知ることができる。撮影制御部122は、このフラグを参照しつつ、撮影画像メモリー182にアクセスして、必要な撮影画像を取得する。
In addition to the CCD, the CCD camera 181 includes a single focus lens that forms an image on the CCD, a mechanism such as an auto iris that adjusts the amount of light incident on the CCD, and a control circuit that reads a video signal from the CCD. The auto iris mechanism receives a signal corresponding to the accumulated value of the brightness of the image from the CCD camera 181 from the control circuit, and an iris (aperture) provided in the single focus lens so that the accumulated value of brightness falls within a predetermined range. Is automatically adjusted.
The image whose brightness has been adjusted by auto iris is output from the imaging unit 180 to the captured image memory 182 and repeatedly written in a predetermined area of the captured image memory 182. The captured image memory 182 sequentially inverts the flag of a predetermined area when the writing of the image for one screen is completed, so that the imaging control unit 122 refers to this flag to perform imaging using the imaging unit 180. You can know if it is completed. The imaging control unit 122 accesses the captured image memory 182 while referring to the flag, and acquires a necessary captured image.

図3は、画像ぶれ検出部123が撮影画像を処理する様子を示す説明図であり、(A)は撮影画像の例を示し、(B)は撮影画像を複数の領域に分けて処理する様子を示す。
撮像部180は、プロジェクター100が投射する投射画像より大きな範囲を撮影できるよう調整されているので、撮影画像220は、図3(A)に示すように、プロジェクター100が投射した投射画像が写っている投射画像領域224と、その周囲を含む。ここで、スクリーンSCが写っている領域をスクリーン画像領域222、スクリーン画像領域222の外側が写っている領域を背景画像領域226とする。
3A and 3B are explanatory diagrams showing how the image blur detection unit 123 processes a captured image. FIG. 3A illustrates an example of a captured image, and FIG. 3B illustrates how the captured image is divided into a plurality of regions. Indicates.
Since the imaging unit 180 is adjusted so that a larger range than the projection image projected by the projector 100 can be captured, the captured image 220 includes the projection image projected by the projector 100 as shown in FIG. The projected image area 224 and its surroundings. Here, an area where the screen SC is shown is a screen image area 222, and an area where the outside of the screen image area 222 is shown is a background image area 226.

画像ぶれ検出部123は、撮影制御部122が取得した撮影画像220におけるぶれ量を算出し、ぶれ量を示す値を出力する。具体的な例としては、画像ぶれ検出部123が撮影画像220のデータをフーリエ変換等により周波数領域に変換し、撮影画像220に含まれる高周波成分の割合や量をぶれ量の指標として出力することが挙げられる。また、撮影画像220の各画素の輝度データの最大値と最小値を求め、この最大値と最小値の差をぶれ量の指標として用いることもできる。一般に、ぶれのないシャープな画像ではコントラストが高く、輪郭が明瞭であるため、輝度データの最大値と最小値との差が大きい。従って、撮影画像220中の輝度データの最大値と最小値との差が大きいほど、ぶれ量が小さいことになるので、画像ぶれ検出部123は、輝度データの最大値と最小値との差をぶれ量の指標として出力し、あるいは、輝度データの最大値と最小値との差をぶれ量の大小に対応する値に換算して出力すればよい。   The image blur detection unit 123 calculates a blur amount in the captured image 220 acquired by the shooting control unit 122 and outputs a value indicating the blur amount. As a specific example, the image blur detection unit 123 converts the data of the captured image 220 into a frequency domain by Fourier transform or the like, and outputs the ratio or amount of high-frequency components included in the captured image 220 as an index of the blur amount. Is mentioned. Further, the maximum value and the minimum value of the luminance data of each pixel of the captured image 220 can be obtained, and the difference between the maximum value and the minimum value can be used as a blur amount index. In general, a sharp image without blurring has a high contrast and a clear outline, so that the difference between the maximum value and the minimum value of luminance data is large. Accordingly, the larger the difference between the maximum value and the minimum value of the luminance data in the captured image 220, the smaller the amount of blur. Therefore, the image blur detection unit 123 calculates the difference between the maximum value and the minimum value of the luminance data. It may be output as a blur amount index, or may be output by converting the difference between the maximum value and the minimum value of the luminance data into a value corresponding to the amount of blur amount.

移動判定部124は、画像ぶれ検出部123が出力したぶれ量の指標となる値を取得し、このぶれ量の値の経時的な変化に基づいて、プロジェクター100が静止しているか、プロジェクター100が移動しているかを判定する。ぶれ量の経時的な変化を判定するために、移動判定部124は、撮像部180によって連続して撮影された複数の画像について、画像ぶれ検出部123によりぶれ量を検出させ、複数の撮影画像のぶれ量を比較する。ここで、撮影制御部122は、撮像部180によって連続して複数回の撮影を実行させる。撮影の時間間隔あるいは周期は、撮影制御部122が、移動判定処理用の値として撮像部180に設定する。   The movement determination unit 124 acquires a value that is an index of the amount of blur output from the image blur detection unit 123, and based on the change over time in the value of the blur amount, Determine if you are moving. In order to determine the change in the amount of blur over time, the movement determination unit 124 causes the image blur detection unit 123 to detect the amount of blur for a plurality of images continuously captured by the imaging unit 180, and thereby the plurality of captured images. Compare the amount of blur. Here, the imaging control unit 122 causes the imaging unit 180 to continuously perform imaging a plurality of times. The shooting control unit 122 sets the shooting time interval or cycle in the imaging unit 180 as a value for movement determination processing.

移動判定部124は、例えば、撮影画像におけるぶれ量が、予め設定された判定基準値より小さい場合には、プロジェクター100が静止していると判定する。より厳しく判定を行う場合、連続する複数の撮影画像のぶれ量がいずれも判定基準値より小さい場合に、プロジェクター100が静止していると判定してもよい。これに対し、ぶれ量が判定基準値以上の場合には、プロジェクター100が移動している、すなわち静止していないと判定する。また、プロジェクター100が静止していないと判定した後に、連続する複数の撮影画像のぶれ量が時間の経過とともに小さくなり、判定基準値より小さくなった場合には、プロジェクター100が静止したと判定する。   For example, the movement determination unit 124 determines that the projector 100 is stationary when the amount of blur in the captured image is smaller than a predetermined determination reference value. When the determination is performed more strictly, the projector 100 may be determined to be stationary when the blur amounts of a plurality of consecutive captured images are all smaller than the determination reference value. On the other hand, when the shake amount is equal to or larger than the determination reference value, it is determined that the projector 100 is moving, that is, not stationary. In addition, after determining that the projector 100 is not stationary, when the amount of blur of a plurality of consecutive captured images becomes smaller with time and becomes smaller than the determination reference value, it is determined that the projector 100 is stationary. .

上述したように、画像ぶれ検出部123が、ぶれ量の指標として輝度データの最大値と最小値との差そのものを出力する場合、移動判定部124は、例えば以下のように判定する。撮影画像におけるぶれ量(輝度データの最大値と最小値との差)が、予め設定された輝度差基準値より小さい場合には、プロジェクター100が静止していないと判定する。また、それ以前に撮影された撮影画像におけるぶれ量が輝度差基準値以上であり、最新の撮影画像におけるぶれ量が輝度差基準値より小さい場合には、静止していたプロジェクター100が移動を開始したと判定できる。これに対し、連続する複数の撮影画像におけるぶれ量を比較し、画像間のぶれ量の差が、予め設定された画像比較基準値より小さい場合には、プロジェクター100が静止したものと判定する。つまり、ぶれ量の絶対的な大きさが小さい場合だけでなく、ぶれ量の経時的な変化が小さい場合も、プロジェクター100が静止したと判定できる。
ここで、上記の判定基準値、輝度差基準値、画像比較基準値は、予めリモコン191や操作部195の操作により設定され、あるいはプロジェクター100の出荷時に設定され、RAM160またはROM170に記憶されている。
As described above, when the image blur detection unit 123 outputs the difference between the maximum value and the minimum value of the luminance data as a blur amount index, the movement determination unit 124 determines, for example, as follows. When the blur amount (difference between the maximum value and the minimum value of the luminance data) in the captured image is smaller than a preset luminance difference reference value, it is determined that the projector 100 is not stationary. Further, when the shake amount in the photographed image taken before that is equal to or greater than the luminance difference reference value and the shake amount in the latest photographed image is smaller than the luminance difference reference value, the stationary projector 100 starts moving. Can be determined. On the other hand, the amounts of blur in a plurality of consecutive captured images are compared, and if the difference in the amount of blur between the images is smaller than a preset image comparison reference value, it is determined that the projector 100 is stationary. That is, it can be determined that the projector 100 is stationary not only when the absolute amount of blur is small but also when the amount of change over time is small.
Here, the determination reference value, the luminance difference reference value, and the image comparison reference value are set in advance by operating the remote controller 191 or the operation unit 195, or are set when the projector 100 is shipped, and stored in the RAM 160 or the ROM 170. .

ところで、プロジェクター100が映像を投射している場合、図3(A)の撮影画像220において、投射画像領域224における画像が変化するから、複数の撮影画像におけるぶれ量を比較することが難しい場合がある。このため、画像ぶれ検出部123は、撮影画像220のうち、投射画像領域224を除く部分においてぶれ量を算出するようにすると、好ましい。この場合、移動判定部124は、画像ぶれ検出部123が出力する値を判定するだけで、そのぶれ量が投射画像領域224を含むか否かは移動判定部124の動作に影響を与えない。   By the way, when the projector 100 is projecting an image, the image in the projected image region 224 changes in the captured image 220 in FIG. 3A, so it may be difficult to compare the amounts of blur in the plurality of captured images. is there. For this reason, it is preferable that the image blur detection unit 123 calculates the blur amount in a portion of the captured image 220 excluding the projection image region 224. In this case, the movement determination unit 124 only determines the value output by the image blur detection unit 123, and whether or not the blur amount includes the projection image region 224 does not affect the operation of the movement determination unit 124.

さらに、プロジェクター100の設置環境によっては、プロジェクター100の移動に起因しないぶれが発生することがある。例えば、スクリーンSCとプロジェクター100の間を人や物が通過し、背景画像領域226に写り込んだ場合や、スクリーンSCの背景に位置する人や物が移動し、この人や物が背景画像領域226に写り込んだ場合である。
画像ぶれ検出部123は、撮影画像220を複数の領域に分割して領域毎にぶれ量を求め、移動判定部124は、領域毎に、ぶれ量に基づく判定を行う。
Furthermore, depending on the installation environment of the projector 100, blurring that is not caused by the movement of the projector 100 may occur. For example, when a person or object passes between the screen SC and the projector 100 and appears in the background image area 226, or a person or object located in the background of the screen SC moves, the person or object moves in the background image area. This is the case when it is reflected in H.226.
The image blur detection unit 123 divides the captured image 220 into a plurality of regions to obtain a blur amount for each region, and the movement determination unit 124 performs determination based on the blur amount for each region.

例えば図3(B)に示すように、画像ぶれ検出部123は、撮影画像220を領域A〜Dの4つの領域に分割し、領域A、領域B、領域C及び領域Dの各々におけるぶれ量を個別に算出する。移動判定部124は、連続する複数の撮影画像220のぶれ量を判定する際に、各撮影画像220の領域Aのぶれ量に基づいてプロジェクター100が静止しているか否かを判定し、領域Bのぶれ量に基づいてプロジェクター100が静止しているか否かを判定し、同様に領域C、領域Dについても個別にプロジェクター100が静止しているか否かを判定する。   For example, as shown in FIG. 3B, the image blur detection unit 123 divides the captured image 220 into four areas A to D, and the blur amount in each of the areas A, B, C, and D is determined. Are calculated individually. The movement determination unit 124 determines whether or not the projector 100 is stationary based on the blur amount of the area A of each captured image 220 when determining the blur amount of the plurality of consecutive captured images 220. Whether or not the projector 100 is stationary is determined based on the amount of blurring, and similarly for the regions C and D, it is determined whether or not the projector 100 is individually stationary.

そして、一部の領域においてのみプロジェクター100が静止していないと判定され、他の領域ではプロジェクター100が静止していると判定された場合には、最終的な判定として、プロジェクター100が静止していると判定する。例えば領域Aのぶれ量のみに基づいて判定を行った結果、プロジェクター100が静止していないと判定され、領域B〜Dに対する判定ではプロジェクター100が静止していると判定された場合には、プロジェクター100が静止していると判定する。言い換えれば、全ての領域A〜Dについて、それぞれ、プロジェクター100が静止していないと判定した場合のみ、プロジェクター100が移動しているとの判定結果を出力する。
上記の例のように、人や物がCCDカメラ181の撮影範囲内で移動したとしても、1回の撮影のシャッター開時間内に領域A〜Dの全ての領域にわたって移動することは考えにくい。つまり、プロジェクター100が静止している場合は、1つの撮影画像220において、領域A〜Dの一部でのみぶれ量が大きくなることはあっても、全領域でぶれ量が大きくなることはないものと考えて良いから、撮影画像220を分割してぶれ量の検出と移動判定を行うことで、プロジェクター100の移動に起因しない撮影画像220の変化の影響を排除し、正確にプロジェクター100の静止を判定できる。
また、プロジェクター100が映像を投射している場合には、撮影画像220を複数の領域A〜Dに分割した上で、画像ぶれ検出部123が、各領域のうち投射画像領域224を除く領域のぶれ量を算出することが好ましい。
Then, when it is determined that the projector 100 is not stationary only in some areas and the projector 100 is determined to be stationary in other areas, as a final determination, the projector 100 is stationary. It is determined that For example, when it is determined that the projector 100 is not stationary as a result of the determination based only on the blur amount of the region A, and the projector 100 is determined to be stationary in the determinations for the regions B to D, the projector It is determined that 100 is stationary. In other words, the determination result that the projector 100 is moving is output only when it is determined that the projector 100 is not stationary for each of the areas A to D.
Even if a person or an object moves within the imaging range of the CCD camera 181 as in the above example, it is unlikely that the person or object moves over all the areas A to D within the shutter opening time of one imaging. That is, when the projector 100 is stationary, the amount of blur does not increase in all regions even though the amount of blur increases only in a part of the regions A to D in one captured image 220. Therefore, by dividing the captured image 220 and detecting the amount of blur and determining the movement, the influence of the change in the captured image 220 that is not caused by the movement of the projector 100 can be eliminated and the projector 100 can be accurately stopped. Can be determined.
In addition, when the projector 100 is projecting an image, the image blur detection unit 123 divides the captured image 220 into a plurality of regions A to D, and the image blur detection unit 123 excludes the projection image region 224 from each region. It is preferable to calculate the shake amount.

続いて、プロジェクター100の動作について説明する。
図4〜図6は、プロジェクター100の動作を示すフローチャートであり、図4は全体的な動作を示し、図5は図4のステップS13に示す移動判定処理を示し、図6は図4のステップS14に示す台形歪み補正処理を詳細に示す。
プロジェクター100の投射制御部121は、電源がオンにされると外部から入力される映像信号に基づいて投射画像の投射を開始し(ステップS11)、リモコン191または操作部195の操作子の操作によってセットアップの実行が指示されると(ステップS12)、撮影制御部122、画像ぶれ検出部123及び移動判定部124を制御して、移動判定処理を実行する(ステップS13)。この移動判定処理は、プロジェクター100がスクリーンSCに対して相対的に静止しているか、移動しているかを判定する処理である。この移動判定処理でプロジェクター100が静止していると判定された場合に、プロジェクター100は次のステップS14に移行する。
Next, the operation of the projector 100 will be described.
4 to 6 are flowcharts showing the operation of the projector 100, FIG. 4 shows the overall operation, FIG. 5 shows the movement determination process shown in step S13 of FIG. 4, and FIG. 6 shows the step of FIG. The trapezoidal distortion correction process shown in S14 will be described in detail.
When the power is turned on, the projection control unit 121 of the projector 100 starts projecting a projection image based on a video signal input from the outside (step S11), and is operated by operating the remote controller 191 or the operation unit 195. When the execution of the setup is instructed (step S12), the photographing control unit 122, the image blur detection unit 123, and the movement determination unit 124 are controlled to execute a movement determination process (step S13). This movement determination process is a process for determining whether the projector 100 is stationary or moving relative to the screen SC. When it is determined in this movement determination process that the projector 100 is stationary, the projector 100 proceeds to the next step S14.

ここで、図5を参照して移動判定処理の詳細について説明する。なお、以下においては、画像ぶれ検出部123が撮影画像における輝度データの最大値と最小値の差を、ぶれ量の値としてそのまま出力し、このぶれ量の値に基づいて移動判定部124が判定を行う例について説明する。
投射制御部121が移動判定処理の開始を指示すると、撮影制御部122は、撮像部180に対し、ぶれ検出用の撮影条件を設定する(ステップS21)。ここで設定される撮影条件は、少なくともシャッター速度を含み、後述する台形歪み補正処理時の撮影条件に比べ、シャッター開時間が長くなるように設定される。また、撮影条件として、ズーム倍率を含んでもよく、例えば、スクリーンSCの外側まで撮影画像に写るように設定される。
Here, the details of the movement determination process will be described with reference to FIG. In the following description, the image blur detection unit 123 outputs the difference between the maximum value and the minimum value of the luminance data in the captured image as the blur amount value, and the movement determination unit 124 determines based on the blur amount value. An example of performing is described.
When the projection control unit 121 instructs the start of the movement determination process, the shooting control unit 122 sets shooting conditions for shake detection for the imaging unit 180 (step S21). The shooting conditions set here include at least the shutter speed, and are set so that the shutter opening time is longer than the shooting conditions in the trapezoidal distortion correction process described later. Further, the shooting condition may include a zoom magnification, and is set so that, for example, the captured image is captured to the outside of the screen SC.

次いで、撮影制御部122は、設定した撮影条件に従って撮像部180により撮影を実行させ(ステップS22)、撮影画像メモリー182から撮影画像のデータを取得する(ステップS23)。
その後、画像ぶれ検出部123が、撮影画像のぶれ量を検出するぶれ検出処理を開始する(ステップS24)。画像ぶれ検出部123は、撮影画像を、予め設定された分割方法に従って分割する(ステップS25)。
Next, the imaging control unit 122 causes the imaging unit 180 to perform imaging in accordance with the set imaging conditions (step S22), and acquires captured image data from the captured image memory 182 (step S23).
Thereafter, the image blur detection unit 123 starts a blur detection process for detecting the blur amount of the captured image (step S24). The image blur detection unit 123 divides the captured image according to a preset division method (step S25).

画像ぶれ検出部123は、分割した複数の領域のうち、まだ処理されていない領域から一つの領域を処理対象として選択し(ステップS26)、選択した領域における輝度データの最大値と最小値を求めるとともにその差を算出し(ステップS27)、算出した最大値と最小値の差の値(計算値)をRAM160に記憶する(ステップS28)。
次いで、移動判定部124が、前回撮影された撮影画像について画像ぶれ検出部123が求めた計算値がRAM160に記憶されているか否かを判別し(ステップS29)、前回の計算値が記憶されていない場合は(ステップS29;No)、画像ぶれ検出部123が分割した撮影画像の領域のうち未処理の領域の有無を判別する(ステップS30)。未処理の領域があれば(ステップS30;Yes)、ステップS26に戻って、次に処理する領域を選択する。また、未処理の領域がない場合には(ステップS30;No)、後述するステップS36に移行する。
The image blur detection unit 123 selects, as a processing target, one of the plurality of divided regions that has not been processed (step S26), and obtains the maximum value and the minimum value of the luminance data in the selected region. At the same time, the difference is calculated (step S27), and the difference value (calculated value) between the calculated maximum value and minimum value is stored in the RAM 160 (step S28).
Next, the movement determination unit 124 determines whether or not the calculated value obtained by the image blur detection unit 123 for the previously captured image is stored in the RAM 160 (step S29), and the previous calculated value is stored. If not (step S29; No), the image blur detection unit 123 determines whether there is an unprocessed area among the areas of the captured image divided (step S30). If there is an unprocessed area (step S30; Yes), the process returns to step S26 to select an area to be processed next. When there is no unprocessed area (step S30; No), the process proceeds to step S36 described later.

一方、画像ぶれ検出部123が算出した前回の計算値がRAM160に記憶されている場合(ステップS29;Yes)、移動判定部124は、前回撮影された撮影画像に関する計算値とステップS27で算出された計算値とを比較し(ステップS31)、プロジェクター100が静止状態から移動を開始した場合の条件に該当するか否かを判別する(ステップS32)。移動を開始した場合の条件とは、例えば、ステップS27で今回算出した計算値が輝度差基準値より小さいこと、あるいは、上記計算値が経時的に小さくなっており、前回の計算値が輝度差基準値以上であって今回の計算値が輝度差基準値より小さいことが挙げられる。   On the other hand, when the previous calculated value calculated by the image blur detection unit 123 is stored in the RAM 160 (step S29; Yes), the movement determination unit 124 calculates the calculated value related to the previously captured image and the calculated value in step S27. The calculated value is compared (step S31), and it is determined whether or not the condition when the projector 100 starts moving from the stationary state is satisfied (step S32). The condition when the movement is started is, for example, that the calculated value calculated this time in step S27 is smaller than the luminance difference reference value, or that the calculated value becomes smaller with time, and the previous calculated value is the luminance difference. It is mentioned that the calculated value is smaller than the reference value and the calculated value is smaller than the reference value.

プロジェクター100が静止状態から移動を開始した場合の条件に該当する場合(ステップS32;Yes)、移動判定部124は、処理対象となっている領域に対応づけて移動開始フラグを設定し(ステップS33)、ステップS30に移行する。移動開始フラグは撮影画像を分割した領域毎にRAM160に記憶される。移動判定部124は、ステップS30で未処理の領域の有無を判別し、未処理の領域がある場合はステップS26に戻って次の領域を選択し、未処理の領域がない場合にはステップS36に移行する。   When the condition when the projector 100 starts moving from the stationary state is satisfied (step S32; Yes), the movement determination unit 124 sets a movement start flag in association with the region to be processed (step S33). ), The process proceeds to step S30. The movement start flag is stored in the RAM 160 for each area obtained by dividing the captured image. The movement determination unit 124 determines whether or not there is an unprocessed area in step S30. If there is an unprocessed area, the movement determination unit 124 returns to step S26 to select the next area. Migrate to

また、プロジェクター100が静止状態から移動を開始した場合の条件に該当しない場合(ステップS32;No)、移動判定部124は、プロジェクター100が静止した場合の条件に該当するか否かを判別する(ステップS34)。静止した場合の条件とは、例えば、ステップS27で今回算出した計算値と、前回算出した計算値とが、ともに輝度差基準値より大きいこと、あるいは、前回と今回の計算値の差が予め設定された画像比較基準値より小さいことが挙げられる。
プロジェクター100が静止した場合の条件に該当する場合(ステップS34;Yes)、移動判定部124は、処理対象となっている領域に対応づけて静止フラグを設定し(ステップS35)、ステップS30に移行する。静止フラグは撮影画像を分割した領域毎にRAM160に記憶される。また、プロジェクター100が静止した場合の条件に該当しない場合(ステップS34;No)、移動判定部124は、ステップS30に移行する。
ステップS30で、移動判定部124は未処理の領域の有無を判別し、未処理の領域がある場合はステップS26に戻って次の領域を選択し、未処理の領域がない場合にはステップS36に移行する。
When the projector 100 does not meet the condition when the movement starts from the stationary state (step S32; No), the movement determination unit 124 determines whether or not the condition when the projector 100 is stationary is satisfied (step S32; No). Step S34). The condition when the camera is stationary is, for example, that the calculated value calculated this time in step S27 and the previously calculated value are both larger than the luminance difference reference value, or the difference between the previous and current calculated values is preset. It is mentioned that it is smaller than the image comparison reference value.
If the condition when the projector 100 is stationary (step S34; Yes), the movement determination unit 124 sets a stationary flag in association with the area to be processed (step S35), and the process proceeds to step S30. To do. The still flag is stored in the RAM 160 for each area obtained by dividing the captured image. In addition, when the condition when the projector 100 is stationary is not satisfied (step S34; No), the movement determination unit 124 proceeds to step S30.
In step S30, the movement determination unit 124 determines whether there is an unprocessed area. If there is an unprocessed area, the process returns to step S26 to select the next area, and if there is no unprocessed area, step S36. Migrate to

ステップS36では、ぶれ量に基づくプロジェクター100の静止の判定が可能か否かを判別する。ステップS29で前回の計算値がなかった場合には、判定ができないと判別し(ステップS36;No)、ステップS22に戻って次の撮影画像データを処理する。また、判定が可能な場合には(ステップS36;Yes)、移動判定部124は、RAM160に記憶された各領域の移動開始フラグ及び静止フラグを取得し、最終的に、プロジェクター100が静止しているか否かを判定する(ステップS37)。プロジェクター100が静止していると判定した場合は(ステップS37;Yes)、プロジェクター100は図4に戻ってステップS14の台形歪み補正処理を開始する。また。プロジェクター100が静止していないと判定した場合は(ステップS37;No)、ステップS22に戻って次の撮影画像を実行する。   In step S36, it is determined whether or not it is possible to determine whether the projector 100 is stationary based on the shake amount. If there is no previous calculated value in step S29, it is determined that the determination cannot be made (step S36; No), and the process returns to step S22 to process the next captured image data. If the determination is possible (step S36; Yes), the movement determination unit 124 acquires the movement start flag and the stationary flag of each area stored in the RAM 160, and finally the projector 100 stops. It is determined whether or not there is (step S37). When it is determined that the projector 100 is stationary (step S37; Yes), the projector 100 returns to FIG. 4 and starts the trapezoidal distortion correction process in step S14. Also. If it is determined that the projector 100 is not stationary (step S37; No), the process returns to step S22 to execute the next captured image.

このように、プロジェクター100がスクリーンSCに対して相対的に静止していると判定した場合に、投射制御部121は、台形歪み補正処理(図4のステップS14)を実行する。台形歪み補正処理では、スクリーンSCに現在投射されている投射画像の形状を検出する必要があるが、プロジェクター100が静止していなければ投射画像の形状を正確に検出することが難しくなる可能性ある。このため、投射制御部121は、移動判定処理によりプロジェクター100が静止したと判定してから、台形歪み補正処理を実行する。この台形歪み補正処理により、スクリーンSCに投射される投射画像は、プロジェクター100の投影投射角による変形が補正され、ほぼ本来の形状となる。   As described above, when it is determined that the projector 100 is stationary relative to the screen SC, the projection control unit 121 executes trapezoidal distortion correction processing (step S14 in FIG. 4). In the trapezoidal distortion correction process, it is necessary to detect the shape of the projection image currently projected on the screen SC. However, if the projector 100 is not stationary, it may be difficult to accurately detect the shape of the projection image. . For this reason, the projection control unit 121 executes the trapezoidal distortion correction process after determining that the projector 100 is stationary by the movement determination process. By this trapezoidal distortion correction processing, the projection image projected on the screen SC is corrected for deformation due to the projection projection angle of the projector 100, and becomes almost the original shape.

ここで、図6を参照して台形歪み補正処理について詳細に説明する。
投射制御部121が台形歪み補正処理の開始を指示すると、撮影制御部122は、撮像部180に対し、台形歪み補正処理用の撮影条件を設定する(ステップS41)。ここで設定される撮影条件は、少なくともシャッター速度を含み、移動判定処理時の撮影条件に比べ、シャッター開時間が短くなるように設定される。また、撮影条件として、ズーム倍率を含んでもよく、例えば、スクリーンSC上に投射画像が結像する範囲を含み、移動判定処理時よりも小さい範囲が撮影画像に写るように設定される。
Here, the trapezoidal distortion correction processing will be described in detail with reference to FIG.
When the projection control unit 121 instructs the start of trapezoidal distortion correction processing, the imaging control unit 122 sets imaging conditions for trapezoidal distortion correction processing for the imaging unit 180 (step S41). The shooting conditions set here include at least the shutter speed, and are set so that the shutter opening time is shorter than the shooting conditions during the movement determination process. Further, the shooting condition may include a zoom magnification. For example, the shooting condition includes a range in which the projected image is formed on the screen SC, and is set so that a smaller range than that in the movement determination process is reflected in the captured image.

次いで、投射制御部121は、映像用プロセッサー134を制御して、調整用画像記憶部171に記憶された調整用画像を読み出し、この調整用画像を映像用プロセッサー134にコマンドとともに出力して、光変調装置130の液晶パネルに表示させ、スクリーンSCに投射させる(ステップS42)。ここで、投射制御部121は、すでにA/D変換部110から映像用プロセッサー134に入力されている入力画像の投射を開始している場合には、この入力画像の表示を停止させてから調整用画像の投射を行う。
その後、スクリーンSCに調整用画像が投射された状態で、撮影制御部122は、設定した撮影条件に従って撮像部180により撮影を実行させ、撮影画像メモリー182から撮影画像のデータを取得する(ステップS43)。
Next, the projection control unit 121 controls the video processor 134 to read out the adjustment image stored in the adjustment image storage unit 171, and outputs the adjustment image together with the command to the video processor 134. The image is displayed on the liquid crystal panel of the modulation device 130 and projected onto the screen SC (step S42). Here, when the projection of the input image already input from the A / D conversion unit 110 to the video processor 134 has been started, the projection control unit 121 adjusts after stopping the display of the input image. Project images.
Thereafter, in a state where the adjustment image is projected on the screen SC, the imaging control unit 122 causes the imaging unit 180 to perform imaging according to the set imaging conditions, and acquires captured image data from the captured image memory 182 (step S43). ).

投射制御部121は、三次元測量部125及び投射角算出部126を制御して、調整用画像の投射中に撮影された撮影画像に基づいて、台形歪みを補正するためのパラメーターを算出させる(ステップS44)。
このステップS44で、三次元測量部125は、プロジェクター100のズームレンズ152の主点を原点とする三次元座標系(以下「レンズ座標系」とも呼ぶ)における、スクリーンSCを含む平面の三次元状態を検出する三次元測量処理を行う。すなわち、プロジェクター100における投射光学系150の光軸に対するスクリーンSCの三次元的な傾きを検出する。この処理では、撮影画像メモリー182から取得した撮影画像を離散化し、撮影画像に含まれる16個の四角形の中心を測定点として求める。そして、三次元測量部125は、測定点から平面の定義が可能な3点を選択し、選択した3つの測定点のレンズ座標系における三次元座標を検出し、検出した3つの測定点の三次元座標に基づいて、スクリーンSCを含む平面に近似する近似平面を算出する。続いて、投射角算出部126が、三次元測量処理で検出したスクリーン平面の近似平面とプロジェクター100から投射した投射光の光軸との角度である投影投射角を算出する。さらに、投射角算出部126は、算出した投影投射角を基に、光変調装置130の液晶パネルの表示可能領域における補正後の画像の形状を求め、液晶パネルの表示可能領域における補正前の画像の形状を、補正後の画像の形状に変換する変換係数(パラメーター)を算出する。
The projection control unit 121 controls the three-dimensional surveying unit 125 and the projection angle calculation unit 126 to calculate parameters for correcting trapezoidal distortion based on the captured image captured during the projection of the adjustment image ( Step S44).
In step S44, the three-dimensional surveying unit 125 displays the three-dimensional state of the plane including the screen SC in the three-dimensional coordinate system (hereinafter also referred to as “lens coordinate system”) having the origin of the principal point of the zoom lens 152 of the projector 100. 3D survey processing to detect That is, the three-dimensional inclination of the screen SC with respect to the optical axis of the projection optical system 150 in the projector 100 is detected. In this process, the captured image acquired from the captured image memory 182 is discretized, and the centers of 16 squares included in the captured image are obtained as measurement points. Then, the three-dimensional surveying unit 125 selects three points that can define a plane from the measurement points, detects the three-dimensional coordinates in the lens coordinate system of the three selected measurement points, and determines the tertiary of the detected three measurement points. Based on the original coordinates, an approximate plane that approximates the plane including the screen SC is calculated. Subsequently, the projection angle calculation unit 126 calculates a projection projection angle that is an angle between the approximate plane of the screen plane detected by the three-dimensional surveying process and the optical axis of the projection light projected from the projector 100. Further, the projection angle calculation unit 126 obtains the corrected image shape in the displayable area of the liquid crystal panel of the light modulation device 130 based on the calculated projection projection angle, and the image before correction in the displayable area of the liquid crystal panel. A conversion coefficient (parameter) for converting the shape into a corrected image shape is calculated.

続いて、投射制御部121は、求めたパラメーターを台形歪み補正部136に設定し、台形歪み補正部136により台形歪み補正を実行させる(ステップS45)。台形歪み補正部136は、設定されたパラメーターを用いて、入力されるデジタル信号を変換し、変換した結果を光変調装置駆動部132へと出力する。すなわち、台形歪み補正部136は、A/D変換部110から入力されるデジタル信号に対して、各画素の座標に対してベクトル演算を繰り返し、光変調装置130の液晶パネルに表示する画像を、台形歪みを補正するように変形させる。この台形歪み補正中は、通常は矩形である液晶パネルの表示可能範囲に、スクリーンSCの投射画像の変形を補正するように上記パラメーターで規定される略台形に変形された映像が表示される。投射制御部121は、台形歪み補正処理を終了して、図4のステップS15に移行する。   Subsequently, the projection control unit 121 sets the obtained parameters in the trapezoidal distortion correction unit 136, and causes the trapezoidal distortion correction unit 136 to perform trapezoidal distortion correction (step S45). The trapezoidal distortion correction unit 136 converts the input digital signal using the set parameters, and outputs the converted result to the light modulation device driving unit 132. That is, the trapezoidal distortion correction unit 136 repeats vector calculation for the coordinates of each pixel with respect to the digital signal input from the A / D conversion unit 110, and displays an image to be displayed on the liquid crystal panel of the light modulation device 130. Deform to correct keystone distortion. During the trapezoidal distortion correction, an image that is deformed into a substantially trapezoid defined by the above parameters is displayed in a displayable range of the liquid crystal panel that is normally rectangular so as to correct the deformation of the projected image on the screen SC. The projection control unit 121 ends the trapezoidal distortion correction process and proceeds to step S15 in FIG.

台形歪み補正処理の終了後、ステップS15で、投射制御部121は、再び画像ぶれ検出部123及び移動判定部124による移動判定処理を開始する。この移動判定処理は、入力画像を投射する間、継続して実行される。
投射制御部121は、映像用プロセッサー134による入力画像の投射を開始させ(ステップS16)、ステップS15で開始した移動判定処理の判定結果を常時監視する(ステップS17)。この移動判定処理でプロジェクター100が静止していないと判定された場合(ステップS17;No)、投射制御部121はステップS13に戻って、移動判定処理と台形歪み補正処理を実行する。
また、プロジェクター100が静止している間は、リモコン191または操作部195の操作により投射終了が指示されたか否かを判別し(ステップS18)、投射を終了しない場合は(ステップS18;No)、ステップS17で投射を継続する。リモコン191または操作部195の操作により投射終了が指示された場合には(ステップS18;Yes)、投射制御部121は投射を終了して待機状態または停止状態に移行する。
After the trapezoidal distortion correction process is completed, in step S15, the projection control unit 121 starts the movement determination process by the image blur detection unit 123 and the movement determination unit 124 again. This movement determination process is continuously executed while an input image is projected.
The projection control unit 121 starts projection of the input image by the video processor 134 (step S16), and constantly monitors the determination result of the movement determination process started in step S15 (step S17). When it is determined in this movement determination process that the projector 100 is not stationary (step S17; No), the projection control unit 121 returns to step S13 and executes the movement determination process and the trapezoidal distortion correction process.
Further, while the projector 100 is stationary, it is determined whether or not the projection end is instructed by the operation of the remote controller 191 or the operation unit 195 (step S18). When the projection is not terminated (step S18; No), In step S17, projection is continued. When the end of projection is instructed by the operation of the remote controller 191 or the operation unit 195 (step S18; Yes), the projection control unit 121 ends the projection and shifts to a standby state or a stop state.

以上のように、本発明を適用した実施形態に係るプロジェクター100は、スクリーンSCに画像を投射し、スクリーンSCに投射された投射画像を含む範囲を撮影する撮像部180と、撮像部180により撮影された撮影画像内におけるぶれを検出する画像ぶれ検出部123と、画像ぶれ検出部123の検出結果に基づいて、スクリーンSCに対するプロジェクター100の動きを判定する移動判定部124とを備え、プロジェクター100の動きを検出するセンサー類を持たない構成でありながら、スクリーンSCに対してプロジェクター100が移動しているか否か等を判定できる。これにより、スクリーンSCに対するプロジェクター100の移動を検出する機能を維持しながら部品点数の削減を図るとともに、小型化が可能となる。   As described above, the projector 100 according to the embodiment to which the present invention is applied projects an image on the screen SC, and captures an image including the projection image projected on the screen SC. An image blur detection unit 123 that detects blur in the captured image, and a movement determination unit 124 that determines the movement of the projector 100 relative to the screen SC based on the detection result of the image blur detection unit 123. It is possible to determine whether or not the projector 100 is moving with respect to the screen SC, etc., while having a configuration that does not have sensors for detecting movement. Thus, it is possible to reduce the number of parts while maintaining the function of detecting the movement of the projector 100 with respect to the screen SC, and it is possible to reduce the size.

また、プロジェクター100は、照明光学系140と、入力画像に基づいて照明光学系140が発した光を変調する光変調装置130と、光変調装置130により変調された光をスクリーンSCに投射する投射光学系150と、撮像部180により撮影された撮影画像に基づいて、スクリーンSCに投射された投射画像の台形歪みを検出し、光変調装置130の入力画像を処理することによって投射画像の台形歪みを補正する台形歪み補正部136とを備え、台形歪み補正を行うためにスクリーンSCを撮影する撮像部180を利用して、プロジェクター100の動きを判定できるので、部品点数を削減できる。   The projector 100 also projects the illumination optical system 140, the light modulation device 130 that modulates the light emitted from the illumination optical system 140 based on the input image, and the light modulated by the light modulation device 130 onto the screen SC. The trapezoidal distortion of the projection image projected on the screen SC is detected on the basis of the captured image captured by the optical system 150 and the imaging unit 180, and the input image of the light modulation device 130 is processed, thereby the trapezoidal distortion of the projection image. Since the movement of the projector 100 can be determined using the imaging unit 180 that captures the screen SC in order to correct the trapezoidal distortion, the number of parts can be reduced.

また、プロジェクター100は、撮像部180のシャッター速度を制御する撮影制御部122を備え、撮影制御部122が、画像ぶれ検出部123によりぶれを検出するための撮影画像を撮影する場合と、台形歪み補正部136によって台形歪みを検出するための撮影画像を撮影する場合とで、撮像部180のシャッター速度を異なる速度に設定するので、共通の撮像部180を利用して、台形歪み補正に適した撮影画像とぶれの検出に適した撮影画像とを得ることができ、台形歪み補正とぶれ検出との異なる処理を、いずれも高精度で実行できる。   The projector 100 also includes a shooting control unit 122 that controls the shutter speed of the imaging unit 180. When the shooting control unit 122 captures a shot image for detecting a blur by the image blur detection unit 123, and a trapezoidal distortion. Since the shutter speed of the imaging unit 180 is set to a different speed when shooting a captured image for detecting the trapezoidal distortion by the correction unit 136, it is suitable for correcting the trapezoidal distortion using the common imaging unit 180. A photographed image and a photographed image suitable for shake detection can be obtained, and different processes of trapezoidal distortion correction and shake detection can be performed with high accuracy.

また、プロジェクター100は、投射制御部121の制御により、移動判定部124によってスクリーンSCに対するプロジェクター100の動きが小さいと判定した場合に、台形歪み補正部136により補正を実行させ、台形歪み補正部136による補正が終了した後に、画像ぶれ検出部123によるぶれ検出と、移動判定部124による判定を開始させる。これにより、プロジェクター100の動きが小さくなってから台形歪み補正を行うことで、好ましい条件下で台形歪みを補正するとともに、プロジェクター100が移動している間の、効果の見込めない台形歪み補正動作を避け、効率的な制御を実現できる。また、台形歪み補正の実行後にプロジェクター100の動きを判定するので、再度の台形歪み補正が必要であるか否かを容易に判断でき、必要に応じて台形歪み補正を実行して投射画像の視認性を保つことができる。   Further, when the movement determining unit 124 determines that the movement of the projector 100 with respect to the screen SC is small under the control of the projection control unit 121, the projector 100 causes the trapezoidal distortion correcting unit 136 to perform correction, and the trapezoidal distortion correcting unit 136. After the correction by (1) is completed, the blur detection by the image blur detection unit 123 and the determination by the movement determination unit 124 are started. Thus, by correcting the trapezoidal distortion under a preferable condition by performing the trapezoidal distortion correction after the movement of the projector 100 becomes small, a trapezoidal distortion correcting operation in which an effect cannot be expected while the projector 100 is moving is performed. It can avoid and achieve efficient control. In addition, since the movement of the projector 100 is determined after the trapezoidal distortion correction is performed, it can be easily determined whether or not the keystone distortion correction is necessary again, and the trapezoidal distortion correction is performed as necessary to visually recognize the projected image. Can keep sex.

また、画像ぶれ検出部123は、撮像部180により撮影された撮影画像から複数の領域を抽出して、領域毎にぶれを検出し、移動判定部124は、画像ぶれ検出部123が検出した各領域のぶれを比較することにより、スクリーンSCに対するプロジェクター100の動きを判定するので、プロジェクター100の動きに起因しないぶれによる誤判定を防止し、効率よく高精度な移動判定を行うことができる。   In addition, the image blur detection unit 123 extracts a plurality of regions from the captured image captured by the imaging unit 180 and detects blur for each region, and the movement determination unit 124 detects each of the images detected by the image blur detection unit 123. Since the movement of the projector 100 with respect to the screen SC is determined by comparing the blurring of the areas, it is possible to prevent an erroneous determination due to a blur that is not caused by the movement of the projector 100 and to perform the movement determination with high accuracy and efficiency.

なお、上述した実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。例えば、上記実施形態ではスクリーンSCの正面に設置されたプロジェクター100が、前方に画像を投射する構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、スクリーンSCが透過型のスクリーンとして構成され、プロジェクター100がスクリーンSCの背面側から画像を投射する構成に本発明を適用することも勿論可能である。また、上記実施形態では、画像ぶれ検出部123が、撮影画像を周波数領域に変換して高周波成分の割合や量によりぶれ量を算出する例、及び、撮影画像の輝度データの最大値と最小値との差に基づいてぶれ量を算出する例を挙げて説明したが、本発明はこれに限定されるものではなく、スクリーンSCとプロジェクター100、詳細にはスクリーンSCとCCDカメラ181との相対位置の変化に起因する撮影画像のぶれを定量化できる手法であれば、どのような処理で実現してもよい。   The above-described embodiment is merely an example of a specific mode to which the present invention is applied, and the present invention is not limited. The present invention can be applied as a mode different from the above-described embodiment. For example, in the above embodiment, the projector 100 installed in front of the screen SC has been described as an example of a configuration in which an image is projected forward. However, the present invention is not limited to this and the screen SC is transmissive. Of course, the present invention can be applied to a configuration in which the projector 100 projects an image from the back side of the screen SC. In the above embodiment, the image blur detection unit 123 converts the captured image into the frequency domain and calculates the blur amount based on the ratio and amount of the high frequency component, and the maximum value and the minimum value of the luminance data of the captured image. However, the present invention is not limited to this, and the relative position between the screen SC and the projector 100, specifically, the screen SC and the CCD camera 181 is described. Any processing may be used as long as it is a method that can quantify the blurring of the photographed image caused by the change in.

また、上記実施形態では、撮像部180はCCDイメージセンサーを備えたCCDカメラ181を有する構成として説明したが、本発明はこれに限定されるものではなく、撮像部180のイメージセンサーとしてCMOSセンサーを用いても良い。
さらに、上記実施形態においてROM170が記憶していた制御プログラムや設定値等のデータを、可搬型の記録媒体に記憶した構成とすることも可能であるし、プロジェクター100に通信ネットワークを介して接続された他の装置から、プロジェクター100がダウンロード可能に記憶した構成としてもよい。
また、図2に示したプロジェクター100の各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。その他、プロジェクター100の具体的な細部構成について、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
In the above embodiment, the imaging unit 180 is described as having a CCD camera 181 including a CCD image sensor. However, the present invention is not limited to this, and a CMOS sensor is used as the image sensor of the imaging unit 180. It may be used.
Furthermore, the control program and setting data stored in the ROM 170 in the above embodiment can be stored in a portable recording medium, and connected to the projector 100 via a communication network. Alternatively, the projector 100 may be stored so that it can be downloaded from another device.
Further, each functional unit of the projector 100 illustrated in FIG. 2 indicates a functional configuration, and a specific mounting form is not particularly limited. That is, it is not always necessary to mount hardware corresponding to each function unit individually, and it is of course possible to adopt a configuration in which the functions of a plurality of function units are realized by one processor executing a program. In addition, in the above embodiment, a part of the function realized by software may be realized by hardware, or a part of the function realized by hardware may be realized by software. In addition, the specific detailed configuration of the projector 100 can be arbitrarily changed without departing from the gist of the present invention.

100…プロジェクター、120…CPU、121…投射制御部(動作制御手段)、122…撮影制御部(撮影制御手段)、123…画像ぶれ検出部(ぶれ検出手段)、124…移動判定部(移動判定手段)、125…三次元測量部、126…投射角算出部、130…光変調装置(変調手段)、132…光変調装置駆動部、136…台形歪み補正部(台形歪み補正手段)、140…照明光学系(光源)、150…投射光学系(投射手段)、170…ROM、171…調整用画像記憶部、180…撮像部(撮像手段)、220…撮影画像、SC…スクリーン(投射面)。   DESCRIPTION OF SYMBOLS 100 ... Projector, 120 ... CPU, 121 ... Projection control part (operation control means), 122 ... Shooting control part (shooting control means), 123 ... Image blur detection part (blur detection means), 124 ... Movement determination part (movement determination) Means), 125 ... three-dimensional surveying part, 126 ... projection angle calculation part, 130 ... light modulation device (modulation means), 132 ... light modulation device drive part, 136 ... trapezoidal distortion correction part (trapezoidal distortion correction means), 140 ... Illumination optical system (light source), 150 ... projection optical system (projection means), 170 ... ROM, 171 ... image storage unit for adjustment, 180 ... image pickup part (image pickup means), 220 ... photographed image, SC ... screen (projection surface) .

Claims (5)

投射面に画像を投射するプロジェクターであって、
光源と、
入力画像に基づいて前記光源が発した光を変調する変調手段と、
前記変調手段により変調された光を前記投射面に投射する投射手段と、
前記投射面に投射された画像を含む範囲を撮影する撮像手段と、
前記撮像手段により撮影された撮影画像内におけるぶれを検出するぶれ検出手段と、
前記ぶれ検出手段の検出結果に基づいて、前記投射面に対する前記プロジェクターの動きを判定する移動判定手段と、
前記撮像手段により撮影された撮影画像に基づいて、前記投射面に投射された投射画像の台形歪みを検出し、前記変調手段の入力画像を処理することによって前記投射画像の台形歪みを補正する台形歪み補正手段と、
前記撮像手段のシャッター速度を制御する撮影制御手段と、を備え、
前記撮影制御手段は、前記ぶれ検出手段によりぶれを検出するための前記撮影画像を撮影する場合と、前記台形歪み補正手段によって台形歪みを検出するための前記撮影画像を撮影する場合とで、前記撮像手段のシャッター速度を異なる速度に設定することを特徴とするプロジェクター。
A projector that projects an image on a projection surface,
A light source;
Modulation means for modulating light emitted from the light source based on an input image;
Projection means for projecting the light modulated by the modulation means onto the projection surface;
Imaging means for capturing a range including an image projected on the projection surface;
A shake detection means for detecting a shake in a captured image taken by the imaging means;
Based on the detection result of the shake detection unit, a movement determination unit that determines the movement of the projector relative to the projection surface;
A trapezoid that detects trapezoidal distortion of a projected image projected on the projection surface based on a captured image captured by the imaging unit and corrects the trapezoidal distortion of the projected image by processing an input image of the modulating unit. Distortion correction means;
Photographing control means for controlling the shutter speed of the imaging means,
The photographing control means includes a case where the photographed image for detecting blur is photographed by the shake detecting means and a case where the photographed image for detecting trapezoidal distortion is photographed by the trapezoidal distortion correcting means. A projector characterized in that the shutter speed of the imaging means is set to a different speed .
前記撮影制御手段は、前記ぶれ検出手段によりぶれを検出するための前記撮影画像を撮影する場合のシャッター速度が、前記台形歪み補正手段によって台形歪みを検出するための前記撮影画像を撮影する場合のシャッター速度よりも長くなるように設定することを特徴とする請求項記載のプロジェクター。 The photographing control means has a shutter speed when photographing the photographed image for detecting blur by the blur detecting means, and a shutter speed when photographing the photographed image for detecting trapezoidal distortion by the trapezoidal distortion correcting means. The projector according to claim 1 , wherein the projector is set to be longer than a shutter speed. 前記移動判定手段によって前記投射面に対する前記プロジェクターの動きが小さいと判定された場合に、前記台形歪み補正手段により補正を実行させ、
前記台形歪み補正手段による補正が終了した後に、前記ぶれ検出手段によるぶれ検出と、前記移動判定手段による判定を開始させる動作制御手段を備えることを特徴とする請求項1または2に記載のプロジェクター。
When it is determined that the movement of the projector relative to the projection surface is small by the movement determination unit, the trapezoidal distortion correction unit performs correction,
3. The projector according to claim 1, further comprising an operation control unit that starts shake detection by the shake detection unit and determination by the movement determination unit after correction by the trapezoidal distortion correction unit is completed.
前記ぶれ検出手段は、前記撮像手段により撮影された撮影画像から複数の領域を抽出して、領域毎にぶれを検出し、
前記移動判定手段は、前記ぶれ検出手段が検出した各領域のぶれを比較することにより、前記投射面に対する前記プロジェクターの動きを判定することを特徴とする請求項1からのいずれかに記載のプロジェクター。
The blur detection unit extracts a plurality of regions from the captured image captured by the imaging unit, detects a blur for each region,
The movement determination means, by comparing the blur of each region in which the shake detection unit detects, according to any one of claims 1 to 3, characterized in that to determine the movement of the projector relative to the projection surface projector.
投射面に画像を投射するプロジェクターの制御方法であって、
前記投射面に投射された画像を含む範囲を撮像手段によって撮影し
前記撮像手段により撮影された撮影画像内におけるぶれを検出し、
前記ぶれの検出結果に基づいて、前記投射面に対する前記プロジェクターの動きを判定し、
前記撮像手段により撮影された撮影画像に基づいて、前記投射面に投射された画像の台形歪みを検出して補正し、
前記ぶれを検出するための前記撮影画像を撮影する場合と、前記台形歪みを検出するための前記撮影画像を撮影する場合とで、前記撮像手段のシャッター速度を異なる速度に設定すること、
を特徴とするプロジェクターの制御方法。
A method of controlling a projector that projects an image on a projection surface,
The range including the image projected on the projection surface is photographed by the imaging means ,
Detecting blur in a captured image captured by the imaging means ;
Based on the detection result of the shake, to determine the movement of the projector relative to the projection surface,
Based on the captured image captured by the imaging means, the trapezoidal distortion of the image projected on the projection surface is detected and corrected,
Setting the shutter speed of the imaging means to a different speed when shooting the shot image for detecting the blur and when shooting the shot image for detecting the trapezoidal distortion ;
A projector control method characterized by the above.
JP2011200257A 2011-09-14 2011-09-14 Projector and projector control method Expired - Fee Related JP5887777B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011200257A JP5887777B2 (en) 2011-09-14 2011-09-14 Projector and projector control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011200257A JP5887777B2 (en) 2011-09-14 2011-09-14 Projector and projector control method

Publications (2)

Publication Number Publication Date
JP2013062705A JP2013062705A (en) 2013-04-04
JP5887777B2 true JP5887777B2 (en) 2016-03-16

Family

ID=48187005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011200257A Expired - Fee Related JP5887777B2 (en) 2011-09-14 2011-09-14 Projector and projector control method

Country Status (1)

Country Link
JP (1) JP5887777B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7180372B2 (en) * 2018-12-28 2022-11-30 セイコーエプソン株式会社 Projector control method and projector

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4893471B2 (en) * 2007-05-24 2012-03-07 カシオ計算機株式会社 Image processing apparatus and program
JP4748375B2 (en) * 2007-12-05 2011-08-17 カシオ計算機株式会社 IMAGING DEVICE, IMAGE REPRODUCING DEVICE, AND PROGRAM THEREOF
JP4831219B2 (en) * 2008-10-29 2011-12-07 セイコーエプソン株式会社 Projector and projector control method
JP5481833B2 (en) * 2008-10-29 2014-04-23 セイコーエプソン株式会社 Projector and projector control method
JP5374220B2 (en) * 2009-04-23 2013-12-25 キヤノン株式会社 Motion vector detection device, control method therefor, and imaging device

Also Published As

Publication number Publication date
JP2013062705A (en) 2013-04-04

Similar Documents

Publication Publication Date Title
US9016872B2 (en) Projector and method for projecting image from projector
JP4196951B2 (en) Projector, projected image adjustment method
JP5924042B2 (en) Projector and projector control method
KR101631571B1 (en) Projector and control method for the projector
JP6343910B2 (en) Projector and projector control method
JP5796286B2 (en) Projector and projector control method
JP4196955B2 (en) Projector and processing line determination method
JP2007078821A (en) Projector, projecting method and program
CN112866660B (en) Projector control method and projector
JP6330292B2 (en) Projector and projector control method
US9470966B2 (en) Image projection apparatus and presentation system
JP2005269363A (en) Projector and pattern image display method
JP5644618B2 (en) projector
JP5206081B2 (en) Projector, program and storage medium
JP5887777B2 (en) Projector and projector control method
JP5845566B2 (en) Projector and projector control method
JP5845565B2 (en) Projector and projector control method
JP6347126B2 (en) Projector and projector control method
JP6324030B2 (en) Projection type image display apparatus and control method thereof
JP2018032922A (en) Projector device and method for controlling projector device
JP6119902B2 (en) Projector and projector control method
JP2018025665A (en) Display unit, display system, control device, display method, and display program
JP2013098712A (en) Projection type video display device and image adjustment method
JP2021034891A (en) Control device and control method used for capturing projected image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140829

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160201

R150 Certificate of patent or registration of utility model

Ref document number: 5887777

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees