JP5141259B2 - projector - Google Patents

projector Download PDF

Info

Publication number
JP5141259B2
JP5141259B2 JP2008004218A JP2008004218A JP5141259B2 JP 5141259 B2 JP5141259 B2 JP 5141259B2 JP 2008004218 A JP2008004218 A JP 2008004218A JP 2008004218 A JP2008004218 A JP 2008004218A JP 5141259 B2 JP5141259 B2 JP 5141259B2
Authority
JP
Japan
Prior art keywords
projection
image
projection surface
projected
dark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008004218A
Other languages
Japanese (ja)
Other versions
JP2009171010A (en
Inventor
貴之 内山
展宏 藤縄
えりか 兼松
晃 大村
隆之 菅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008004218A priority Critical patent/JP5141259B2/en
Priority to PCT/JP2009/050241 priority patent/WO2009088080A1/en
Priority to US12/812,459 priority patent/US8807762B2/en
Publication of JP2009171010A publication Critical patent/JP2009171010A/en
Application granted granted Critical
Publication of JP5141259B2 publication Critical patent/JP5141259B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、プロジェクタに関する。   The present invention relates to a projector.

プロジェクタで画像を投影するとき、投影面に模様や反射率のムラがある場合、プロジェクタに照明ムラがある場合、または投影画像に対して周囲の照明環境の影響が無視できない場合がある。このような場合、投影面の模様やムラなどが投影画像に重なるため、投影画像は正確に表示されない。このような模様の影響などを相殺して投影画像を正確に表示するために、所定の投影画像を投影した投影面を撮影し、撮影画像の投影面内における各画素の最小輝度の中の最大値と、各画素の最大輝度の中の最小値との間に投影画像のダイナミックレンジが収まるように投影画像を補正する技術が特許文献1に開示されている。
特開2004−158941号公報
When projecting an image with a projector, there may be a case where there is a pattern or reflectance unevenness on the projection surface, a lighting unevenness on the projector, or an influence of the surrounding illumination environment on the projected image. In such a case, the projection image is not accurately displayed because the pattern or unevenness of the projection surface overlaps the projection image. In order to offset the influence of the pattern and display the projection image accurately, the projection plane on which the predetermined projection image is projected is photographed, and the maximum of the minimum luminance of each pixel in the projection plane of the photographed image is taken. Japanese Patent Application Laid-Open No. 2004-151820 discloses a technique for correcting a projected image so that the dynamic range of the projected image falls between the value and the minimum value of the maximum luminance of each pixel.
JP 2004-158941 A

しかし、投影面の一部に非常に暗い(輝度の低い)部分や、彩度の高い部分がある場合、その部分の影響で、投影画像全体のダイナミックレンジが極端に狭く補正されてしまい、視認性が悪くなるという問題点がある。   However, if there is a part of the projection surface that is very dark (low brightness) or high in saturation, the dynamic range of the entire projected image will be corrected extremely narrowly due to the influence of that part. There is a problem that it becomes worse.

(1)請求項1の発明のプロジェクタは、所定の投影画像が投影された投影面を撮影して得られる撮影画像を用いて、投影画像を補正する補正手段と、補正手段によって補正された投影画像を投影する投影手段と、撮影画像に基づいて、投影面の輝度が暗い部分、または投影面の彩度の高い部分を検出する検出手段と、検出した投影面の輝度が暗い部分、または投影面の彩度の高い部分をユーザに報知する報知手段とを備えることを特徴とする。
(2)請求項2の発明のプロジェクタは、所定の投影画像が投影された投影面を撮影して得られる撮影画像を用いて、投影画像を補正する補正手段と、補正手段によって補正された投影画像を投影する投影手段と、撮影画像に基づいて、投影面の輝度が暗い部分、または投影面の彩度の高い部分を検出する検出手段と、検出した投影面の輝度が暗い部分、または投影面の彩度の高い部分に投影画像が重畳しないように、投影面に投影する投影画像の大きさを制御する制御手段とを備えることを特徴とする。
(3)請求項3の発明のプロジェクタは、所定の投影画像が投影された投影面を撮影して得られる撮影画像を用いて、投影画像を補正する補正手段と、補正手段によって補正された投影画像を投影する投影手段と、撮影画像に基づいて、投影面の輝度が暗い部分、または投影面の彩度の高い部分を検出する検出手段と、検出した投影面の輝度が暗い部分、または投影面の彩度の高い部分に投影画像が重畳しないように、投影面に投影する投影画像の投影位置および大きさを制御する制御手段とを備えることを特徴とする。
(4)請求項4の発明は、請求項2または3に記載のプロジェクタであって、制御手段により投影画像の大きさを所定の大きさより小さくしても検出した投影面の輝度が暗い部分、または投影面の彩度の高い部分に、投影面に投影する投影画像が重畳する場合、検出した投影面の輝度が暗い部分、または投影面の彩度の高い部分をユーザに報知する報知手段とを備えることを特徴とする。
(5)請求項5の発明は、請求項1または4に記載のプロジェクタにおいて、暗い部分、または彩度の高い部分を投影面から除去したことをユーザが入力する入力手段を備え、補正手段は、入力手段により暗い部分、または彩度の高い部分が投影面から除去されたことが入力されたとき、暗い部分または彩度の高い部分が除去された投影面を撮影して得られる撮影画像を用いて、投影画像を補正することを特徴とする。
(6)請求項6の発明のプロジェクタは、所定の投影画像が投影された投影面を撮影して得られる撮影画像を用いて、投影画像を補正する補正手段と、補正手段によって補正された投影画像を投影する投影手段と、撮影画像に基づいて、投影面の輝度が暗い部分、または投影面の彩度の高い部分を検出する検出手段とを備え、投影手段は、検出手段により投影面の輝度が暗い部分、または投影面の彩度の高い部分が検出されたとき、投影画像を投影する光源の明るさを明るくすることを特徴とする。
(1) A projector according to a first aspect of the present invention includes a correction unit that corrects a projection image using a captured image obtained by shooting a projection surface on which a predetermined projection image is projected, and a projection that is corrected by the correction unit. Projection means for projecting an image, detection means for detecting a portion where the brightness of the projection surface is dark or a portion with high saturation on the projection surface, and a portion where the brightness of the detected projection surface is dark or projection based on the captured image Informing means for informing the user of the high-saturation portion of the surface is provided.
(2) According to a second aspect of the present invention, there is provided a projector that corrects a projection image using a captured image obtained by photographing a projection surface on which a predetermined projection image is projected, and a projection corrected by the correction unit. Projection means for projecting an image, detection means for detecting a portion where the brightness of the projection surface is dark or a portion with high saturation on the projection surface, and a portion where the brightness of the detected projection surface is dark or projection based on the captured image Control means for controlling the size of the projection image projected onto the projection surface so that the projection image is not superimposed on the high-saturation portion of the surface.
(3) According to a third aspect of the present invention, there is provided a projector according to a third aspect of the present invention, a correction means for correcting a projection image using a photographed image obtained by photographing a projection surface on which a predetermined projection image is projected, and a projection corrected by the correction means. Projection means for projecting an image, detection means for detecting a portion where the brightness of the projection surface is dark or a portion with high saturation on the projection surface, and a portion where the brightness of the detected projection surface is dark or projection based on the captured image Control means for controlling the projection position and size of the projection image projected onto the projection surface so that the projection image is not superimposed on the highly saturated portion of the surface.
(4) A fourth aspect of the invention is the projector according to the second or third aspect, wherein the brightness of the projected surface detected by the control means is low even if the size of the projected image is smaller than a predetermined size, Or a notification means for notifying a user of a detected dark portion of the projected surface or a highly saturated portion of the projected surface when a projected image to be projected onto the projected surface is superimposed on a highly saturated portion of the projected surface It is characterized by providing.
(5) The invention of claim 5 comprises an input means for the user to input that the dark part or the highly saturated part has been removed from the projection surface in the projector according to claim 1 or 4, and the correction means When the input means inputs that the dark part or high-saturation part has been removed from the projection surface, a photographed image obtained by photographing the projection surface from which the dark part or high-saturation part has been removed is obtained. And correcting the projected image.
(6) According to a sixth aspect of the present invention, there is provided a projector that corrects a projected image using a captured image obtained by capturing a projection surface on which a predetermined projected image is projected, and a projection corrected by the correcting unit. A projection unit that projects an image; and a detection unit that detects, based on the captured image, a dark portion of the projection surface or a high-saturation portion of the projection surface. When a dark portion or a highly saturated portion of the projection surface is detected, the brightness of the light source that projects the projection image is increased.

本発明によれば、投影面の一部に非常に暗い(輝度の低い)部分や、彩度の高い部分があっても、その部分の影響で投影画像全体のダイナミックレンジが極端に狭く補正されてしまうことを防止することができる。   According to the present invention, even if a part of the projection surface has a very dark (low brightness) part or a part with high saturation, the dynamic range of the entire projection image is corrected to be extremely narrow due to the influence of that part. Can be prevented.

以下、図面を参照して本発明を実施するための一実施形態について説明する。本発明によるプロジェクタは、投影面の一部に非常に暗い(輝度の低い)部分や、彩度の高い部分がある場合、その部分をユーザに報知するようにしたものである。   Hereinafter, an embodiment for carrying out the present invention will be described with reference to the drawings. In the projector according to the present invention, when there is a very dark part (low brightness) or a part with high saturation in a part of the projection surface, the part is notified to the user.

−第1の実施の形態−
図1は、本発明の実施形態によるプロジェクタ1を前方から見た図である。図1に示すように、プロジェクタ1の正面には、投影光学系111(図2参照)を構成する投影レンズ111Aと、撮像光学系121(図2参照)を構成する撮影レンズ121Aが設けられている。プロジェクタ1は、机上などに載置された状態で前方のスクリーンなどに向けて、内蔵する投射ユニット110(図2参照)によって画像などの投影情報を投影する。
-First embodiment-
FIG. 1 is a front view of a projector 1 according to an embodiment of the present invention. As shown in FIG. 1, a projection lens 111A constituting the projection optical system 111 (see FIG. 2) and a photographing lens 121A constituting the imaging optical system 121 (see FIG. 2) are provided on the front of the projector 1. Yes. The projector 1 projects projection information such as an image by a built-in projection unit 110 (see FIG. 2) toward a front screen or the like while being placed on a desk or the like.

図2は、プロジェクタ1の構成を説明するブロック図である。図2においてプロジェクタ1は、投射ユニット110と、撮像ユニット120と、制御回路101と、メモリ102と、操作部103と、外部インターフェイス(I/F)回路104と、メモリカードインターフェイス(I/F)105とを備え、メモリカードインターフェイス105にはメモリカード150が接続される。   FIG. 2 is a block diagram illustrating the configuration of the projector 1. In FIG. 2, the projector 1 includes a projection unit 110, an imaging unit 120, a control circuit 101, a memory 102, an operation unit 103, an external interface (I / F) circuit 104, and a memory card interface (I / F). 105, and a memory card 150 is connected to the memory card interface 105.

制御回路101は、マイクロプロセッサ及びその周辺回路からなる。制御回路101は、制御プログラムに基づいて、プロジェクタ内各部から入力される信号を用いて所定の演算を行う。そして、制御回路101は、演算結果を制御信号としてプロジェクタ内各部に送出し、プロジェクタ1の投影動作および撮影動作を制御する。なお、制御プログラムは制御回路101内の不図示のROMに格納される。   The control circuit 101 includes a microprocessor and its peripheral circuits. Based on the control program, the control circuit 101 performs a predetermined calculation using signals input from each part in the projector. Then, the control circuit 101 sends the calculation result to each part in the projector as a control signal, and controls the projection operation and the photographing operation of the projector 1. The control program is stored in a ROM (not shown) in the control circuit 101.

制御回路101は画像処理部101Aを有する。画像処理部101Aでは、外部インターフェイス104を介して取得した画像データまたはメモリカード150より取得した画像データに対して画像処理を行う。画像処理部101Aで行う画像処理の詳細については後述する。   The control circuit 101 includes an image processing unit 101A. The image processing unit 101A performs image processing on image data acquired via the external interface 104 or image data acquired from the memory card 150. Details of the image processing performed by the image processing unit 101A will be described later.

メモリ102は制御回路101の作業用メモリとして使用される。操作部103はボタンやスイッチなどで構成され、操作されたボタンやスイッチに対応する操作信号を制御回路101へ送出する。メモリカード150は、制御回路101の指示によりデータの書き込み、保存および読み出しが可能である。   The memory 102 is used as a working memory for the control circuit 101. The operation unit 103 includes buttons and switches, and sends operation signals corresponding to the operated buttons and switches to the control circuit 101. The memory card 150 can write, store, and read data according to instructions from the control circuit 101.

投射ユニット110は、投影光学系111、液晶パネル112、LED光源113、および投射制御回路114を含む。LED光源113は、供給電流に応じた明るさで液晶パネル112を照明する。液晶パネル112は、投射制御回路114からの駆動信号に応じて光像を生成する。投影光学系111は、液晶パネル112から射出される光像を投射する。投射制御回路114は、制御回路101からの指示により、LED光源113および液晶パネル112へ制御信号を送出する。   The projection unit 110 includes a projection optical system 111, a liquid crystal panel 112, an LED light source 113, and a projection control circuit 114. The LED light source 113 illuminates the liquid crystal panel 112 with brightness according to the supply current. The liquid crystal panel 112 generates a light image according to the drive signal from the projection control circuit 114. The projection optical system 111 projects a light image emitted from the liquid crystal panel 112. The projection control circuit 114 sends a control signal to the LED light source 113 and the liquid crystal panel 112 according to an instruction from the control circuit 101.

投射ユニット110は、メモリカード150内に保存されている画像データの他、外部インターフェイス回路104を介して外部機器から供給される画像データによる画像を投影可能に構成され、制御回路101から指示された画像を投影する。メモリカード150内に保存されている画像データの画像、または、外部インターフェイス回路104を介して外部機器から供給される画像データの画像を、以下、投影原画像と呼ぶ。   The projection unit 110 is configured to be able to project an image based on image data supplied from an external device via the external interface circuit 104 in addition to the image data stored in the memory card 150, and is instructed by the control circuit 101. Project an image. The image data image stored in the memory card 150 or the image data image supplied from the external device via the external interface circuit 104 is hereinafter referred to as a projection original image.

撮像ユニット120は撮像光学系121、撮像素子122および撮像制御回路123を有し、制御回路101からの指示に応じて投影面を撮像する。撮像光学系121は、撮像素子122の撮像面上に被写体像を結像させる。撮像素子122として、CCDやCMOS撮像素子などを用いる。撮像制御回路123は、制御回路101からの指示により撮像素子122を駆動制御するとともに、撮像素子122から出力される画像信号に対して所定の信号処理を行う。   The imaging unit 120 includes an imaging optical system 121, an imaging element 122, and an imaging control circuit 123, and images the projection plane in response to an instruction from the control circuit 101. The imaging optical system 121 forms a subject image on the imaging surface of the imaging element 122. As the image sensor 122, a CCD, a CMOS image sensor, or the like is used. The imaging control circuit 123 drives and controls the imaging element 122 according to an instruction from the control circuit 101 and performs predetermined signal processing on the image signal output from the imaging element 122.

制御回路101の画像処理部101Aで行われる画像処理を説明する。本発明の実施形態の画像処理では、投影原画像を投影面に投射したときに投影面の模様や汚れが目立たなくなるように色補正を行う。この色補正は、撮像ユニット120により撮影した投影面の画像に基づいて行う。画像処理部101Aは、投影画像のあおりや歪に対する補正も行う。投影画像のあおりや歪は、投射光学系111の光軸と撮像光学系121の光軸とが一致していないこと、あるいは、投影光学系111の光軸が投影面に対して垂直でないことにより起こる。本発明の実施形態の画像処理は、上述の色補正に特徴を有するので、色補正について主に説明する。   Image processing performed by the image processing unit 101A of the control circuit 101 will be described. In the image processing according to the embodiment of the present invention, color correction is performed so that the pattern and dirt on the projection surface are not noticeable when the projection original image is projected onto the projection surface. This color correction is performed based on the image of the projection plane captured by the imaging unit 120. The image processing unit 101A also corrects the tilt and distortion of the projected image. The tilt or distortion of the projected image is due to the fact that the optical axis of the projection optical system 111 does not coincide with the optical axis of the imaging optical system 121 or that the optical axis of the projection optical system 111 is not perpendicular to the projection plane. Occur. Since the image processing according to the embodiment of the present invention is characterized by the above-described color correction, the color correction will be mainly described.

図3を参照して、画像処理を行った投影画像を投影して視認される投影画像について説明する。投影面30には、シミ31が付着しているものとして説明する。投影面30にシミ31のような輝度が極端に暗い部分が存在する場合、図3(a)に示すように、シミ31を囲う囲い枠32が表示されたり、シミ31を指示する矢印33が表示されたりして、警告表示が行われる。この警告表示により、ユーザは、シミ31がホワイトボードの消し忘れの場合、シミ31を消すようにすることができる。シミ31を消せない場合、別の場所を投影面とすることができる。その結果、図3(b)に示すように、投影面30に投影された投影画像34は、視認性が良好になる。一方、シミ31を消したり、別の場所を投影面としたりしない場合、シミ31が目立たなくなるように投影原画像の画像処理が行われる。その結果、図3(c)に示すように、投影画像35のダイナミックレンジは非常に狭くなり、投影画像35の視認性が非常に悪くなる。   With reference to FIG. 3, a projected image that is visually recognized by projecting a projected image that has undergone image processing will be described. A description will be given assuming that a stain 31 is attached to the projection surface 30. When there is an extremely dark portion such as a spot 31 on the projection surface 30, as shown in FIG. 3A, an enclosing frame 32 surrounding the spot 31 is displayed, or an arrow 33 indicating the spot 31 is displayed. Or a warning is displayed. This warning display allows the user to turn off the stain 31 when the stain 31 forgets to turn off the whiteboard. If the spot 31 cannot be erased, another place can be used as the projection plane. As a result, as shown in FIG. 3B, the projected image 34 projected onto the projection plane 30 has good visibility. On the other hand, when the stain 31 is not erased or another place is not used as a projection plane, image processing of the projection original image is performed so that the stain 31 is not noticeable. As a result, as shown in FIG. 3C, the dynamic range of the projection image 35 becomes very narrow, and the visibility of the projection image 35 becomes very poor.

図4のフローチャートを参照して、本発明の実施形態における画像処理について説明する。図4の処理は、プロジェクタ1が、投影を開始するための処理を開始するとスタートするプログラムにより制御回路101において実行される。   Image processing in the embodiment of the present invention will be described with reference to the flowchart of FIG. The processing in FIG. 4 is executed in the control circuit 101 by a program that starts when the projector 1 starts processing for starting projection.

ステップS1では、投影原画像の幾何補正を行うための幾何補正係数を算出する。幾何補正とは、投射ユニット110の光学系光軸と、撮像ユニット120の光学系光軸とが一致していないことによる投影画像の歪や、投射ユニット110の光学系光軸が投射面に対して垂直でないことに起因する投影画像のあおり、歪などを解消するための補正である。幾何補正係数の算出方法は従来技術であるので、説明を省略する。   In step S1, a geometric correction coefficient for performing geometric correction of the projection original image is calculated. Geometric correction refers to distortion of a projected image caused by the optical system optical axis of the projection unit 110 and the optical system optical axis of the imaging unit 120 not matching, or the optical system optical axis of the projection unit 110 with respect to the projection surface. This is a correction for eliminating tilt, distortion, etc. of the projected image due to non-verticality. Since the calculation method of the geometric correction coefficient is a conventional technique, the description thereof is omitted.

ここで、制御回路101の画像処理部101Aは、投影原画像の画像数がプロジェクタ1の解像度に一致するように補間処理を行う。さらに、画像処理部101Aは、撮像ユニット120により撮影された画像を、プロジェクタ1の解像度と一致するように補間処理を行う。この補間処理を行った撮影画像を使用して上述の補間処理を行った投影原画像を以下のように補正し、補正した画像を投影するものとする。投影画像の画素と撮影画像の画素との間の対応関係を明確にし、処理速度を速くするためである。   Here, the image processing unit 101 </ b> A of the control circuit 101 performs an interpolation process so that the number of projected original images matches the resolution of the projector 1. Furthermore, the image processing unit 101A performs an interpolation process on the image captured by the imaging unit 120 so as to match the resolution of the projector 1. It is assumed that the projection original image subjected to the above-described interpolation processing is corrected as follows using the captured image subjected to this interpolation processing, and the corrected image is projected. This is to clarify the correspondence between the pixels of the projected image and the pixels of the captured image and increase the processing speed.

ステップS2では、投射ユニット110の投影特性の算出を行う。投影特性とは、入力画像の画素値(R,G,B)と、投影面で再現される投影画像の測色値(X,Y,Z)との間の関係を示す特性である。測色値は、投射ユニット110の照明ムラ、投影面の色や模様、周囲照明による投影面の明るさに影響を受ける。そこで、投射ユニット110から、既知の画素値(R,G,B)で表される所定の投影画像(後述するように、黒画像、R画像、G画像、B画像)をそれぞれ投影して投影面上の投影画像を撮影ユニット120で撮影する。撮影した画像から測色値(X,Y,Z)を検出して投影特性を算出する。そして、投影特性に基づいて算出される補正係数により入力画像を補正して投影するようにする。その結果、投影画像は投射ユニット110の照明ムラ、投影面の色や模様、周囲照明による投影面の明るさに影響を受けることがない。これにより、ユーザは入力画像の見た目が近くなるより表現された投影画像を鑑賞することができる。投影特性の具体的な処理については後述する。   In step S2, the projection characteristics of the projection unit 110 are calculated. The projection characteristics are characteristics indicating the relationship between the pixel values (R, G, B) of the input image and the colorimetric values (X, Y, Z) of the projection image reproduced on the projection plane. The colorimetric value is affected by illumination unevenness of the projection unit 110, the color and pattern of the projection surface, and the brightness of the projection surface by ambient illumination. Therefore, the projection unit 110 projects and projects a predetermined projection image (a black image, an R image, a G image, and a B image as described later) represented by known pixel values (R, G, B). The projected image on the surface is captured by the imaging unit 120. Colorimetric values (X, Y, Z) are detected from the photographed image to calculate projection characteristics. Then, the input image is corrected and projected by a correction coefficient calculated based on the projection characteristics. As a result, the projection image is not affected by the illumination unevenness of the projection unit 110, the color and pattern of the projection surface, and the brightness of the projection surface by ambient illumination. As a result, the user can appreciate the projected image that is expressed more closely than the appearance of the input image. Specific processing of the projection characteristics will be described later.

ステップS3では、投影面を解析する。投射ユニット110から投影面に対し白画像を投射し、投射した投影面を撮影ユニット120で撮影する。撮影した画像を解析し、輝度が極端に暗い部分を、警告表示する領域として抽出する。具体的な処理については後述する。   In step S3, the projection plane is analyzed. A white image is projected from the projection unit 110 onto the projection plane, and the projected projection plane is photographed by the photographing unit 120. The photographed image is analyzed, and the extremely dark portion is extracted as a warning display area. Specific processing will be described later.

ステップS4では、投影面に輝度が極端に暗い部分があるか否かを判定する。投影面に輝度が極端に暗い部分がある場合はステップS4が肯定判定され、ステップS10に進む。投影面に輝度が極端に暗い部分がない場合はステップS4が否定判定され、ステップS5に進む。   In step S4, it is determined whether or not there is an extremely dark portion on the projection surface. If there is an extremely dark portion on the projection surface, an affirmative determination is made in step S4, and the process proceeds to step S10. If there is no extremely dark portion on the projection surface, a negative determination is made in step S4, and the process proceeds to step S5.

ステップS5では、投影画像の補正係数を算出する。すなわち、ステップS2で得られた投影特性を用いて、投影面の状態や周囲照明環境等に影響されることなく投影画像が入力画像(投影原画像)を再現するように、入力画像に施す補正係数を算出する。投射ユニット110から投影された投影画像を撮影ユニット120で撮影し、撮影した画像を解析して投影画像の補正係数を算出する。この補正係数が投影原画像の補正量となる。この処理の詳細についても後述する。   In step S5, a correction coefficient for the projected image is calculated. In other words, using the projection characteristics obtained in step S2, correction to be performed on the input image so that the projection image reproduces the input image (projected original image) without being affected by the state of the projection surface or the ambient illumination environment. Calculate the coefficient. A projection image projected from the projection unit 110 is photographed by the photographing unit 120, and the photographed image is analyzed to calculate a correction coefficient of the projection image. This correction coefficient becomes the correction amount of the projection original image. Details of this processing will also be described later.

ステップS6では、投影原画像の画像データを、外部インターフェイス回路104を介して、またはメモリカード150より読み込み、メモリ102に記憶する。ステップS7では、ステップS5で算出した補正係数で、ステップS6で読み込んだ投影原画像データを補正する。ステップS8では、ステップS7で補正した投影原画像データをアナログ変換し、投影画像を投影する。   In step S <b> 6, the image data of the projection original image is read from the external interface circuit 104 or from the memory card 150 and stored in the memory 102. In step S7, the projection original image data read in step S6 is corrected with the correction coefficient calculated in step S5. In step S8, the projection original image data corrected in step S7 is converted to analog, and a projection image is projected.

ステップS9では、次に投影する投影原画像データがあるか否かを判定する。次に投影する投影原画像データがある場合はステップS9が肯定判定され、ステップS6に戻る。次に投影する投影原画像データがない場合はステップS9が否定判定され、処理を終了する。   In step S9, it is determined whether there is projection original image data to be projected next. If there is projection original image data to be projected next, an affirmative determination is made in step S9, and the process returns to step S6. If there is no projection original image data to be projected next, a negative determination is made in step S9, and the process ends.

ステップS10では、ステップS3で抽出した領域を囲む囲い枠や、抽出した領域を指示する矢印表示したりすることによって警告表示を行う。   In step S10, a warning is displayed by displaying an enclosing frame surrounding the area extracted in step S3 or an arrow indicating the extracted area.

ステップS11では、ユーザ補正の有無の判定を行う。ユーザは、ステップS4で警告表示された輝度の暗い部分を投影面から除去する対応をとると、操作部103を操作して、輝度の暗い部分を除去したことをプロジェクタ1に入力する。これにより、制御回路101は、ユーザ補正の有無を判定することができる。投影面の輝度が極端に暗い部分を投影面から除去する対応としては、上述したように、輝度が極端に暗い部分がホワイトボードの消し忘れの場合はその消し忘れを消し、輝度が極端に暗い部分を消すことができない場合は別の場所を投影面とする。ユーザ補正有りの場合はステップS11が肯定判定され、ステップS1戻る。ユーザ補正無しの場合はステップS11が否定判定され、ステップS10に戻る。   In step S11, the presence / absence of user correction is determined. When the user takes a measure to remove the dark portion with the warning displayed in step S4 from the projection surface, the user operates the operation unit 103 to input to the projector 1 that the dark portion has been removed. Thereby, the control circuit 101 can determine the presence or absence of user correction. As described above, when the part with extremely low brightness on the projection surface is removed from the projection surface, if the part with extremely low brightness is forgotten to erase the whiteboard, the forgetting to erase is erased and the brightness is extremely dark. If the part cannot be erased, another place is set as the projection plane. If there is user correction, an affirmative decision is made in step S11 and the process returns to step S1. If there is no user correction, a negative determination is made in step S11, and the process returns to step S10.

次に、ステップS2、S3、S5について、さらに詳細に説明する。   Next, steps S2, S3, and S5 will be described in more detail.

−投影特性の算出−
ステップS2で行う投影特性の算出について説明する。
i番目の画素値が(R,G,B)で与えられる入力画像データにより投影画像を生成して投射ユニット110で投影したとき、i番目の画素値に対応する投影面の測色値(X,Y,Z)は以下の(1)式で表される。

Figure 0005141259
ただし、
Figure 0005141259
-Calculation of projection characteristics-
The calculation of the projection characteristics performed in step S2 will be described.
When a projection image is generated from the input image data whose i-th pixel value is given by (R, G, B) i and projected by the projection unit 110, the colorimetric values (i.e., colorimetric values of the projection plane corresponding to the i-th pixel value) X, Y, Z) i is expressed by the following equation (1).
Figure 0005141259
However,
Figure 0005141259

ここで、γは投射ユニット110の階調特性を表す。Mpiは、投射ユニット110の画素値(Rγ,Gγ,Bγから投射ユニット110の照明の測色値へ変換する色変換マトリックスを表す。(Xkp,Ykp,Zkpは、投射ユニット110で黒画像を投影した時の周囲照明も含めた投影面の照明条件を表す。R*は、投影面の反射率特性を表す。 Here, γ represents the gradation characteristic of the projection unit 110. M pi represents a color conversion matrix for converting the pixel values (R γ , G γ , B γ ) i of the projection unit 110 into the colorimetric values of the illumination of the projection unit 110. (X kp , Y kp , Z kp ) i represents the illumination condition of the projection plane including ambient illumination when a black image is projected by the projection unit 110. R * i represents the reflectance characteristic of the projection surface.

なお、添字iは次の意味を有している。この実施の形態のプロジェクタでは、白画像や黒画像など既知の画像を投射して投影面を撮像し、その撮像画像に基づいて、投影面の模様などによる反射率のムラだけではなく、投射ユニット110の照明ムラ、周囲照明や黒点の面内ムラも合わせて補正する。したがって、投影面の各画素領域に異なる投影特性を表現するため、添え字iを使用する。   The subscript i has the following meaning. In the projector according to this embodiment, the projection surface is imaged by projecting a known image such as a white image or a black image, and based on the captured image, not only the unevenness of the reflectance due to the pattern of the projection surface, but also the projection unit 110 illumination unevenness, ambient illumination and in-plane unevenness of black spots are also corrected. Therefore, the subscript i is used to express different projection characteristics for each pixel area on the projection plane.

(1)式において、(X,Y,Z)は、黒画像((R,G,B)=(0,0,0))を投影した時の投影面撮影画像に基づいて決定する。なお、投影面上の投影画像の測色値は、撮影画像の画素値から予め決まった色変換処理を用いることで算出できる。すなわち、撮影画像のプロファイルがsRGBであれば、画素値に対して通常のsRGB変換処理を適用して(X,Y,Zを決定することができる。 In the equation (1), (X k , Y k , Z k ) is based on a projection plane photographed image when a black image ((R, G, B) i = (0, 0, 0) i ) is projected. To decide. Note that the colorimetric value of the projected image on the projection plane can be calculated by using a color conversion process determined in advance from the pixel value of the captured image. That is, if the profile of the captured image is sRGB, (X k , Y k , Z k ) i can be determined by applying normal sRGB conversion processing to the pixel values.

同様に、R画像((R,G,B)=(255,0,0))、G画像((R,G,B)=(0,255,0))、およびB画像((R,G,B)=(0,0,255))をそれぞれ投影した投影面を撮影した各撮影画像から、色変換マトリックスMの3×3のマトリックス係数を決定する。具体的には、R画像、G画像およびB画像をそれぞれ投影した投影面の撮像画像(以下、投影撮影画像と呼ぶ)の測色値をそれぞれ、(X,Y,Z)、(X,Y,Z)および(X,Y,Z)とすると、色変換マトリックスMは以下の(3)式で表される。

Figure 0005141259
Similarly, an R image ((R, G, B) i = (255, 0, 0) i ), a G image ((R, G, B) i = (0, 255, 0) i ), and a B image A 3 × 3 matrix coefficient of the color conversion matrix M i is determined from each captured image obtained by capturing the projection plane on which ((R, G, B) i = (0, 0, 255) i ) is projected. Specifically, the colorimetric values of the captured images (hereinafter referred to as projected captured images) on which the R image, G image, and B image are projected are respectively (X r , Y r , Z r ), ( If X g , Y g , Z g ) and (X b , Y b , Z b ), the color conversion matrix M i is expressed by the following equation (3).
Figure 0005141259

−投影面の解析−
ステップS3で行う投影面の解析について説明する。
投影面にムラ(以後、投影面の反射率のムラや照明ムラを含めて、単に「ムラ」と表現する)や模様がある場合、投影面を撮影して得た撮像画像の画素値は均一ではなく、ムラや模様に応じた画素値となる。換言すると、各画素で最大表示可能な色域は変化する。この実施の形態では、まずこの最大表示可能な色域範囲を決定する。投影面での輝度Yは、(1)式より、

Figure 0005141259
-Analysis of projection plane-
The projection plane analysis performed in step S3 will be described.
If the projection surface has unevenness (hereinafter simply referred to as “unevenness”, including unevenness in the reflectance of the projection surface or illumination unevenness) or a pattern, the pixel values of the captured image obtained by photographing the projection surface are uniform. Instead, the pixel values correspond to the unevenness and the pattern. In other words, the maximum displayable color gamut varies with each pixel. In this embodiment, first, the maximum displayable color gamut range is determined. The luminance Y i on the projection plane is calculated from the equation (1):
Figure 0005141259

したがって、表示可能な輝度範囲は、(4)式において、0≦R,G,B≦255の範囲でR、G、Bの値を振ったときにYがとり得る値の範囲で決まる。通常、Y,Y,Y>Yであるから各画素の表示可能な輝度範囲は、白画像((R,G,B)=(255,255,255))を投影したときの表示輝度を表示可能な最大輝度をYMAX,i、黒画像を投影したときの表示輝度を表示可能な最小輝度YMIN,iとして求めることができる。 Therefore, displayable brightness range, (4) In the equation, 0 ≦ R i, Y i can take when shaken R i, G i, the value of B i in G i, a range of B i ≦ 255 Determined by the range of values. Usually, Y r, Y g, since a Y b> Y k, displayable intensity range of each pixel is a white image ((R, G, B) i = (255,255,255) i) a projection The maximum displayable luminance can be obtained as YMAX, i , and the display luminance when a black image is projected can be obtained as the minimum displayable luminance YMIN, i .

たとえば、投影面の模様が図3(a)のように白色面に一部暗い部分がある場合、YMAX,iおよびYMIN,iのヒストグラムを投影面内で算出すると、図5(a)および図5(b)のヒストグラムになる。 For example, when the pattern of the projection surface is partially dark on the white surface as shown in FIG. 3A , the histograms of Y MAX, i and Y MIN, i are calculated in the projection surface, as shown in FIG. And the histogram of FIG.

ここで、投影面のムラや模様が消えるように投影原画像を補正すると、投影後の画像の最大輝度YMAXをMIN(YMAX,i)、最小輝度YMINをMAX(YMIN,i)になるように補正する必要がある。しかし、この場合、ダイナミックレンジが非常に狭くなり、補正後の投影画像の視認性が悪くなる(図3(c)参照)。 Here, when the projection original image is corrected so that the unevenness and the pattern on the projection surface disappear, the maximum luminance Y MAX of the image after projection is MIN (Y MAX, i ), and the minimum luminance Y MIN is MAX (Y MIN, i ). It is necessary to correct so that However, in this case, the dynamic range becomes very narrow, and the visibility of the projected image after correction is deteriorated (see FIG. 3C).

そこで、投影面の輝度が、予め定めた最大輝度の閾値Ythより低い領域を警告表示領域として抽出する。最大輝度の閾値Ythは、画像によらず予め定めた値(白の輝度値Y=1.0に対し、たとえば、Yth=0.2など)でもよいし、図5(a)のヒストグラムで輝度の低い方から数えて所定割合以上の画素数となる輝度値を用いたり、投影面投影画像面内の最大輝度YMAX=MAX(YMAX,i)の所定割合(たとえば20%など)として決定したりしてもよい。 Therefore, an area where the brightness of the projection surface is lower than a predetermined maximum brightness threshold Yth is extracted as a warning display area. The maximum brightness threshold Y th may be a predetermined value (for example, Y th = 0.2 for white brightness value Y = 1.0) regardless of the image, or the histogram of FIG. In this case, a luminance value that is equal to or greater than a predetermined ratio counted from the lower luminance is used, or a predetermined ratio (for example, 20%) of the maximum luminance Y MAX = MAX (Y MAX, i ) in the projection plane projection image plane. Or may be determined as

−投影画像補正係数の算出−
ステップS5で行う投影画像補正係数の算出について説明する。
投影原画像の色空間がsRGBとすれば、投影原画像の画素値(R,G,B)に対して、補正後の投射ユニット110への入力画素値(R,G,B)を以下の式で算出できる。

Figure 0005141259
-Calculation of projection image correction coefficient-
The calculation of the projection image correction coefficient performed in step S5 will be described.
If the color space of the projection original image is sRGB, the input pixel value (R, G, B) to the projection unit 110 after correction is applied to the pixel value (R 0 , G 0 , B 0 ) of the projection original image. i can be calculated by the following equation.
Figure 0005141259

ステップS2で算出したM、(X,Y,ZおよびステップS3で算出したYMAXを用いて、(5)式により投影原画像の補正を行うための補正係数を算出する。なお、投影面に黒画像を投影したときの輝度YMIN,i=YMINとなる画素位置iの画素値を投影画像の黒点(Xk0,Yk0,Zk0)とする。 Using M i , (X k , Y k , Z k ) i calculated in step S2 and Y MAX calculated in step S3, a correction coefficient for correcting the projection original image is calculated according to equation (5). . Note that the pixel value at the pixel position i where the luminance Y MIN, i = Y MIN when a black image is projected onto the projection plane is the black point (X k0 , Y k0 , Z k0 ) of the projected image.

sRGB→XYZは、予め規格で決まっているsRGBからXYZへの変換マトリックスである。簡単のため、sRGBのγ=2.2として記述したが、規格どおり線形関数とγ=2.4の組み合わせで算出してもよい。 M sRGB → XYZ is a conversion matrix from sRGB to XYZ determined in advance by the standard. For simplicity, sRGB is described as γ = 2.2, but may be calculated by a combination of a linear function and γ = 2.4 as standard.

なお、ステップS10で警告表示をした後、ステップS11に進み、ユーザ補正があった場合ステップS11が肯定判定され、ステップS1に戻ると説明したが、ステップS10で警告表示をした後、ステップS1に戻るようにしてもよい。投影面に輝度の極端に暗い部分がある場合、プロジェクタ1の電源が入ってから、投影原画像の信号入力がされるまでの間、制御回路101は、ステップS1からステップS4、ステップS10を繰り返す。しかし、ユーザの対応などにより投影面に輝度の極端に暗い部分がなくなった場合、処理は、ステップS4からステップS5へ進み、プロジェクタ1は自動的に投影を開始するようになる。この場合、ユーザは、操作部103を通じてユーザ補正を行ったことを入力する必要がないので、ユーザに対する利便性が向上する。   Note that after displaying a warning in step S10, the process proceeds to step S11. If there is a user correction, step S11 is affirmatively determined and the process returns to step S1, but after displaying a warning in step S10, the process proceeds to step S1. You may make it return. If there is an extremely dark portion on the projection surface, the control circuit 101 repeats Steps S1 to S4 and Step S10 from when the projector 1 is turned on until the projection original image signal is input. . However, when there is no part with extremely dark brightness on the projection surface due to the user's response or the like, the process proceeds from step S4 to step S5, and the projector 1 automatically starts projection. In this case, since the user does not need to input that user correction has been performed through the operation unit 103, convenience for the user is improved.

以上説明した実施形態によれば、次の作用効果が得られる。
投影面に輝度が暗い部分が存在する場合、輝度が暗い部分が存在すること、およびその輝度の暗い部分を報知する警告表示を投影面に表示するようにした。これにより、ユーザは、投影面から輝度が暗い部分を除去する対応をとることができ、輝度が暗い部分の影響で投影画像全体のダイナミックレンジが極端に狭く補正されてしまうことを防止することができる。
According to the embodiment described above, the following operational effects can be obtained.
When there is a dark portion on the projection surface, a warning portion is displayed on the projection surface to notify that there is a dark portion and a dark portion. As a result, the user can take a countermeasure to remove the dark portion from the projection surface, and the dynamic range of the entire projected image can be prevented from being extremely narrowly corrected due to the dark portion. it can.

ユーザの投影面から輝度が暗い部分を除去する対応としては、警告表示された部分がホワイトボードの消し忘れの場合であれば、その消し忘れを消すことができる。また、警告表示された暗い部分を消すことができない場合は、その暗い部分から投影面をずらすことができる。   As a countermeasure for removing the dark portion from the projection surface of the user, if the warning-displayed portion is forgotten to erase the whiteboard, the forgetting to erase can be erased. In addition, when the dark part displayed with the warning cannot be erased, the projection plane can be shifted from the dark part.

ユーザが、投影面から輝度が暗い部分を除去することにより、投影画像全体のダイナミックレンジが極端に狭く補正されてしまうことを防止することができるのは、以下の理由による。図3(a)に示す投影面30(白画像投影時の輝度分布が図5(a)、黒画像投影時の輝度分布が図5(b))に画像を投影する場合、投影面の模様が目立たないように補正しようとすると投影画像の輝度の再現範囲は最大輝度YMAX=MIN(YMAX,i)=Y2から最小輝度YMIN=MAX(YMIN,i)=Y3となり、ダイナミックレンジが狭くなる。しかし、図3(a)の右上の暗い領域31がユーザ補正により投影面30から除去できた場合、白画像投影時の輝度分布は図5(a)から図5(c)にように改善され、再現可能な輝度範囲を最大輝度YMAX=MIN(YMAX,i)=Y1から最小輝度YMIN=MAX(YMIN,i)=Y3のように広くできる。すなわち、輝度が低く補正困難な領域31がある投影面30に対し、補正困難領域31を簡単に抽出・警告32,33することにより、不要な過剰補正をなくして投影画像34の再現性を改善することができる。 The reason why the user can prevent the dynamic range of the entire projected image from being corrected to be extremely narrow by removing the dark portion from the projection surface is as follows. When an image is projected onto the projection plane 30 shown in FIG. 3A (the luminance distribution when projecting a white image is FIG. 5A and the luminance distribution when projecting a black image is FIG. 5B), the pattern of the projection plane is shown. If the correction is made so as to make it inconspicuous, the luminance reproduction range of the projected image is changed from the maximum luminance Y MAX = MIN (Y MAX, i ) = Y2 to the minimum luminance Y MIN = MAX (Y MIN, i ) = Y3, and the dynamic range Becomes narrower. However, when the dark area 31 in the upper right of FIG. 3A can be removed from the projection plane 30 by user correction, the luminance distribution during white image projection is improved from FIG. 5A to FIG. 5C. The reproducible luminance range can be expanded from the maximum luminance Y MAX = MIN (Y MAX, i ) = Y1 to the minimum luminance Y MIN = MAX (Y MIN, i ) = Y3. In other words, the reproducibility of the projected image 34 is improved by eliminating unnecessary overcorrection by simply extracting and warning 32 and 33 the correction difficult region 31 with respect to the projection surface 30 having the low brightness and difficult correction region 31. can do.

−第2の実施の形態−
第1の実施の形態では、ユーザが投影面の輝度が極端に暗い部分を投影面から除去する対応をとった。しかし、第2の実施の形態では、プロジェクタが投射ユニット110で投射した投影画面の投影サイズを小さくすることによって、投影面の輝度が極端に暗い部分を投影面から除去する。これにより、投影面の輝度が極端に暗い部分を投影面から除去する対応が自動化され、プロジェクタ1の利便性が向上する。たとえば、図6(a)に示すように、投影面30に、シミ31が付着している場合、図6(b)に示すように、シミ31に重ならないように投影画像36の投影サイズを小さくする。これにより、シミ31を考慮した投影画像のダイナミックレンジは非常に狭くなるような投影原画像の補正が行われないので、投影画像の視認性が悪くなるのを防止できる。
-Second Embodiment-
In the first embodiment, the user has taken a measure of removing a portion where the brightness of the projection surface is extremely dark from the projection surface. However, in the second embodiment, by reducing the projection size of the projection screen projected by the projection unit 110 by the projector, a portion where the brightness of the projection plane is extremely dark is removed from the projection plane. This automates the process of removing the extremely dark portion of the projection surface from the projection surface, and improves the convenience of the projector 1. For example, as shown in FIG. 6A, when a spot 31 is attached to the projection surface 30, the projection size of the projection image 36 is set so as not to overlap the spot 31 as shown in FIG. Make it smaller. Thereby, since the projection original image is not corrected so that the dynamic range of the projection image in consideration of the spot 31 is very narrow, it is possible to prevent the visibility of the projection image from being deteriorated.

図7のフローチャートを参照して、投影画像の投影サイズを小さくする画像処理について説明する。図7の処理は、プロジェクタ1が、投影を開始するための処理を開始するとスタートするプログラムにより制御回路101において実行される。図4の処理と同じ処理には同じ符号を付し、図2の処理と異なる部分を主に説明する。   Image processing for reducing the projection size of the projection image will be described with reference to the flowchart of FIG. The processing in FIG. 7 is executed in the control circuit 101 by a program that starts when the projector 1 starts processing for starting projection. The same processes as those in FIG. 4 are denoted by the same reference numerals, and differences from the processes in FIG. 2 will be mainly described.

ステップS4が肯定判定されると、ステップS21へ進む。ステップS21では、投影画像の投影サイズを所定の割合だけ小さくする。そして、ステップS1に戻る。   If a positive determination is made in step S4, the process proceeds to step S21. In step S21, the projection size of the projection image is reduced by a predetermined ratio. Then, the process returns to step S1.

投影画像の投影サイズを所定のサイズまで小さくしても投影面の輝度が極端に暗い部分を投影面から除去することができない場合(たとえば、輝度が極端に暗い部分が投影面の中央付近にある場合)、本発明の実施形態のように、輝度が極端に暗い部分を警告表示し、投影面に輝度が極端に暗い部分が含まれないようにする対応をユーザにとらせるようにしてもよい。   Even if the projection size of the projection image is reduced to a predetermined size, the extremely dark part of the projection plane cannot be removed from the projection plane (for example, the extremely dark part is near the center of the projection plane) ), As in the embodiment of the present invention, a warning may be displayed for a portion with extremely low luminance, and the user may be allowed to take measures to prevent a portion with extremely low luminance from being included on the projection surface. .

−第3の実施の形態−
第1の実施の形態では、ユーザが投影面の輝度が極端に暗い部分を投影面から除去する対応をとった。しかし、第3の実施の形態では、プロジェクタが投射ユニット110で投射した投影画面の投影位置を移動するとともに投影画像の投影サイズを小さくすることによって、投影面の輝度が極端に暗い部分を投影面から除去する。これにより、投影面の輝度が極端に暗い部分を投影面から除去する対応が自動化され、プロジェクタ1の利便性が向上する。また、上述の第2の実施の形態に比べて、投影画面の投影サイズを大きくすることができる。たとえば、図8(a)に示すように、投影面30に、シミ31が付着している場合、図8(b)に示すように、シミ31に重ならないように投影画像37の投影位置を移動するとともに投影サイズを小さくする。これにより、投影画像のダイナミックレンジが非常に狭くなり、投影画像の視認性が悪くなるのを防止できる。この場合、プロジェクタ1は投影画像の移動について考慮しなくてはならないので、撮像ユニット120は投影面30より広域の領域(以下、広域投影領域と呼ぶ)40を撮影して、輝度が極端に暗い部分を検出する。
-Third embodiment-
In the first embodiment, the user has taken a measure of removing a portion where the brightness of the projection surface is extremely dark from the projection surface. However, in the third embodiment, by moving the projection position of the projection screen projected by the projection unit 110 by the projector and reducing the projection size of the projection image, a portion with an extremely dark brightness on the projection plane is projected. Remove from. This automates the process of removing the extremely dark portion of the projection surface from the projection surface, and improves the convenience of the projector 1. In addition, the projection size of the projection screen can be increased compared to the second embodiment described above. For example, as shown in FIG. 8A, when a spot 31 is attached to the projection surface 30, the projection position of the projection image 37 is set so as not to overlap the spot 31 as shown in FIG. Move and reduce projection size. Thereby, it is possible to prevent the dynamic range of the projection image from becoming very narrow and the visibility of the projection image from being deteriorated. In this case, since the projector 1 has to consider the movement of the projection image, the imaging unit 120 captures a wide area (hereinafter referred to as a wide area projection area) 40 from the projection surface 30 and the luminance is extremely dark. Detect part.

図9のフローチャートを参照して、投影画像の投影位置を移動するとともに投影サイズを小さくする画像処理について説明する。図9の処理は、プロジェクタ1が、投影を開始するための処理を開始するとスタートするプログラムにより制御回路101において実行される。図9の処理と同じ処理には同じ符号を付し、図9の処理と異なる部分を主に説明する。   With reference to the flowchart of FIG. 9, image processing for moving the projection position of the projection image and reducing the projection size will be described. The process of FIG. 9 is executed in the control circuit 101 by a program that starts when the projector 1 starts a process for starting projection. The same processes as those in FIG. 9 are denoted by the same reference numerals, and differences from the processes in FIG. 9 will be mainly described.

ステップS1の次にステップS31に進む。ステップS31では、広域投影領域における投影特性を算出する。投射ユニット110から投影された、通常より投影サイズが大きい投影画像、つまり広域投影領域におよぶ投影画像を、撮影ユニット120で撮影し、撮影した画像から測色値を検出して、広域投影領域における投影特性を算出する。   After step S1, the process proceeds to step S31. In step S31, the projection characteristics in the wide area projection area are calculated. A projection image that is projected from the projection unit 110 and has a larger projection size than usual, that is, a projection image that covers a wide-area projection area is captured by the imaging unit 120, and a colorimetric value is detected from the captured image. Projection characteristics are calculated.

ステップS32では、広域投影領域の解析を行う。投射ユニット110から広域投影領域に対し、白画像を投射し、投射した広域投影領域を撮影ユニット120で撮影する。撮影した画像を解析し、広域投影領域の中から輝度が極端に暗い部分を抽出する。   In step S32, the wide projection area is analyzed. A white image is projected from the projection unit 110 onto the wide projection area, and the projected wide projection area is photographed by the photographing unit 120. The photographed image is analyzed, and a portion with extremely dark luminance is extracted from the wide area projection area.

ステップS33では、投影画面に輝度が極端に暗い部分が含まれないような投影画面の投影位置と投影サイズとを決定する。具体的には、輝度が極端に暗い部分が含まれないように、広域投影領域の範囲内で、投影画面と同じ縦横比の矩形形状の位置および大きさを変えていく。そして、位置および大きさを変えた矩形形状の中で最も大きいものに投影画面の位置および大きさが一致するように、投影画像の投影位置と投影サイズとを決定する。そして、ステップS2に進む。   In step S33, the projection position and the projection size of the projection screen are determined such that the projection screen does not include an extremely dark portion. Specifically, the position and size of the rectangular shape having the same aspect ratio as that of the projection screen are changed within the wide projection area so as not to include an extremely dark portion. Then, the projection position and the projection size of the projection image are determined so that the position and size of the projection screen coincide with the largest rectangular shape whose position and size are changed. Then, the process proceeds to step S2.

投影画面に輝度が極端に暗い部分が含まれないように、投影画面の投影位置や投影サイズが決定されているので、ステップS3の次にステップS5に進む。   Since the projection position and the projection size of the projection screen are determined so that the projection screen does not include an extremely dark portion, the process proceeds to step S5 after step S3.

この場合も、投影画像の投影サイズを所定のサイズまで小さくしても投影面の輝度が極端に暗い部分を投影面から除去することができない場合、本発明の実施形態のように、輝度が極端に暗い部分を示す警告表示を行い、ユーザに対応をとらせるようにしてもよい。   Also in this case, when the projection surface of the projection image is reduced to a predetermined size and a portion where the brightness of the projection surface is extremely dark cannot be removed from the projection surface, the brightness is extremely low as in the embodiment of the present invention. A warning display indicating a dark part may be displayed on the screen to allow the user to take action.

以上の実施形態を次のように変形することができる。
(1)第1、第2の実施の形態のステップS3、および第3の実施の形態のステップS32では、輝度方向の補正を考慮して、白画像を投影した投影面を撮影し、その撮影した画像を解析し、輝度が極端に暗い部分を抽出した。しかし、R画像(全画素値、R=255、G=B=0)、G画像(全画素値、G=255、R=B=0)およびB画像(全画素値、B=255、R=G=0)のそれぞれの画像を投影し、それぞれの画像を投影した投影面を撮影した画像を解析し、輝度が極端に高い部分を抽出するようにしてもよい。これにより、彩度が高く、補正困難な領域がある投影面に対し、そのような補正困難な領域を簡単に抽出することができる。そして、彩度の補正が困難な領域から投影面を移動したりすることによって、彩度のダイナミックレンジが狭くなるような過剰補正をなくし、投影画像の再現性を改善することができる。
The above embodiment can be modified as follows.
(1) In step S3 of the first and second embodiments and step S32 of the third embodiment, a projection plane on which a white image is projected is photographed in consideration of correction of the luminance direction, and the photographing is performed. The image was analyzed and a part with extremely dark brightness was extracted. However, R image (all pixel values, R = 255, G = B = 0), G image (all pixel values, G = 255, R = B = 0) and B image (all pixel values, B = 255, R = G = 0), and an image obtained by photographing the projection plane on which each image is projected may be analyzed to extract a portion with extremely high luminance. As a result, it is possible to easily extract such a region that is difficult to correct for a projection surface that has a high saturation and a region that is difficult to correct. Then, by moving the projection surface from a region where saturation correction is difficult, overcorrection that narrows the dynamic range of saturation can be eliminated, and the reproducibility of the projected image can be improved.

(2)第1の実施の形態では、投影面に輝度が極端に暗い部分が存在すると、警告表示するようにした。しかし、輝度が極端に暗い部分の面積および/または位置を考慮して警告表示するようにしてもよい。輝度が極端に暗い部分の面積または位置によっては、投影画面に重なって見えても気にならない場合がある。そのような場合、警告表示を行って輝度が極端に暗い部分をユーザに除去させなくても、輝度が極端に暗い部分を無視して投影原画像の画像処理を行えば、投影画像のダイナミックレンジが狭くなりすぎることはないからである。 (2) In the first embodiment, a warning is displayed when there is an extremely dark portion on the projection surface. However, the warning display may be performed in consideration of the area and / or position of the extremely dark portion. Depending on the area or position of the extremely dark portion, there is a case where it does not matter even if it looks on the projection screen. In such a case, the dynamic range of the projected image can be obtained by performing image processing of the projected original image while ignoring the extremely dark portion without performing a warning display and letting the user remove the extremely dark portion. This is because it is never too narrow.

(3)第1〜3の実施形態のステップS3の閾値Ythを、投射ユニット110の特性(照明ムラ、欠陥などの許容範囲)や、補正方法(投影面の最も暗い部分まで目立たなくなるように投影原画像を補正するか、もしくは暗い部分の状況(大きさ、位置、量など)により補正量を緩和する処理が入っているか)などにより変更するようにしてもよい。 (3) The threshold value Yth in step S3 of the first to third embodiments is set so that the characteristics of the projection unit 110 (permissible range of illumination unevenness, defects, etc.) and the correction method (the darkest part of the projection surface are not noticeable). The projection original image may be corrected, or may be changed depending on the situation (size, position, amount, etc.) of the dark part.

(4)投影面の輝度が極端に暗い部分がある場合、投射ユニット110のLED光源113に供給する電力を大きくし、LED光源113の明るさを大きくするようにしてもよい。輝度の極端に暗い部分が目立たなくなるように投影原画像の画像処理を行うと、上述したように、投影画像のダイナミックレンジは狭くなる。しかし、このような場合であってもLED光源113の明るさを大きくすることによって、投影画像のダイナミックレンジを広くすることができ、投影画像の視認性を良好にすることができる。 (4) When there is an extremely dark portion on the projection surface, the power supplied to the LED light source 113 of the projection unit 110 may be increased to increase the brightness of the LED light source 113. When the image processing of the projection original image is performed so that the extremely dark part having the luminance is inconspicuous, the dynamic range of the projection image is narrowed as described above. However, even in such a case, by increasing the brightness of the LED light source 113, the dynamic range of the projected image can be widened, and the visibility of the projected image can be improved.

以上の説明はあくまで一例であり、本発明は上記実施形態の構成に何ら限定されるものではない。   The above description is merely an example, and the present invention is not limited to the configuration of the above embodiment.

本発明の一実施の形態によるプロジェクタの外観図である。1 is an external view of a projector according to an embodiment of the present invention. 本発明の実施形態におけるプロジェクタの構成を説明するブロック図である。It is a block diagram explaining the structure of the projector in embodiment of this invention. 本発明の第1の実施の形態における画像処理によって処理された投影画像を投影したときに視認される投影画像について説明する図である。It is a figure explaining the projection image visually recognized when the projection image processed by the image processing in the 1st Embodiment of this invention is projected. 本発明の第1の実施の形態における画像処理を説明するためのフローチャートである。It is a flowchart for demonstrating the image processing in the 1st Embodiment of this invention. 白画像投影時の輝度の分布を示す図である。It is a figure which shows distribution of the brightness | luminance at the time of white image projection. 本発明の第2の実施の形態における投影画面の投影サイズを小さくすることによって投影面の輝度が極端に暗い部分を投影面から除去する画像処理を説明するための図である。It is a figure for demonstrating the image processing which removes the part where the brightness | luminance of a projection surface is extremely dark from a projection surface by reducing the projection size of the projection screen in the 2nd Embodiment of this invention. 本発明の第2の実施の形態における投影画面の投影サイズを小さくすることによって投影面の輝度が極端に暗い部分を投影面から除去する画像処理を説明するためのフローチャートである。It is a flowchart for demonstrating the image process which removes the part where the brightness | luminance of a projection surface is extremely dark from a projection surface by reducing the projection size of the projection screen in the 2nd Embodiment of this invention. 本発明の第3の実施の形態における投影画像の投影位置を移動するとともに投影サイズを小さくすることによって投影面の輝度が極端に暗い部分を投影面から除去する画像処理を説明するための図である。FIG. 10 is a diagram for explaining image processing for removing a portion where the brightness of the projection surface is extremely dark from the projection surface by moving the projection position of the projection image and reducing the projection size in the third embodiment of the present invention. is there. 本発明の第3の実施の形態における投影画像の投影位置を移動するとともに投影サイズを小さくすることによって投影面の輝度が極端に暗い部分を投影面から除去する画像処理を説明するためのフローチャートである。FIG. 11 is a flowchart for explaining image processing for removing a portion where the brightness of the projection surface is extremely dark from the projection surface by moving the projection position of the projection image and reducing the projection size in the third embodiment of the present invention. is there.

符号の説明Explanation of symbols

1 プロジェクタ
30 投影面
31 投影面のシミ
34〜37 投影画像
101 制御回路
102 メモリ
103 操作部
104 外部インターフェイス
105 メモリカードインターフェイス
110 投射ユニット
120 撮像ユニット
DESCRIPTION OF SYMBOLS 1 Projector 30 Projection surface 31 Spot 34-37 of a projection surface Projected image 101 Control circuit 102 Memory 103 Operation part 104 External interface 105 Memory card interface 110 Projection unit 120 Imaging unit

Claims (6)

所定の投影画像が投影された投影面を撮影して得られる撮影画像を用いて、投影画像を補正する補正手段と、
前記補正手段によって補正された投影画像を投影する投影手段と、
前記撮影画像に基づいて、前記投影面の輝度が暗い部分、または前記投影面の彩度の高い部分を検出する検出手段と、
前記検出した投影面の輝度が暗い部分、または前記投影面の彩度の高い部分をユーザに報知する報知手段とを備えることを特徴とするプロジェクタ。
Correction means for correcting the projection image using a photographed image obtained by photographing the projection surface on which the predetermined projection image is projected;
Projection means for projecting the projection image corrected by the correction means;
Detecting means for detecting, on the basis of the captured image, a portion where the luminance of the projection surface is dark or a portion of the projection surface having high saturation;
A projector comprising: an informing means for informing a user of a dark portion of the detected projection surface or a highly saturated portion of the projection surface.
所定の投影画像が投影された投影面を撮影して得られる撮影画像を用いて、投影画像を補正する補正手段と、
前記補正手段によって補正された投影画像を投影する投影手段と、
前記撮影画像に基づいて、前記投影面の輝度が暗い部分、または前記投影面の彩度の高い部分を検出する検出手段と、
前記検出した投影面の輝度が暗い部分、または前記投影面の彩度の高い部分に前記投影画像が重畳しないように、前記投影面に投影する投影画像の大きさを制御する制御手段とを備えることを特徴とするプロジェクタ。
Correction means for correcting the projection image using a photographed image obtained by photographing the projection surface on which the predetermined projection image is projected;
Projection means for projecting the projection image corrected by the correction means;
Detecting means for detecting, on the basis of the photographed image, a portion where the luminance of the projection surface is dark or a portion where the saturation of the projection surface is high;
Control means for controlling the size of the projection image projected onto the projection plane so that the projection image is not superimposed on a portion where the brightness of the detected projection plane is dark or a portion with high saturation of the projection plane. A projector characterized by that.
所定の投影画像が投影された投影面を撮影して得られる撮影画像を用いて、投影画像を補正する補正手段と、
前記補正手段によって補正された投影画像を投影する投影手段と、
前記撮影画像に基づいて、前記投影面の輝度が暗い部分、または前記投影面の彩度の高い部分を検出する検出手段と、
前記検出した投影面の輝度が暗い部分、または前記投影面の彩度の高い部分に前記投影画像が重畳しないように、前記投影面に投影する投影画像の投影位置および大きさを制御する制御手段とを備えることを特徴とするプロジェクタ。
Correction means for correcting the projection image using a photographed image obtained by photographing the projection surface on which the predetermined projection image is projected;
Projection means for projecting the projection image corrected by the correction means;
Detecting means for detecting, on the basis of the captured image, a portion where the luminance of the projection surface is dark or a portion of the projection surface having high saturation;
Control means for controlling the projection position and size of the projection image projected on the projection plane so that the projection image is not superimposed on a portion where the luminance of the detected projection plane is dark or a portion with high saturation of the projection plane And a projector.
請求項2または3に記載のプロジェクタであって、
前記制御手段により前記投影画像の大きさを所定の大きさより小さくしても前記検出した投影面の輝度が暗い部分、または前記投影面の彩度の高い部分に、前記投影面に投影する投影画像が重畳する場合、前記検出した投影面の輝度が暗い部分、または前記投影面の彩度の高い部分をユーザに報知する報知手段とを備えることを特徴とするプロジェクタ。
The projector according to claim 2 or 3,
Even if the size of the projection image is made smaller than a predetermined size by the control means, the projection image is projected onto the projection surface on a portion where the brightness of the detected projection surface is dark or a portion where the saturation of the projection surface is high And a notifying means for notifying a user of a portion where the brightness of the detected projection surface is dark or a portion where the saturation of the projection surface is high.
請求項1または4に記載のプロジェクタにおいて、
前記暗い部分、または前記彩度の高い部分を投影面から除去したことをユーザが入力する入力手段を備え、
前記補正手段は、前記入力手段により前記暗い部分、または前記彩度の高い部分が投影面から除去されたことが入力されたとき、前記暗い部分または彩度の高い部分が除去された投影面を撮影して得られる撮影画像を用いて、投影画像を補正することを特徴とするプロジェクタ。
The projector according to claim 1 or 4,
An input means for a user to input that the dark part or the highly saturated part has been removed from the projection plane;
The correction means, when the input means inputs that the dark part or the high-saturation part has been removed from the projection surface, the correction part removes the dark part or the high-saturation part from the projection surface. A projector that corrects a projected image using a photographed image obtained by photographing.
所定の投影画像が投影された投影面を撮影して得られる撮影画像を用いて、投影画像を補正する補正手段と、
前記補正手段によって補正された投影画像を投影する投影手段と、
前記撮影画像に基づいて、前記投影面の輝度が暗い部分、または前記投影面の彩度の高い部分を検出する検出手段とを備え、
前記投影手段は、前記検出手段により前記投影面の輝度が暗い部分、または前記投影面の彩度の高い部分が検出されたとき、前記投影画像を投影する光源の明るさを明るくすることを特徴とするプロジェクタ。
Correction means for correcting the projection image using a photographed image obtained by photographing the projection surface on which the predetermined projection image is projected;
Projection means for projecting the projection image corrected by the correction means;
Detecting means for detecting a portion where the brightness of the projection surface is dark or a portion where the saturation of the projection surface is high based on the captured image;
The projection unit increases the brightness of a light source that projects the projection image when the detection unit detects a portion with low brightness on the projection surface or a portion with high saturation on the projection surface. Projector.
JP2008004218A 2008-01-11 2008-01-11 projector Active JP5141259B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008004218A JP5141259B2 (en) 2008-01-11 2008-01-11 projector
PCT/JP2009/050241 WO2009088080A1 (en) 2008-01-11 2009-01-09 Projector
US12/812,459 US8807762B2 (en) 2008-01-11 2009-01-09 Projector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008004218A JP5141259B2 (en) 2008-01-11 2008-01-11 projector

Publications (2)

Publication Number Publication Date
JP2009171010A JP2009171010A (en) 2009-07-30
JP5141259B2 true JP5141259B2 (en) 2013-02-13

Family

ID=40971754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008004218A Active JP5141259B2 (en) 2008-01-11 2008-01-11 projector

Country Status (1)

Country Link
JP (1) JP5141259B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012123282A (en) * 2010-12-10 2012-06-28 Nikon Corp Electronic apparatus
JP2013178400A (en) * 2012-02-28 2013-09-09 Ricoh Co Ltd Image projection device, image generation method, and program
JP6205755B2 (en) * 2013-03-07 2017-10-04 株式会社リコー Projector apparatus, projector system, projector control method, and projector control program
WO2019017023A1 (en) * 2017-07-19 2019-01-24 ソニー株式会社 Information processing device, information processing method, and program
JP7156803B2 (en) 2018-02-16 2022-10-19 Necプラットフォームズ株式会社 Video projector, video display method and video display program

Also Published As

Publication number Publication date
JP2009171010A (en) 2009-07-30

Similar Documents

Publication Publication Date Title
JP5772991B2 (en) Electronics
US8807762B2 (en) Projector
US8382289B2 (en) Projector apparatus and projection image correcting program product
US8659585B2 (en) Projector apparatus and projection image correcting program product
JP4770197B2 (en) Presentation control apparatus and program
JP4780104B2 (en) Image processing apparatus, image processing method, image processing program product, and imaging apparatus
JP4516503B2 (en) Imaging system and control method thereof
JP5141259B2 (en) projector
KR101169276B1 (en) A projector and A method of image revision
JP5205978B2 (en) projector
JP2006217277A (en) Imaging device
JP4588366B2 (en) Image display device
JP5152317B2 (en) Presentation control apparatus and program
JP5103984B2 (en) Image processing apparatus, imaging apparatus, and image processing program
JP5444720B2 (en) projector
JP2010004300A (en) Image processing method, image processing apparatus, image processing program, and printer
JP5211703B2 (en) projector
JP4654876B2 (en) Foreign object detection system
JP2006201548A (en) Device and method for projecting image
JP2007165946A (en) Apparatus and method of correcting object image
US20240129423A1 (en) Image processing method, image processing system, and non-transitory computer-readable storage medium storing program
JP6727917B2 (en) Projection device, electronic device, and image processing method
JP5187351B2 (en) Projector and projected image correction program
JP2010003091A (en) Object detection device, object detection method, object detection program and printer
JP2007194724A (en) Projection type display apparatus, written image extract method and program thereof, and computer-readable information recording medium with program recorded thereon

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121023

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121105

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5141259

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250