JP6330371B2 - Image projection apparatus and image projection method - Google Patents
Image projection apparatus and image projection method Download PDFInfo
- Publication number
- JP6330371B2 JP6330371B2 JP2014040158A JP2014040158A JP6330371B2 JP 6330371 B2 JP6330371 B2 JP 6330371B2 JP 2014040158 A JP2014040158 A JP 2014040158A JP 2014040158 A JP2014040158 A JP 2014040158A JP 6330371 B2 JP6330371 B2 JP 6330371B2
- Authority
- JP
- Japan
- Prior art keywords
- projection
- image
- marker
- unit
- minute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Video Image Reproduction Devices For Color Tv Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、被投影面上に投影画像を投影する画像投影装置等に関する。 The present invention relates to an image projection apparatus that projects a projection image on a projection surface.
従来から、複数の画像を重ねて明るさの改善や立体視表示を実現するものや、複数の部分画像を隣り合う周縁部で重ねることにより1つの画像を形成するもの等、複数台のプロジェクターを用いて画像を表示させる画像投影装置が知られている。このような画像投影装置において、画質を向上させるためには、各プロジェクターからの投影画像を高精度に位置合わせする必要がある。例えば、特許文献1には、投影画像を投影する前に測定用パターンをスクリーン等に投影及び撮影することで、位置合わせのための補正情報を算出する技術が開示されている。
Conventionally, a plurality of projectors, such as those that achieve brightness improvement and stereoscopic display by overlapping a plurality of images, and those that form a single image by overlapping a plurality of partial images at adjacent peripheral portions, etc. 2. Description of the Related Art Image projection apparatuses that use them to display images are known. In such an image projection apparatus, in order to improve the image quality, it is necessary to align the projection image from each projector with high accuracy. For example,
しかしながら、特許文献1のように事前に補正情報を算出する手法では、投影中に生じた投影位置のずれを補正することはできない。そのため、例えば比較的長時間の映像コンテンツの視聴時等では、事前に位置合わせをしたとしても、温度変化による光学素子等の特性変化により投影画像の投影中に投影位置のずれが生じ得るため画質の低下を招く場合があった。例えば、立体視表示などにおいては、1ドットの位置ずれであっても視聴者に画質の劣化を感じさせるおそれがあった。
However, with the method of calculating correction information in advance as in
本発明は、こうした事情に鑑みてなされたものであり、投影画像の投影位置のずれを補正するための補正情報をリアルタイムに算出可能とする技術を実現することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to realize a technique that enables correction information for correcting a shift in the projection position of a projection image to be calculated in real time.
以上の課題を解決するための第1の発明は、画像形成素子を有する第1投影部と画像形成素子を有する第2投影部とによって被投影面上に投影画像が重ねて投影される画像投影装置であって、前記第1投影部及び前記第2投影部に、前記投影画像の片隅に位置決めされた微小マーカー投影位置に微小マーカーを合成して投影させる微小マーカー投影制御部と、前記被投影面の片隅に位置決めされた微小マーカー被投影位置を撮影する撮影部と、前記撮影部による前記微小マーカー被投影位置の撮影画像に基づいて前記投影画像の投影位置のずれを補正するための補正情報を算出する補正情報算出部と、を備えた画像投影装置である。 According to a first aspect of the present invention, there is provided an image projection in which projection images are projected on a projection surface by a first projection unit having an image forming element and a second projection unit having an image forming element. A micro marker projection control unit that synthesizes and projects a micro marker on a micro marker projection position positioned at one corner of the projection image on the first projecting unit and the second projecting unit, and the projection target An imaging unit that captures the projection position of the minute marker positioned at one corner of the surface, and correction information for correcting a deviation in the projection position of the projection image based on the captured image of the projection position of the minute marker by the imaging unit And a correction information calculation unit that calculates
また、別形態として、画像形成素子を有する第1投影部と画像形成素子を有する第2投影部とによって被投影面上に投影画像が重ねて投影される画像投影方法であって、前記第1投影部及び前記第2投影部に、前記投影画像の片隅に位置決めされた微小マーカー投影位置に微小マーカーを合成して投影させることと、前記被投影面の片隅に位置決めされた微小マーカー被投影位置を撮影することと、前記微小マーカー被投影位置の撮影画像に基づいて前記投影画像の投影位置のずれを補正するための補正情報を算出することと、を含む画像投影方法を構成することとしてもよい。 According to another aspect, there is provided an image projecting method in which a projected image is projected onto a projection surface by a first projecting unit having an image forming element and a second projecting unit having an image forming element. The projection unit and the second projection unit synthesize and project the minute marker at the minute marker projection position positioned at one corner of the projection image, and the minute marker projection position positioned at one corner of the projection surface And calculating correction information for correcting a shift in the projection position of the projection image based on a photographed image at the projection position of the minute marker. Good.
第1の発明及び別形態によれば、投影画像の片隅に位置決めされた微小マーカー投影位置に微小マーカーを合成することによって被投影面に微小マーカーを投影させ、被投影面の片隅に位置決めされた微小マーカー被投影位置を撮影した撮影画像に基づいて投影画像の投影位置のずれを補正するための補正情報を算出することができる。これによれば、投影画像の投影中に、その投影位置のずれを補正するための補正情報をリアルタイムに算出することができる。 According to the first invention and another aspect, the micro marker is projected onto the projection surface by synthesizing the micro marker at the micro marker projection position positioned at one corner of the projection image, and is positioned at one corner of the projection surface. Correction information for correcting a shift in the projection position of the projected image can be calculated based on a captured image obtained by photographing the minute marker projection position. According to this, during the projection of the projection image, correction information for correcting the deviation of the projection position can be calculated in real time.
第2の発明は、前記微小マーカーは、三原色のうちの緑成分を最も多く含む画像である、第1の発明の画像投影装置である。 A second invention is the image projection device according to the first invention, wherein the micro marker is an image including the largest amount of green components of the three primary colors.
第2の発明によれば、比視感度特性の高い緑成分を最も多く含む画像を微小マーカーとして用いることができる。 According to the second invention, an image including the largest amount of green component having a high specific visibility characteristic can be used as a minute marker.
第3の発明は、前記微小マーカーは、前記投影画像全体に対して1%未満の大きさである、第1又は第2の発明の画像投影装置である。 A third invention is the image projection device according to the first or second invention, wherein the minute marker has a size of less than 1% with respect to the entire projection image.
第3の発明によれば、投影画像の大きさに対して微小マーカーの大きさを十分に小さくすることができる。したがって、視聴者による投影画像の視聴を邪魔することなく補正情報を算出することができる。 According to the third invention, the size of the micro marker can be made sufficiently smaller than the size of the projected image. Therefore, the correction information can be calculated without disturbing the viewing of the projected image by the viewer.
第4の発明は、前記微小マーカー投影位置は、前記投影画像の隅部の少なくとも何れか1つに位置決めされ、前記微小マーカー被投影位置は、前記被投影面の対応する隅部に位置決めされた、第1〜第3の何れかの発明の画像投影装置である。 In a fourth aspect of the invention, the micro marker projection position is positioned at at least one of the corners of the projection image, and the micro marker projection position is positioned at a corresponding corner of the projection surface. The image projection device according to any one of the first to third aspects of the invention.
第4の発明によれば、微小マーカー投影位置を投影画像の隅部の少なくとも何れか1つとし、微小マーカー被投影位置を被投影面の対応する隅部とすることができる。 According to the fourth invention, the minute marker projection position can be at least one of the corners of the projection image, and the minute marker projection position can be the corresponding corner of the projection surface.
第5の発明は、前記微小マーカー投影制御部は、複数の微小マーカー投影位置に前記微小マーカーを合成して投影させ、前記撮影部は、前記複数の微小マーカー投影位置に対応する複数の微小マーカー被投影位置を撮影し、前記補正情報算出部は、各微小マーカー被撮影位置の撮影画像に基づいて前記補正情報を算出する、第1〜第4の何れかの発明の画像投影装置である。 In a fifth aspect of the invention, the micro marker projection control unit synthesizes and projects the micro markers at a plurality of micro marker projection positions, and the imaging unit includes a plurality of micro markers corresponding to the plurality of micro marker projection positions. The image projection apparatus according to any one of the first to fourth aspects, wherein the projection position is photographed, and the correction information calculation unit calculates the correction information based on a photographed image at each micro marker photographing position.
第5の発明によれば、複数の微小マーカー投影位置及び各微小マーカー投影位置に対応する微小マーカー被投影位置を位置決めして微小マーカーを合成・投影させ、各微小マーカー被投影位置の撮影画像に基づいて補正情報を算出することができる。微小マーカー投影位置を複数設けることで、画像全体の歪みに関する補正情報を算出することができるようになる。 According to the fifth aspect of the present invention, a plurality of micro marker projection positions and micro marker projection positions corresponding to each micro marker projection position are positioned to synthesize and project the micro markers, and a captured image of each micro marker projection position is obtained. Based on this, correction information can be calculated. By providing a plurality of minute marker projection positions, it becomes possible to calculate correction information relating to distortion of the entire image.
第6の発明は、前記被投影面は、前記微小マーカー被投影位置が光透過性を有する材料で構成され、前記撮影部は、前記被投影面の裏面側から前記微小マーカー被投影位置を撮影する、第1〜第5の何れかの発明の画像投影装置である。 In a sixth aspect of the invention, the projection surface is made of a material in which the projection position of the minute marker is light transmissive, and the photographing unit photographs the projection position of the minute marker from the back side of the projection surface. An image projection apparatus according to any one of the first to fifth inventions.
第6の発明によれば、撮影部の設置場所を被投影面の裏面側とすることができる。したがって、視聴者による投影画像の視聴を邪魔することなく微小マーカー被投影位置を撮影することができる。 According to the sixth aspect, the installation location of the imaging unit can be the back side of the projection surface. Therefore, the minute marker projection position can be photographed without disturbing the viewing of the projected image by the viewer.
第7の発明は、前記被投影面は、前記微小マーカー被投影位置を含む所定領域が反射率の低い領域として構成された、第1〜第6の何れかの発明の画像投影装置である。 A seventh invention is the image projection device according to any one of the first to sixth inventions, wherein the projection surface is configured such that a predetermined region including the projection position of the micro marker is a region having a low reflectance.
第7の発明によれば、投影画像の視聴者の見た目に微小マーカーを視認し難くすることができる。したがって、視聴者による投影画像の視聴を邪魔することなく補正情報を算出することができる。 According to the seventh invention, it is possible to make it difficult to visually recognize the minute marker in the appearance of the viewer of the projection image. Therefore, the correction information can be calculated without disturbing the viewing of the projected image by the viewer.
以下、図面を参照して、本発明の画像投影装置及び画像投影方法を実施するための一形態について説明する。なお、以下説明する実施形態によって本発明が限定されるものではなく、本発明が適用可能な形態は、以下の実施形態に限定されるものでもない。また、図面の記載において、同一部分には同一の符号を付す。 Hereinafter, an embodiment for carrying out an image projection apparatus and an image projection method of the present invention will be described with reference to the drawings. It should be noted that the present invention is not limited to the embodiments described below, and forms to which the present invention can be applied are not limited to the following embodiments. In the description of the drawings, the same parts are denoted by the same reference numerals.
[全体構成]
図1は、本実施形態における画像投影装置10の全体構成例を模式的に示す斜視図である。図1に示すように、画像投影装置10は、第1投影部である第1のプロジェクター1−1及び第2投影部である第2のプロジェクター1−2と、撮影部であるカメラ3と、画像処理装置5とを備え、第1及び第2のプロジェクター1−1,1−2により被投影面であるスクリーンSC上に投影画像を重ねて投影する。
[overall structure]
FIG. 1 is a perspective view schematically showing an example of the overall configuration of an
第1のプロジェクター1−1及び第2のプロジェクター1−2は、各々画像処理装置5から供給される投影画像を画像形成素子である液晶パネル等の光変調素子によって変調し、投影光学系を介してスクリーンSC上に投影する。ここで、第1及び第2のプロジェクター1−1,1−2は、同じ画像を投影して高輝度表示を行うものであってもよいし、一方が左目用画像を投影し、他方が右目用画像を投影することで立体視表示を行うものであってもよい。立体視表示は、裸眼で視聴させるものであってもよいし、偏向メガネを介して視聴させるものであってもよい。以下では、第1のプロジェクター1−1が左目用画像を投影し、第2のプロジェクター1−2が右目用画像を投影して立体視表示を行う場合を例示する。
Each of the first projector 1-1 and the second projector 1-2 modulates a projection image supplied from the
なお、第1及び第2のプロジェクター1−1,1−2は、横に並べて設置する構成に限らず、上下に並べて設置する構成であってもよい。また、第1及び第2のプロジェクター1−1,1−2は、別体であってもよいし、1つの筐体に組み込まれた一体のものであってもよい。 The first and second projectors 1-1 and 1-2 are not limited to be installed side by side, but may be configured to be installed side by side. Further, the first and second projectors 1-1 and 1-2 may be separate bodies or may be integrated into one housing.
カメラ3は、予めスクリーンSCの片隅に位置決めされた微小マーカー被投影位置を撮影するものであり、微小マーカー被投影位置が撮影範囲内に含まれるようにスクリーンSCの近傍に設置される。後述するように、本実施形態では、微小マーカー被投影位置は、スクリーンSCにおいて投影画像が投影される投影領域A1の右下隅部C14(図2を参照)に位置決めされる。そして、カメラ3は、スクリーンSCの裏面側において右下隅部C14の近傍に設置され、右下隅部C14をスクリーンSCの裏面側から撮影する。
The
画像処理装置5は、視聴者が視聴する映像コンテンツを取得して左目用画像を第1のプロジェクター1−1に供給し、右目用画像を第2のプロジェクター1−2に供給する。この画像処理装置5は、第1及び第2のプロジェクター1−1,1−2とケーブル等で接続された別体のものであってもよいし、第1のプロジェクター1−1及び第2のプロジェクター1−2の何れか一方と一体のものであってもよい。あるいは、第1のプロジェクター1−1及び第2のプロジェクター1−2の両方を組み込んだ一体構成の装置であってもよい。
The
[原理]
第1のプロジェクター1−1からの左目用画像と、第2のプロジェクター1−2からの右目用画像とがスクリーンSC上でずれていると画質が低下してしまうため、各投影位置の位置合わせが必要である。この位置合わせのために、本実施形態では、予め左目用画像及び右目用画像中に位置決めされた微小マーカー投影位置に微小マーカーを合成してスクリーンSCに投影させる。そして、スクリーンSCに位置決めされた微小マーカー被投影位置を撮影して左目用画像の投影位置と右目用画像の投影位置とのずれを補正するための補正情報を算出する。
[principle]
When the image for the left eye from the first projector 1-1 and the image for the right eye from the second projector 1-2 are deviated on the screen SC, the image quality is deteriorated. is necessary. For this alignment, in the present embodiment, a minute marker is synthesized at a minute marker projection position previously positioned in the left-eye image and the right-eye image and projected onto the screen SC. Then, the minute marker projection position positioned on the screen SC is photographed, and correction information for correcting the deviation between the projection position of the left-eye image and the projection position of the right-eye image is calculated.
図2(1)は、投影画像I2の一例を示し、図2(2)は、スクリーンSCに図2(1)の投影画像I2が投影された様子を示している。本実施形態では、投影画像I2(左目用画像及び右目用画像)の4つの隅部C21,C22,C23,C24のうちの1つである右下隅部C24に微小マーカー投影位置が位置決めされ、スクリーンSCにおいて投影領域A1の対応する右下隅部C14に微小マーカー被投影位置が位置決めされる。 FIG. 2 (1) shows an example of the projection image I2, and FIG. 2 (2) shows a state in which the projection image I2 of FIG. 2 (1) is projected on the screen SC. In the present embodiment, the minute marker projection position is positioned at the lower right corner C24, which is one of the four corners C21, C22, C23, C24 of the projection image I2 (left eye image and right eye image), and the screen In SC, the minute marker projection position is positioned at the lower right corner C14 corresponding to the projection area A1.
先ず、第1及び第2のプロジェクター1−1,1−2が投影する投影画像I2に、右下隅部C24に位置決めされた微小マーカー投影位置に微小マーカーを合成する。第1及び第2のプロジェクター1−1,1−2は、この微小マーカーを合成した投影画像I2をスクリーンSCに投影する。微小マーカーは、赤、青、及び緑の三原色のうちの比視感度特性の高い緑成分を最も多く含み、画素数が10画素以内の画像とするのがよい。本実施形態では、微小マーカーは、例えば、1画素〜数画素程度の緑色の画像とする。また、微小マーカーの合成に先立ち、投影画像I2の右下隅部C24の領域に背景色として黒を合成する。これにより、図2(2)中に拡大して示すように、投影領域A1の右下隅部C14において黒地に緑色の微小マーカーM1が合成された投影画像I1がスクリーンSC上に投影される。 First, a micro marker is combined with the micro marker projection position positioned at the lower right corner C24 on the projection image I2 projected by the first and second projectors 1-1 and 1-2. The first and second projectors 1-1 and 1-2 project a projection image I2 obtained by synthesizing the minute markers onto the screen SC. The minute marker is preferably an image including the most green component having a high specific visibility characteristic among the three primary colors of red, blue, and green, and having 10 or fewer pixels. In the present embodiment, the minute marker is, for example, a green image of about 1 pixel to several pixels. Prior to the synthesis of the minute marker, black is synthesized as a background color in the area of the lower right corner C24 of the projection image I2. As a result, as shown in an enlarged view in FIG. 2B, a projection image I1 in which the green micro marker M1 is synthesized on a black background is projected on the screen SC at the lower right corner C14 of the projection area A1.
また、微小マーカーは、投影画像全体に対して1%未満の大きさとするのがよい。このようにすれば、投影画像の大きさに対して微小マーカーの大きさを十分に小さくできるので、微小マーカーが投影されていることを視聴者に認識させる可能性が低く、投影画像の視聴を邪魔させることなく補正情報を算出することが可能となる。 Moreover, it is preferable that the minute marker has a size of less than 1% with respect to the entire projection image. In this way, the size of the micro marker can be made sufficiently small relative to the size of the projection image, so that it is unlikely that the viewer will recognize that the micro marker has been projected, and viewing of the projection image can be avoided. It becomes possible to calculate correction information without disturbing.
続いて、微小マーカー被投影位置を含む投影領域A1の右下隅部C14をカメラ3によってスクリーンSCの裏面側から撮影する。スクリーンSCは、微小マーカー被投影位置を含む右下隅部C14の領域が光透過性を有する材料で構成され、投影領域A1の右下隅部C14、すなわち、スクリーンSC上の投影画像I1の右下隅部部分をスクリーンSCの裏面側から撮影できるようになっている。例えば、スクリーンSCは、右下隅部C14の領域のみを透過スクリーンで構成したもの等を用いることができる。このようにすれば、カメラ3の設置場所をスクリーンSCの裏面側とすることができ、視聴者による投影画像の視聴を邪魔することなく微小マーカー被投影位置を撮影できる。
Subsequently, the lower right corner C14 of the projection area A1 including the minute marker projection position is photographed by the
実際には、左目用画像に微小マーカーを合成して投影させ、その右下隅部C14を撮影した撮影画像(以下、「第1の微小マーカー画像」という。)内の微小マーカーの位置、すなわち、左目用画像に合成して投影させた微小マーカーのスクリーンSC上の位置(以下、「第1のマーカー位置」という。)を計測する。同様に、右目用画像に微小マーカーを合成して投影させ、その右下隅部C14を撮影した微小マーカー画像(以下、「第2の微小マーカー画像」という。)内の微小マーカーの位置、すなわち、右目用画像に合成して投影させた微小マーカーのスクリーンSC上の位置(以下、「第2のマーカー位置」という。)を計測する。そして、各計測位置の差に基づいて補正情報を算出する。 Actually, the position of the minute marker in the captured image (hereinafter referred to as “first minute marker image”) obtained by synthesizing and projecting the minute marker on the image for the left eye and photographing the lower right corner C14 thereof, that is, The position on the screen SC of the minute marker synthesized and projected on the image for the left eye (hereinafter referred to as “first marker position”) is measured. Similarly, the position of the minute marker in the minute marker image (hereinafter referred to as “second minute marker image”) obtained by synthesizing and projecting the minute marker on the right eye image and photographing the lower right corner C14 thereof, that is, The position on the screen SC of the minute marker synthesized and projected on the image for the right eye (hereinafter referred to as “second marker position”) is measured. Then, correction information is calculated based on the difference between the measurement positions.
このように、左目用画像及び右目用画像の右下隅部C24の領域に黒色を背景とする緑色の微小マーカーを合成し、スクリーンSC上での微小マーカーM1の位置を計測する。これによれば、計測に際し、倍率色収差による誤差の影響を低減させつつ微小マーカーM1の位置を精度よく計測できる。したがって、微小マーカーの微小なずれを検出して補正情報を算出することができ、左目用画像及び右目用画像の投影位置の微小なずれの補正が可能となる。 In this manner, a green micro marker with a black background is synthesized in the region of the lower right corner C24 of the left eye image and the right eye image, and the position of the micro marker M1 on the screen SC is measured. According to this, in the measurement, the position of the minute marker M1 can be accurately measured while reducing the influence of the error due to the chromatic aberration of magnification. Therefore, the correction information can be calculated by detecting a minute deviation of the minute marker, and the minute deviation of the projection position of the left-eye image and the right-eye image can be corrected.
[機能構成]
図3は、画像投影装置10を構成する画像処理装置5の主要な機能構成例を示すブロック図であり、併せて第1及び第2のプロジェクター1−1,1−2、カメラ3、及びスクリーンSCの設置位置を側方から模式的に示している。図3に示すように、画像処理装置5は、画像入力部51と、画像処理部52と、画像出力部53と、投影位置補正部54と、制御部55と、操作部56と、表示部57と、通信部58と、記憶部59とを備える。
[Function configuration]
FIG. 3 is a block diagram showing an example of a main functional configuration of the
画像入力部51は、例えば、ケーブル接続されたパソコンやDVDレコーダー等から映像コンテンツを取得するためのインターフェース装置である。なお、映像コンテンツは、通信部58を介して接続されたサーバー装置から取得する構成としてもよいし、予め記憶部59に記憶しておき、記憶部59から読み出して取得する構成であってもよい。
The
画像処理部52は、画像入力部51を介して取得した映像コンテンツに必要な画像処理を施し、視差を有する左目用画像及び右目用画像を生成する。画像処理部52の機能は、CPU(Central Processing Unit)やDSP(Digital Signal Processor)、GPU(Graphics Processing Unit)等のマイクロプロセッサー、ASIC(Application Specific Integrated Circuit)、IC(Integrated Circuit)メモリー等の電子部品によって実現できる。この画像処理部52は、マーカー合成部521を備える。なお、画像処理部52を構成する各部は、専用のモジュール回路等のハードウェアで構成することとしてもよい。
The
マーカー合成部521は、後述するマーカー投影制御部551の制御のもと、所定の補正タイミングにおいて左目用画像及び右目用画像の各投影画像の微小マーカー投影位置(本実施形態では投影画像の右下隅部C14)に微小マーカーを合成する。
Under the control of a marker
画像出力部53は、画像処理部52によって生成された左目用画像を第1のプロジェクター1−1に供給し、右目用画像を第2のプロジェクター1−2に供給するためのインターフェース装置である。
The
投影位置補正部54は、後述する補正情報算出部557から入力される補正情報に従い、第1のプロジェクター1−1による左目用画像の投影位置と、第2のプロジェクター1−2による右目用画像の投影位置とを位置合わせするための補正を行う。
The projection
制御部55は、記憶部59に記憶されるプログラムやデータ、操作部56からの操作信号等に基づいて画像投影装置10の各部を統括的に制御する。制御部55の機能は、CPUやDSP、GPU等のマイクロプロセッサー、ASIC、ICメモリー等の電子部品によって実現できる。この制御部55は、マーカー投影制御部551と、マーカー撮影制御部553と、マーカー位置計測部555と、補正情報算出部557とを備える。なお、制御部55を構成する各部は、専用のモジュール回路等のハードウェアで構成することとしてもよい。
The
マーカー投影制御部551は、予め定められた補正タイミングを監視し、補正タイミングにおいて左目用画像及び右目用画像に微小マーカーを合成してスクリーンSC上に投影させるための制御を行う。
The marker
マーカー撮影制御部553は、補正タイミングにおいて、カメラ3によるスクリーンSCの微小マーカー被投影位置(本実施形態では投影領域A1の右下隅部C14)の撮影動作を制御する。このマーカー撮影制御部553による制御のもとカメラ3が撮影した第1及び第2の微小マーカー画像は、マーカー位置計測部555に出力される。
The marker photographing
マーカー位置計測部555は、第1の微小マーカー画像を処理して第1のマーカー位置を計測するとともに、第2の微小マーカー画像を処理して第2の微小マーカー位置を計測する。計測した第1及び第2のマーカー位置は、補正情報算出部557に出力される。
The marker
補正情報算出部557は、第1のマーカー位置と第2のマーカー位置との差に基づいて補正情報を算出する。算出した補正情報は、投影位置補正部54に出力される。
The correction
操作部56は、ボタンスイッチやレバースイッチ、ダイヤルスイッチ等の各種スイッチ、タッチパネル、トラックパッド、マウス等の入力装置によって実現されるものであり、操作入力に応じた操作信号を制御部55に出力する。
The
表示部57は、LCD(Liquid Crystal Display)やELディスプレイ(Electroluminescence display)等の表示装置によって実現されるものであり、制御部55から入力される表示信号をもとに設定画面等の各種画面を表示する。
The
通信部58は、制御部55の制御のもと、外部装置との間でデータを送受するための通信装置である。この通信部58の通信方式としては、所定の通信規格に準拠したケーブルを介して有線接続する形式や、クレイドル等と呼ばれる充電器と兼用の中間装置を介して接続する形式、無線通信を利用して無線接続する形式等、種々の方式を適用可能である。
The
記憶部59は、ROM(Read Only Memory)やフラッシュROM、RAM(Random Access Memory)等の各種IC(Integrated Circuit)メモリーやハードディスク等の記憶媒体により実現されるものである。記憶部59には、画像投影装置10を動作させ、この画像投影装置10が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が事前に記憶され、或いは処理の都度一時的に記憶される。
The
また、記憶部59には、画像投影装置10を動作させて画像投影処理(図4を参照)を実行するための画像投影処理プログラム591と、計測データ593とが記憶される。
Further, the
計測データ593は、画像投影処理の過程で計測される第1及び第2の微小マーカー位置が補正タイミング毎に設定される。
In the
[処理の流れ]
図4は、画像投影処理の処理手順を示すフローチャートである。なお、画像投影処理は、画像投影処理プログラム591に従い画像投影装置10の各部が動作することによって実現される。この画像投影処理は、所定の投影開始操作が入力されると開始され、左目用画像及び右目用画像をスクリーンSC上に投影するのと並行し、所定の補正タイミングにおいて補正情報を算出する。
[Process flow]
FIG. 4 is a flowchart showing the processing procedure of the image projection processing. The image projection process is realized by the operation of each unit of the
図4に示すように、画像投影処理では先ず、画像処理部52による画像生成を開始する(ステップS1)。ここで開始される処理により、画像入力部51を介して取得した映像コンテンツに必要な画像処理が施され、フレーム毎にスクリーンSC上に投影する左目用画像及び右目用画像が随時生成される。
As shown in FIG. 4, in the image projection process, first, image generation by the
その後は、マーカー投影制御部551が、補正タイミングか否かを監視する。補正タイミングは適宜設定してよい。例えば10分毎や1時間毎としたり、起動直後は間隔を短くし(例えば1分毎とし)、徐々に間隔を長くすることとしてもよい。そして、補正タイミングでなければ(ステップS3:NO)、ステップS1で開始された処理により生成された左目用画像及び右目用画像の通常出力がフレーム毎に繰り返される(ステップS5)。すなわち、画像出力部53を介して左目用画像は第1のプロジェクター1−1に供給され、右目用画像は第2のプロジェクター1−2に供給されてスクリーンSC上に投影される。
Thereafter, the marker
一方、マーカー投影制御部551は、補正タイミングと判定したならば(ステップS3:YES)、映像コンテンツに基づく左目用画像及び右目用画像のうち、左目用画像及び右目用画像の微小マーカー投影位置に微小マーカーを合成する処理を行い、スクリーンSC上に投影させるための制御を行う。
On the other hand, if the marker
具体的には、マーカー投影制御部551の制御のもと、マーカー合成部521が、左目用画像及び右目用画像の右下隅部C24の領域に背景色として黒色を合成する処理を開始する(ステップS7)。続いて、マーカー合成部521は、左目用画像を対象に右下隅部C24に微小マーカーを合成する処理を開始することにより、微小マーカーを左目用画像ととともにスクリーンSC上に投影させる(ステップS9)。
Specifically, under the control of the marker
続いて、マーカー撮影制御部553が、カメラ3による撮影動作を制御し、スクリーンSCの微小マーカー被投影位置、すなわち、投影領域A1の右下隅部C14を撮影する(ステップS11)。その後、マーカー投影制御部551が、ステップS9で開始された左目用画像を対象とした微小マーカーの合成処理を終了させる(ステップS13)。そして、マーカー位置計測部555が、ステップS11で撮影された第1の微小マーカー画像を処理し、第1の微小マーカー画像内の微小マーカーの位置(第1のマーカー位置)を計測する(ステップS15)。
Subsequently, the marker photographing
次に、マーカー投影制御部551の制御のもと、マーカー合成部521が、右目用画像を対象に右下隅部C24に微小マーカーを合成する処理を開始することにより、微小マーカーを右目用画像とともにスクリーンSC上に投影させる(ステップS17)。
Next, under the control of the marker
続いて、マーカー撮影制御部553が、カメラ3による撮影動作を制御し、投影領域A1の右下隅部C14を撮影する(ステップS19)。その後、マーカー投影制御部551が、ステップS17で開始された右目用画像を対象とした微小マーカーの合成処理を終了させ(ステップS21)、ステップS7で開始された右下隅部への背景色(黒色)の合成処理を終了させる(ステップS23)。そして、マーカー位置計測部555が、ステップS19で撮影された第2の微小マーカー画像を処理し、第2の微小マーカー画像内の微小マーカーの位置(第2のマーカー位置)を計測する(ステップS25)。ステップS15及びステップS25で計測された第1及び第2のマーカー位置は、計測データ593として記憶部59に記憶される。
Subsequently, the marker photographing
続いて、補正情報算出部557が、ステップS15で計測された第1のマーカー位置と、ステップS25で計測された第2のマーカー位置との差に基づいて、左目用画像及び右目用画像の投影位置のずれを補正するための補正情報を算出する(ステップS27)。例えば、補正情報算出部557は、第1のマーカー位置を基準とした第2のマーカー位置のずれ量を補正情報として算出する。
Subsequently, the correction
そして、投影位置補正部54が、ステップS27で算出された補正情報に従って、第1及び第2のプロジェクター1−1,1−2による左目用画像及び右目用画像の投影位置の補正を行う(ステップS29)。ここでの処理は、例えば、第2のプロジェクター1−2の光変調素子(液晶パネル)の駆動部を制御し、右目用画像が形成される画素領域を、第1のマーカー位置に対する第2のマーカー位置のずれ量に従ってシフトさせることで行う。これにより、右目用画像の投影位置が、左目用画像の投影位置に合わせて移動される。
Then, the projection
なお、補正情報の内容や、この補正情報に基づく投影位置の補正手順は特に限定されるものではなく、公知技術を適宜適用することで実現できる。 The contents of the correction information and the procedure for correcting the projection position based on the correction information are not particularly limited, and can be realized by appropriately applying known techniques.
その後は、所定の投影終了操作が入力される等して投影を終了するまでの間(ステップS31:NO)、ステップS3に戻って上記した処理を繰り返す。所定の投影終了操作が入力された場合は(ステップS31:YES)、画像投影処理を終える。 Thereafter, the process returns to step S3 and repeats the above-described processing until the projection is terminated by inputting a predetermined projection termination operation or the like (step S31: NO). When a predetermined projection end operation is input (step S31: YES), the image projection process is finished.
以上説明したように、本実施形態によれば、左目用画像及び右目用画像の微小マーカー投影位置に微小マーカーを合成してスクリーンSCに投影させる一方、スクリーンSCの微小マーカー被投影位置を撮影することができる。そして、左目用画像に合成して投影させた微小マーカーのスクリーンSC上の位置と、右目用画像に合成して投影させた微小マーカーのスクリーンSC上の位置との差に基づいて左目用画像及び右目用画像の投影位置のずれを補正するための補正情報を算出することができる。したがって、視聴者による映像コンテンツ等の投影画像の視聴中にリアルタイムに補正情報を算出することができる。これによれば、算出した補正情報を用いて左目用画像及び右目用画像の投影位置のずれを随時補正することができ、投影画像の視聴中に生じた投影位置のずれによる画質の低下を抑制し、フォーカス感の高い画像投影を実現できる。 As described above, according to the present embodiment, a minute marker is combined with the minute marker projection positions of the left-eye image and the right-eye image and projected onto the screen SC, while the minute marker projection position on the screen SC is photographed. be able to. Then, based on the difference between the position on the screen SC of the micro marker synthesized and projected on the image for the left eye and the position on the screen SC of the micro marker synthesized and projected on the image for the right eye, Correction information for correcting a shift in the projection position of the right-eye image can be calculated. Therefore, correction information can be calculated in real time while a viewer is viewing a projected image such as video content. According to this, the deviation of the projection position of the image for the left eye and the image for the right eye can be corrected at any time using the calculated correction information, and the deterioration of the image quality due to the deviation of the projection position that occurs during viewing of the projection image is suppressed. In addition, it is possible to realize image projection with a high focus feeling.
また、カメラ3は、微小マーカー被投影位置の近傍に設置し、微小マーカー被投影位置を撮影できればよく、高価なレンズや高い解像度等は要求されない。
Further, the
なお、微小マーカー被投影位置は、投影領域A1の隅部に限らず、投影領域A1の周縁部等、スクリーンSCの片隅の少なくとも1箇所に位置決めすればよい。このとき、カメラ3をスクリーンSCの裏面側に設置し、微小マーカー被投影位置をスクリーンSCの裏面側から撮影する場合は、微小マーカー被投影位置を含むスクリーンSCの所定領域を上記した実施形態と同様に光透過性を有する材料で構成すればよい。
The minute marker projection position is not limited to the corner of the projection area A1, and may be positioned at at least one corner of the screen SC such as the peripheral edge of the projection area A1. At this time, when the
また、予め位置決めされる微小マーカー投影位置及び微小マーカー被投影位置は、2箇所以上であってもよい。例えば、図2(2)に示した投影領域A1の4つの隅部C11,C12,C13,C14のうちの2つ以上に微小マーカー投影位置を位置決めし、スクリーンSCの対応する隅部のそれぞれに微小マーカー被投影位置を位置決めしておくこととしてもよい。この場合は、微小マーカー被投影位置が位置決めされた隅部の近傍にそれぞれカメラ3を設置する。図5は、4つの隅部の全てに微小マーカー投影位置及び微小マーカー被投影位置が位置決めされた場合の画像投影装置10aの全体構成例を模式的に示す斜視図である。本変形例の画像投影装置10aは、図2(2)に示した投影領域A1の4つ全ての隅部C11,C12,C13,C14の近傍に設置された4台のカメラ3−1,3−2,3−3,3−4を備える。
In addition, the fine marker projection position and the fine marker projection position that are positioned in advance may be two or more. For example, the micro marker projection positions are positioned at two or more of the four corners C11, C12, C13, and C14 of the projection area A1 shown in FIG. 2 (2), and each of the corresponding corners of the screen SC is set. The minute marker projection position may be positioned in advance. In this case, the
本変形例では、補正タイミングのたびに第1及び第2の微小マーカー位置が4つの隅部C11,C12,C13,C14毎に計測され、計測データ593として画像処理装置5の記憶部59に記憶される。そして、画像処理装置5において画像処理部52が、図4のステップS1で開始する画像生成に際し、計測データ593を参照して右目用画像及び左目用画像の各々に生じた歪みを補正するための画像処理を施す。例えば、画像処理部52は、4つの隅部C11,C12,C13,C14毎に計測した第1の微小マーカー位置に基づいて、左目用画像に生じた台形歪みを補正するフィルター処理を施す。同様に、画像処理部52は、4つの隅部C11,C12,C13,C14毎に計測した第2の微小マーカー位置に基づいて、右目用画像に生じた台形歪みを補正するフィルター処理を施す。本変形例によれば、スクリーンSCには、歪みが補正された状態で左目用画像及び右目用画像が投影される。したがって、投影画像の画質の改善をより一層図ることができる。
In this modification, the first and second minute marker positions are measured for each of the four corners C11, C12, C13, and C14 at each correction timing, and stored as
また、微小マーカー被投影位置を撮影するためのカメラ3は、スクリーンSCの裏面側に設置される構成に限定されない。例えば、カメラ3は、視聴者による映像コンテンツの視聴の妨げとならないように、スクリーンSCの表面側に設置してもよい。図6は、カメラ3をスクリーンSCの表面側に設置した場合の画像投影装置10bの全体構成例を示す図であり、図6では、第1及び第2のプロジェクター1−1,1−2、カメラ3、及びスクリーンSCの設置位置を側方から模式的に示している。
Further, the
本変形例のようにカメラ3をスクリーンSCの表面側に設置し、表面側から微小マーカー被投影位置を撮影する場合には、スクリーンSCの微小マーカー被投影位置を含む所定領域が上記した実施形態のように光透過性を有する材料で構成されている必要はない。ただし、微小マーカー被投影位置を含む所定領域を反射率の低い領域として構成しておくとよい。例えば、図6は、図2(2)に示した投影領域A1の左上隅部C11に微小マーカー被投影位置が位置決めされた場合を想定しており、この場合は、左上隅部C11の領域の反射率を例えば50%以下に加工しておく。これによれば、投影画像の視聴者の見た目に微小マーカーを視認し難くすることができ、視聴者による投影画像の視聴を邪魔することなく補正情報を算出することができる。
In the case where the
また、上記した実施形態では、2台のプロジェクターからの投影画像をスクリーンSC上に重ねて投影する場合を例示したが、3台以上のプロジェクターからの投影画像をスクリーンSC上に重ねて投影する場合にも同様に適用できる。 Further, in the above-described embodiment, the case where the projection images from the two projectors are projected on the screen SC is exemplified. However, the projection images from the three or more projectors are projected onto the screen SC. The same applies to the above.
また、本発明の画像投影装置の適用対象は特に限定されるものではないが、例えば、建造物等に投影画像を投影して映像コンテンツを視聴するいわゆるプロジェクションマッピングシステムや、パッシブ方式のプロジェクターシステム等に適用することも可能である。 The application target of the image projection apparatus of the present invention is not particularly limited. For example, a so-called projection mapping system for projecting a projection image onto a building or the like to view video content, a passive projector system, or the like. It is also possible to apply to.
10,10a,10b 画像投影装置、1−1 第1のプロジェクター、1−2 第2のプロジェクター、3,3−1〜4 カメラ、5 画像処理装置、51 画像入力部、52 画像処理部、521 マーカー合成部、53 画像出力部、54 投影位置補正部、55 制御部、551 マーカー投影制御部、553 マーカー撮影制御部、555 マーカー位置計測部、557 補正情報算出部、56 操作部、57 表示部、58 通信部、59 記憶部、591 画像投影処理プログラム、593 計測データ、SC スクリーン、A1 投影領域、M1 微小マーカー
DESCRIPTION OF
Claims (2)
前記第1投影部及び前記第2投影部に、前記投影画像の4つの片隅に位置決めされた微小マーカー投影位置にそれぞれ微小マーカーを合成して投影させる微小マーカー投影制御部と、
前記被投影面の4つの片隅に位置決めされた微小マーカー被投影位置を撮影する4つの撮影部と、
前記撮影部による前記4つの微小マーカー被投影位置それぞれの撮影画像に基づいて前記投影画像の投影位置のずれを補正するための補正情報を算出する補正情報算出部と、
を備え、
前記微小マーカーは、三原色のうちの緑成分を最も多く含む画像であり、
前記4つの撮影部は、前記第1投影部及び第2投影部と、前記被投影面上の前記投影画像で形成された画像投影空間に含まれず、かつ、前記第1投影部及び第2投影部よりも前記被投影面に近い位置に設置され、
前記被投影面は、前記微小マーカー被投影位置を含む4つの所定領域が、前記被投影面の前記所定領域以外の領域よりも反射率が低くなるように構成されている、
ことを特徴とした画像投影装置。 An image projection apparatus in which a projection image is projected on a projection surface by a first projection unit having an image forming element and a second projection unit having an image forming element,
A micro marker projection control unit that causes the first projecting unit and the second projecting unit to synthesize and project a micro marker at each of micro marker projection positions positioned at four corners of the projected image;
Four imaging units for imaging the micro marker projection positions positioned at the four corners of the projection surface;
A correction information calculating unit that calculates correction information for correcting a shift in the projection position of the projection image based on each of the four micro marker projection positions captured by the imaging unit;
Equipped with a,
The micro marker is an image containing the most green component of the three primary colors,
The four photographing units are not included in the image projection space formed by the first projection unit and the second projection unit and the projection image on the projection surface, and the first projection unit and the second projection Installed at a position closer to the projection surface than the part,
The projection surface is configured such that four predetermined regions including the minute marker projection position have a lower reflectance than regions other than the predetermined region of the projection surface.
An image projection apparatus characterized by that.
前記第1投影部及び前記第2投影部に、前記投影画像の4つの片隅に位置決めされた微小マーカー投影位置に三原色のうちの緑成分を最も多く含む微小マーカーを合成して投影させることと、
前記被投影面の4つの片隅に位置決めされた微小マーカー被投影位置を含んだ反射率が前記被投影面の他の領域よりも低い所定の領域を、前記第1及び前記第2投影部と前記被投影面上の前記投影画像で形成された画像投影空間に含まれず、前記第1投影部及び第2投影部よりも前記被投影面に近い位置から撮影することと、
前記4つの微小マーカー被投影位置のそれぞれの撮影画像に基づいて前記投影画像の投影位置のずれを補正するための補正情報を算出することと、
を含む画像投影方法。 An image projection method in which a projection image is projected on a projection surface by a first projection unit having an image forming element and a second projection unit having an image forming element,
Causing the first and second projection units to synthesize and project a minute marker including the most green component of the three primary colors at a minute marker projection position positioned at four corners of the projected image;
The first and second projecting units and the predetermined region having a reflectance that includes a minute marker projection position positioned at four corners of the projection surface is lower than other regions of the projection surface. Shooting from a position closer to the projection surface than the first projection unit and the second projection unit, not included in the image projection space formed by the projection image on the projection surface;
Calculating correction information for correcting a shift in the projection position of the projection image based on the respective captured images of the four micro marker projection positions;
An image projection method including:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014040158A JP6330371B2 (en) | 2014-03-03 | 2014-03-03 | Image projection apparatus and image projection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014040158A JP6330371B2 (en) | 2014-03-03 | 2014-03-03 | Image projection apparatus and image projection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015165622A JP2015165622A (en) | 2015-09-17 |
JP6330371B2 true JP6330371B2 (en) | 2018-05-30 |
Family
ID=54187955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014040158A Active JP6330371B2 (en) | 2014-03-03 | 2014-03-03 | Image projection apparatus and image projection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6330371B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6988197B2 (en) * | 2017-06-27 | 2022-01-05 | オムロン株式会社 | Controls, flying objects, and control programs |
CN108828879A (en) * | 2018-06-20 | 2018-11-16 | 苏州佳世达电通有限公司 | The superposition optical projection system and method for brightness enhancing |
CN114125411B (en) * | 2021-12-01 | 2024-05-28 | 深圳市火乐科技发展有限公司 | Projection device correction method, projection device correction device, storage medium and projection device |
CN114428446A (en) * | 2022-01-25 | 2022-05-03 | Tcl通讯科技(成都)有限公司 | Graphic holographic projection method and device, storage medium and terminal |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11327042A (en) * | 1998-05-20 | 1999-11-26 | Mitsubishi Electric Corp | Positioning device of projector |
JP2011228832A (en) * | 2010-04-16 | 2011-11-10 | Seiko Epson Corp | Image processing device, image display system, and image processing method |
JP2011227171A (en) * | 2010-04-16 | 2011-11-10 | Seiko Epson Corp | Image display system |
-
2014
- 2014-03-03 JP JP2014040158A patent/JP6330371B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015165622A (en) | 2015-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6369810B2 (en) | Projection image display system, projection image display method, and projection display device | |
JP6089461B2 (en) | Projector, image display system, and projector control method | |
KR102171232B1 (en) | Image processing method and image processing apparatus executing that image processing method | |
US20100157127A1 (en) | Image Display Apparatus and Image Sensing Apparatus | |
CN102404537B (en) | Projector and method of controlling projector | |
CN106605195B (en) | Communication apparatus and control method of communication apparatus | |
US20170244941A1 (en) | Projector and control method thereof | |
JP6645687B2 (en) | Display device and control method | |
JP2007043274A (en) | Projection image position adjustment method | |
JP6330371B2 (en) | Image projection apparatus and image projection method | |
JP2009206800A (en) | Image processing apparatus, projector and image processing method | |
JP5471830B2 (en) | Light modulation device position adjustment method, light modulation device position adjustment amount calculation device, and projector | |
JP2010041172A (en) | Image processor, image display, image processing method, image display method, and program | |
CN108737806B (en) | Projector color correction method and device and computer storage medium | |
JP2007158398A (en) | Shift amount detector and multiprojection device | |
JP2018125819A (en) | Control device, control method, program, and storage medium | |
JP5618587B2 (en) | Imaging device, image display device, and image display system | |
US20180278905A1 (en) | Projection apparatus that reduces misalignment between printed image and projected image projected on the printed image, control method therefor, and storage medium | |
JP2011164246A (en) | Detection device of amount of projection position deviation, detection method of amount of projection position deviation, and projection system | |
JP5522241B2 (en) | Image processing apparatus, image display apparatus, image processing method, image display method, and program | |
JP2020071354A (en) | Projection system and projection method | |
JP2010272957A (en) | Image correction apparatus and program thereof | |
JP2006054824A (en) | Projection image display device | |
JP2005102277A (en) | Stacks projection apparatus and its adjustment method | |
WO2020162051A1 (en) | Projection type video display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160617 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20160627 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160921 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180327 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6330371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |