JP6381235B2 - Projection apparatus, image projection method, and program - Google Patents
Projection apparatus, image projection method, and program Download PDFInfo
- Publication number
- JP6381235B2 JP6381235B2 JP2014045526A JP2014045526A JP6381235B2 JP 6381235 B2 JP6381235 B2 JP 6381235B2 JP 2014045526 A JP2014045526 A JP 2014045526A JP 2014045526 A JP2014045526 A JP 2014045526A JP 6381235 B2 JP6381235 B2 JP 6381235B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- information
- video
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、特に、隙間や段差などを有する投影面に映像を投影するために用いて好適な投影装置、画像投影方法及びプログラムに関する。 The present invention particularly relates to a projection apparatus, an image projection method, and a program suitable for use in projecting an image on a projection surface having a gap, a step, or the like.
一般的に映像投影装置は、投影用スクリーンがない環境であっても、会議室の壁などに画像を投影することができ、視聴者は壁などに投影された画像を視聴することができる。しかしながら、投影用スクリーンのように常に平らで継ぎ目のない投影領域が壁などに確保されているわけではない。例えば石膏ボードを並べて貼って構成された壁には、石膏ボードの継ぎ目に隙間が生じている。この継ぎ目の部分に画像中の文字が投影された場合、文字が判別しづらくなってしまうという課題があった。そこで、これらを解決する方法として、投影に適した領域を効率よく用い、見やすい画像を投影する映像投影装置が提案されている（例えば特許文献１及び２参照）。
In general, a video projection apparatus can project an image on a wall of a conference room or the like even in an environment without a projection screen, and a viewer can view the image projected on the wall or the like. However, a flat and seamless projection area is not always secured on a wall or the like, unlike a projection screen. For example, a gap formed in a seam of gypsum board is formed on a wall formed by placing gypsum boards side by side. When characters in the image are projected on the joint, there is a problem that it is difficult to distinguish the characters. Therefore, as a method for solving these problems, there has been proposed a video projection apparatus that efficiently uses an area suitable for projection and projects an easy-to-see image (see, for example,
しかしながら特許文献１及び２に記載の方法では、映像投影装置から投影される光の反射量が少ない領域を投影に適さない領域と定義している。一方、投影に適さない領域としては、壁の中の段差を有する領域なども考えられる。例えばこのような段差を有し、光の反射量が十分にある領域では、このような技術を適用することができない。
However, in the methods described in
本発明は前述の問題点に鑑み、投影に適さない領域がどのような領域かによらず、その領域を避けるように映像を分割して投影できるようにすることを目的としている。 The present invention has been made in view of the above-described problems, and an object of the present invention is to divide and project an image so as to avoid the region that is not suitable for projection, regardless of what region is not suitable for projection.
本発明に係る投影装置は、投影面に画像を投影する投影装置であって、前記投影面のうちユーザーにより指定された領域の情報を取得する取得手段と、入力画像から文字を検出する検出手段と、前記取得手段によって複数の領域の情報が取得された場合において、当該複数の領域のいずれにも前記入力画像の文字が投影されず、且つ、当該文字が他の領域に投影されるように、前記検出手段により検出された文字の前記入力画像上の位置に応じて前記入力画像を変換する変換手段と、前記変換手段により前記入力画像が変換された変換画像を前記投影面に投影する投影手段と、を備えたことを特徴とする。 The projection apparatus according to the present invention is a projection apparatus that projects an image on a projection plane, and includes an acquisition unit that acquires information on a region specified by a user on the projection plane, and a detection unit that detects characters from an input image. When the information of a plurality of areas is acquired by the acquisition unit, the characters of the input image are not projected on any of the plurality of areas , and the characters are projected on other areas. A conversion unit that converts the input image according to a position of the character detected by the detection unit on the input image; and a projection that projects the conversion image obtained by converting the input image by the conversion unit onto the projection plane. Means.
本発明によれば、投影に適さない領域がどのような領域かによらず、その領域を避けるように映像を分割して投影することができる。 According to the present invention, it is possible to divide and project an image so as to avoid a region that is not suitable for projection, regardless of what region is unsuitable for projection.
（第１の実施形態）
以下、本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る映像投影装置１００の内部構成例を示すブロック図である。
図１に示すように、映像投影装置１００は、映像入力部１０１、指示入力部１０２、グラフィック制御部１０３、グラフィック画像生成部１０４、映像合成部１０５、座標変換作用素生成部１０６、座標変換部１０７及び映像投影部１０８を備えている。
(First embodiment)
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating an internal configuration example of a
As shown in FIG. 1, the
映像入力部１０１は、外部もしくは内部の不図示の記憶装置等から映像を入力する。指示入力部１０２は、ユーザーの操作に応じて映像の分割位置等を指示する。グラフィック制御部１０３は、指示入力部１０２からの指示に基づいて映像の変形等を制御する。グラフィック画像生成部１０４は、パターン画像としてグラフィックを生成する。映像合成部１０５は、入力映像にグラフィックを合成する場合に、映像入力部１０１から出力された画像とグラフィック画像生成部１０４が生成したパターン画像とを合成する。 The video input unit 101 inputs video from an external or internal storage device (not shown). The instruction input unit 102 instructs a video division position or the like according to a user operation. The graphic control unit 103 controls image deformation and the like based on an instruction from the instruction input unit 102. The graphic image generation unit 104 generates a graphic as a pattern image. The video synthesis unit 105 synthesizes the image output from the video input unit 101 and the pattern image generated by the graphic image generation unit 104 when combining the graphic with the input video.
座標変換作用素生成部１０６は、後述する座標変換作用素を生成する。座標変換部１０７は、座標変換作用素生成部１０６が生成した座標変換作用素に基づいて入力映像を変形する。映像投影部１０８は、変形した映像を表示素子へ出力することによって、スクリーンに対して映像を投影する。 The coordinate conversion operator generation unit 106 generates a coordinate conversion operator described later. The coordinate conversion unit 107 transforms the input video based on the coordinate conversion operator generated by the coordinate conversion operator generation unit 106. The video projection unit 108 projects the video on the screen by outputting the deformed video to the display element.
図２は、映像投影装置１００から映像を投影している様子及び投影される映像を説明するための図である。
FIG. 2 is a diagram for explaining a state in which an image is projected from the
図２（ａ）は、投影面２０１と映像投影装置１００との関係を示している。図２（ａ）において、映像投影装置１００により投影される領域が投影領域２０２である。投影面２０１には網掛けで示した投影に適さない領域２０３が存在する。投影に適さない領域とは、例えば投影光の反射率が著しく低かったり、投影面を構成するボードやパネルなどの継ぎ目などで隙間や段差が存在したりする領域を指す。
FIG. 2A shows the relationship between the projection surface 201 and the
図２（ｂ）は、投影する映像の例を示しており、図２（ｃ）は、映像投影装置１００から図２（ｂ）に示す映像をそのまま投影した場合の投影面の一例を示している。図２（ｃ）に示す例では、投影面上の投影に適さない領域２０３に文字が投影されており、視認しづらい状態が発生している。 FIG. 2B shows an example of an image to be projected, and FIG. 2C shows an example of a projection surface when the image shown in FIG. Yes. In the example shown in FIG. 2C, characters are projected on the region 203 that is not suitable for projection on the projection plane, and it is difficult to see.
図２（ｄ）は、映像を分割する位置を説明するための図である。図２（ｄ）において、線分２０５は映像を分割する位置を示しており、範囲２０６は、入力映像の一部であって映像を投影したくない領域の範囲を示している。いずれも、ユーザーが図２（ｃ）に示すような実際の投影の様子を見ながら、線分２０５、及び範囲２０６を指示する。図２（ｅ）は、映像を分割する指示によって、投影に適さない領域を避けて映像を変形した様子を示している。なお、本実施形態において映像の分割とは、分割位置（例えば図２（ｄ）に示す線分２０５）と、投影から除外すべき領域、すなわち映像を投影したくない領域（例えば図２（ｄ）に示す領域の範囲２０６）との情報を用いて画像変形処理を行うことである。つまり、例えば図２（ｅ）に示すような映像に変形することである。 FIG. 2D is a diagram for explaining a position where the video is divided. In FIG. 2D, a line segment 205 indicates a position where the video is divided, and a range 206 indicates a range of a region that is a part of the input video and does not want to project the video. In either case, the user designates the line segment 205 and the range 206 while viewing the actual projection state as shown in FIG. FIG. 2E shows a state in which the image is deformed by avoiding an area unsuitable for projection by an instruction to divide the image. Note that in the present embodiment, image division refers to a division position (for example, the line segment 205 shown in FIG. 2D) and an area to be excluded from projection, that is, an area where the image is not desired to be projected (for example, FIG. The image deformation process is performed using information on the area range 206) shown in FIG. That is, for example, it is transformed into an image as shown in FIG.
次に、映像を分割するためにユーザーが操作する指示入力部１０２の詳細について説明する。本実施形態における指示入力部１０２は、分割位置を決める機能と、決められた分割位置を元に映像を変形する指示を行う機能とを有する。まず、分割位置を決める機能に係る各部について説明する。 Next, details of the instruction input unit 102 operated by the user to divide the video will be described. The instruction input unit 102 according to the present embodiment has a function of determining a division position and a function of performing an instruction to transform an image based on the determined division position. First, each unit related to the function of determining the division position will be described.
指示入力部１０２は、図２（ａ）に示すように複数のボタンを有する操作部材を備えており、これらのボタンが押されることによってグラフィック制御部１０３がどのようなグラフィックを表示するかを決定する。指示入力部１０２は、上ボタン２０７、下ボタン２０８、左ボタン２０９、右ボタン２１０、及びＭｅｎｕボタン２１１を備えている。以下、これらのボタンを用いて分割位置を指示する例と、その指示に付随するグラフィックの表示例とについて、図３を参照しながら説明する。 The instruction input unit 102 includes an operation member having a plurality of buttons as shown in FIG. 2A, and determines what graphic the graphic control unit 103 displays by pressing these buttons. To do. The instruction input unit 102 includes an upper button 207, a lower button 208, a left button 209, a right button 210, and a menu button 211. Hereinafter, an example in which a division position is instructed using these buttons and a graphic display example accompanying the instruction will be described with reference to FIG.
まず、Ｍｅｎｕボタン２１１をユーザーが押下すると、指示入力部１０２は、Ｍｅｎｕボタン２１１が押下されたという情報を、グラフィック制御部１０３へ送る。グラフィック制御部１０３は、該情報を受け取ると、図３（ａ）に示すような分割位置を指定するためのグラフィック３０２を生成するよう、グラフィック画像生成部１０４へ指示を出す。指示を受けたグラフィック画像生成部１０４はグラフィック３０２を生成する。なお、図２（ｄ）に示す線分２０５のように、分割位置は文字と文字との間などとすることが好ましく、この好ましい位置をユーザーが決定する。 First, when the user presses the Menu button 211, the instruction input unit 102 sends information that the Menu button 211 has been pressed to the graphic control unit 103. When the graphic control unit 103 receives the information, the graphic control unit 103 instructs the graphic image generation unit 104 to generate a graphic 302 for designating a division position as shown in FIG. Upon receiving the instruction, the graphic image generation unit 104 generates a graphic 302. Note that, as indicated by a line segment 205 shown in FIG. 2D, the division position is preferably between characters, and the user determines this preferable position.
具体的には、まず、映像合成部１０５が、映像入力部１０１から出力された映像に、グラフィック画像生成部１０４が生成したグラフィック３０２を合成した合成映像を生成する。そして、映像投影部１０８は、その合成映像を出力し、投影面にその合成映像を投影する。ユーザーは、投影された映像を見ながら、分割位置を表すグラフィック３０２を左ボタン２０９と右ボタン２１０とを用いて移動させ、分割位置を決定する。左ボタン２０９を押下すると、グラフィック３０２が左に移動し、右ボタン２１０を押下すると、グラフィック３０２が右に移動する。 Specifically, first, the video composition unit 105 generates a composite video in which the graphic 302 generated by the graphic image generation unit 104 is combined with the video output from the video input unit 101. Then, the video projection unit 108 outputs the synthesized video and projects the synthesized video on the projection surface. While viewing the projected image, the user moves the graphic 302 representing the division position using the left button 209 and the right button 210 to determine the division position. When the left button 209 is pressed, the graphic 302 moves to the left, and when the right button 210 is pressed, the graphic 302 moves to the right.
グラフィック制御部１０３は、指示入力部１０２から左ボタン２０９または右ボタン２１０が押下された旨の情報を受け取ると、グラフィック３０２を左または右にずらして生成するよう、グラフィック画像生成部１０４へ指示を出す。指示を受けたグラフィック画像生成部１０４は新たにグラフィック３０２を生成する。そして、同様に映像合成部１０５が、その合成映像を生成し、映像投影部１０８は、その合成映像を出力し、投影面にその合成映像を投影する。 When the graphic control unit 103 receives information indicating that the left button 209 or the right button 210 has been pressed from the instruction input unit 102, the graphic control unit 103 instructs the graphic image generation unit 104 to generate the graphic 302 by shifting it to the left or right. put out. Upon receiving the instruction, the graphic image generation unit 104 newly generates a graphic 302. Similarly, the video composition unit 105 generates the composite video, and the video projection unit 108 outputs the composite video and projects the composite video on the projection plane.
また、図３（ａ）に示す状態でユーザーによりＭｅｎｕボタン２１１が押下されると、分割位置が確定する。続いて、映像を投影したくない領域を設定することとなる。このようにユーザーによりＭｅｎｕボタン２１１が押下されると、図３（ｂ）に示すグラフィック３０３、３０４が表示されるようになる。 When the menu button 211 is pressed by the user in the state shown in FIG. Subsequently, an area where the video is not desired to be projected is set. In this way, when the menu button 211 is pressed by the user, the graphics 303 and 304 shown in FIG. 3B are displayed.
グラフィック制御部１０３は、指示入力部１０２からＭｅｎｕボタン２１１が押下された旨の情報を受け取ると、グラフィック３０２を消去して、グラフィック３０３、３０４を生成するよう、グラフィック画像生成部１０４へ指示を出す。指示を受けたグラフィック画像生成部１０４はグラフィック３０３、３０４を生成する。そして、同様に映像合成部１０５が、その合成映像を生成し、映像投影部１０８は、その合成映像を出力し、投影面にその合成映像を投影する。 Upon receiving information indicating that the Menu button 211 has been pressed from the instruction input unit 102, the graphic control unit 103 instructs the graphic image generation unit 104 to delete the graphic 302 and generate the graphics 303 and 304. . Upon receiving the instruction, the graphic image generation unit 104 generates graphics 303 and 304. Similarly, the video composition unit 105 generates the composite video, and the video projection unit 108 outputs the composite video and projects the composite video on the projection plane.
図３（ｂ）に示す状態では、映像を投影したくない領域のうち、まず左端を調整することとなる。具体的には、映像を投影したくない領域の左端を表すグラフィック３０３を左ボタン２０９または右ボタン２１０を用いて移動させ、領域の左端を決定する。左ボタン２０９を押下すると、グラフィック３０３が左に移動し、右ボタン２１０を押下すると、グラフィック３０３が右に移動する。また、グラフィック３０４は、グラフィック３０３の線分がグラフィック３０４の左端になるよう、矩形領域を調整する。 In the state shown in FIG. 3B, the left end of the region where the image is not desired to be projected is first adjusted. Specifically, the graphic 303 representing the left end of the area where the video is not projected is moved using the left button 209 or the right button 210 to determine the left end of the area. When the left button 209 is pressed, the graphic 303 moves to the left, and when the right button 210 is pressed, the graphic 303 moves to the right. Further, the graphic 304 adjusts the rectangular area so that the line segment of the graphic 303 becomes the left end of the graphic 304.
図３（ｂ）に示す状態で、ユーザーによりＭｅｎｕボタン２１１が押下されると、左端が確定し、続いて右端を決めるグラフィックに切り替わる。すなわち、図３（ｂ）に示すグラフィック３０３、３０４から、図３（ｃ）に示すグラフィック３０４、３０５に切り替わる。そして、図３（ｃ）に示す画面では、映像を投影したくない領域の右端を調整することとなる。具体的には、映像を投影したくない領域の右端を表すグラフィック３０５を左ボタン２０９と右ボタン２１０とを用いて移動させて、領域の右端を決定する。左ボタン２０９を押下すると、グラフィック３０５が左に移動し、右ボタン２１０を押下すると、グラフィック３０５が右に移動する。 When the menu button 211 is pressed by the user in the state shown in FIG. 3B, the left end is determined, and then the display is switched to a graphic that determines the right end. That is, the graphics 303 and 304 shown in FIG. 3B are switched to the graphics 304 and 305 shown in FIG. Then, on the screen shown in FIG. 3C, the right end of the region where the image is not desired to be projected is adjusted. Specifically, the right end of the area is determined by moving the graphic 305 representing the right end of the area where the video is not projected using the left button 209 and the right button 210. When the left button 209 is pressed, the graphic 305 moves to the left, and when the right button 210 is pressed, the graphic 305 moves to the right.
図３（ｃ）に示す状態で、ユーザーによりＭｅｎｕボタン２１１が押下されると、右端が確定し、分割位置の指定が終了する。分割位置の指定が終了すると、グラフィック制御部１０３は、分割位置情報として、分割位置、映像を投影したくない領域の左端及び右端の情報を座標変換作用素生成部１０６に送る。なお、分割位置情報として、映像を投影したくない領域の左端及び右端の情報だけとし、映像を投影したくない領域を均等に分ける線分を分割位置にするよう自動的に決定してもよい。 When the menu button 211 is pressed by the user in the state shown in FIG. 3C, the right end is determined and the designation of the division position is completed. When the designation of the division position is completed, the graphic control unit 103 sends the division position and the information on the left end and the right end of the region where the image is not projected as the division position information to the coordinate transformation operator generation unit 106. Note that only the information on the left and right edges of the area where the image is not projected may be used as the division position information, and the line segment that equally divides the area where the image is not projected may be automatically determined as the division position. .
次に、取得した分割位置情報を元に、画像変形を行う処理について説明する。座標変換作用素生成部１０６は、分割位置情報から座標変換作用素を生成し、座標変換部１０７は、座標変換作用素生成部１０６が生成した座標変換作用素を用いて入力映像を変形する。まず、座標変換作用素の定義を説明し、次に分割位置情報を用いてどのようにその座標変換作用素を求めるかについて説明する。 Next, a process for performing image transformation based on the acquired division position information will be described. The coordinate conversion operator generation unit 106 generates a coordinate conversion operator from the division position information, and the coordinate conversion unit 107 deforms the input video using the coordinate conversion operator generated by the coordinate conversion operator generation unit 106. First, the definition of the coordinate transformation operator will be described, and then how to obtain the coordinate transformation operator using the division position information will be described.
座標変換作用素は種々考えられるが、本実施形態では、複数の４点指定変形を実現するための作用素とする。ここで、４点指定変形とは、プロジェクタの台形補正などで一般的に用いられている技術であり、変換前の画像の４隅の点を任意の幾何変換、例えば射影変換により変換する技術である。座標変換作用素生成部１０６が求める複数の４点指定変形の作用素の例を図４に示す。 Although various coordinate transformation operators are conceivable, in the present embodiment, an operator for realizing a plurality of four-point specified deformation is used. Here, the four-point designated deformation is a technique generally used for correcting the keystone of the projector, and is a technique for converting the four corner points of the image before conversion by arbitrary geometric transformation, for example, projective transformation. is there. FIG. 4 shows an example of a plurality of four-point specified deformation operators obtained by the coordinate transformation operator generator 106.
図４（ａ）に示すように、各作用素は、変換前の４隅の点の座標の組Ｈsrcと、変換後の４隅の点の座標の組Ｈdstとで構成される。それぞれの表記は以下の通りである。ここで、Ｈsrc＝｛（ｘs0，ｙs0），（ｘs1，ｙs1），（ｘs2，ｙs2），（ｘs3，ｙs3）｝とし、Ｈdst＝｛（ｘd0，ｙd0），（ｘd1，ｙd1），（ｘd2，ｙd2），（ｘd3，ｙd3）｝とする。なお、座標（ｘs0、ｙs0）、（ｘd0、ｙd0）は４隅の左上の座標を表し、座標（ｘs1、ｙs1）、（ｘd1、ｙd1）は右上の座標を表す。さらに座標（ｘs2、ｙs2）、（ｘd2、ｙd2）は左下の座標を表し、座標（ｘs3、ｙs3）、（ｘd3、ｙd3）は右下の座標を表す。 As shown in FIG. 4A, each operator is composed of a coordinate set H src of the four corner points before the conversion and a coordinate set H dst of the four corner points after the conversion. Each notation is as follows. Here, H src = {(x s0 , y s0 ), (x s1 , y s1 ), (x s2 , y s2 ), (x s3 , y s3 )} and H dst = {(x d0 , y d0 ), ( xd1 , yd1 ), ( xd2 , yd2 ), ( xd3 , yd3 )}. The coordinates (x s0 , y s0 ) and (x d0 , y d0 ) represent the upper left coordinates of the four corners, and the coordinates (x s1 , y s1 ) and (x d1 , y d1 ) represent the upper right coordinates. . Furthermore, coordinates (x s2 , y s2 ) and (x d2 , y d2 ) represent the lower left coordinates, and coordinates (x s3 , y s3 ) and (x d3 , y d3 ) represent the lower right coordinates.
図４（ｂ）に、座標変換作用素の例を示す。図４（ｂ）に示す例では、座標変換作用素は３つ存在しており、作用素１がＨsrc1とＨdst1とから成り、作用素２がＨsrc2とＨdst2とから成り、作用素３がＨsrc3とＨdst3とから成る。図４（ａ）に示すように作用素は複数存在するが、Ｈdstが構成する矩形にて変換後の画像に対して漏れなく、かつ重なりのないような作用素にする。
FIG. 4B shows an example of the coordinate transformation operator. In the example shown in FIG. 4B, there are three coordinate transformation operators, the
また、図４（ｂ）に示す例では、Ｈsrc2の４点が構成する形状は、線分となっている。線分から矩形に変換する場合、変換前の画像は黒画素とし、Ｈdst2の４点が構成する矩形領域は黒画素で構成される領域となる。Ｈsrc2がＨdst2として変換される場合には、元は線分であって面積が０であった領域に黒画素で構成される領域が付加されることとなる。また、その他の座標変換作用素であるＨsrc1、Ｈdst1、Ｈsrc3、Ｈdst3は、入力映像のサイズに漏れなくかつ重なりのないようにするために、縮小、拡大あるいは移動させる作用素にする。 In the example shown in FIG. 4B, the shape formed by the four points H src2 is a line segment. When converting from a line segment to a rectangle, the image before conversion is a black pixel, and a rectangular area formed by the four points H dst2 is an area formed by black pixels. When H src2 is converted as H dst2 , a region composed of black pixels is added to a region that was originally a line segment and had an area of 0. Also, H src1 is other coordinate transformation operator, H dst1, H src3, H dst3 , in order to avoid and overlapping without leakage to the size of the input image, shrink, into operator to expand or move.
座標変換作用素生成部１０６は、グラフィック制御部１０３から送られた分割位置情報に基づいて各作用素を以下に示す座標に割り当て、座標変換部１０７へその情報を送る。例えば図４（ｂ）に示す例の場合、各座標変換作用素の座標は、以下のようになる。
Ｈsrc1＝｛（０，０），（ｘb，０），（０，ｙe−１），（ｘb，ｙe−１）｝
Ｈsrc2＝｛（ｘb，０），（ｘb，０），（ｘb，ｙe−１），（ｘb，ｙe−１）｝
Ｈsrc3＝｛（ｘb，０），（ｘe−１，０），（ｘb，ｙe−１），（ｘe−１，ｙe−１）｝
Ｈdst1＝｛（０，０），（ｘl，０），（０，ｙe−１），（ｘl，ｙe−１）｝
Ｈdst2＝｛（ｘl，０），（ｘr，０），（ｘｌ，ｙe−１），（ｘr，ｙe−１）｝
Ｈdst3＝｛（ｘr，０），（ｘe−１，０），（ｘr，ｙe−１），（ｘe−１，ｙe−１）｝
The coordinate conversion operator generation unit 106 assigns each operator to the coordinates shown below based on the division position information sent from the graphic control unit 103, and sends the information to the coordinate conversion unit 107. For example, in the example shown in FIG. 4B, the coordinates of each coordinate transformation operator are as follows.
H src1 = {(0, 0), (x b , 0), (0, y e −1), (x b , y e −1)}
H src2 = {(x b, 0), (x b, 0), (x b, y e -1), (x b, y e -1)}
H src3 = {(x b, 0), (x e -1,0), (x b, y e -1), (x e -1, y e -1)}
H dst1 = {(0, 0), (x l , 0), (0, y e −1), (x l , y e −1)}
H dst2 = {(x l, 0), (x r, 0), (xl, y e -1), (x r, y e -1)}
H dst3 = {(x r , 0), (x e −1, 0), (x r , y e −1), (x e −1, y e −1)}
ここで、ｘeは画像全体の幅を表し、ｙeは画像全体の高さを表す。また、座標（ｘb，ｙ）は分割位置を表す。さらに、座標（ｘl，ｙ）は映像を投影したくない領域の左端を表し、（ｘr，ｙ）は映像を投影したくない領域の右端を表す。なお、ｙは任意とする。 Here, x e represents the width of the entire image, and y e represents the height of the entire image. The coordinates (x b , y) represent the division position. Further, the coordinates (x l , y) represent the left end of the area where the video is not projected, and (x r , y) represents the right end of the area where the video is not projected. Y is arbitrary.
座標変換部１０７は、座標変換作用素生成部１０６が生成した座標変換作用素を用いて入力映像を変形する。まず、変換後のＨdstで表される四角形に含まれる座標の画素値を、変換前のＨsrcで表される四角形に存在する座標の画素値を用いて４点指定変形にて求める。座標変換作用素が複数ある場合には、座標変換作用素毎に座標変換を行う。なお、変換前のＨsrcで表される形状が四角形でなく、線分になる場合は、変換後のＨdstで表される四角形に含まれる座標の画素値は、黒（画素値＝０）とし、４点指定変形は行わないものとする。 The coordinate conversion unit 107 transforms the input image using the coordinate conversion operator generated by the coordinate conversion operator generation unit 106. First, pixel values of coordinates included in a rectangle represented by H dst after conversion are obtained by four-point designation deformation using pixel values of coordinates existing in a rectangle represented by H src before conversion. When there are a plurality of coordinate transformation operators, coordinate transformation is performed for each coordinate transformation operator. If the shape represented by H src before conversion is not a square but a line segment, the pixel value of coordinates included in the rectangle represented by H dst after conversion is black (pixel value = 0). It is assumed that 4-point specified deformation is not performed.
図５は、本実施形態において、入力映像を変形する処理手順の一例を示すフローチャートである。
まず、ステップＳ５０１において、グラフィック制御部１０３は、分割位置情報を生成する。この処理の詳細について図６を参照しながら説明する。
FIG. 5 is a flowchart illustrating an example of a processing procedure for transforming an input video in the present embodiment.
First, in step S501, the graphic control unit 103 generates division position information. Details of this processing will be described with reference to FIG.
図６は、図５のステップＳ５０１の詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ６０１において、分割位置を指定する。前述したように、ユーザーにより左ボタン２０９または右ボタン２１０が操作され、最終的にＭｅｎｕボタン２１１が押下されると、ステップＳ６０２へ遷移する。
FIG. 6 is a flowchart illustrating an example of a detailed processing procedure of step S501 in FIG.
First, in step S601, a division position is designated. As described above, when the user operates the left button 209 or the right button 210 and finally presses the menu button 211, the process proceeds to step S602.
続いてステップＳ６０２において、映像を投影したくない領域の左端を指定する。前述したように、ユーザーにより左ボタン２０９または右ボタン２１０が操作され、最終的にＭｅｎｕボタン２１１が押下されると、ステップＳ６０３へ遷移する。そして、ステップＳ６０３において、映像を投影したくない領域の右端を指定する。前述したように、ユーザーにより左ボタン２０９または右ボタン２１０が操作され、最終的にＭｅｎｕボタン２１１が押下されると、前述した分割位置情報を生成し、図６の処理を終了する。 In step S602, the left end of the area where the image is not desired to be projected is designated. As described above, when the user operates the left button 209 or the right button 210 and finally presses the menu button 211, the process proceeds to step S603. In step S603, the right end of the area where the image is not desired to be projected is designated. As described above, when the user operates the left button 209 or the right button 210 and finally presses the menu button 211, the above-described division position information is generated, and the processing in FIG.
次に、図５のステップＳ５０２において、グラフィック制御部１０３が、分割位置情報を座標変換作用素生成部１０６へ送る。続いてステップＳ５０３においては、座標変換作用素生成部１０６は、分割位置情報から座標変換作用素を生成する。そして、ステップＳ５０４において、座標変換部１０７は、生成された座標変換作用素を用いて入力映像を変形させる。 Next, in step S <b> 502 of FIG. 5, the graphic control unit 103 sends the division position information to the coordinate transformation operator generation unit 106. Subsequently, in step S503, the coordinate conversion operator generation unit 106 generates a coordinate conversion operator from the division position information. In step S504, the coordinate conversion unit 107 deforms the input image using the generated coordinate conversion operator.
なお、本実施形態では、図２に示すように、投影に適さない領域が縦方向に存在する場合について説明したが、投影に適さない領域が横方向に存在する場合でも同様である。以上のように本実施形態によれば、投影に適さない領域に因らず、その領域を避けるように分割して映像を投影することができる。 In the present embodiment, as shown in FIG. 2, the case where the region not suitable for projection exists in the vertical direction has been described, but the same applies to the case where the region not suitable for projection exists in the horizontal direction. As described above, according to the present embodiment, it is possible to project an image by dividing the area so as to avoid the area regardless of the area not suitable for projection.
（第２の実施形態）
第１の実施形態では、ユーザーが投影された映像を見ながらボタンを操作して分割位置を指定する例について説明した。これに対して本実施形態では、投影に適さない領域の影響によって、投影面を見ながらユーザーにより分割位置を指定することが困難な場合に、外部機器を用いて分割位置を指定する例について説明する。ここで、外部機器としてタッチパネル方式の高度なユーザーインタフェースを持つ機器を用いて分割位置を指定する場合には、より直感的かつ複雑な指示が可能となる。
(Second Embodiment)
In the first embodiment, an example has been described in which the user designates the division position by operating a button while viewing the projected image. On the other hand, in the present embodiment, an example in which the division position is specified using an external device when it is difficult for the user to specify the division position while looking at the projection plane due to the influence of an area not suitable for projection. To do. Here, when the division position is designated using a device having a touch panel advanced user interface as an external device, a more intuitive and complicated instruction is possible.
図７は、本実施形態における動作を説明するための図である。図７（ａ）には、映像投影装置７００と、その他の装置と投影面７１１との関係を示している。映像投影装置７００と、投影面７１１との関係は、図２（ａ）に示した映像投影装置１００と投影面２０１との関係と同様である。本実施形態では、ユーザーが外部機器である情報処理装置７０１に付随するタッチパネル方式の指示入力部７０２を操作することにより分割位置を指定する。また、ユーザーが操作しやすくするために、映像投影装置７００から投影する映像の元の映像を映像送出装置７０３から送出し、同じ映像を、映像送出装置７０３から情報処理装置７０１へ送出している。
FIG. 7 is a diagram for explaining the operation in the present embodiment. FIG. 7A shows the relationship between the image projection apparatus 700, other apparatuses, and the projection plane 711. The relationship between the image projection device 700 and the projection surface 711 is the same as the relationship between the
図７（ｃ）は、図７（ｂ）に示す入力映像を、映像投影装置７００からそのまま投影した場合の映像の一例を示している。ここで、図７（ｃ）に示すように、投影に適さない領域に文字が投影されており、視認しづらい状態が発生している。本実施形態では、図７（ｄ）に示す映像のように、分割位置を指示することによって、投影に適さない領域を避けて画像変形する。 FIG. 7C shows an example of an image when the input video shown in FIG. 7B is projected as it is from the video projector 700. Here, as shown in FIG. 7C, characters are projected onto an area that is not suitable for projection, and it is difficult to visually recognize the characters. In the present embodiment, as in the video shown in FIG. 7D, the image is deformed by avoiding an area that is not suitable for projection by designating the division position.
図８は、本実施形態に係る映像投影装置７００及び情報処理装置７０１の内部構成例を示すブロック図である。
図８に示すように、映像投影装置７００は、映像送出装置７０３から映像を入力する映像入力部８１１、座標変換作用素生成部１０６、座標変換部１０７及び映像投影部１０８を備えている。なお、座標変換作用素生成部１０６、座標変換部１０７及び映像投影部１０８については図１と同様である。さらに映像投影装置７００は、インタフェース８１０、及び分割位置情報生成部８０４を備えている。インタフェース８１０は、例えばＲＳ２３２Ｃを用いてもよいし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などを用いてもよい。
FIG. 8 is a block diagram illustrating an internal configuration example of the video projection device 700 and the information processing device 701 according to the present embodiment.
As shown in FIG. 8, the video projection device 700 includes a video input unit 811 that inputs video from the video transmission device 703, a coordinate conversion operator generation unit 106, a coordinate conversion unit 107, and a video projection unit 108. The coordinate conversion operator generation unit 106, the coordinate conversion unit 107, and the video projection unit 108 are the same as those in FIG. Furthermore, the video projection apparatus 700 includes an interface 810 and a division position information generation unit 804. For example, RS232C may be used as the interface 810, or a USB (Universal Serial Bus) may be used.
一方、情報処理装置７０１は、映像送出装置７０３から映像を入力する映像入力部８１３、及び映像を表示する映像表示部８０９を備えている。さらに、情報処理装置７０１は、ユーザーからの指示を受け付ける指示入力部７０２、グラフィック制御部８０１、及びグラフィック画像生成部８０３を備えている。さらに情報処理装置７０１は、映像入力部８１３から出力された画像とグラフィック画像生成部８０３が生成したパターン画像とを合成する映像合成部８０８、及びインタフェース８１２を備えている。インタフェース８１２は、例えばＲＳ２３２Ｃを用いてもよいし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などを用いてもよい。 On the other hand, the information processing apparatus 701 includes a video input unit 813 that inputs video from the video transmission device 703 and a video display unit 809 that displays video. Further, the information processing apparatus 701 includes an instruction input unit 702 that receives an instruction from a user, a graphic control unit 801, and a graphic image generation unit 803. The information processing apparatus 701 further includes a video composition unit 808 that synthesizes the image output from the video input unit 813 and the pattern image generated by the graphic image generation unit 803, and an interface 812. For example, RS232C may be used as the interface 812, or a USB (Universal Serial Bus) may be used.
次に、図８に示す各部の詳細について説明する。なお、タッチパネルによる指示入力部６０２に対するユーザーのタッチ操作と、それにともなうユーザーインタフェースの変化などの動作は一般的なものなのであるため、説明を省略する。 Next, details of each unit shown in FIG. 8 will be described. Note that a user's touch operation on the instruction input unit 602 using a touch panel and operations such as a change in user interface associated with the operation are common, and thus description thereof is omitted.
グラフィック制御部８０１、及びグラフィック画像生成部８０３は、それぞれ図１に示したグラフィック制御部１０３、及びグラフィック画像生成部１０４と機能は同じである。本実施形態においては、分割位置を複数の線分（始点、終点の２つの座標の組）とし、映像を投影したくない領域を複数の矩形領域（矩形を形成する４隅座標）とする。そして、グラフィック制御部８０１は、これらの得られた情報を指示情報として、インタフェース８１２を介して、映像投影装置７００の分割位置情報生成部８０４へ送る。 The graphic control unit 801 and the graphic image generation unit 803 have the same functions as the graphic control unit 103 and the graphic image generation unit 104 shown in FIG. In the present embodiment, the division position is a plurality of line segments (a set of two coordinates of a start point and an end point), and a region where the image is not projected is a plurality of rectangular regions (four corner coordinates forming a rectangle). Then, the graphic control unit 801 sends the obtained information as instruction information to the division position information generation unit 804 of the video projection device 700 via the interface 812.
図９は、本実施形態における分割位置及び映像を投影したくない領域を説明するための図である。図７（ｃ）に示したように、投影に適さない領域が十字型に存在する場合には、分割位置を複数指定する必要となる。そこで、図９（ａ）に示すように、分割位置として２本の線分９０１、９０２を指定する。また、投影に適さない領域については、図９（ｂ）に示すように、２つの矩形９０３、９０４を指定する。
FIG. 9 is a diagram for explaining a division position and a region where video is not desired to be projected in the present embodiment. As shown in FIG. 7C, when there are cross-shaped areas that are not suitable for projection, it is necessary to specify a plurality of division positions. Therefore, as shown in FIG. 9A, two
なお、映像投影装置７００が投影する映像の解像度と、情報処理装置７０１が表示する映像の解像度とが異なる場合が多い。そこで、映像投影装置７００側で座標を補正するために、グラフィック制御部８０１は、情報処理装置７０１における映像の解像度（幅及び高さ）を座標補正情報として指示情報に付加して、分割位置情報生成部８０４へ送る。分割位置情報生成部８０４は、座標補正情報が付加された指示情報を、映像投影装置７００における映像の解像度に解像度変換した指示情報にして分割位置情報とする。ここで、解像度変換とは、例えば、座標ｘに対し、変換後の座標ｘｃ＝ｘ×（映像投影装置７００の幅／情報処理装置７０１の幅）を算出することを意味する。 In many cases, the resolution of the video projected by the video projection device 700 and the resolution of the video displayed by the information processing device 701 are different. Therefore, in order to correct the coordinates on the video projection apparatus 700 side, the graphic control unit 801 adds the resolution (width and height) of the video in the information processing apparatus 701 to the instruction information as coordinate correction information, and the division position information The data is sent to the generation unit 804. The division position information generation unit 804 converts the instruction information to which the coordinate correction information is added into instruction information obtained by converting the resolution to the video resolution in the video projection device 700, and uses the instruction information as the division position information. Here, the resolution conversion means, for example, calculating the coordinate xc = xx (the width of the video projection device 700 / the width of the information processing device 701) after the conversion with respect to the coordinate x.
座標変換作用素生成部１０６は、複数の分割位置情報が入力されたときであっても、図１０に示すように座標変換作用素を求めることができる。まず、分割位置を、変換前の４点座標に割り当てる。図１０に示すように、線分９０２上の座標をＨsrc4とし、線分９０１上の座標をＨsrc2、Ｈsrc6とする。ここで、縦方向にＨsrc2、Ｈsrc6と分割しているのは、分割位置の複数の線分が交差して重なりが生じるためである。その後、上記３組の４点座標（実質は線分）以外の領域を、それぞれ、Ｈsrc1、Ｈsrc3、Ｈsrc5、Ｈsrc7とする。
The coordinate transformation operator generation unit 106 can obtain the coordinate transformation operator as shown in FIG. 10 even when a plurality of pieces of division position information are input. First, the division position is assigned to the four-point coordinates before conversion. As shown in FIG. 10, the coordinates on the
次に映像を投影したくない領域を、変換後の４点座標に割り当てる。まず、矩形９０４をＨdst4とし、矩形９０３を、それぞれＨdst2、Ｈdst6とする。同様に縦方向にＨdst2、Ｈdst6と分割しているのは、映像を投影したくない領域が重ならないようにするためである。その後、上記３組の４点座標以外の領域を、それぞれ、Ｈdst1，Ｈdst3、Ｈdst5、Ｈdst7とする。なお、映像を投影したくない領域を、変換後の４点座標に割り当てる際には、ユーザーによる指定の誤差や、タッチパネルの精度を考慮して、Ｈdst2，Ｈdst4，Ｈdst6の領域をわずかに拡大する方向に割り当てるようにしてもよい。座標変換部１０７は、以上のようにして生成した７組の座標変換作用素を用いて画像変形を行う。 Next, an area where the video is not projected is assigned to the converted four-point coordinates. First, let rectangle 904 be H dst4 and rectangle 903 be H dst2 and H dst6 , respectively. Similarly, the reason why it is divided into H dst2 and H dst6 in the vertical direction is to prevent the regions where the image is not projected from overlapping. Thereafter, the regions other than the three sets of four-point coordinates are referred to as H dst1 , H dst3 , H dst5 , and H dst7 , respectively. In addition, when assigning the area where you do not want to project the image to the converted four-point coordinates, the H dst2 , H dst4 , and H dst6 areas are slightly considered in consideration of user-specified errors and touch panel accuracy. You may make it allocate to the direction expanded to. The coordinate conversion unit 107 performs image deformation using the seven sets of coordinate conversion operators generated as described above.
図１１は、情報処理装置７０１により指定情報を生成する処理手順の一例を示すフローチャートである。
まず、ステップＳ１１０１において、グラフィック制御部８０１は、分割位置を指定する。ユーザーにより指示入力部７０２であるタッチパネルが操作され、線分が指定された場合には、該線分を分割位置に追加する。そして、例えば図９（ａ）に示すように、最終的な分割位置の確定が指示されると、ステップＳ１１０２へ遷移する。
FIG. 11 is a flowchart illustrating an example of a processing procedure for generating designation information by the information processing device 701.
First, in step S1101, the graphic control unit 801 designates a division position. When the user operates the touch panel as the instruction input unit 702 and designates a line segment, the line segment is added to the division position. Then, for example, as shown in FIG. 9A, when the final division position is instructed, the process proceeds to step S1102.
続いてステップＳ１１０２において、グラフィック制御部８０１は、映像を投影したくない領域を指定する。ユーザーにより指示入力部７０２であるタッチパネルが操作され、矩形が指定された場合には、映像を投影したくない領域にその矩形を追加する。そして、例えば図９（ｂ）に示すように、最終的な映像を投影したくない領域の確定が指示されると、ステップＳ１１０２へ遷移する。 Subsequently, in step S1102, the graphic control unit 801 designates an area where video is not desired to be projected. When a touch panel as the instruction input unit 702 is operated by the user and a rectangle is designated, the rectangle is added to an area where video is not desired to be projected. Then, for example, as shown in FIG. 9B, when an instruction to determine a region where a final video is not to be projected is given, the process proceeds to step S1102.
そして、ステップＳ１１０３において、グラフィック制御部８０１は、分割位置、及び映像を投影したくない領域の情報を含む指示情報を、インタフェース８１２を介して映像投影装置７００に送る。このとき、情報処理装置７０１における映像の解像度（幅及び高さ）を座標補正情報として指示情報に付加する。 In step S <b> 1103, the graphic control unit 801 transmits instruction information including information on a division position and a region where it is not desired to project an image to the image projection apparatus 700 via the interface 812. At this time, the resolution (width and height) of the video in the information processing device 701 is added to the instruction information as coordinate correction information.
図１２は、映像投影装置７００により入力映像を変形する処理手順の一例を示すフローチャートである。
まず、ステップＳ１２０１において、情報処理装置７０１から指示情報を受信するまで待機する。そして、指示情報を受信すると、ステップＳ１２０２において、分割位置情報生成部８０４は、前述した手順により指示情報から分割位置情報を生成する。続いてステップＳ１２０３において、座標変換作用素生成部１０６は、前述したような手順により、分割位置情報から座標変換作用素を生成する。そして、ステップＳ１２０４において、座標変換部１０７は、生成された座標変換作用素を用いて入力映像を変形させる。
FIG. 12 is a flowchart illustrating an example of a processing procedure for transforming an input video by the video projector 700.
First, in step S1201, the process waits until instruction information is received from the information processing apparatus 701. When the instruction information is received, in step S1202, the division position information generation unit 804 generates division position information from the instruction information according to the procedure described above. In step S1203, the coordinate conversion operator generation unit 106 generates a coordinate conversion operator from the division position information according to the procedure described above. In step S1204, the coordinate conversion unit 107 deforms the input image using the generated coordinate conversion operator.
なお、本実施形態では、分割位置として、水平方向及び垂直方向の線分を指定しているが、傾きのある線分を指定してもよく、映像を投影したくない領域も、平行四辺形などの多角形で設定してもよい。以上のように本実施形態によれば、投影に適さない領域の形状によらず、その領域を避けるように映像を分割して投影することができる。 In the present embodiment, horizontal and vertical line segments are specified as the division positions. However, inclined line segments may be specified, and an area in which an image is not projected is also a parallelogram. You may set with polygons. As described above, according to the present embodiment, an image can be divided and projected so as to avoid the area regardless of the shape of the area not suitable for projection.
（第３の実施形態）
本実施形態においては、映像投影装置に文字位置を検知する機能を有する例について説明する。文字位置を検知できる手段を映像投影装置に追加することにより、より利便性を高めることができる。例えば、図２（ｄ）に示す映像で分割位置を指示する際に、文字の間をユーザーが正確に指示しなくとも、文字が分断されずに映像を分割することができる。
(Third embodiment)
In the present embodiment, an example in which the video projection device has a function of detecting a character position will be described. Convenience can be further enhanced by adding a means capable of detecting the character position to the video projection apparatus. For example, when the division position is indicated on the video shown in FIG. 2D, the video can be divided without being divided even if the user does not correctly indicate the space between the characters.
図１３は、本実施形態に係る映像投影装置１３００の内部構成例を示すブロック図である。
図１３に示すように、本実施形態に係る映像投影装置１３００は、図１に示した映像投影装置１００と比べて、入力映像解析部１３０１が追加されている。そして、その入力映像解析部１３０１が解析した情報が座標変換作用素生成部１３０２に入力される構成となっている。その他の各部については図１と同様であるため、説明を省略する。
FIG. 13 is a block diagram showing an example of the internal configuration of a video projection apparatus 1300 according to this embodiment.
As shown in FIG. 13, the video projection apparatus 1300 according to the present embodiment has an input video analysis unit 1301 added to the
入力映像解析部１３０１は、映像入力部１０１から入力される映像を解析し、文字と判断した領域の位置情報を座標変換作用素生成部１３０２へ送る。ここで、図１４に位置情報の例を示す。図１４（ａ）に示すように、文字位置情報Ｍ＝｛（ｘ0，ｙ0），（ｘ1，ｙ1），（ｘ2，ｙ2），（ｘ3，ｙ3）｝は、文字の位置を矩形領域としてその頂点である４点の座標からなり、Ｍ1、Ｍ2、Ｍ3のように複数の情報を有している。 The input video analysis unit 1301 analyzes the video input from the video input unit 101 and sends the position information of the area determined to be a character to the coordinate transformation operator generation unit 1302. Here, FIG. 14 shows an example of position information. As shown in FIG. 14A, the character position information M = {(x 0 , y 0 ), (x 1 , y 1 ), (x 2 , y 2 ), (x 3 , y 3 )} The position of the character is a rectangular area and consists of the coordinates of the four points that are the vertices, and has a plurality of information such as M 1 , M 2 , and M 3 .
また、映像から文字の位置を解析する方法としては、例えばＯＣＲなどで一般的に用いられているレイアウト解析を用いればよい。具体的には、例えば図１４（ｂ）に示すように、まず、入力映像からブロック１４０１、１４０４を抽出する。そして、抽出したブロックの中から文字列の領域１４０２を抽出する。最後に個々の文字領域１４０３を順次切り出し、切り出された全ての文字領域１４０３について文字位置情報を求めればよい。なお、文字位置情報は、入力映像にメタデータとして予め埋め込まれている場合には、その情報を座標変換作用素生成部１３０２が用いるようにしてもよい。また、入力映像の中で検知する対象となるものは、文字だけでなく、人体や、図形など別のオブジェクトであってもよい。
As a method for analyzing the position of the character from the video, for example, layout analysis generally used in OCR may be used. Specifically, for example, as shown in FIG. 14B, first, blocks 1401 and 1404 are extracted from the input video. A character string area 1402 is extracted from the extracted blocks. Finally, the
次に、座標変換作用素生成部１３０２が分割位置情報と文字位置情報とを用いてどのように座標変換作用素を生成するかについて説明する。図１５は、図２（ｃ）に示す状態において本実施形態を適用した様子を説明するための図である。図１５（ａ）は、入力映像解析部１３０１が図２（ｂ）に示す入力映像から文字位置情報を検知した結果を示しており、９個の文字位置情報Ｍ1〜Ｍ9が検知されている。 Next, how the coordinate conversion operator generation unit 1302 generates a coordinate conversion operator using the division position information and the character position information will be described. FIG. 15 is a diagram for explaining a state in which the present embodiment is applied in the state shown in FIG. FIG. 15A shows a result of the character position information detected from the input video shown in FIG. 2B by the input video analysis unit 1301. Nine pieces of character position information M 1 to M 9 are detected. Yes.
図１５（ｂ）は、分割位置情報の中の映像を投影したくない領域Ｓ1を示しており、第１の実施形態と同様の手順により映像を投影したくない領域Ｓ1が指示されている。図１５（ｃ）は、文字位置情報Ｍ1〜Ｍ9と、映像を投影したくない領域Ｓ1とを重ね合わせた図である。文字画像が左右に分かれるか否かは、映像を投影したくない領域Ｓ1と、分割位置情報の中の分割位置を示す線分１５０１に文字位置情報が示す文字の位置とが重複しているかどうかによって検知することが可能である。
FIG. 15 (b) shows a region S 1 which do not want to project an image in the division position information, area S 1 which do not want to project an image according to the same procedure as in the first embodiment is indicated Yes. FIG. 15C is a diagram in which the character position information M 1 to M 9 and the region S 1 where video is not desired to be projected are superimposed. Whether or not the character image is divided into left and right is whether the region S 1 in which the image is not projected and the character position indicated by the character position information overlap the
座標変換作用素生成部１３０２は、まず線分１５０１と文字位置情報が示す文字の位置とが重複しているかどうかについて、映像を投影したくない領域Ｓ1の座標と文字位置情報Ｍ1〜Ｍ9の座標とを順次比較して確認する。この結果、図１５（ｃ）に示す例では、文字位置情報Ｍ5が示す文字が線分１５０１と重複していることが確認される。次に、文字位置情報Ｍ5が示す文字が全てＨsrc1の領域に含まれるよう、図７（ｄ）に示すようにＨsrc2を示す線分１５０１を線分１５０２へ移動させ、Ｈsrc1の領域を拡大する。そして、残りの領域をＨsrc3とする。なお、実際は重複の状態によってＨsrc1を拡大するか、Ｈsrc3を拡大するかを選択する。文字位置情報Ｍ5が示す文字と重複する線分１５０１がＨsrc1寄りである場合は、Ｈsrc1を拡大し、Ｈsrc3寄りである場合は、Ｈsrc3を拡大すればよい。
First, the coordinate transformation operator generation unit 1302 determines whether or not the
次に、変換後の画像を決定する際に、映像を投影したくない領域Ｓ1の領域が黒領域となるように、Ｈdst2の領域を決める。最後に変換後の画像に対して漏れや重なりが起きないように、両隣にＨdst1、Ｈdst3を割り当てる。Ｈdst2に黒領域を付加するので、Ｈdst1、Ｈdst3に変換前の画像を分割して縮小した変形を行うことになる。なお、第１の実施形態と同様に、分割位置情報として、映像を投影したくない領域の左端及び右端の情報だけとし、映像を投影したくない領域を均等に分ける線分を分割位置にするよう自動的に決定してもよい。 Next, when the image after conversion is determined, the region of H dst2 is determined so that the region of region S 1 where video is not projected is a black region. Finally, H dst1 and H dst3 are assigned to both sides so that leakage and overlap do not occur in the converted image. Since a black region is added to H dst2 , the image before conversion is divided and reduced to H dst1 and H dst3 . As in the first embodiment, the division position information includes only information on the left end and the right end of the area where the image is not projected, and a line segment that equally divides the area where the image is not projected is set as the division position. It may be determined automatically.
図１６は、本実施形態において、入力映像を変形する処理手順の一例を示すフローチャートである。
まず、ステップＳ１６０１において、グラフィック制御部１０３は、分割位置情報を生成する。この処理については図６と同様の手順であるため、説明は省略する。そして、ステップＳ１６０２において、グラフィック制御部１０３は、生成した分割位置情報を座標変換作用素生成部１３０２へ送る。
FIG. 16 is a flowchart illustrating an example of a processing procedure for transforming an input video in the present embodiment.
First, in step S1601, the graphic control unit 103 generates division position information. Since this process is the same as that in FIG. 6, a description thereof will be omitted. In step S1602, the graphic control unit 103 sends the generated division position information to the coordinate transformation operator generation unit 1302.
続いてステップＳ１６０３において、入力映像解析部１３０１は、入力画像を解析し、入力画像に含まれる文字の文字位置情報を生成し、生成した文字位置情報を座標変換作用素生成部１３０２へ送る。ステップＳ１６０４は、座標変換作用素生成部１３０２は、分割位置情報と文字位置情報とから前述した手順により座標変換作用素を生成する。最後にステップＳ１６０５において、座標変換部１０７は、生成された座標変換作用素を用いて入力映像を変形させる。 Subsequently, in step S1603, the input video analysis unit 1301 analyzes the input image, generates character position information of characters included in the input image, and sends the generated character position information to the coordinate transformation operator generation unit 1302. In step S1604, the coordinate conversion operator generation unit 1302 generates a coordinate conversion operator from the division position information and the character position information according to the procedure described above. Finally, in step S1605, the coordinate conversion unit 107 transforms the input image using the generated coordinate conversion operator.
ここで、入力映像が切り替わった場合には、映像を投影したくない領域は変わらないが、映像中の文字の位置が変わるため、以降は文字の位置を検知するのみでよい。すなわち、図１７に示す処理手順となる。ステップＳ１７０１〜Ｓ１７０３の処理については、それぞれ図１６のステップＳ１６０３〜Ｓ１６０５と同様であるため、説明は省略する。 Here, when the input video is switched, the area where the video is not desired to be projected does not change, but the position of the character in the video changes, so that it is only necessary to detect the position of the character thereafter. That is, the processing procedure shown in FIG. The processing in steps S1701 to S1703 is the same as that in steps S1603 to S1605 in FIG.
また、図１６に示す処理手順では、分割位置情報を生成した後に文字位置情報を生成したが、順序が逆であってもよく、これらの情報を並列に生成してもよい。以上のように本実施形態によれば、投影に適さない領域によらず、文字などのオブジェクトを分割させることなく投影に適さない領域を避けるように分割して投影することができる。 In the processing procedure shown in FIG. 16, the character position information is generated after the division position information is generated. However, the order may be reversed, and these pieces of information may be generated in parallel. As described above, according to the present embodiment, it is possible to divide and project so as to avoid an area not suitable for projection without dividing an object such as a character without depending on an area unsuitable for projection.
（第４の実施形態）
第１の実施形態においては、ユーザーが操作する部材が映像投影装置１００に備わっている例について説明した。これに対して本実施形態においては、ユーザーがリモートコントローラを操作することにより分割位置情報を生成する例について説明する。
(Fourth embodiment)
In the first embodiment, the example in which the member operated by the user is provided in the
図１８は、本実施形態の動作を説明するための図である。第１の実施形態と異なる点は、図２に示した映像投影装置１００の指示入力部１０２に具備されていたボタンが、図１８に示すようにリモートコントローラ１８０１に具備されている点である。また、本実施形態の映像投影装置１８００は、指示入力部１０２の代わりに、指示信号受信部１８０２を具備している。
FIG. 18 is a diagram for explaining the operation of the present embodiment. A difference from the first embodiment is that a button provided in the instruction input unit 102 of the
リモートコントローラ１８０１には、上ボタン１８０３、下ボタン１８０４、左ボタン１８０５、右ボタン１８０６、及びＭｅｎｕボタン１８０７が具備されている。それぞれのボタンは、図１に示す映像投影装置１００に具備されたボタンの機能と同様の機能を有しており、指示信号が映像投影装置１８００の指示信号受信部１８０２に転送される。これにより、ユーザーは映像投影装置１８００から離れて、例えば投影面２０１に近づいて分割位置などを指示することができる。
The remote controller 1801 includes an upper button 1803, a lower button 1804, a left button 1805, a right button 1806, and a menu button 1807. Each button has a function similar to that of the button provided in the
図１９は、本実施形態に係る映像投影装置１８００の内部構成例を示すブロック図である。前述したように、図１の映像投影装置１００と比較して指示入力部１０２の代わりに、指示信号受信部１８０２を備えている。なお、その他の構成は、図１の映像投影装置１００と同様であるため、説明は省略する。
FIG. 19 is a block diagram showing an example of the internal configuration of a video projection apparatus 1800 according to this embodiment. As described above, the instruction signal receiving unit 1802 is provided instead of the instruction input unit 102 as compared with the
リモートコントローラ１８０１上のいずれかのボタンが押下されると、リモートコントローラ１８０１は、その押されたボタンに係る指示信号を映像投影装置１８００に送信する。ここで、リモートコントローラ１８０１が送信する信号の形式は赤外線など特に限定されるものではない。指示信号受信部１８０２は、前記指示信号をリモートコントローラ１８０１から受信し、グラフィック制御部１０３へ指示情報を送出する。画像の変形処理など、残りの各部の処理については、第１の実施形態と同様である。 When any button on the remote controller 1801 is pressed, the remote controller 1801 transmits an instruction signal related to the pressed button to the video projector 1800. Here, the format of the signal transmitted by the remote controller 1801 is not particularly limited, such as infrared rays. The instruction signal receiving unit 1802 receives the instruction signal from the remote controller 1801 and sends the instruction information to the graphic control unit 103. Processing of each remaining part such as image deformation processing is the same as in the first embodiment.
以上のように本実施形態によれば、ユーザーが投影面の近くで投影に適さない領域を確認しながら、その領域を避けるように、分割投影することができる。なお、映像投影装置１８００がレーザーポインタの指し示す位置を検知する手段を備えることにより、指示手段として、レーザーポインタを用いても、同様の効果を得ることが可能である。 As described above, according to the present embodiment, division projection can be performed so that a user can confirm an area that is not suitable for projection near the projection surface and avoid the area. In addition, when the image projection apparatus 1800 includes means for detecting the position pointed to by the laser pointer, the same effect can be obtained even when the laser pointer is used as the instruction means.
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
１０２ 指示入力部
１０３ グラフィック制御部
１０６ 座標変換作用素生成部
１０７ 座標変換部
１０８ 映像投影部
DESCRIPTION OF SYMBOLS 102 Instruction input part 103 Graphic control part 106 Coordinate conversion operator production | generation part 107 Coordinate conversion part 108 Image | video projection part
Claims (10)
前記投影面のうちユーザーにより指定された領域の情報を取得する取得手段と、
入力画像から文字を検出する検出手段と、
前記取得手段によって複数の領域の情報が取得された場合において、当該複数の領域のいずれにも前記入力画像の文字が投影されず、且つ、当該文字が他の領域に投影されるように、前記検出手段により検出された文字の前記入力画像上の位置に応じて前記入力画像を変換する変換手段と、
前記変換手段により前記入力画像が変換された変換画像を前記投影面に投影する投影手段と、
を備えたことを特徴とする投影装置。 A projection device that projects an image on a projection surface,
Obtaining means for obtaining information of an area specified by a user in the projection plane;
Detection means for detecting characters from the input image;
In the case where information of a plurality of areas acquired by the acquisition means, to both without being projected character of the input image of the plurality of regions, and, as the character is projected onto the other regions, the Conversion means for converting the input image according to the position of the character detected by the detection means on the input image;
Projecting means for projecting the converted image obtained by converting the input image by the converting means onto the projection plane;
A projection apparatus comprising:
前記変換手段は、前記生成手段により生成された作用素を用いて前記入力画像を変換することを特徴とする請求項２に記載の投影装置。 A generating means for generating an operator for converting the coordinates of the input image so that the characters of the input image are not projected onto the designated region, and a converted image including the region composed of the black image Generating means for generating an operator for performing coordinate transformation of the input image so as to be within the size of the projection plane;
And the converting means, the projection apparatus according to claim 2, characterized in that converting the input image using the operator generated by the generation means.
前記変換手段は、前記取得手段により変換された位置情報を用いて前記入力画像を変換することを特徴とする請求項１〜３の何れか１項に記載の投影装置。 The acquisition unit acquires information on a region designated as a non-projection region by a user as information on the designated region, and converts the information on the designated region into position information on an image projected by the projection unit. And
And the converting means, the projection apparatus according to any one of claims 1 to 3, characterized in that converting the input image using the location information converted by the acquisition unit.
前記投影面のうちユーザーにより指定された領域の情報を取得する取得工程と、
入力画像から文字を検出する検出工程と、
前記取得工程において複数の領域の情報が取得された場合において、当該複数の領域のいずれにも前記入力画像の文字が投影されず、且つ、当該文字が他の領域に投影されるように、前記検出工程において検出された文字の前記入力画像上の位置に応じて前記入力画像を変換する変換工程と、
前記変換工程により前記入力画像が変換された変換画像を前記投影面に投影する投影工程と、
を備えたことを特徴とする画像投影方法。 An image projection method for projecting an image onto a projection surface,
An obtaining step of obtaining information of an area designated by a user in the projection plane;
A detection step of detecting characters from the input image;
In the case where information of a plurality of areas acquired in the acquiring step, to both without being projected character of the input image of the plurality of regions, and, as the character is projected onto the other regions, the A conversion step of converting the input image according to the position of the character detected in the detection step on the input image;
A projection step of projecting the converted image obtained by converting the input image by the conversion step onto the projection plane;
An image projection method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014045526A JP6381235B2 (en) | 2014-03-07 | 2014-03-07 | Projection apparatus, image projection method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014045526A JP6381235B2 (en) | 2014-03-07 | 2014-03-07 | Projection apparatus, image projection method, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2015169832A JP2015169832A (en) | 2015-09-28 |
| JP2015169832A5 JP2015169832A5 (en) | 2017-07-13 |
| JP6381235B2 true JP6381235B2 (en) | 2018-08-29 |
Family
ID=54202601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014045526A Active JP6381235B2 (en) | 2014-03-07 | 2014-03-07 | Projection apparatus, image projection method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6381235B2 (en) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009048022A (en) * | 2007-08-21 | 2009-03-05 | Funai Electric Co Ltd | Projector |
| JP4341723B2 (en) * | 2008-02-22 | 2009-10-07 | パナソニック電工株式会社 | Light projection device, lighting device |
| JP5171560B2 (en) * | 2008-11-07 | 2013-03-27 | キヤノン株式会社 | Video processing apparatus, system, and program |
| JP2013064827A (en) * | 2011-09-16 | 2013-04-11 | Seiko Epson Corp | Electronic apparatus |
| JP2013156324A (en) * | 2012-01-27 | 2013-08-15 | Seiko Epson Corp | Projector and image projection method by the same |
| WO2013136602A1 (en) * | 2012-03-16 | 2013-09-19 | 富士フイルム株式会社 | Imaging device with projector and imaging control method therefor |
-
2014
- 2014-03-07 JP JP2014045526A patent/JP6381235B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015169832A (en) | 2015-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10074217B2 (en) | Position identification method and system | |
| JP6429545B2 (en) | Control device and control method | |
| US8418063B2 (en) | Aiding device in creation of content involving image display according to scenario and aiding method therein | |
| US8985781B2 (en) | Projector control device and computer-readable recording medium | |
| JP6812128B2 (en) | Information processing device and information processing method | |
| US20140267102A1 (en) | Image display device, image display system, and method of controlling image display device | |
| US20180011592A1 (en) | Display method and display control apparatus | |
| JP2013174738A (en) | Display device, method of controlling display device, control program, and computer readable recording medium recording the control program | |
| JP2007241537A (en) | Projection system, projection device, personal digital assistant, control method for projection system and its program | |
| JP5828671B2 (en) | Information processing apparatus and information processing method | |
| JP5245805B2 (en) | Projector, control method therefor, and control program therefor | |
| JP2019146155A (en) | Image processing device, image processing method, and program | |
| JP2017092521A (en) | Display device and control method of the same | |
| JP2017009708A (en) | Projection system, photographing device, and information processing method and program | |
| JP2010272078A (en) | System, and control unit of electronic information board, and cursor control method | |
| JP6381235B2 (en) | Projection apparatus, image projection method, and program | |
| JP6508874B2 (en) | Image projection apparatus, image projection method, and computer program | |
| JP5999236B2 (en) | INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
| JP7179633B2 (en) | Measuring method, measuring device and program | |
| JP6323035B2 (en) | Display device and display method | |
| JP2009253474A (en) | Image processing device, image processing method, and image processing program | |
| WO2015141214A1 (en) | Processing device for label information for multi-viewpoint images and processing method for label information | |
| JP2020178221A (en) | Projection control device, projection control method, and program | |
| JP2019192996A (en) | Projection control apparatus and projection control method | |
| JP6520194B2 (en) | Display device and display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170306 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170605 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180123 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180703 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180731 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6381235 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |